本文目录一览：

• 1、python爬虫项目实战：爬取用户的所有信息，如性别、年龄等
• 2、python爬虫怎么做？
• 3、淘宝12亿条客户信息遭爬取，黑客非法获利34万，客户信息是如何泄露的？
• 4、python新手求助 关于爬虫的简单例子

python爬虫项目实战：爬取用户的所有信息，如性别、年龄等

python爬虫项目实战：

爬取糗事百科用户的所有信息，包括用户名、性别、年龄、内容等等。

10个步骤实现项目功能，下面开始实例讲解：

1.导入模块

import re

import urllib.request

from bs4 import BeautifulSoup

2.添加头文件，防止爬取过程被拒绝链接

def qiuShi(url,page):

################### 模拟成高仿度浏览器的行为 ##############

heads ={

'Connection':'keep-alive',

'Accept-Language':'zh-CN,zh;q=0.9',

'Accept':'text/html,application/xhtml+xml,application/xml;

q=0.9,image/webp,image/apng, / ;q=0.8',

'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36

(KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',

}

headall = []

for key,value in heads.items():

items = (key,value)

headall.append(items)

opener = urllib.request.build_opener()

opener.addheaders = headall

urllib.request.install_opener(opener)

data = opener.open(url).read().decode()

################## end ########################################

3.创建soup解析器对象

soup = BeautifulSoup(data,'lxml')

x = 0

4.开始使用BeautifulSoup4解析器提取用户名信息

############### 获取用户名 ########################

name = []

unames = soup.find_all('h2')

for uname in unames:

name.append(uname.get_text())

#################end#############################

5.提取发表的内容信息

############## 发表的内容 #########################

cont = []

data4 = soup.find_all('div',class_='content')

data4 = str(data4)

soup3 = BeautifulSoup(data4,'lxml')

contents = soup3.find_all('span')

for content in contents:

cont.append(content.get_text())

##############end####################################

6.提取搞笑指数

#################搞笑指数##########################

happy = []

data2 = soup.find_all('span',class_="stats-vote")

data2 = str(data2) # 将列表转换成字符串形式才可以使用

soup1 = BeautifulSoup(data2,'lxml')

happynumbers = soup1.find_all('i',class_="number")

for happynumber in happynumbers:

happy.append(happynumber.get_text())

##################end#############################

7.提取评论数

############## 评论数 ############################

comm = []

data3 = soup.find_all('a',class_='qiushi_comments')

data3 = str(data3)

soup2 = BeautifulSoup(data3,'lxml')

comments = soup2.find_all('i',class_="number")

for comment in comments:

comm.append(comment.get_text())

############end#####################################

8.使用正则表达式提取性别和年龄

######## 获取性别和年龄 ##########################

pattern1 = 'div class="articleGender (w ?)Icon"(d ?)/div'

sexages = re.compile(pattern1).findall(data)

9.设置用户所有信息输出的格局设置

################## 批量输出用户的所以个人信息 #################

print()

for sexage in sexages:

sa = sexage

print(' ' 17, '= = 第', page, '页-第', str(x+1) + '个用户 = = ',' ' 17)

print('【用户名】：',name[x],end='')

print('【性别】：',sa[0],' 【年龄】：',sa[1])

print('【内容】：',cont[x])

print('【搞笑指数】：',happy[x],' 【评论数】：',comm[x])

print(' ' 25,' 三八分割线 ',' ' 25)

x += 1

###################end##########################

10.设置循环遍历爬取13页的用户信息

for i in range(1,14):

url = ' '+str(i)+'/'

qiuShi(url,i)

运行结果，部分截图：

python爬虫怎么做？

具体步骤

整体思路流程

简单代码演示

准备工作

下载并安装所需要的python库，包括：

对所需要的网页进行请求并解析返回的数据

对于想要做一个简单的爬虫而言，这一步其实很简单，主要是通过requests库来进行请求，然后对返回的数据进行一个解析，解析之后通过对于元素的定位和选择来获取所需要的数据元素，进而获取到数据的一个过程。

可以通过定义不同的爬虫来实现爬取不同页面的信息，并通过程序的控制来实现一个自动化爬虫。

以下是一个爬虫的实例

淘宝12亿条客户信息遭爬取，黑客非法获利34万，客户信息是如何泄露的？

近些日子，一则“淘宝12亿条客户信息遭爬取，黑客非法获利34万”的问题，引发了广大网友们的热议，在网上闹的沸沸扬扬。那么，客户的信息是如何泄漏的呢？这个黑客使用了python的爬虫技术，爬出了淘宝的信息。然后这个黑客把这些拿到的信息，都拿去售卖给了其他需要这些信息的公司，各有所需。这些信息泄漏之后，轻则让我们收到更多的垃圾信息和骚扰电话，重则被骗取钱财。那么具体的情况是什么呢？我来给大家分享一下我的看法。

一.黑客爬取信息

这些黑客是通过python这个语言，利用了爬虫的功能，爬取了淘宝的12亿条客户的信息。不得不说，这个黑客的技术也是确实很硬，能够把淘宝这样的大公司的信息给爬取出来。

二.黑客售卖信息

爬取到了12亿条信息之后，黑客是售卖了这12亿条的淘宝客户的信息。成功的盈利了34万的一个金额，也是非常的多了。

三.信息泄漏的后果

信息邪路的后果，有轻有重。轻则是受到更多的垃圾短息，已经骚扰电话。重则是可能银行卡会被盗刷，掌握了自己的关键信息，导致自己更加的容易受骗等等。                                                                                        

以上就是我对于这个问题所发表的看法，纯属个人观点，仅供参考。大家有什么不同的看法都可以在评论区留言，大家一起讨论一下。大家看完，记得点赞，加关注哦。

python新手求助 关于爬虫的简单例子

#coding=utf-8

from bs4 import BeautifulSoup

with open('index.html', 'r') as file:

fcontent = file.read()

sp = BeautifulSoup(fcontent, 'html.parser')

t = 'new_text_for_replacement'

# replace the paragraph using `replace_with` method

sp.find(itemprop='someprop').replace_with(t)

# open another file for writing

with open('output.html', 'w') as fp:

# write the current soup content

fp.write(sp.prettify())

如果要替换段落的内容而不是段落元素本身，可以设置.string属性。

sp.find(itemprop='someprop').string = t

赞0收藏0评论0分享

用户回答回答于 2018-07-26

问题取决于你搜索标准的方式，尝试更改以下代码：

print(sp.replace(sp.find(itemprop="someprop").text,t))

对此：

print(sp.replace(sp.find({"itemprop":"someprop"}).text,t))

# coding:utf-8

from bs4 import BeautifulSoup

import requests

import os

url = 'https://'

r = requests.get(url)

demo = r.text # 服务器返回响应

soup = BeautifulSoup(demo, "html.parser")

"""

demo 表示被解析的html格式的内容

html.parser表示解析用的解析器

"""

# 输出响应的html对象

ab = list()

with open("D:\\temp\\mii.txt","w+",encoding="utf-8") as xxx:

for mi in soup.find_all('a'):

ab.append(mi.prettify()) # 使用prettify()格式化显示输出

# xxx.writelines(str(mi))

xxx.writelines(ab)

xxx.close()