手机游戏nes,成都不育不孕,老照片告诉雄安过去故事
好多网站对于爬虫中没有进行浏览器伪装的会进行反爬，
以糗事百科网站为例
下面提供了三种方法添加headers，使爬虫能够伪装成浏览器访问。
备注：
方法二和方法三中省略了
import urllib.request url = 'http://www.qiushibaike.com/'
方法一：通过opener添加header
我要评论 1 # 方法一：通过opener添加headers
2 import urllib.request
3 url = 'http://www.qiushibaike.com/'
4
5 # 头文件格式header=('user-agent',具体用户代理值) 元组形式，元组内包含(key,value)
6 headers=('user-agent','mozilla/5.0 (windows nt 10.0; wow64) applewebkit/537.36 (khtml, like gecko) chrome/49.0.2623.22 safari/537.36 se 2.x metasr 1.0')
7 # 创建opener对象
8 opener = urllib.request.build_opener()
9 opener.addheaders = [headers]
10 # (1)直接使用opener进行爬虫
11 data = opener.open(url).read()
12 # print(data)
13 print(len(data))
14 # (2)将opener安装为全局,全局生效后，再使用urlopen
15 urllib.request.install_opener(opener)
16 data = urllib.request.urlopen(url).read()
17 print(len(data))
方法二：通过opener批量添加header
1 # 方法二：批量添加headers 有时候只添加user-agent这一个header不行，需要多添加几个header
2 headers={"user-agent":"mozilla/5.0 (windows nt 10.0; wow64) applewebkit/537.36 (khtml, like gecko) chrome/49.0.2623.22 safari/537.36 se 2.x metasr 1.0","content-type":"application/javascript",
3 }
4 #创建opener对象
5 opener = urllib.request.build_opener()
6 opener.addheaders = headers.items() #header.items() 字典(dictionary).items() 函数以列表返回可遍历的(键, 值) 元组数组。正好符合addheaders属性要求的值的类型。[(key1,value1),(key2,value2),(key3,value3)]
7 # (1)直接使用opener进行爬虫
8 data = opener.open(url).read()
9 # print(data)
10 print(len(data))
11 # (2)将opener安装为全局,全局生效后，再使用urlopen
12 urllib.request.install_opener(opener)
13 data = urllib.request.urlopen(url).read()
14 print(len(data))
方法三：通过request添加header
1 # 方法三：通过request添加headers
2 req = urllib.request.request(url)
3 req.add_header('user-agent', 'mozilla/5.0 (windows nt 6.1; wow64) applewebkit/537.36 (khtml, like gecko) chrome/38.0.2125.122 safari/537.36 se 2.x metasr 1.0')
4 req_data = urllib.request.urlopen(req).read()
5 print(len(req_data))
如对本文有疑问，请在下面进行留言讨论，广大热心网友会与你互动！！ 点击进行留言回复
python求numpy中array按列非零元素的平均值案例
网友评论