将丈夫埋自家地板下,成小游戏,南方八字网
scrapy 是一个位了爬取网站数据，提取数据结构性数据而编写的应用框架，少量代码，就能快速爬取，使用了twisted 异步网络框架，加快我们下载速度!
工作流程
制作 scrapy 爬虫 一共需要4步：
新建项目 (scrapy startproject xxx)：新建一个新的爬虫项目明确目标 （编写items.py）：明确你想要抓取的目标制作爬虫 （spiders/xxspider.py）：制作爬虫开始爬取网页存储内容 （pipelines.py）：设计管道存储爬取内容scrapy engine(引擎): 负责spider、itempipeline、downloader、scheduler中间的通讯，信号、数据传递等。scheduler(调度器): 它负责接受引擎发送过来的request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。downloader（下载器）：负责下载scrapy engine(引擎)发送的所有requests请求，并将其获取到的responses交还给scrapy engine(引擎)，由引擎交给spider来处理，spider（爬虫）：它负责处理所有responses,从中分析提取数据，获取item字段需要的数据，并将需要跟进的url提交给引擎，再次进入scheduler(调度器).item pipeline(管道)：它负责处理spider中获取到的item，并进行进行后期处理（详细分析、过滤、存储等）的地方。downloader middlewares（下载中间件）：你可以当作是一个可以自定义扩展下载功能的组件。spider middlewares（spider中间件）：你可以理解为是一个可以自定扩展和操作引擎和spider中间通信的功能组件（比如进入spider的responses;和从spider出去的requests）scrapy的运作流程
代码写好，程序开始运行...1 引擎：hi！spider, 你要处理哪一个网站？2 spider：老大要我处理。3 引擎：你把第一个需要处理的url给我吧。4 spider：给你，第一个url是。5 引擎：hi！调度器，我这有request请求你帮我排序入队一下。6 调度器：好的，正在处理你等一下。7 引擎：hi！调度器，把你处理好的request请求给我。8 调度器：给你，这是我处理好的request9 引擎：hi！下载器，你按照老大的下载中间件的设置帮我下载一下这个request请求10 下载器：好的！给你，这是下载好的东西。（如果失败：sorry，这个request下载失败了。然后引擎告诉调度器，这个request下载失败了，你 记录一下，我们待会儿再下载）11 引擎：hi！spider，这是下载好的东西，并且已经按照老大的下载中间件处理过了，你自己处理一下（注意！这儿responses默认是交给def parse()这个函数处理的）12 spider：（处理完毕数据之后对于需要跟进的url），hi！引擎，我这里有两个结果，这个是我需要跟进的url，还有这个是我获取到的item数据。13 引擎：hi ！管道 我这儿有个item你帮我处理一下！调度器！这是需要跟进url你帮我处理下。然后从第四步开始循环，直到获取完老大需要全部信息。14 管道调度器：好的，现在就做！注意！只有当调度器中不存在任何request了，整个程序才会停止，（也就是说，对于下载失败的url，scrapy也会重新下载。）入门实例爬取（腾讯招聘）
准备环境：
1)创建项目pip install scrapyscrapy startproject myspider2)创建仪个爬虫scrapy genspider itcast(爬虫名字) "itcast.cn"(限制网站的范围)3)启动爬虫scrapy crawl itcast代码：
1 ###设置item 字段### 2 import scrapy 3 4 class myspideritem(scrapy.item): 5 title = scrapy.field() 6 position = scrapy.field() 7 time = scrapy.field() 8 address = scrapy.field() 9 10 ###设置spiders 目录下的爬虫脚本，可以设置多个## 11 vim spiders/itcast.py 12 # -*- coding: utf-8 - 13 import scrapy 14 import sys 15 #之前设置好的items 导入进来 16 from myspider.items import myspideritem 17 18 class itcastspider(scrapy.spider): 19 #spider.name 可以用于判断 20 name = 'itcast' 21 #限制范围 22 allowed_domains = ['tencent.com'] 23 start_urls = ['https://hr.tencent.com/position.php?lid=2218&tid=87'] 24 #parse方法不能修改，必须有 25 def parse(self, response): 26 tb_list = response.xpath("//table[@class='tablelist']/tr")[1:-1] 27 for tr in tb_list: 28 #字典对象 29 item = myspideritem() 30 item['title'] = tr.xpath("./td[1]/a/text()").extract_first() 31 item['position'] = tr.xpath("./td[2]/text()").extract_first() 32 item['address'] = tr.xpath("./td[4]/text()").extract_first() 33 item['time'] = tr.xpath("./td[5]/text()").extract_first() 34 yield item 35 #翻页 36 next_url = response.xpath("//a[@id='next']/@href").extract_first() 37 print(next_url) 38 if next_url != "javascript:;": 39 next_url = "https://hr.tencent.com/" +next_url 40 print(next_url) 41 #下一页请求，scrapy封装好的request请求 42 yield scrapy.request( 43 next_url, 44 callback=self.parse 45 ) 46 print("="*30) 47 48 ##设置存储pipeline## 49 vim pipelines.py 50 # -*- coding: utf-8 -*- 51 import json 52 class myspiderpipeline(object): 53 def process_item(self,item,spider): 54 #有判断，以后可以写多个piiline,来存储 55 if spider.name == "itcast": 56 with open('temp.txt','a') as f: 57 #item 是一个对象，要转成字典！ 58 json.dump(dict(item),f,ensure_ascii=false,indent=2) 59 60 61 ##设置setting 配置## 62 开启pipelines,可以设置多个 63 64 item_pipelines = { 65 'myspider.pipelines.myspiderpipeline': 300, 66 'myspider.pipelines.xxxxpipeline': 300, 67 } 68 #不显示日志 69 log_level = "warning" 70 71 ##浏览器头 72 user_agent = 'mozilla/5.0 (ipad; cpu os 11_0 like mac os x) applewebkit/604.1.34 (khtml, like gecko) version/11.0 mobile/15a5341f safari/604.1'
如对本文有疑问，请在下面进行留言讨论，广大热心网友会与你互动！！ 点击进行留言回复
Python 实现将numpy中的nan和inf,nan替换成对应的均值
python爬虫把url链接编码成gbk2312格式过程解析
我要评论
网友评论