不锈钢砝码博远,谢莉儿,波利犬
学习了自定义的TinyScrapy框架，整理出以下定注释的代码
我要评论
1 from twisted.web.client import getPage,defer
2 from twisted.internet import reactor
3 import queue
4
5 class Response(object):
6 '''
7 对返回内容进行封装为UTF8格式
8 '''
9 def __init__(self,body,request):
10 self.body=body
11 self.request=request
12 self.url=request.url
13
14 @property
15 def text(self):
16 return self.body.decode('utf-8')
17
18 class Request(object):
19 '''
20 封装，请求的URL 与回调函数
21 '''
22 def __init__(self,url,callback):
23 self.url=url
24 self.callback=callback
25
26 class Scheduler(object):#调度器
27 '''
28 任务调度器
29 '''
30 def __init__(self,engine):
31 self.q=queue.Queue()#队列
32 self.engine=engine
33 def enqueue_request(self,request):
34 self.q.put(request)#加入队列
35 def next_request(self):
36 try:
37 req=self.q.get(block=False)#从队列中取出
38 except Exception as e:
39 req=None
40 return req
41 def size(self):
42 return self.q.qsize()#队列是的个数
43
44 class ExecutionEngine(object): #爬虫引擎
45
46 def __init__(self):#构造
47 self._closewait=None #关闭引擎调用 默认为不关闭
48 self.running=True#引擎默认为运行状态
49 self.start_requests=None #开始爬取任务
50 self.scheduler=Scheduler(self)#调度器 类 构造自己放入调度器，传回自身
51 self.inprogress =set() #集合 并发数
52
53 def check_empty(self,response):#检测任务是否为空
54 if not self.running:
55 print('任务终止。。。。')
56 self._closewait.callback(None)
57
58 def _next_request(self):#下一个爬取任务
59 while self.start_requests:#存在爬取任务
60 try:
61 request=next(self.start_requests)
62 except StopIteration:#如果执行出错
63 self.start_requests=None#任务变为空
64 else:
65 self.scheduler.enqueue_request(request)#放入调度器中
66 print(len(self.inprogress),'=>总任务数',self.scheduler.size(),'=>调度器中的任务数')
67 while len(self.inprogress)< 5 and self.scheduler.size()>0: #最大并发数为 5
68 request=self.scheduler.next_request()#调度器中任务 调用自身
69 if not request:
70 break
71 self.inprogress.add(request)#加入任务并发
72 d=getPage(bytes(request.url,encoding='utf-8'))#开始爬取任务
73 #d.addError=()#任务出错时执行
74 #d.addCallback=()#任务成功完成时执行
75 d.addBoth(self._handle_downloader_output,request)#下载 任务 #无论是否成功都执行 有返回值 运行_handle
76 d.addBoth(lambda x,req:self.inprogress.remove(req),request)#正在运行的进行移除
77 d.addBoth(lambda x:self._next_request())#执行本身的函数
78 if len(self.inprogress)==0 and self.scheduler.size()==0:
79 self._closewait.callback(None)#执行关闭程序
80
81 def _handle_downloader_output(self,body,request):#任务后的回调函数
82 '''
83 获取内容，执行回调函数，并且把回调函数中的返回值获取，并添加到队列中
84 :param response:
85 :param request:
86 :return:
87 '''
88 import types
89 response=Response(body,request)#进行封装
90 func=request.callback or self.spider.parse#如果有回返值，func取回返值 否则 等于任务的最开始内容
91 gen=func(response)
92 if isinstance(gen,types.GeneratorType):#是否是生成器对象
93 for req in gen:
94 self.scheduler.enqueue_request(req)
95
96 @defer.inlineCallbacks
97 def start(self):
98 self._closewait=defer.Deferred()#生成一个空任务对象 用于保持程序
99 yield self._closewait
100
101 @defer.inlineCallbacks
102 def open_spider(self,spider,start_requests):#传入封装好的Requset ，任务迭代器
103 self.start_requests=start_requests#任务迭代器
104 self.spider=spider#封装好的Requset （请求的URL 与回调函数）
105 yield None #生成器，断点缓存
106 reactor.callLater(0,self._next_request)#立刻执行 下一个爬取任务
107
108 class Crawler(object):#爬虫执行类
109 def __init__(self,spidercls):#传入任务(ChoutiSpider,等)
110 self.spidercls=spidercls
111 self.spider =None
112 self.engine=None
113
114 @defer.inlineCallbacks
115 def crawl(self):
116 self.engine=ExecutionEngine()#类实例化 引擎
117 self.spider=self.spidercls()#实例化任务
118 start_requests =iter(self.spider.start_requests())#迭代器
119 yield self.engine.open_spider(self.spider,start_requests)#引擎启动
120 yield self.engine.start()#开始执行
121
122 class CrawlerProcess(object):#爬虫任务器 类
123 def __init__(self):
124 self._active=set()#已经执行任务集合
125 self.crawlers=set()# 爬虫任务集合
126
127 def crawl(self,spidercls,*args,**kwargs):#传入爬虫任务
128 crawler=Crawler(spidercls)#爬虫任务开始 实例化
129 self.crawlers.add(crawler)#爬虫任务集合
130 d=crawler.crawl(*args,**kwargs)#爬取任务实例化 运行
131 self._active.add(d)#加入已经执行任务集合
132 return d
133
134 def start(self):
135 d1=defer.DeferredList(self._active)#实例化执行对象
136 d1.addBoth(self._stop_reactor)#所有任务结束 调用 stop方法
137 reactor.run()
138
139 def _stop_reactor(self,_=None):#任务停止
140 reactor.stop()
141
142 class Spider(object):
143 def start_requests(self):
144 for url in self.start_urls:
145 yield Request(url,self.parse)#生成器，对URL与回调函数进行封装
146
147 #=========具体爬虫任务=======start==========#
148 class ChoutiSpider(Spider):#
149 name='chouti'
150 start_urls=['http://dig.chouti.com/',]
151 def parse(self,response):
152 print(response.text)
153
154 class CnblogsSpider(Spider):
155 name='cnblogs'
156 start_urls=['http://www.cnblogs.com/',]
157 def parse(self,response):
158 print(response.text)
159 #=========具体爬虫任务=======end==========#
160
161 if __name__=='__main__':
162 spider_cls_list=[ChoutiSpider,CnblogsSpider]#加入任务列表
163 crawler_process=CrawlerProcess()#实例化爬虫任务器
164 for spider_cls in spider_cls_list:
165 crawler_process.crawl(spider_cls)#传入任务
166 crawler_process.start()#开始执行
如对本文有疑问，请在下面进行留言讨论，广大热心网友会与你互动！！ 点击进行留言回复
Python 实现将numpy中的nan和inf,nan替换成对应的均值
python爬虫把url链接编码成gbk2312格式过程解析
网友评论