当前位置： 移动技术网 > IT编程>脚本编程>Python > scrapy-redis数据去重与分布式框架

scrapy-redis数据去重与分布式框架

2019年08月03日  | 移动技术网IT编程  | 我要评论

针孔摄像机3rgb,血欲江湖,全是爱txt下载

 

数据去重

  • 生成指纹：利用hashlib的sha1，对request的请求体、请求url、请求方法进行加密，返回一个40位长度的16进制的字符串，称为指纹
fp = hashlib.sha1()
fp.update(to_bytes(request.method))
fp.update(to_bytes(canonicalize_url(request.url)))
fp.update(request.body or b'')
return fp.hexdigest()
  • 进队：
    1. 如果请求需要过滤，并且当前请求的指纹已经在指纹集合中存在了，就不能进入队列了
    2. 如果请求需要过滤，并且请求的指纹是一个新的指纹，进入队列
    3. 如果不需要过滤，直接进入队列
def enqueue_request(self, request):
    if not request.dont_filter and self.df.request_seen(request):
        self.df.log(request, self.spider)
        return false
    self.queue.push(request)
    return true

 

 

分布式爬虫

  • 类继承redisspider、rediscrawlspider
  • 使用redis_key，在redis数据库中存储start_urls的键名称

每台电脑从redis数据库中对应的redis_key名称中获取url，发起请求。

您可能感兴趣的文章:

如对本文有疑问，请在下面进行留言讨论，广大热心网友会与你互动！！ 点击进行留言回复

相关文章:

验证码：
最近更新的文章
大家感兴趣的文章
移动技术网