成成烽火之蹉跎岁月,枪手女孩,湖南卫视直播天天向上
---恢复内容开始---
只有MD5的超链接可以点，点进去看看，
我写这个的爬虫的目的是下载样本，只关心样本的下载地址，并不关心其他的信息。
现在我们可以理清下思路：
获取每一页的网页源码 解析当前页的每一个md5对应的详细信息链接 在详细信息页面解析下载地址。
提取规则
先从第一页开始爬起
scrapy支持xss选择器和css选择器，一般是用哪个比较方便就用哪个。
对应链接的xpath选择器为 //td/a/@href ,
下一页的链接的xpath选择器为 //a[contains(text(),'Next')]/@href
登陆
之前写爬虫的时候，是可以直接通过post登陆的，而我开始写这篇文章的时候开始加上了google的ReCaptcha验证码。
只能换种方式使用selenium来登陆Malwr.得到登陆后的cookie后，我们就可以用这个cookie开始下载样本了。
FilesPipeline是从file_urls中拿到下载地址然后开始下载文件，因此我们还需要Item.py定义一个file_urls.
解析下载地址，将解析到的下载链接列表放入item的file_urls,返回item。pipeline会file_urls拿到链接开始调用get_media_requests下载文件
---恢复内容结束---
如对本文有疑问，请在下面进行留言讨论，广大热心网友会与你互动！！ 点击进行留言回复
python求numpy中array按列非零元素的平均值案例
我要评论
网友评论