当前位置: 移动技术网 > IT编程>脚本编程>Python > 微博 Qzone 微信 当你用Python爬取网站遇到反爬,你应该这样做,轻松解决反爬问题

微博 Qzone 微信 当你用Python爬取网站遇到反爬,你应该这样做,轻松解决反爬问题

2018年07月31日  | 移动技术网IT编程  | 我要评论

李开复网站,老瓦,环氧树脂是什么

当你用Python爬取网站遇到反爬,你应该这样做,轻松解决反爬问题

 

爬虫和反爬虫就想矛与盾,一直在不停的碰撞!

参数加密

参数加密指的是在请求中需要加上类似token、uuid 字段,例如在某个请求中query string parameters中有_token和uuid、customerKey等字段

当你用Python爬取网站遇到反爬,你应该这样做,轻松解决反爬问题

 

解决方法

刚开始遇到这个是一脸懵逼的,验证发现有些参数不是必须的,比如uuid,uuid在维基百科上是:通用唯一识别码,估计没啥作用,python也有内置的uuid生成库

当你用Python爬取网站遇到反爬,你应该这样做,轻松解决反爬问题

 

登录问题

很多网站数据是登录可见,那么就必须要开发该网站的登录系统了。

登录可能会遇到的一些问题:

登录过程中遇到的验证码(下面会说)

cookies持久化问题

账号被封禁问题

解决方法

登录账号获得cookies后,经过一段时间,cookies就可能会失效,具体网站情况不同,这时候就必须有个脚本,来保证cookies有效

账号做出一些跟正常用户不同的操作就会产生异常,别人很容易就发现。所以就让你的账号像正常人一样。

最近看到有人再问豆瓣登录采集影评导致被封号的事情,豆瓣我以前也被封过,到现在也没有解封

依据用户管理细则,此帐号已被永久停用。停用时间:2017-09-29

如有疑问,请发送邮件到help@douban.com

我的建议是:

  • 有能力的多注册账号,账号被封了就再去注册呗
  • 手机app抓包,app不需要登录,而且可以持续抓最新评论

图形验证码

验证码一直是反爬虫利器,从简单的数字识别,到复杂的滑动拼图、图片点选等等。有兴趣的来试试破解 ,感觉很头疼。

当你用Python爬取网站遇到反爬,你应该这样做,轻松解决反爬问题

 

解决方法

例如上图,这是我现在遇到的一种验证码情况,依次点击几个文字。

如果是自己来做的话,会考虑这样:

将验证码图片部分截图或下载回来

对图片进行OCR,提取文字

文字识别,获取坐标

使用selenium根据坐标点击

这只是初步思路,但想法很容易,做起来却没那么简单。

在Github上找到大佬写的方法 ,知乎上也有

那么如果直接接入第三方打码平台来,那就会简单很多,在实际开发中为了提高准确性,更多会使用打码平台。

当你用Python爬取网站遇到反爬,你应该这样做,轻松解决反爬问题

如对本文有疑问,请在下面进行留言讨论,广大热心网友会与你互动!! 点击进行留言回复

相关文章:

验证码:
移动技术网