中国净水服务网,包晓琳,麻辣烫的做法
随着现在对数据的重视程度越来越高,现在各大网站都加强了反爬技术,比如本文中js加密
url地址:
需要爬取的数据是最高的回收价格:14760
经过分析这个数据是ajax发送请求getevaluatedata?goods_id=22201 goods_id是商品的id get请求
请求服务器返回的数据是经过加密后的数据
通过对url的监听找到发送请求的ajax
上面的这个jsoncall,封装了ajax请求的方法,将这个文件中对应的js方法拷贝到huanhuan.js中,通过execjs调用node的v8引擎(提前安装node),执行js的代码
最后返回的就是加密后的数据
完整的代码在git上:
如对本文有疑问,请在下面进行留言讨论,广大热心网友会与你互动!! 点击进行留言回复
Python 实现将numpy中的nan和inf,nan替换成对应的均值
python爬虫把url链接编码成gbk2312格式过程解析
网友评论