向网站发起请求，获取资源后分析并提取有用数据的程序。
request：用户将自己的信息通过浏览器（socket client）发送给服务器（socket server）
response：服务器接收请求，分析用户发来的请求信息，然后返回数据（返回的数据中可能包含其他链接，如：图片，js，css等）
注：浏览器在接收response后，会解析其内容来显示给用户，而爬虫程序在模拟浏览器发送请求然后接收response后，是要提取其中的有用数据。
主要有get、post，还有head、put、delete、potions等。
url，即统一资源定位符，也就是网址，统一资源定位符是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。互联网上的每个文件都有一个唯一的url，它包含的信息指出文件的位置以及浏览器应该怎么处理它。
user-agent、host、cookies
user-agent：请求头中如果没有user-agent客户端配置， 服务端可能将你当做一个非法用户。
host
cookies：cookie用来保存登录信息。
一般做爬虫都会加上请求头。
请求体是请求时额外携带的数据。如果是get方式，请求体没有内容；如果是post方式，请求体是format data。
200：代表成功
301：代表跳转
404：文件不存在
403：权限
502：服务器错误
响应头需要注意的参数：
(1)set-cookie:bdsvrtm=0; path=/：可能有多个，是来告诉浏览器，把cookie保存下来；
(2)content-location：服务端响应头中包含location返回浏览器之后，浏览器就会重新访问另一个页面。
因为爬虫爬取的数据是js没有渲染的数据，而浏览器中看到的是js完成渲染后的数据。
当我们进行网页爬虫时，我们会利用一定的规则从返回的 html 数据中提取出有效的信息。但是如果网页中含有 javascript 代码，我们必须经过渲染处理才能获得原始数据。
各位，我回来了，3月的时候自学爬虫，不过资料准备不足，加上拖延症发作，到现在爬虫都还没入门。未来会边学边更新，没有办法保证一天一更了。
文中难免有不足之处，欢迎批评指正。
1、什么是爬虫：http://www.cnblogs.com/935415150wang/p/7793306.html
2、python2爬虫学习系列教程|静觅：https://cuiqingcai.com/1052.html
3、python request库get和post的区别：http://www.cnblogs.com/mango-lee/p/7116425.html
4、爬虫技术:(javascript渲染)动态页面抓取超级指南：https://blog.csdn.net/sqzhao/article/details/50853996
5、python学习之python爬虫原理 ：http://www.sohu.com/a/251575938_100120307
6、爬虫从头学之爬虫基本原理：https://blog.csdn.net/prospective0821/article/details/80630436
如对本文有疑问， 点击进行留言回复！！
我要评论
网友评论