人体艺术绘画,河南地方戏曲,解冻大魔王
什么是爬虫，以下是百度百科上的解析：
很多人都将互联网比喻成一张非常大的网，将世界连接起来。如果说互联网是一张网，那么爬虫就像在网上爬的小虫子，通过网页的链接地址来寻找网页，通过特定的搜索算法来确定路线，通常从网站的某一个页面开始，读取该网页的内容，找到该网页中的其他链接地址，然后通过这些链接地址寻找下一个网页，就这样一直循环下去，直到将该网站的所有网页全部抓取为止。
发起请求：
使用http库向目标站点发起请求，即发送一个request
request包含：请求头、请求体等
接收响应：
如果服务器能正常响应，则会得到一个response
response包含：html，json，图片，视频等
解析网页：
解析html数据：正则表达式，第三方解析库如beautifulsoup，pyquery等
解析json数据：json模块
解析二进制数据:以b的方式写入文件
存储资源：
数据库
爬虫的第一个步骤就是对起始 url 发送请求，以获取其返回的响应
值得注意的是，发送请求实质上是指发送请求报文的过程
请求报文包括以下四个方面：请求行、请求头、空行和请求体。
请求行由请求方法、请求 url 和 http 协议版本 3 个字段组成，字段间使用空格分隔
请求方法：请求方法是指对目标资源的操作方式，常见的有 get 方法和 post 方法
get：从指定的资源请求数据，查询字符串包含在 url 中发送
post：向指定的资源提交要被处理的数据，查询字符串包含在请求体中发送
请求 url：请求 url 是指目标网站的统一资源定位符 (uniform resource locator，url)
http 协议版本：http 协议是指通信双方在通信流程和内容格式上共同遵守的标准
请求头被认为是请求的配置信息，以下列举出常用的请求头信息
user-agent：包含发出请求的用户的信息，设置 user-agent 常用于处理反爬虫
cookie：包含先前请求的内容，设置 cookie 常用于模拟登陆
referer：指示请求的来源，用于可以防止链盗以及恶意请求
空行标志着请求头的结束
请求体根据不同的请求方法包含不同的内容
如果是get方式，请求体没有内容
如果是post方式，请求体是format data
爬虫的第二个步骤就是获取特定 url 返回的响应，以提取包含在其中的数据。
同样的，响应其实是指完整响应报文，它包括四个部分：响应行、响应头、空行和响应体。
响应行由 http 协议版本、状态码及其描述组成。
http 协议版本：http 协议是指通信双方在通信流程和内容格式上共同遵守的标准。
状态码及其描述：
100~199：信息，服务器收到请求，需要请求者继续执行操作
200~299：成功，操作被成功接收并处理
300~399：重定向，需要进一步的操作以完成请求
400~499：客户端错误，请求包含语法错误或无法完成请求
500~599：服务器错误，服务器在处理请求的过程中发生错误
响应头用于描述服务器和数据的基本信息，以下列举出常用的响应头信息
set-cookie：设置浏览器 cookie，以后当浏览器访问符合条件的 url 时，会自动带上该 cooike
空行标志着响应头的结束。
响应体就是网站返回的数据，在下一个步骤中我们需要对其进行分析处理。
解析网页实质上需要完成两件事情，一是提取网页上的链接，二是提取网页上的资源。
提取链接实质上是指获取存在于待解析网页上的其他网页的链接。
网络爬虫需要给这些链接发送请求，如此循环，直至把特定网站全部抓取完毕为止。
提取数据则是爬虫的目的，常见的数据类型如下：
文本：html，json 等
图片：jpg，gif，png 等
视频：mpeg-1、mpeg-2 和 mpeg4，avi 等
最终，我们可以对所获得的资源作进一步的处理，从而提取出有价值的信息。
如对本文有疑问，请在下面进行留言讨论，广大热心网友会与你互动！！ 点击进行留言回复
Python 实现将numpy中的nan和inf,nan替换成对应的均值
python爬虫把url链接编码成gbk2312格式过程解析
我要评论
网友评论