当前位置: 移动技术网 > IT编程>脚本编程>Python > 一、Python爬虫-认识爬虫

一、Python爬虫-认识爬虫

2020年04月21日  | 移动技术网IT编程  | 我要评论

小品大城小事,圈养阿豆,新安人才网招聘

认识爬虫

  爬虫是什么:

    爬取互联网上的信息

    数据挖掘->数据清洗(得到有效的信息)

  爬虫分类:

    通用爬虫:是搜索引擎抓取系统(百度,谷歌)的重要组成,主要目的是将互联网上的网页下载到本地,形成一个互联网内容的镜像备份

    抓取网页 -> 数据存储 -> 预处理 -> 提供检索,网站排名

    聚焦爬虫:是"面向特定主体需求"的一种网络爬虫程序,它与通用搜索引擎爬虫的区别在于:聚焦爬虫在实施网页抓取时会对内容进行处理筛选,尽量保证只抓取与需求相关的网页信息

请求和响应

  前端:网页展现        

  中间层:数据处理       

  数据库:数据存储      

  服务器(响应)客户端(请求)           

url

  (uniform/universal resource locator):统一资源定位符,是用于完整地描述internet上网页和其他资源的地址的一种标识方法

  

  基本格式:scheme://host[:port#]/path/.../[?query-string][#anchor]

  scheme:协议

  host:服务器的ip地址或者域名

  port#:服务器的端口(如果是走协议默认端口,缺省端口80)

  query-string:参数,发送给http服务器的数据

  anchor:锚(跳转到网页的指定锚点位置)

get请求和post请求

  get是从服务器上获取数据,post是向服务器传输数据,post更加安全

  get请求:参数显示都显示在浏览器网址上,http服务器根据该请求所包含的url中的参数来产生响应内容,即"get"请求的参数是url的一部分

  post请求:参数在请求体当中,消息长度没有限制而且以隐式的方式进行发送,通常用来向http服务器提交量比较大的数据,请求参数包含在"content-type"消息头里,指明该消息体的媒体类型和编码

浏览器开发者工具

   按下f12,进入开发者模式;

 

如对本文有疑问,请在下面进行留言讨论,广大热心网友会与你互动!! 点击进行留言回复

相关文章:

验证码:
移动技术网