编写一个Python 爬虫一般分为以下三步:
1. 请求数据 2. 数据解析 3. 数据持久化我们从这三步入手, 开始学习Python爬虫
我要评论# 假如我们现在发送一个post请求
we_got_it = requests.post(url=url, headers=header, params=param, data=data)
# we_got_it 是什么数据由所 content-type 参数决定
# 这个参数包含在响应头中, 我们可以通过抓包工具查看
# 有些时候你得到的text中会含有乱码, 这是由于requests会猜测请求的数据的编码格式
# 但是有些时候会猜错, 这是候就需要你手动设定请求数据的编码格式, 防止乱码
we_got_it.encoding = "utf-8" # 这是候就会得到正确的文本
we_got_it.text # -> 返回str
we_got_it.content # -> 返回bytes, 在对一些图片之类的二进制数据进行请求的时候要用这个attr
we_got_it.json()
# 以上三种都是常用的属性或者函数, 可以自己查阅相关文档学习
# get只是比post少了一个data参数
你需要自己去了解一下post或者get里的这些参数都是干什么用的, 这都很简单, 我就不在这里赘述了.
如对本文有疑问， 点击进行留言回复！！
网友评论