千载两宫长空寂,高速公路天气预报,国际法规
python爬虫目前是基于requests包,下面是该包的文档,查一些资料还是比较方便。
爬取某旅游网站的产品评论,通过分析,获取json文件需要post指令。简单来说:
那么通过post发送的内容可以大概有三种,即form、json和multipart,目前先介绍前两种
content-type: application/x-www-form-urlencoded
将内容放入dict,然后传递给参数data即可。
payload = {'key1': 'value1', 'key2': 'value2'} r = requests.post(url, data=payload)
content-type: application/json
将dict转换为json,传递给data参数。
payload = {'some': 'data'} r = requests.post(url, data=json.dumps(payload))
或者将dict传递给json参数。
payload = {'some': 'data'} r = requests.post(url, json=payload)
然后贴一下简单的代码供参考。
import requests import json def getcommentstr(): url = r"https://package.com/user/comment/product/querycomments.json" header = { 'user-agent': r'mozilla/5.0 (windows nt 10.0; win64; x64; rv:62.0) gecko/20100101 firefox/62.0', 'accept': r'application/json, text/javascript, */*; q=0.01', 'accept-language': r'en-us,en;q=0.5', 'accept-encoding': r'gzip, deflate, br', 'content-type': r'application/x-www-form-urlencoded; charset=utf-8', 'x-requested-with': r'xmlhttprequest', 'content-length': '65', 'dnt': '1', 'connection': r'keep-alive', 'te': r'trailers' } params = { 'pageno': '2', 'pagesize': '10', 'productid': '2590732030', 'ratestatus': 'all', 'type': 'all' } r = requests.post(url, headers = header, data = params) print(r.text) getcommentstr()
如对本文有疑问,请在下面进行留言讨论,广大热心网友会与你互动!! 点击进行留言回复
Python 实现将numpy中的nan和inf,nan替换成对应的均值
python爬虫把url链接编码成gbk2312格式过程解析
网友评论