荆州火车站在哪里,毕业生答辩ppt模板,泽利优斯奥特曼
经过前期大量的学习与准备，我们重要要开始写第一个真正意义上的爬虫了。本次我们要爬取的网站是：百度贴吧，一个非常适合新人练手的地方，那么让我们开始吧。
本次要爬的贴吧是<< 西部世界 >>，西部世界是我一直很喜欢的一部美剧，平时有空也会去看看吧友们都在聊些什么。所以这次选取这个吧来作为实验材料。注意：很多人学python过程中会遇到各种烦恼问题，没有人解答容易放弃。为此小编建了个python全栈免费解答.裙 ：一久武其而而流一思（数字的谐音）转换下可以找到了，不懂的问题有老司机解决里面还有免非最新python教程下载,，一起相互监督共同进步！
贴吧地址 :
https://tieba.baidu.com/f?kw=%e8%a5%bf%e9%83%a8%e4%b8%96%e7%95%8c&ie=utf-8
python版本 : 3.6
浏览器版本： chrome
由于是第一个实验性质爬虫，我们要做的不多，我们需要做的就是：
1、从网上爬下特定页码的网页
2、对于爬下的页面内容进行简单的筛选分析
3、找到每一篇帖子的 标题、发帖人、日期、楼层、以及跳转链接
4、将结果保存到文本。
前期准备：
看到贴吧的url地址是不是觉得很乱？有那一大串认不得的字符？
其实这些都是中文字符，
%e8%a5%bf%e9%83%a8%e4%b8%96%e7%95%8c
在编码之后就是： 西部世界。
链接的末尾处：&ie=utf-8 表示该连接采用的是utf-8编码。
windows的默认编码是gbk，在处理这个连接的时候，需要我们在python里手动设置一下，才能够成功使用。
接着我们翻到贴吧的第二页：
url:
`url: https://tieba.baidu.com/f?kw=%e8%a5%bf%e9%83%a8%e4%b8%96%e7%95%8c&ie=utf-8&pn=50`
注意到没有，连接的末尾处多了一个参数&pn=50,
这里我们很容易就能猜到，这个参数的与页码的联系：
这下我们就能通过简单的url修改，达到翻页的效果了。
要写爬虫，我们一定要会使用开发工具，说起来这个工具是给前段开发人员用的，但是我们可以通过它快速定位我们要爬取的信息，并找到相对应的规律。
我们仔细的观察一下，发现每个帖子的内容都包裹在一个li标签内：
<li class=" j_thread_list clearfix">
这样我们只要快速找出所有的符合规则的标签，
在进一步分析里面的内容，最后筛选出数据就可以了。
这是前面介绍过的爬取框架，以后我们会经常用到。
我要评论import requests
from bs4 import beautifulsoup
# 首先我们写好抓取网页的函数
def get_html(url):
try:
r = requests.get(url,timeout=30)
r.raise_for_status()
#这里我们知道百度贴吧的编码是utf-8，所以手动设置的。爬去其他的页面时建议使用：
# r.endcodding = r.apparent_endconding
r.encoding='utf-8'
return r.text
except:
return " error "
一个大的li标签内包裹着很多个 div标签
而我们要的信息就在这一个个div标签之内：
# 标题&帖子链接
<a rel="noreferrer" href="/p/5803134498" title="【高淸】西部世界1-2季，中英字，未❗️删❕减.
-
您可能感兴趣的文章:
如对本文有疑问，请在下面进行留言讨论，广大热心网友会与你互动！！
点击进行留言回复
新手学习Python2和Python3中print不同的用法
Python基于os.environ从windows获取环境变量
网友评论