中央办公厅常务副主任,泷泽萝拉吧,tbupdate
文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。
作者：nicepython
ps：如有需要python学习资料的小伙伴可以加点击下方链接自行获取http://t.cn/a6zvjdun
运行环境
运行依赖包
爬虫可以简单的分为：
下载数据
简单来说一个网页是由一个html文件解析构成，我们需要获取这个文本内容。
每个浏览器都可以通过开发者工具获取到文本内容，以chrome为例，打开网页后，右键->检查。
右边的 elements 就是我们要下载的数据。
让我们看看 requests 是如何获取这个数据的。
url='http://lamyoung.com/'; html=requests.get(url); if html.status_code == 200: html_bytes=html.content; html_str=html_bytes.decode();
上面的 html_str 就是我们需要的源数据。获取数据我们需要一个网页地址，获取后判断状态码是否为200，最后再将内容decode就得到需要的整个html源数据。
分析数据
这次我们用正则表达式去解析源数据，截取到我们需要。关于详细的正则知识可以在这篇文章史上最全面的正则表达式教程中学习。
现在我们的目标是抓取博客的文章标题和链接，我们可以通过刚才的开发者工具获取文章标题和链接的特征。
可以看到我们要的内容都具有以下这种格式。
<a href="链接"> <h2 class="post-title"> 标题 </h2> xxxxxx </a>
我们就为这种格式写出正则表达式。(ps: 我也写了几次才写对，看不懂的话我们私下交流交流
)
regex = r"<a href=\"(.*)\">[\s]*?<h2 class=\"post-title\">[\s]*(.*)[\s]*</h2>[\s\s]*?</a>"
使用正则表达式中的 findall 把所有内容找出来，并保存在字符串中。
我要评论write_content = ''
all_items = re.findall(regex,html_str);
for item in all_items:
write_content=f'{write_content}\n{item[1]}\nhttp://lamyoung.com{item[0]}\n'
但是，我们只爬了其中的一页。还有许多页没有爬呢！(ps: 骄傲脸，我已经写了好多✌️页的原创内容了。)
我们可以点几个下一页，很容易发现其中的规律。
- 第一页:http://lamyoung.com/
- 第二页:http://lamyoung.com/page2/
- 第三页:http://lamyoung.com/page3/
...
为此，我们加个循环判断就可以啦。
index=1
while true:
page_url = '';
if index>1:
page_url=f'page{index}/'
url=f'http://lamyoung.com/{page_url}';
html=requests.get(url);
if html.status_code != 200:
print(html);
break;
在判断状态码为200时，退出循环。
存储数据
这次我们就用文本存储来结束我们的教程吧。
with open('lamyoung_title_out.txt','w',encoding='utf-8') as f:
f.write(write_content)
最后看下输出结果吧～
如对本文有疑问，请在下面进行留言讨论，广大热心网友会与你互动！！ 点击进行留言回复
新手学习Python2和Python3中print不同的用法
Python基于os.environ从windows获取环境变量
网友评论