cba赛程表,河南板块,性人君子
工具：Python3.6、pycharm
库：requests、re、time、random、os
目标网站：妹子图（具体url大家自己去代码里看。。。）
在我们开始写代码之前，要先对网站进行分析，重点有这个几个地方：
1、先判断网页是否静态网页，这个关系我们采用的爬虫手段！
简单的说，网页中的内容，在网页源代码中都可以找到，那么就可以断定，这个网站是静态的了；如果没有找到，就需要去开发者工具中查找，看看是抓包呢还是分析js结构或者其他的方式。
2、看看网页的结构，大致清楚抓取目标数据，需要几层循环，每次循环的方式，以及是否保证没有遗漏！
首先是导入上述的各种库，没有的需要安装一下！然后写入以下几行代码获取网页源代码看看是否有反爬：
全部在a标签的属性中，那么我们可以用一行代码获取了
infos = re.findall(r'a href="(http://www.meizitu.com/.*?html)" target="_blank" title="(.*?)" ',html.text)
这里用正则匹配，2个括号中的内容就是我们需要的url和名字了，然后开始构建循环遍历所有的分类
上一步取出的infos是列表，而且每一个元素都是一个元组，格式为（url，名字），所有我们用2个元素去遍历infos，来获取我们需要的内容，先打印下看看结果是否正确！
这里先不创建文件夹，先进行下一步，访问分类的url，然后开始构建分类中的页码吧！分析网页发现，所有的页码都在下方，但是还是稍有不同：没有当前页、多了下一页和末页
由于存在图集不足一页的情况（上述源代码就不会出现），所以我们这么处理循环
循环所有的url，获取所有图集的url列表，27行没有用encoding指定编码是因为这里我不需要取到中文的内容，所以简写了一下！终于该取图片了！
图集的title和图集内所有图片的url都取到了！其实到这里就已经完成了爬虫的80%了！剩下的20%就是保存图片到本地，这里就不多说了，给大家提供2个代码片段，一个是新建文件夹并判断是否存在，一个是剔除字符串内不符合命名要求的字符
在请求中加入了时间模块的暂停功能，不加入的话可能会被网页拒绝访问！
在最后请求图片地址的时候，需要加入UA来告诉服务器你是浏览器而不是脚本，这个是最常用的反爬手段了
下载一段时间后的效果
相信大家应该也做出你自己的脚本了吧！有什么问题也可以在评论区或者私信发消息哦！
进群：125240963 即可获取数十套PDF哦！
如对本文有疑问，请在下面进行留言讨论，广大热心网友会与你互动！！ 点击进行留言回复
Python 实现将numpy中的nan和inf,nan替换成对应的均值
python爬虫把url链接编码成gbk2312格式过程解析
我要评论
网友评论