关闭安欧维恩,柯兰h,李庆善 标本
前言
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。
以国内微电影活跃度最高的社区，「新片场」为例，爬取站内所有的高清电影信息保存到 mongodb数据库，并使用异步函数下载到本地。
首先，需要下载并配置好 mongodb 数据库，并安装「mongoengine」库。
由于下载文件是一个 io 密集型操作，这里用到了协程搭配异部请求，需要安装「aiohttp」 库。
首先我们打开新片场的影视作品首页，发现默认是按热门度排序的。
由于页面元素比较简单，使用「xpath」可以很快的定位到每一条影片的基本数据，包含「影片名称、类型、播放量、点赞量、封面图」等。
通过分析，可以发现影片的播放地址中的变量就是影片的 id，被放置在 li 标签的「data-articleid」属性下。
最后就是要获取到影片的下载地址。
当我们使用 chrome 插件「toggle javascript」禁用 js 后，发现影片没法正常播放，说明影片播放页面关键数据是动态加载的。
打开 network tab，刷新当前页面。
通过观察，发现页面的部分关键数据是通过下面的一个地址发送的 get 请求。
另外，请求地址中包含的一个动态字符串「5c4a8377173ce」，隐藏于源码中的js 模块中。
这里可以通过正则表达式匹配到「vid」后面的字符串，就可以组装成我们需要的地址，通过这个地址就可以获取影片的下载地址。
获取到数据之后，定义好一个 model，然后就可以插入到数据库中了。
待爬取到的影片数据之后，就可以使用「asyncio + aiohttp」异步函数下载影片数据到本地。
喝一杯咖啡回来，python 君已经将几千部微电影下载到本地了。
如对本文有疑问，请在下面进行留言讨论，广大热心网友会与你互动！！ 点击进行留言回复
新手学习Python2和Python3中print不同的用法
Python基于os.environ从windows获取环境变量
我要评论
网友评论