当前位置: 移动技术网 > IT编程>脚本编程>Python > 爬虫初体验:Python+Requests+BeautifulSoup抓取广播剧

爬虫初体验:Python+Requests+BeautifulSoup抓取广播剧

2019年01月21日  | 移动技术网IT编程  | 我要评论

蓝牙gps模块,新闻评论范文,43699小游戏大全


 

可以看到一个div下放一个广播剧的信息,包括名称和地址,第一步我们先收集所有广播剧的收听地址:


# 用requests的get方法访问
novel_list_resp = requests.get("这里放url的地址")
# 利用上一步访问返回的结果生成一个beautifulsoup对象
opera_soup = beautifulsoup(novel_list_resp.text, "lxml")
# 获取所有class="program-item"的div
opera_soup.find_all("div", class_="program-item")


接着我们遍历这些div,获取每个广播剧的链接和名称:
# 找到div中的a标签,获取每个广播剧的链接
opera_link = domain + div.find("a").get('href')
# 获取每个广播剧的名称
title = div.find("div", class_="title").string

 

我们点击一个广播剧进去,在html中可以看到在ul中,每个li里都有一集的播放链接,并且是按顺序的。

 

代码中我们继续用之前的方法访问单个广播剧地址,来获取剧集的list:
# 访问单个广播剧页面
novel_view_resp = requests.get(opera_link)
# 利用上一步访问返回的结果生成一个beautifulsoup对象
view_soup = beautifulsoup(novel_view_resp.text, "lxml")
# 首先定位h2标签,然后获取h2的下一个ul标签(直接找ul的话会找到其他的ul),然后获取所有a标签
list_a = view_soup.find('h2').find_next_sibling('ul').find_all('a')
# 接着遍历a标签,把每集的地址取出来
view_link = domain + a.get('href')

 

我们继续看一个单集的播放的html,source标签里就是最终的资源地址了,一个mp4文件:

# 打开单集的播放页面
play_resp = requests.get(view_link)
play_soup = beautifulsoup(play_resp.text, "lxml")
# 获取资源下载地址
src = play_soup.find('source').attrs['src']


现在我还不想下载,我希望先试听确认喜欢后再下载,所以我把下载地址存到一个txt里,一个广播剧存一个txt:
name = file_path + name + '.txt'
with open(name, 'wb') as f:
f.write(content)


由于编码问题,在文件最上加上以下代码:
import sys
reload(sys)
sys.setdefaultencoding('utf-8')

运行效果:

 

下载的mp4的代码:

# 使用requests的get方法访问下载链接
r = requests.get(url)
# 将访问返回二进制数据内容保存为mp4文件
with open(name, 'wb') as f:
f.write(r.content)

最终的运行结果:

 

源码地址:https://github.com/songzhenhua/rti_opera/blob/master/rti_opera.py

beautifulsoup参考地址:
https://www.crummy.com/software/beautifulsoup/bs4/doc/index.zh.html#attributes
http://www.cnblogs.com/zhaof/p/6930955.html

如对本文有疑问,请在下面进行留言讨论,广大热心网友会与你互动!! 点击进行留言回复

相关文章:

验证码:
移动技术网