当前位置： 移动技术网 > IT编程>脚本编程>Python > Python题目4：爬取电影

Python题目4：爬取电影

2018年01月26日  | 移动技术网IT编程  | 我要评论

李英娥,9gg引擎推广大师,6270软件

import re # 正则表达式，用于提取数据
import requests  # 下载网页源代码
'''
安装requests模块：pip install requests
参考文档：https://www.cnblogs.com/jamespan23/p/5526311.html
'''
for m in range(1,5):
    url = 'http://www.dytt8.net/html/gndy/dyzz/list_23_'+str(m)+'.html'
    html = requests.get(url) #  使用静态网页
    html.encoding = 'GB2312' # 指定编码格式，通过查看网页源代码得知
    data = re.findall('<a href="(.*?)" class="ulink">',html.text)
    # 提取信息，返回列表
    # (.*?)匹配以'<a href='开头，以'class="ulink"'结尾的任何信息

    for n in data:
        url2 = 'http://www.dytt8.net' + n
        html2 = requests.get(url2)
        html2.encoding = 'GB2312'
        ftp = re.findall('<a href="(.*?)">.*?</a></td>',html2.text)
        try:
            with open(r'F:\python\mov.txt','a',encoding='UTF-8') as f:
            # utf-8有可能兼容，不兼容的话使用gb2312
                f.write(ftp[0]+'\n') # ftp提取的都是列表，列表不能写入文件，所以要加[0]
        except:
            print('这一页不能下载')

　　

您可能感兴趣的文章:

如对本文有疑问，请在下面进行留言讨论，广大热心网友会与你互动！！ 点击进行留言回复

相关文章:

验证码：
最近更新的文章
大家感兴趣的文章
移动技术网