当前位置： 移动技术网 > IT编程>脚本编程>Python > python正则匹配抓取豆瓣电影链接和评论代码分享

python正则匹配抓取豆瓣电影链接和评论代码分享

2019年04月02日  | 移动技术网IT编程  | 我要评论

东风5b洲际弹道导弹,灵狼传奇,伯里曼

复制代码 代码如下:

import urllib.request
import re
import time

def movie(movietag):

    tagurl=urllib.request.urlopen(url)
    tagurl_read = tagurl.read().decode('utf-8')
    return tagurl_read

def subject(tagurl_read):

    '''
        这里还存在问题：
        ①这只针对单独的一页进行排序，而没有对全部页面的电影进行排序
        ②下次更新添加电影链接，考虑添加电影海报
        ③需要追加列表
        ④导入到本地txt或excel中
        ⑤在匹配电影名字时是否可以同时匹配链接与名字、评分、评论组成数组
        ⑥
    '''
#正则表达式匹配电影的名字（链接）、评分与评论   
    nameurl = re.findall(r'(http://movie.douban.com/subject/[0-9.]+)\/"\s+title="(.+)"',tagurl_read)
    scoreurl = re.findall(r'<span\s+class="rating_nums">([0-9.]+)<\/span>',tagurl_read)
    evaluateurl = re.findall(r'<span\s+class="pl">\((\w+)人评价\)<\/span>',tagurl_read)
    movielists = list(zip(nameurl,scoreurl,evaluateurl))
    newlist.extend(movielists)
    return newlist

#用quote处理特殊（中文）字符
movie_type = urllib.request.quote(input('请输入电影类型(如剧情、喜剧、悬疑)：'))
page_end=int(input('请输入搜索结束时的页码：'))
num_end=page_end*20
num=0
page_num=1
newlist=[]
while num<num_end:
    url=r'http://movie.douban.com/tag/%s?start=%d'%(movie_type,num)
    movie_url = movie(url)
    subject_url=subject(movie_url)
    num=page_num*20
    page_num+=1
else:
    #使用sorted函数对列表进行排列，reverse参数为true时升序，默认或false时为降序， key=lambda还不是很明白这里的原理
    movielist = sorted(newlist, key=lambda movielist : movielist[1],reverse = true)
    for movie in movielist:
        print(movie)

time.sleep(3)

print('结束')

您可能感兴趣的文章:

如对本文有疑问，请在下面进行留言讨论，广大热心网友会与你互动！！ 点击进行留言回复

相关文章:

验证码：
最近更新的文章
大家感兴趣的文章
移动技术网