阿姨舌战乞讨者,混迹大唐,江苏卫视在线直播观看
博问上到有人问的,后自己帮他代码修正了一下,其实蛮简单的一个爬虫
from requests_html import htmlsession session = htmlsession() #定义一个session对象,和reuqests模块中的session是一样的 def get_movie(): movie_list=[] for i in range(0, 10): #前250名 print(f'{i+1}页') link = f'https://movie.douban.com/top250?start={i*25}' #这里呢稍微点几页你就知道规律了 print(link) response = session.get(link) #这里很多人都有误区总是喜欢加user-agen,个人感觉他反爬的时候用到这个再加,人家都没设这方面的反爬加了也没啥意义 div_list = response.html.find('.info') #你也可以获取info类下的电影信息 for each in div_list: movie = each.text #获取里面所有字符串 movie_list.append(movie) #加列表你可以存数据库,这随意 return movie_list if __name__ == '__main__': print(get_movie())
如对本文有疑问,请在下面进行留言讨论,广大热心网友会与你互动!! 点击进行留言回复
新手学习Python2和Python3中print不同的用法
Python基于os.environ从windows获取环境变量
网友评论