深宅雪电视剧全集,史旭霞,avsaw.pw
实现效果
运行环境
先上代码，代码非常简短，包含空行也才50行，多亏了python强大的库
import os
import time
import requests
from selenium import webdriver
from lxml import etree
def getchapterurl(url):
headers = {
"user-agent": "mozilla/5.0 (macintosh; intel mac os x 10_13_4) applewebkit/537.36 (khtml, like gecko) chrome/66.0.3359.139 safari/537.36"
}
part_url = "http://ac.qq.com"
res = requests.get(url, headers=headers)
html=res.content.decode()
el = etree.html(html)
li_list = el.xpath('//*[@id="chapter"]/div[2]/ol[1]/li')
for li in li_list:
for p in li.xpath("./p"):
for span in p.xpath("./span[@class='works-chapter-item']"):
item = {}
list_title = span.xpath("./a/@title")[0].replace(' ', '').split('：')
if list_title[1].startswith(('第', '序')):
getchapterfile(part_url + span.xpath("./a/@href")[0], list_title[0],list_title[1])
def getchapterfile(url,path1,path2):
#path = os.path.join(path)
#漫画名称目录
path=os.path.join(path1)
if not os.path.exists(path):
os.mkdir(path)
#章节目录
path=path+'\\'+path2
if not os.path.exists(path):
os.mkdir(path)
chrome=webdriver.chrome()
#"http://ac.qq.com/comicview/index/id/505435/cid/2"
chrome.get(url)
time.sleep(4)
imgs = chrome.find_elements_by_xpath("//div[@id='mainview']/ul[@id='comiccontain']//img")
for i in range(0, len(imgs)):
js="document.getelementbyid('mainview').scrolltop="+str((i) * 1280)
chrome.execute_script(js)
time.sleep(3)
print(imgs[i].get_attribute("src"))
with open(path+'\\'+str(i)+'.png', 'wb') as f:
f.write(requests.get(imgs[i].get_attribute("src")).content)
chrome.close()
print('下载完成')
if __name__ == '__main__':
getchapterurl('http://ac.qq.com/comic/comicinfo/id/505435')
简单解释
输入一个漫画的url即可爬取该漫画所有的章节，由于是模拟用户爬取的，所以速度方面有点慢，我试了下爬取银魂前70章，用了1个半小时，代码中的sleep可以适当简短点已加快爬取的速度
付费的漫画是没有办法爬取的
如对本文有疑问，请在下面进行留言讨论，广大热心网友会与你互动！！ 点击进行留言回复
新手学习Python2和Python3中print不同的用法
Python基于os.environ从windows获取环境变量
我要评论
网友评论