h小说免费,碧绿色房间,名门剩女
2.3，下载网页内容提取器程序
网页内容提取器程序是GooSeeker为开源Python即时网络爬虫项目发布的一个类，使用这个类，可以大大减少信息采集规则的调试时间，具体参看《Python即时网络爬虫项目: 内容提取器的定义》
3，网络爬虫的源代码
我要评论# _*_coding:utf8_*_
# anjuke.py
# 爬取安居客房产经纪人
from urllib import request
from lxml import etree
from gooseeker import GsExtractor
class Spider:
def getContent(self, url):
conn = request.urlopen(url)
output = etree.HTML(conn.read())
return output
def saveContent(self, filepath, content):
file_obj = open(filepath, 'w', encoding='UTF-8')
file_obj.write(content)
file_obj.close()
bbsExtra = GsExtractor()
# 下面这句调用gooseeker的api来设置xslt抓取规则
# 第一个参数是app key，请到GooSeeker会员中心申请
# 第二个参数是规则名，是通过GooSeeker的图形化工具: 谋数台MS 来生成的
bbsExtra.setXsltFromAPI("31d24931e043e2d5364d03b8ff9cc77e" , "安居客房产经纪人")
url = "http://shenzhen.anjuke.com/tycoon/nanshan/p"
totalpages = 50
anjukeSpider = Spider()
print("爬取开始")
for pagenumber in range(1 , totalpages):
currenturl = url + str(pagenumber)
print("正在爬取", currenturl)
content = anjukeSpider.getContent(currenturl)
outputxml = bbsExtra.extract(content)
outputfile = "result" + str(pagenumber) +".xml"
anjukeSpider.saveContent(outputfile , str(outputxml))
print("爬取结束")
5，总结因为信息采集规则是通过api下载下来的，所以，本案例的源代码显得十分简洁。同时，整个程序框架变得很通用，因为最影响通用性的采集规则是从外部注入的。
6，集搜客GooSeeker开源代码下载源
1. GooSeeker开源Python网络爬虫GitHub源
进群：125240963 即可获取十套PDF书籍资料！
如对本文有疑问，请在下面进行留言讨论，广大热心网友会与你互动！！ 点击进行留言回复
新手学习Python2和Python3中print不同的用法
Python基于os.environ从windows获取环境变量
网友评论