天生一对美国完整版,全惠珍,霹雳天命之斩魔录
对于动态数据的爬取，可以选择selenium和phantomjs两种方式，本文选择的是phantomjs。
网址：
https://s.taobao.com/search?q=%e7%ac%94%e8%ae%b0%e6%9c%ac%e7%94%b5%e8%84%91&imgfile=&commend=all&ssid=s5-e&search_type=item&sourceid=tb.index&spm=a21bo.2017.201856-taobao-item.1&ie=utf8&initiative_id=tbindexz_20170306
1.首先第一步，对中间件的设置。
进入pipelines.py文件中：
我要评论
from selenium import webdriver
from scrapy.http.response.html import htmlresponse
from scrapy.http.response import response
class seleniumspidermiddleware(object):
def __init__(self):
self.driver = webdriver.phantomjs()
def process_request(self ,request ,spider):
# 当引擎从调度器中取出request进行请求发送下载器之前
# 会先执行当前的爬虫中间件 ，在中间件里面使用selenium
# 请求这个request ，拿到动态网站的数据 然后将请求
# 返回给spider爬虫对象
if spider.name == 'taobao':
# 使用爬虫文件的url地址
spider.driver.get(request.url)
for x in range(1 ,12 ,2):
i = float(x) / 11
# scrolltop 从上往下的滑动距离
js = 'document.body.scrolltop=document.body.scrollheight * %f' % i
spider.driver.execute_script(js)
response = htmlresponse(url=request.url,
body=spider.driver.page_source,
encoding='utf-8',
request=request)
# 这个地方只能返回response对象，当返回了response对象，那么可以直接跳过下载中间件，将response的值传递给引擎，引擎又传递给 spider进行解析
return response
在设置中，要将middlewares设置打开。
进入settings.py文件中，将
downloader_middlewares = {
'taobaospider.middlewares.seleniumspidermiddleware': 543,
}
打开。
2.第二步，爬取数据
回到spider爬虫文件中。
引入：
from selenium import webdriver
自定义属性：
def __init__(self): self.driver = webdriver.phantomjs()
查找数据和分析数据：
def parse(self, response):
div_info = response.xpath('//div[@class="info-cont"]')
print(div_info)
for div in div_info:
title = div.xpath('.//div[@class="title-row "]/a/text()').extract_first('')
# title = self.driver.find_element_by_class_name("title-row").text
print('名称：', title)
price = div.xpath('.//div[@class="sale-row row"]/div/span[2]/strong/text()').extract_first('')
3.第三步，传送数据到item中：
在item.py文件中：
name = scrapy.field() price = scrapy.field()
回到spider.py爬虫文件中：
引入：
from ..items import taobaospideritem
传送数据：
#创建实例化对象。
item = taobaospideritem() item['name'] = title item['price'] = price yield item
在设置中，打开：
item_pipelines = {
'taobaospider.pipelines.taobaospiderpipeline': 300,
}
4.第四步，写入数据库：
进入管道文件中。
引入
import sqlite3
写入数据库的代码如下：
class taobaospiderpipeline(object):
def __init__(self):
self.connect = sqlite3.connect('taobaodb')
self.cursor = self.connect.cursor()
self.cursor.execute('create table if not exists taobaotable (name text,price text)')
def process_item(self, item, spider):
self.cursor.execute('insert into taobaotable (name,price)values ("{}","{}")'.format(item['name'],item['price']))
self.connect.commit()
return item
def close_spider(self):
self.cursor.close()
self.connect.close()
在设置中打开：
item_pipelines = {
'taobaospider.pipelines.taobaospiderpipeline': 300,
}
因为在上一步，我们已经将管道传送设置打开，所以这一步可以不用重复操作。
然后运行程序，打开数据库查看数据。
至此，程序结束。
下附spider爬虫文件所有代码：
# -*- coding: utf-8 -*-
import scrapy
from selenium import webdriver
from ..items import taobaospideritem
class taobaospider(scrapy.spider):
name = 'taobao'
allowed_domains = ['taobao.com']
start_urls = ['https://s.taobao.com/search?q=%e7%ac%94%e8%ae%b0%e6%9c%ac%e7%94%b5%e8%84%91&imgfile=&commend=all&ssid=s5-e&search_type=item&sourceid=tb.index&spm=a21bo.2017.201856-taobao-item.1&ie=utf8&initiative_id=tbindexz_20170306']
def __init__(self):
self.driver = webdriver.phantomjs()
def parse(self, response):
div_info = response.xpath('//div[@class="info-cont"]')
print(div_info)
for div in div_info:
title = div.xpath('.//div[@class="title-row "]/a/text()').extract_first('')
print('名称：', title)
price = div.xpath('.//div[@class="sale-row row"]/div/span[2]/strong/text()').extract_first('')
item = taobaospideritem()
item['name'] = title
item['price'] = price
yield item
def close(self,reason):
print('结束了',reason)
self.driver.quit()
关于scrapy的中文文档：
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对移动技术网的支持。如果你想了解更多相关内容请查看下面相关链接
如对本文有疑问，请在下面进行留言讨论，广大热心网友会与你互动！！ 点击进行留言回复
Python 实现将numpy中的nan和inf,nan替换成对应的均值
python爬虫把url链接编码成gbk2312格式过程解析
网友评论