1.首先在命令行下执行mkvirtualenv 用以新建项目的环境
2.在环境下下载scrapy框架执行，在环境下执行pip install scrapy，其中在win10环境下安装会报错，会出现twisted安装出错的提示。因此要在安装scrapy前安装好相应版本的twisted包点击下载。安装好twisted包后，再安装scrapy就不会运行出错了!
3.因为在pycharm中没有新建scrapy项目的能力，所以要在你想建立项目的地方，在此环境下利用命令行建立新的项目，代码是scrapy startproject <项目名> 。
4.首先确定需要爬取得目标字段，在item.py文件中使用name = scrapy.field()
5.在项目的spider文件夹下面新建爬虫的py文件，使用代码scrapy genspider <项目名> <目标网址>，此时就可以开始写爬虫的逻辑了，正则匹配/xpth等逻辑就在此.py文件中书写
注：爬虫名不可以跟项目名字重复
6.如何运行爬虫呢?用到这个命令scrapy crawl <爬虫名>，运行时会报importerror: no module named 'win32api'，其实就是win32api这个包没有，安装即可，但是要这么安装pip install pywin32,完事后上面的scrapy crawl <爬虫名>就可以运行了。
7.可是运行完之后又会报403的错误，具体如下
2018-09-19 20:36:23 [scrapy.spidermiddlewares.httperror] info: ignoring response <403 https://movie.douban.com/top250>: http status code is not handled or not allowed
，这个是豆瓣的反爬虫机制的原因，这里要对setting.py文件中的user_agent进行修改。点开网址豆瓣top250，f12然后找到user_agent复制到setting中。
8.另外一种运行爬虫的方法就是在项目中建立.main文件
from scrapy.cmdline import execute
import sys
import os
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(["scrapy", "crawl", "douban_spider"])
如对本文有疑问，请在下面进行留言讨论，广大热心网友会与你互动！！ 点击进行留言回复
css3 flex布局 justify-content:space-between 最后一行左对齐
我要评论
网友评论