梦雪 近平,云霄方芳,快乐大本营快乐男声
#windows平台 1、pip3 install wheel 3、pip3 install lxml 4、pip3 install pyopenssl 5、pip3 install pywin32 #如果不行去官网https://sourceforge.net/projects/pywin32/files/pywin32/ 6、pip3 install twisted #如果不行去官网:http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 7、pip3 install scrapy #linux平台 1、pip3 install scrapy
#1 查看帮助 scrapy -h scrapy <command> -h #2 有两种命令:其中project-only必须切到项目文件夹下才能执行,而global的命令则不需要 global commands: startproject #创建项目 genspider #基本上都要cd项目目录,scrapy genspider 名称 url settings #如果是在项目目录下,则得到的是该项目的配置 runspider #运行一个独立的python文件,不必创建项目 shell #scrapy shell url地址 在交互式调试,如选择器规则正确与否 fetch #独立于程单纯地爬取一个页面,可以拿到请求头 view #下载完毕后直接弹出浏览器,以此可以分辨出哪些数据是ajax请求 version #scrapy version 查看scrapy的版本,scrapy version -v查看scrapy依赖库的版本 project-only commands: crawl #运行爬虫,必须创建项目才行,确保配置文件中robotstxt_obey = false check #检测项目中有无语法错误 list #列出项目中所包含的爬虫名 edit #编辑器,一般不用 parse #scrapy parse url地址 --callback 回调函数 #以此可以验证我们的回调函数是否正确 bench #scrapy bentch压力测试 #3 官网链接 https://docs.scrapy.org/en/latest/topics/commands.html
crawl
运行爬虫程序如果不打印日志
scrapy crawl 爬虫程序中的name --nolog
如对本文有疑问,请在下面进行留言讨论,广大热心网友会与你互动!! 点击进行留言回复
Python爬虫:Request Payload和Form Data的简单区别说明
浅谈Python中threading join和setDaemon用法及区别说明
Python3-异步进程回调函数(callback())介绍
python继承threading.Thread实现有返回值的子类实例
Python中使用threading.Event协调线程的运行详解
网友评论