当前位置: 移动技术网 > IT编程>脚本编程>Python > 多线程这么牛逼的东西,你不会?那你玩个屁的爬虫!一定带你入门

多线程这么牛逼的东西,你不会?那你玩个屁的爬虫!一定带你入门

2018年07月17日  | 移动技术网IT编程  | 我要评论

天门电影院,疯狂粉丝王粤语,酒泉租房信息

今天以58同城的二手市场为例(也就是转转)给大家介绍一下大规模的结构数据怎么爬取。

分析

先看下转转的网页结构与我想爬取的数据:

多线程这么牛逼的东西,你不会?那你玩个屁的爬虫!一定带你入门

 

类目

多线程这么牛逼的东西,你不会?那你玩个屁的爬虫!一定带你入门

 

物品页

多线程这么牛逼的东西,你不会?那你玩个屁的爬虫!一定带你入门

 

多线程这么牛逼的东西,你不会?那你玩个屁的爬虫!一定带你入门

 

多线程这么牛逼的东西,你不会?那你玩个屁的爬虫!一定带你入门

 

爬取类目链接比较简单,在这里就不多讲,然后把爬取的类目链接赋值给channel_list变量(具体原因见下面说明)

page_spider.py

多线程这么牛逼的东西,你不会?那你玩个屁的爬虫!一定带你入门

 

多线程这么牛逼的东西,你不会?那你玩个屁的爬虫!一定带你入门

 

main.py

多线程这么牛逼的东西,你不会?那你玩个屁的爬虫!一定带你入门

 

这就是多进程了!!!用法简单,不多说

结果

为了方便看爬取情况,又建立了一个counts.py

多线程这么牛逼的东西,你不会?那你玩个屁的爬虫!一定带你入门

 

多线程这么牛逼的东西,你不会?那你玩个屁的爬虫!一定带你入门

 

结果

get到了吗!进群:125240963  即可获取数十套PDF哦!

多线程这么牛逼的东西,你不会?那你玩个屁的爬虫!一定带你入门

如对本文有疑问,请在下面进行留言讨论,广大热心网友会与你互动!! 点击进行留言回复

相关文章:

验证码:
移动技术网