当前位置： 移动技术网 > IT编程>脚本编程>Python > python 并行化介绍,ThreadPool对象map函数的使用

python 并行化介绍,ThreadPool对象map函数的使用

2020年07月03日  | 移动技术网IT编程  | 我要评论

前面的例子为大家介绍爬虫技术，我们发现都是单线程例子，获取的时间相对较慢。那么有没有一种更快速的处理办法呢？这里为大家介绍ThreadPool中map方法

  1. 导入核心import包
from multiprocessing.dummy import Pool as ThreadPool
  1. 封装请求方法
def getSource(url):
    return requests.request(method='GET', url=url, headers=headers, timeout=10, proxies={'http': '123.55.106.175:9999'})
  1. 将需要爬的url方到数组中
urls = []
for div in _divs:
    # 文章地址
    href = div.xpath('h4/a/@href')
    urls.append(href[0])
  1. 初始化线程数
pool = ThreadPool(4)
pool.map(getSource, urls)
pool.close()
pool.join()

本文地址：https://blog.csdn.net/jun118166/article/details/107083016

您可能感兴趣的文章:

如对本文有疑问， 点击进行留言回复！！

相关文章:

验证码：
最近更新的文章
大家感兴趣的文章
移动技术网