南昌搜房网,创世兵魂bug大全,29号火车票
在python中,多个线程之间的数据是共享的,多个线程进行数据交换的时候,不能够保证数据的安全性和一致性,所以当多个线程需要进行数据交换的时候,队列就出现了,队列可以完美解决线程间的数据交换,保证线程间数据的安全性和一致性。
#多线程实战栗子(糗百) #用一个队列queue对象, #先产生所有url,put进队列; #开启多线程,把queue队列作为参数传入 #主函数中读取url import requests from queue import queue import re,os,threading,time # 构造所有ip地址并添加进queue队列 headers = { 'user-agent': 'mozilla/5.0 (windows nt 6.1; wow64) applewebkit/537.36 (khtml, like gecko) chrome/65.0.3325.181 safari/537.36' } urlqueue = queue() [urlqueue.put('http://www.qiumeimei.com/image/page/{}'.format(i)) for i in range(1,14)] def get_image(urlqueue): while true: try: # 不阻塞的读取队列数据 url = urlqueue.get_nowait() # i = urlqueue.qsize() except exception as e: break print('current thread name %s, url: %s ' % (threading.currentthread().name, url)) try: res = requests.get(url, headers=headers) url_infos = re.findall('data-lazy-src="(.*?)"', res.text, re.s) for url_info in url_infos: if os.path.exists(img_path + url_info[-20:]): print('图片已存在') else: image = requests.get(url_info, headers=headers) with open(img_path + url_info[-20:], 'wb') as fp: time.sleep(1) fp.write(image.content) print('正在下载:' + url_info) except exception as e: print(e) if __name__ == '__main__': starttime = time.time() # 定义图片存储路径 img_path = './img/' if not os.path.exists(img_path): os.mkdir(img_path) threads = [] # 可以调节线程数, 进而控制抓取速度 threadnum = 4 for i in range(0, threadnum): t = threading.thread(target=get_image, args=(urlqueue,)) threads.append(t) for t in threads: t.start() for t in threads: # 多线程多join的情况下,依次执行各线程的join方法, 这样可以确保主线程最后退出, 且各个线程间没有阻塞 t.join() endtime = time.time() print('done, time cost: %s ' % (endtime - starttime))
如对本文有疑问,请在下面进行留言讨论,广大热心网友会与你互动!! 点击进行留言回复
Python 实现将numpy中的nan和inf,nan替换成对应的均值
python爬虫把url链接编码成gbk2312格式过程解析
网友评论