汉寿党建网,活期存款 利率,336倾世情缘
io多路复用,有些地方称之为event driven io(事件驱动io)。
它的好处在于单个进程可以处理多个网络io请求。select/epoll这两个是函数,它会不断轮询所有的socket,直到某个socket就绪有数据可达,就会通知用户进程,当用户进程调用了select函数,select是一个阻塞方法,会把进程阻塞住,同时会监听所有select负责的socket,当任何一个socket中的数据准备好了,select就会返回。这个时候用户进程再调用readrecv操作,将数据从内核拷贝到用户进程。
class fetcher: def connected(self, key): selector.unregister(key.fd) self.con.send('get {} http/1.1\r\nhost:{}\r\nconnection:close\r\n\r\n'.format(self.path,self.host).encode('utf-8')) selector.register(self.con.fileno(), event_read, self.read) def read(self, key): d = self.con.recv(1024) if d: print(d) self.data += d else: selector.unregister(key.fd) self.data = self.data.decode('utf-8') html_data = self.data.split('\r\n\r\n')[1] print(html_data) self.con.close() def get_url(self, url): ... self.con = socket.socket(socket.af_inet, socket.sock_stream) self.con.setblocking(false) #设置非阻塞 try: self.con.connect((self.host, 80)) except blockingioerror as e: pass selector.register(self.con.fileno(), event_write, self.connected)
过程:发送一个socket请求设置为非阻塞,在select函数中注册事件,self.con.fileno表示当前连接在进程中的描述符,event_write表示socket准备是否就绪,self.connected为回调函数,准备完成后就调用。selector.unregister(key.fd)取消注册,发送http请求,再调用selector.register(self.con.fileno(), event_read, self.read)注册,若当前请求内容可读,则调用read回调函数读取出响应内容。
注明:在windows下会调用select函数,而在linux/unix下则会调用epoll函数
完整代码如下:
import socket from urllib.parse import urlparse from selectors import defaultselector, event_read, event_write selector = defaultselector() class fetcher: def connected(self, key): selector.unregister(key.fd) self.con.send('get {} http/1.1\r\nhost:{}\r\nconnection:close\r\n\r\n'.format(self.path,self.host).encode('utf-8')) selector.register(self.con.fileno(), event_read, self.read) def read(self, key): d = self.con.recv(1024) if d: print(d) self.data += d else: selector.unregister(key.fd) self.data = self.data.decode('utf-8') html_data = self.data.split('\r\n\r\n')[1] print(html_data) self.con.close() def get_url(self, url): url = urlparse(url) self.host = url.netloc self.path = url.path self.data = b'' if self.path == "": self.path = '/' self.con = socket.socket(socket.af_inet, socket.sock_stream) self.con.setblocking(false) try: self.con.connect((self.host, 80)) except blockingioerror as e: pass #注册 selector.register(self.con.fileno(), event_write, self.connected) def loop(): while true: ready = selector.select() for key, mask in ready: callback = key.data callback(key) if __name__ == '__main__': fetcher = fetcher() fetcher.get_url('http://www.baidu.com') loop()
如对本文有疑问,请在下面进行留言讨论,广大热心网友会与你互动!! 点击进行留言回复
Python爬虫:Request Payload和Form Data的简单区别说明
浅谈Python中threading join和setDaemon用法及区别说明
Python3-异步进程回调函数(callback())介绍
python继承threading.Thread实现有返回值的子类实例
Python中使用threading.Event协调线程的运行详解
网友评论