当前位置: 移动技术网 > IT编程>脚本编程>Python > python学习笔记(十 三)、网络编程

python学习笔记(十 三)、网络编程

2019年04月03日  | 移动技术网IT编程  | 我要评论

关于空姐的电视剧,肚子左边痛怎么回事,王占军李天金实战视频

最近心情有点儿浮躁,难以静下心来

 

  python提供了强大的网络编程支持,很多库实现了常见的网络协议以及基于这些协议的抽象层,让你能够专注于程序的逻辑,而无需关心通过线路来传输比特的问题。

1 几个网络模块

  1.1 模块socket

  网络编程中的一个基本组件是套接字(socket)。套接字基本上是一个信息通道,两端各有一个程序。这些程序可能位于(通过网络相连接的)不同的计算机上,通过套接字向对方发送消息。在python中,大多数网络编程都隐藏了模块socket的基本工作原理,不与套接字直接交互。

  套接字分为两类:服务端套接字和客户端套接字。创建服务端套接字后,让它等待连接请求的到来。这样,它将在某个网络地址(由ip地址和端口号组成)处监听,知道客户端套接字建立连接,还必须处理多个连接;而客户端套接字只需连接,完成任务后再断开连接即可。

  套接字是模块socket中socket类的实例。实例化套接字时最多可指定三个参数:一个地址族(默认为socket.af_inet);是流套接字(socket.sock_stream,默认设置)还是数据报套接字(socket.sock_dgram);协议(使用默认值0就好)。

  服务器套接字先调用方法bind,在调研方法listen来监听特定的地址。然后,客户端套接字通过调用方法connect并提供bind时指定的地址来连接服务端。这里的地址是一个格式为(host, port)的元祖,其中host是主机名,port是端口号。方法listen接收一个参数——代办任务清单的长度(即最多可有多少个连接在队列中等待接纳,到达这个数量后将开始拒绝连接)。

  服务端套接字开始监听后,就可接收客户端连接,使用方法accept来等待连接。这个方法将阻断(等待)到客户端连接到来为止(有点类似与yield关键字),然后返回一个格式为(client, address)的元组,其中client为客户端套接字,而address为地址。服务端能以其认为合适的方式处理客户端连接,然后再次调用accept以等待新连接到来。

  为传输数据,套接字提供了两个方法:send-发送和recv-接收(表示receive),这两个方法都是接收或发送字节流数据。

  简单的服务器:

import socket

#创建套接字
s = socket.socket()

#获取主机名
host = socket.gethostname()
#端口号
port = 8080
address = (host, port)
#创建连接
s.bind(address)

#监听:最大连接数为5
s.listen(5)
while true:
    #等待连接
    client, addr = s.accept()
    #接收消息
    str = bytes.decode(client.reve(1024))
    #发送消息
    client.send(str.encode('我是服务端!','utf-8'))

  简单的客服端:

import socket
s = socket.socket()

#连接服务端地址
host = socket.gethostname()
port = 8080
address = (host, port)
#连接
s.connect(address)
#接收消息
str = bytes.decode(s.reve(1024))
#发送消息
s.sent(str.encode('我是客户端!','utf-8'))

  1.2 模块urllib和urllib2

  模块urllib和urllib2,由名字可知,它们让你能够通过网络访问文件,就像这些文件位于你的计算机中一样。只需一个简单的函数调用,就几乎可将统一资源定位符(url)可指向的任何动作作为程序的输入。这两个模块一般用于下载网页、从中提取信息自动生成研究报告等。对于简单的操作,urllib绰绰有余,如果要实现http身份验证或cookie,或编写扩展来处理自己的协议,urllib2可能是更好的选择。

  1.2.1 打开远程文件

  使用模块urllib.request中的函数urlopen来打开远程文件,只能进行读取操作。如:

  from urllib.request import urlopen

  page = urlopen('www.baidu.com')

  如果连接到网络,变量page将包含一个类似于文件的对象,这个对象与你所连接的地址相关联。urlopen返回类似于文件的对象支持方法clost、read、readline和readlines,还支持迭代等。

  1.2.2 获取远程文件

  函数urlopen返回一个类似于文件的对象,可从中读取数据。如果要让urllib替你下载文件,并将其副本存储在本地,可使用urllib.request中的函数urlretrieve。这个函数返回一个格式为(filename, headers)的元祖,其中filename是本地文件的名称(由urllib自动创建),而headers包含一些有关远程文件的信息。如果要给下载的副本指定文件名,可通过函数urlretrieve的第二个参数来指定。

  函数格式为: urlretrieve(url, filename=none, reporthook=none, data=none),函数urlretrieve将url中的内容存储在filename中,如果filename没有指定,下载的副本将放在某个临时位置,可使用函数open来打开。但使用完毕后,你可能想将其删除,以免暂用磁盘空间,可调用函数urlcleanup来替你完成清除工作。

  1.2.3 其他模块

  python标准库提供了一些与网络相关的模块,如下(只列举了一些常用的):

  cgi            基本的cgi文件

  asyncore        异步套接字处理程序

  asynchat        包含补充asyncore的功能

  cookie           cookie对象操作,主要用于服务器

  cookielib        客户端cookie支持

  email           电子邮件支持

  ftplib          ftp客户端模块

  httplib           http客户端模块

  mailbox          读取多种邮箱格式

  urlparse          用于解读url

2 socketserver及相关的类

  模块socketserver是标准库提供的服务器框架的基石,这个框架包括basehttpserver、simplehttpserver、cgihttpserver、simplexmlrpcserver和docxmlrpcserver等服务器,它们在基本服务器的基础上添加了各种功能。

  socketserver包含4个基本的服务器:tcpserver(支持tcp套接字流)、udpserver(支持udp套接字流)、unixstreamserver和unixdatagramserver。后面3个不常用。

  使用模块socketserver编写服务器时,大部分代码都位于请求处理中。每当服务器收到客户端的连接请求时,都将实例化一个请求处理程序,并对其调用各种处理方法来处理请求。基本请求处理程序类baserequesthandler将所有操作都放在一个方法中——服务器自动调用的方法handle。这个方法可通过书信self.request来访问客户端套接字。如果处理的是流(tcpserver时很可能如此),可使用streamrequesthandler类,它包含另外两个属性:self.rfile(用于读取)和self.wfile(用于写入)。你可以使用这两个类似与文件的对象来与客户端通信。

  模块socketserver还包含很多其他的类,它们为http服务器提供基本的支持,以及xml-rpc支持。

  

from socketserver import tcpserver,streamrequesthandler

class handle(streamrequesthandler):
    def handle(self):
        addr = self.request.getpeername()
        print("addr:", addr)
        self.wfile.write("谢谢")

server = tcpserver(('',1234), handle)
server.serve_forever()

3 多个连接

  处理多个连接的主要方式有三种:分叉(forking)、线程化和异步i/o。通过结合使用socketserver中的混合类和服务器类,很容易实现分叉和线程化。但是,分叉占用资源较多,且在客户端很多时可伸缩性不高;而线程化可能带来同步问题。并且windows不支持分叉,分叉是unix术语。

  3.1 使用socketserver实现分叉和线程化

  使用框架socketserver创建分叉或线程化服务器非常简单,一般仅当方法handle需要很长时间才能执行完毕是,分叉和线程化才能提供有效帮助。创建如下:

  1.分叉服务器

from socketserver import tcpserver,streamrequesthandler,forkingmixin

class server(forkingmixin, tcpserver):pass

class handle(streamrequesthandler):
    def handle(self):
        addr = self.request.getpeername()
        print("addr:", addr)
        self.wfile.write("谢谢")

server = server(('',1234), handle)
server.serve_forever()

  2.线程化服务器

from socketserver import tcpserver,streamrequesthandler,threadingmixin

class server(threadingmixin, tcpserver):pass

class handle(streamrequesthandler):
    def handle(self):
        addr = self.request.getpeername()
        print("addr:", addr)
        self.wfile.write("谢谢")

server = server(('',1234), handle)
server.serve_forever()

  3.2 使用select和poll实现异步i/o

  当服务器与客户端通信时,来自客户端的数据可能时断时续。如果使用了分叉和线程化,这就不是问题:因为一个进程(线程)等待数据时,其他进程(线程)可继续处理其客户端。然而,另一种做法是只处理正在通信的客户端。你甚至无需不断监听,只需监听后将客户端加入队列即可。

  这就是框架asyncore/asynchat 和 twisted采取的方法。这种功能的基石是函数select或poll(只支持unix系统)。这两个函数都位于模块select中,其中poll的可伸缩性更高。

  函数select接收三个必不可少的参数和一个可选参数,其中前三个参数为序列,而第四个参数为超时时间(单位为秒)。这些序列包含文件描述符整数(也可以是包含返回文件描述符整数的方法fileno),表示我们正在等待的连接。这三个序列分别表示需要输入和输出以及发生异常(错误等)的连接。如果没有指定超时时间,select将阻断(即等待)到有文件描述符准备就绪;如果指定了超时时间,select将最多阻断指定的秒数;如果超时时间为0,select将不断轮询(即不阻断)。select返回三个序列(即一个长度为3的元祖),其中每个序列都包含相应参数中处于活动状态的文件描述符。

  如下所示,一个使用select的简单服务器:import socket, select

s = socket.socket()
host = socket.gethostname()
port = 8080
s.bind((host,port))
s.listen(5)
inputs = [s]
while true:
   # 方法select返回三个参数,通过序列解包赋值 rs, ws, es = select.select(inputs, [], []) for r in rs: if r is s: c, addr = s.accept() print("addr:", addr) inputs.append(c) else: try: data = r.reve(1024) discon = not data except socket.error: discon = true if discon:
          # 1.getpeername():用于获取与某个套接字关联的外地协议地址
         # 2.getsockname():用于获取与某个套接字关联的本地协议地址 print(r.getpeername(), 'discon') inputs.remove(r) else: print(data)

  方法poll 使用起来比select容易。调用poll 时,将返回一个轮询对象。你可以使用方法register 向这个对象注册文件描述符(或包含方法fileno的对象)。注册后可使用方法unregister 将它们删除。注册对象(如套接字)后,可调用其方法poll(它接受一个可选的超时时间参数)。这将返回一个包含(fd, event)元祖的列表(可能为空),其中fd为文件描述符,event是发生的事件。event是一个位掩码,这意味着它是一个整数,其各个位对应于不同的事件。各种事件是用select 模块中的常量表示的,如下表。要检查指定的位是否为1 (即是否发生了相应的事件),可使用按位与运算符( & ):

  if event & select.pollin: pase

  事件名              描述

  pollin               文件描述符中有需要读取的数据

  pollpri               文件描述符中有需要读取的 紧急数据

  pollout                   文件描述符为写入数据做好了准备

  pollerr              文件描述符出现了错误状态

  pollhup              挂起。连接已断开

  pollnval             无效请求。连接未打开

  

  下面是一个使用poll的简单服务器:

import socket, select
s = socket.socket()

host = socket.gethostname()
port = 8080
s.bind((host, port))

fdmp = {s.fileno(): s}

s.listen(5)
p = select.poll()
p.register(s)
while true:
    events = p.poll()
    for fd, event in events:
        if fd in fdmp:
            c, addr = s.accept()
            print("addr:", addr)
            p.register(c)
            fdmp[c.fileno()] = c
        elif event & select.pollin:
            data = fdmp[fd].recv(1024)
            if not data:
                print(fdmp[fd].getpeername(),"discon")
                p.unregister(fd)
                del fdmp[fd]
            else:
                print(data)

4 twisted

  这是twisted matrix laboratories 开发的一个框架,功能丰富而复杂,支持大多数主要的网络协议。框架twisted是异步的,因此效率和可伸缩性都非常高。对很多自定义网络应用程序来说,使用twisted来开发可能是最佳选择。

如对本文有疑问,请在下面进行留言讨论,广大热心网友会与你互动!! 点击进行留言回复

相关文章:

验证码:
移动技术网