勇者斗恶龙2,赤足者bbs,诗普达
本文实例讲述了python中urllib模块用法。分享给大家供大家参考。具体分析如下:
一、问题:
近期公司项目的需求是根据客户提供的api,我们定时去获取数据, 之前的方案是用php收集任务存入到redis队列,然后在linux下做一个常驻进程跑某一个php文件, 该php文件就一个无限循环,判断redis队列,有就执行,没有就break.
二、解决方法:
最近刚好学了一下python, python的urllib模块或许比php的curl更快,而且简单. 贴一下代码
class hi_login:
def __init__(self):
cookie = cookielib.cookiejar()
self.cookie = urllib2.httpcookieprocessor(cookie) ##### 生成cookie ###
def login(self,user,pwd):
url='http://passport.baidu.com/?login'
postdata=urllib.urlencode({
'mem_pass':'on',
'password':pwd
'submit':'',
'tpl':'sp',
'tp_reg':'sp',
'u' :'http://hi.baidu.com',
'username':user})
### proxy_support = urllib2.proxyhandler({"http":"http://ahad-haam:3128"}) 然后加入opener方法里####
opener = urllib2.build_opener(self.cookie) ### 使用cookie ###
headers = { ####### dict结构,可以加入x-forward-for甚至refer等 #######
'user-agent':'mozilla/5.0 (windows; u; windows nt 6.1; en-us; rv:1.9.1.6) gecko/20091201 firefox/3.5.6'}
urllib2.install_opener(opener)
request = urllib2.request(url,urllib.urlencode(postdata),headers = headers)
urllib2.urlopen(request)
if __name__=='__main__':
pwd='123456'
user='xiaofu'
test=hi_login()
test.login(user,pwd)
希望本文所述对大家的python程序设计有所帮助。
如对本文有疑问,请在下面进行留言讨论,广大热心网友会与你互动!! 点击进行留言回复
新手学习Python2和Python3中print不同的用法
Python基于os.environ从windows获取环境变量
网友评论