当前位置: 移动技术网 > IT编程>脚本编程>Python > Python爬虫技术:爬虫时如何知道是否代理ip伪装成功?

Python爬虫技术:爬虫时如何知道是否代理ip伪装成功?

2019年11月29日  | 移动技术网IT编程  | 我要评论

游园不值,三思教育网,365租房网

 

前言
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。

python爬虫时如何知道是否代理ip伪装成功:

有时候我们的爬虫程序添加了代理,但是我们不知道程序是否获取到了ip,尤其是动态转发模式的,这时候就需要进行检测了,以下是一种代理是否伪装成功的检测方式,这里推介使用亿牛云提供的代码示例。
ps:如有需要python爬虫+数据分析学习资料的粉丝可以点击下方链接自行获取

python¶
requests
 #! -*- encoding:utf-8 -*-
 import requests
 import random
 
 # 要访问的目标页面
 targeturl = "http://httpbin.org/ip"
 # 要访问的目标https页面
 # targeturl = "https://httpbin.org/ip"
 # 代理服务器
 proxyhost = "t.16yun.cn"
 proxyport = "31111"
 # 代理隧道验证信息
 proxyuser = "16zkbrlb"
 proxypass = "234076"
 proxymeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
 "host" : proxyhost,
 "port" : proxyport,
 "user" : proxyuser,
 "pass" : proxypass,
 }
 # 设置 http和https访问都是用http代理
 proxies = {
 "http" : proxymeta,
 "https" : proxymeta,
 }
 # 设置ip切换头
 tunnel = random.randint(1,10000)
 headers = {"proxy-tunnel": str(tunnel)}
 resp = requests.get(targeturl, proxies=proxies, headers=headers)
 print resp.status_code
 print resp.text

要检测代理是否获取到,直接在配置代理后访http://httpbin.org/ip网站,获取到ip后再访问www.ip138.com就知道是否获取到了ip。

如对本文有疑问,请在下面进行留言讨论,广大热心网友会与你互动!! 点击进行留言回复

相关文章:

验证码:
移动技术网