当前位置: 移动技术网 > IT编程>脚本编程>Python > requests库爬虫如何设置代理ip

requests库爬虫如何设置代理ip

2020年07月03日  | 移动技术网IT编程  | 我要评论
1. 代理ip的购买或者免费获取西刺免费代理IP:http://www.xicidaili.com/快代理:http://www.kuaidaili.com/(本人在用,用于测试时只需使用其免费代理即可)代理云:http://www.dailiyun.com/ 2. 测试网址http://httpbin.org/ip : 该网址专门用来显示ip等信息,在做代理测试时可以爬取该网址来测试自己是否 设置成功。3. 代码实现import requests# 该网址方便...

1. 代理ip的购买或者免费获取

  • 西刺免费代理IP:
  • 快代理:(本人在用,用于测试时只需使用其免费代理即可)
  • 代理云:/        

2. 测试网址

http://httpbin.org/ip : 该网址专门用来显示ip等信息,在做代理测试时可以爬取该网址来测试自己是否 设置成功。

3. 代码实现

import requests
# 该网址方便查看ip信息以此来查看自己ip是否使用了代理方式
url = "http://httpbin.org/ip"

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36',
}
# 快代理免费代理
proxy = {
    "http": "218.21.96.128:58080"
}

resp = requests.get(url, headers=headers, proxies=proxy)
print(resp.text)



有没有感觉requests设置代理ip要比urllib库便捷很多,这也就是现在requests库比较流行的原因。

本文地址:https://blog.csdn.net/qq_39504519/article/details/107081267

如您对本文有疑问或者有任何想说的,请点击进行留言回复,万千网友为您解惑!

相关文章:

验证码:
移动技术网