本文实例讲述了go语言通过http抓取网页的方法。分享给大家供大家参考。具体实现方法如下:
package main
import (
"fmt"
"log"
"net/http"
"net/url"
"io/ioutil"
)
//指定代理ip
func gettransportfieldurl(proxy_addr *string) (transport *http.transport) {
url_i := url.url{}
url_proxy, _ := url_i.parse(*proxy_addr)
transport = &http.transport{proxy : http.proxyurl(url_proxy)}
return
}
//从环境变量$http_proxy或$http_proxy中获取http代理地址
func gettransportfromenvironment() (transport *http.transport) {
transport = &http.transport{proxy : http.proxyfromenvironment}
return
}
func fetch(url , proxy_addr *string) (html string) {
transport := gettransportfieldurl(proxy_addr)
client := &http.client{transport : transport}
req, err := http.newrequest("get", *url, nil)
if err != nil {
log.fatal(err.error())
}
resp, err := client.do(req)
if err != nil {
log.fatal(err.error())
}
if resp.statuscode == 200 {
robots, err := ioutil.readall(resp.body);
resp.body.close()
if err != nil {
log.fatal(err.error())
}
html = string(robots);
} else {
html = ""
}
return
}
func main() {
proxy_addr := "http://183.221.250.137:80/"
url := "http://www.baidu.com/s?wd=ip"
html := fetch(&url, &proxy_addr)
fmt.println(html)
}
希望本文所述对大家的go语言程序设计有所帮助。
如对本文有疑问,
点击进行留言回复!!
相关文章:
-
-
-
Go打包二进制文件的实现
背景众所周知,go语言可打包成目标平台二进制文件是其一大优势,如此go项目在服务器不需要配置go环境和依赖就可跑起来。操作需求:打包部署到centos7笔者打包...
[阅读全文]
-
-
-
-
golang语言编码规范的实现
本规范旨在为日常go项目开发提供一个代码的规范指导,方便团队形成一个统一的代码风格,提高代码的可读性,规范性和统一性。本规范将从命名规范,注释规范,代码风格和 ...
[阅读全文]
-
-
-
-
网友评论