当前位置： 移动技术网 > IT编程>脚本编程>Go语言 > Go语言实现的web爬虫实例

Go语言实现的web爬虫实例

2017年12月08日  | 移动技术网IT编程  | 我要评论

本文实例讲述了go语言实现的web爬虫方法。分享给大家供大家参考。具体分析如下：

这里使用 go 的并发特性来并行执行 web 爬虫。
修改 crawl 函数来并行的抓取 urls，并且保证不重复。

复制代码 代码如下:
package main
import (
    "fmt"
)
type fetcher interface {
        // fetch 返回 url 的 body 内容，并且将在这个页面上找到的 url 放到一个 slice 中。
    fetch(url string) (body string, urls []string, err error)
}
// crawl 使用 fetcher 从某个 url 开始递归的爬取页面，直到达到最大深度。
func crawl(url string, depth int, fetcher fetcher) {
        // todo: 并行的抓取 url。
        // todo: 不重复抓取页面。
        // 下面并没有实现上面两种情况：
    if depth <= 0 {
        return
    }
    body, urls, err := fetcher.fetch(url)
    if err != nil {
        fmt.println(err)
        return
    }
    fmt.printf("found: %s %q\n", url, body)
    for _, u := range urls {
        crawl(u, depth-1, fetcher)
    }
    return
}
func main() {
    crawl("http://golang.org/", 4, fetcher)
}
// fakefetcher 是返回若干结果的 fetcher。
type fakefetcher map[string]*fakeresult
type fakeresult struct {
    body string
    urls     []string
}
func (f *fakefetcher) fetch(url string) (string, []string, error) {
    if res, ok := (*f)[url]; ok {
        return res.body, res.urls, nil
    }
    return "", nil, fmt.errorf("not found: %s", url)
}
// fetcher 是填充后的 fakefetcher。
var fetcher = &fakefetcher{
    "http://golang.org/": &fakeresult{
        "the go programming language",
        []string{
            "http://golang.org/pkg/",
            "http://golang.org/cmd/",
        },
    },
    "http://golang.org/pkg/": &fakeresult{
        "packages",
        []string{
            "http://golang.org/",
            "http://golang.org/cmd/",
            "http://golang.org/pkg/fmt/",
            "http://golang.org/pkg/os/",
        },
    },
    "http://golang.org/pkg/fmt/": &fakeresult{
        "package fmt",
        []string{
            "http://golang.org/",
            "http://golang.org/pkg/",
        },
    },
    "http://golang.org/pkg/os/": &fakeresult{
        "package os",
        []string{
            "http://golang.org/",
            "http://golang.org/pkg/",
        },
    },
}

希望本文所述对大家的go语言程序设计有所帮助。

您可能感兴趣的文章:

如对本文有疑问， 点击进行留言回复！！

相关文章:

验证码：
最近更新的文章
大家感兴趣的文章
移动技术网