Go 爬虫之 colly 从入门到不放弃指南

package main
 
import (
    "fmt"
    "log"
    "github.com/gocolly/colly"
)
 
func main() {
    // 初始化collector
    c := colly.NewCollector()
 
    // 在onRequestCallback回调中设置请求头
    c.OnRequest(func(r *colly.Request) {
        r.Headers.Set("User-Agent", "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)")
    })
 
    // 定义一个回调函数，处理每个响应
    c.OnResponse(func(r *colly.Response) {
        fmt.Printf("Response received: %s\n", r.Body)
    })
 
    // 设置一个请求URL
    url := "http://example.com"
 
    // 启动collector并发起请求
    c.Visit(url)
}

这段代码使用了colly库来创建一个简单的网络爬虫。首先，我们创建了一个新的Collector实例。然后，我们设置了一个请求头的回调函数，以此来定义爬虫的用户代理。接着，我们定义了一个响应处理的回调函数，这样我们就可以在收到响应时打印出响应的内容。最后，我们指定了想要爬取的URL并开始了爬取过程。这个例子展示了如何使用colly库的基本功能来创建一个简单的网络爬虫。