以下是一个简单的Golang多线程爬虫的例子，使用了go关键字来创建goroutines以实现并发下载。
package main
import (
"fmt"
"io/ioutil"
"net/http"
"sync"
"time"
)
var wg sync.WaitGroup
func download(url string, ch chan<- string) {
defer wg.Done() // 在函数退出时通知main()一个goroutine结束了
resp, err := http.Get(url)
if err != nil {
ch <- "Error: " + err.Error()
return
}
defer resp.Body.Close() // 确保关闭resp的Body
body, err := ioutil.ReadAll(resp.Body)
if err != nil {
ch <- "Error: " + err.Error()
return
}
// 将下载的内容作为字符串发送到通道ch
ch <- string(body)
}
func main() {
start := time.Now()
ch := make(chan string, 3) // 创建一个通道，容量为3
urls := []string{
"https://www.golang.org/",
"https://golang.org/doc/",
"https://play.golang.org/",
}
for _, url := range urls {
wg.Add(1) // 为每个链接增加一个等待组的计数器
go download(url, ch) // 创建goroutine下载网页
}
// 等待所有的goroutines完成
go func() {
wg.Wait()
close(ch) // 确保通道关闭，通知main()所有结果都发送完毕
}()
// 接收并打印通道中的结果
for result := range ch {
fmt.Println(result)
}
// 报告下载和处理时间
fmt.Printf("Elapsed time: %s\n", time.Since(start))
}这段代码创建了一个简单的多线程网络爬虫，使用了sync.WaitGroup来等待所有的goroutines完成他们的工作，并通过通道ch安全地在main goroutine和下载goroutines之间传递数据。通过make(chan string, 3)创建了一个有缓冲的字符串通道，缓冲区大小为3，以允许同时传递最多三个结果，而不会阻塞下载goroutines。