如何利用 Go 语言进行爬虫开发?
package main
import (
"fmt"
"net/http"
"os"
"io/ioutil"
)
func main() {
// 检查命令行参数
if len(os.Args) != 2 {
fmt.Fprintf(os.Stderr, "Usage: %s <url>\n", os.Args[0])
os.Exit(1)
}
// 发起 GET 请求
resp, err := http.Get(os.Args[1])
if err != nil {
fmt.Fprintf(os.Stderr, "Error fetching: %v\n", err)
os.Exit(1)
}
defer resp.Body.Close()
// 读取响应内容
body, err := ioutil.ReadAll(resp.Body)
if err != nil {
fmt.Fprintf(os.Stderr, "Error reading body: %v\n", err)
os.Exit(1)
}
// 输出响应内容
fmt.Printf("%s", body)
}
这段代码是一个简单的网络爬虫示例,它使用Go语言的标准库net/http
来发起网络请求,并使用ioutil
读取响应的内容。代码接受一个命令行参数作为URL,然后发起请求,并输出获取到的内容。这个例子展示了如何使用Go语言进行基本的网络爬取操作。
评论已关闭