基于Go1.19的站点模板爬虫详细介绍

package main
 
import (
    "fmt"
    "log"
    "net/http"
    "os"
    "time"
 
    "go.uber.org/zap"
    "go.uber.org/zap/zapcore"
    "golang.org/x/net/html"
    "golang.org/x/net/html/atom"
)
 
// 初始化日志配置
func initLogger() (*zap.Logger, error) {
    encoderConfig := zapcore.EncoderConfig{
        TimeKey:        "ts",
        LevelKey:       "level",
        NameKey:        "logger",
        CallerKey:      "caller",
        MessageKey:     "msg",
        StacktraceKey:  "stacktrace",
        LineEnding:     zapcore.DefaultLineEnding,
        EncodeLevel:    zapcore.LowercaseLevelEncoder,
        EncodeTime:     zapcore.EpochMillisTimeEncoder,
        EncodeDuration: zapcore.SecondsDurationEncoder,
    }
    core := zapcore.NewCore(zapcore.NewJSONEncoder(encoderConfig), os.Stdout, zapcore.InfoLevel)
    return zap.New(core), nil
}
 
// 解析HTML并提取元素
func extractElements(doc *html.Node, targetAtom atom.Atom) []*html.Node {
    var elements []*html.Node
    for c := doc.FirstChild; c != nil; c = c.NextSibling {
        if c.Type == html.ElementNode && c.DataAtom == targetAtom {
            elements = append(elements, c)
        }
    }
    return elements
}
 
// 爬取指定URL的站点模板信息
func crawlSiteTemplate(logger *zap.Logger, url string) {
    start := time.Now()
    logger.Info("开始爬取", zap.String("url", url))
 
    resp, err := http.Get(url)
    if err != nil {
        logger.Error("爬取失败", zap.Error(err))
        return
    }
    defer resp.Body.Close()
 
    doc, err := html.Parse(resp.Body)
    if err != nil {
        logger.Error("HTML解析失败", zap.Error(err))
        return
    }
 
    titleElems := extractElements(doc, atom.Title)
    if len(titleElems) == 0 {
        logger.Warn("未找到标题元素")
        return
    }
 
    // 假设每个页面只有一个标题元素
    title := titleElems[0]
    logger.Info("爬取成功", zap.String("title", title.FirstChild.Data), zap.Duration("cost", time.Since(start)))
}
 
func main() {
    logger, err := initLogger()
    if err != nil {
        log.Fatalf("初始化日志失败: %v", err)
    }
 
    crawlSiteTemplate(logger, "https://example.com")
}

这段代码展示了如何使用Go语言的net/http包进行HTTP请求，以及使用golang.org/x/net/html包来解析HTML文档并提取特定元素。同时，使用了Uber的zap库来实现结构化的日志记录。这个例子简单地爬取了一个指定URL页面的标题，并且展示了如何测量爬取操作的耗时。