【Go开源宝藏】Golang 爬虫 整点新花样_golang 使用session爬虫

package main
 
import (
    "fmt"
    "github.com/PuerkitoBio/goquery"
    "log"
    "net/http"
    "net/http/cookiejar"
    "net/url"
    "strings"
)
 
func main() {
    // 初始化cookiejar
    cookieJar, err := cookiejar.New(nil)
    if err != nil {
        log.Fatal(err)
    }
    client := &http.Client{
        Jar: cookieJar,
    }
 
    // 目标网址
    targetURL := "http://example.com"
 
    // 模拟登录
    loginURL := "http://example.com/login"
    data := url.Values{
        "username": {"your_username"},
        "password": {"your_password"},
    }
    loginResp, err := client.PostForm(loginURL, data)
    if err != nil {
        log.Fatal(err)
    }
    defer loginResp.Body.Close()
 
    // 确保登录成功
    if loginResp.StatusCode != 200 {
        log.Fatalf("登录失败，状态码：%d", loginResp.StatusCode)
    }
 
    // 使用同一个client进行爬取
    resp, err := client.Get(targetURL)
    if err != nil {
        log.Fatal(err)
    }
    defer resp.Body.Close()
 
    if resp.StatusCode == 200 {
        // 加载HTML文档
        doc, err := goquery.NewDocumentFromReader(resp.Body)
        if err != nil {
            log.Fatal(err)
        }
 
        // 查询并输出内容
        doc.Find(".some-class").Each(func(i int, s *goquery.Selection) {
            content := s.Text()
            fmt.Printf("内容%d: %s\n", i, content)
        })
    }
}

这段代码展示了如何在Go语言中使用session来模拟登录并进行后续的爬取操作。首先初始化了一个cookiejar来存储会话信息，然后通过http.Client使用这个jar来发送登录请求。登录成功后，使用相同的client来请求目标网址，并对返回的HTML文档进行解析和查询。这个例子简洁地展示了如何在Golang中使用session来进行网络爬取，并且对于初学者来说，代码注释充足，易于理解。