探索 Java 网络爬虫：Jsoup、HtmlUnit 与 WebMagic 的比较分析

import org.jsoup.Jsoup;
import com.gargoylesoftware.htmlunit.WebClient;
import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;
 
public class CrawlerComparison implements PageProcessor {
 
    private Site site = Site.me().setRetryTimes(3).setSleepTime(1000);
 
    @Override
    public void process(Page page) {
        // 提取页面信息
    }
 
    @Override
    public Site getSite() {
        return site;
    }
 
    public static void main(String[] args) {
        // Jsoup 示例
        String url = "http://example.com";
        org.jsoup.nodes.Document jsoupDoc = Jsoup.connect(url).get();
 
        // HtmlUnit 示例
        WebClient webClient = new WebClient();
        com.gargoylesoftware.htmlunit.html.HtmlPage htmlUnitPage = webClient.getPage(url);
 
        // WebMagic 示例
        Spider.create(new CrawlerComparison()).addUrl(url).thread(5).run();
 
        // 分别打印文档的部分内容作为示例输出
        System.out.println("Jsoup 提取的标题: " + jsoupDoc.title());
        System.out.println("HtmlUnit 提取的标题: " + htmlUnitPage.getTitleText());
        // WebMagic 的输出通常在 process 方法中处理页面信息时打印
    }
}

这个示例代码展示了如何使用Jsoup、HtmlUnit和WebMagic这三个库来获取网页内容。每个库都有自己的特点，适合不同的使用场景。在实际爬虫项目中，你需要根据项目需求和库的功能特性来选择合适的库。