2024多模块集成爬虫之webmagic

WebMagic是一个无依赖的爬虫框架，它提供简单的API，使得在Java语言下编写爬虫非常方便。以下是一个使用WebMagic框架的简单示例，展示如何实现一个简单的网页爬取。

首先，添加WebMagic的依赖到你的项目中。如果你使用Maven，可以添加如下依赖：

<dependency>
    <groupId>us.codecraft</groupId>
    <artifactId>webmagic-core</artifactId>
    <version>0.7.3</version>
</dependency>
<dependency>
    <groupId>us.codecraft</groupId>
    <artifactId>webmagic-extension</artifactId>
    <version>0.7.3</version>
</dependency>

然后，创建一个简单的爬虫类：

import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;
 
public class MyPageProcessor implements PageProcessor {
 
    private Site site = Site.me().setRetryTimes(3).setSleepTime(1000);
 
    @Override
    public void process(Page page) {
        // 提取页面信息，例如页面的标题和链接
        page.putField("title", page.getHtml().xpath("//h1[@class='title']/text()").toString());
        page.putField("url", page.getUrl().toString());
 
        // 抓取下一页的链接
        page.addTargetRequests(page.getHtml().xpath("//a[@class='next_page']/@href").all());
    }
 
    @Override
    public Site getSite() {
        return site;
    }
 
    public static void main(String[] args) {
        Spider.create(new MyPageProcessor()).addUrl("http://example.com/").thread(5).run();
    }
}

这个类实现了PageProcessor接口，包含了页面处理逻辑和爬虫配置。process方法中使用XPath解析页面，并存储标题和URL。main方法中使用Spider.create()来启动爬虫，并设置了线程数为5。

这个简单的例子展示了如何使用WebMagic来编写一个简单的网页爬取程序。实际应用中，你可能需要根据目标网站的结构调整XPath表达式，以及添加更复杂的处理逻辑。