Spring Boot + WebMagic 实现网页爬虫，写得太好了！

以下是一个使用Spring Boot和WebMagic实现的简单网页爬虫示例。

首先，添加必要的依赖到pom.xml：

<dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
    <dependency>
        <groupId>us.codecraft</groupId>
        <artifactId>webmagic-core</artifactId>
        <version>0.7.3</version>
    </dependency>
    <dependency>
        <groupId>us.codecraft</groupId>
        <artifactId>webmagic-extension</artifactId>
        <version>0.7.3</version>
    </dependency>
</dependencies>

然后，创建一个爬虫服务类：

import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;
 
public class MyPageProcessor implements PageProcessor {
 
    private Site site = Site.me().setRetryTimes(3).setSleepTime(1000);
 
    @Override
    public Site getSite() {
        return site;
    }
 
    @Override
    public void process(Page page) {
        // 提取页面信息的代码
        page.putField("title", page.getHtml().xpath("//title/text()").get());
        // 提取链接，进行深层次爬取
        page.addTargetRequests(page.getHtml().links().regex("(http://example.com/\\S+)").all());
    }
 
    public static void main(String[] args) {
        Spider.create(new MyPageProcessor())
                .addUrl("http://example.com")
                .thread(5)
                .run();
    }
}

在这个例子中，我们定义了一个PageProcessor，它会从给定的URL开始，并对每个页面执行process方法。在这个方法中，我们使用XPath表达式提取页面的标题，并添加页面中的所有链接作为爬取目标。

最后，在main方法中，我们创建了一个爬虫并设置了几个关键参数，如线程数，然后启动爬虫。

这个简单的爬虫会从指定的URL开始，并按照你在process方法中定义的规则抓取网页。你可以根据实际需求修改XPath表达式、添加更多的字段、处理JS动态渲染的内容等。