从零开始使用Springboot，selenium进行爬虫

要使用Spring Boot和Selenium进行网页爬虫，你需要以下步骤：

1. 创建一个Spring Boot项目。
2. 添加Selenium依赖。
3. 配置ChromeDriver。
4. 编写爬虫代码。
5. 创建定时任务或者REST接口来触发爬虫。

以下是一个简单的示例：

1. 创建Spring Boot项目：

$ spring init --groupId com.example --artifactId crawler --name crawler --package com.example.crawler --dependencies web, selenium

2. 添加Selenium和ChromeDriver依赖到pom.xml：

<dependencies>
    ...
    <dependency>
        <groupId>org.seleniumhq.selenium</groupId>
        <artifactId>selenium-java</artifactId>
        <version>4.0.0</version>
    </dependency>
    ...
</dependencies>
 
<repositories>
    <repository>
        <id>central</id>
        <url>https://repo1.maven.org/maven2</url>
        <releases>
            <enabled>true</enabled>
        </releases>
        <snapshots>
            <enabled>true</enabled>
        </snapshots>
    </repository>
</repositories>

3. 下载对应版本的ChromeDriver并放到项目的src/main/resources/目录下或者配置到系统PATH。
4. 编写爬虫代码，例如CrawlerService.java：

@Service
public class CrawlerService {
 
    private WebDriver driver;
 
    public CrawlerService() {
        ChromeOptions options = new ChromeOptions();
        options.setHeadless(true); // 无头模式，不打开浏览器窗口
        driver = new ChromeDriver(options);
    }
 
    public void crawl(String url) {
        driver.get(url);
        // 这里添加你的爬取逻辑，例如解析页面、保存数据等
    }
}

5. 创建定时任务，例如CrawlerScheduler.java：

@Component
public class CrawlerScheduler {
 
    private final CrawlerService crawlerService;
 
    @Autowired
    public CrawlerScheduler(CrawlerService crawlerService) {
        this.crawlerService = crawlerService;
    }
 
    @Scheduled(fixedRate = 60000) // 每分钟执行一次
    public void crawl() {
        crawlerService.crawl("http://example.com");
    }
}

6. 在CrawlerApplication.java中启用定时任务和Selenium：

@SpringBootApplication
public class CrawlerApplication {
 
    public static void main(String[] args) {
        SpringApplication.run(CrawlerApplication.cl