Java 中的多线程 Geo Web 爬虫

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
 
public class GeoWebCrawlerThread extends Thread {
    private String url;
    private String keyword;
 
    public GeoWebCrawlerThread(String url, String keyword) {
        this.url = url;
        this.keyword = keyword;
    }
 
    @Override
    public void run() {
        try {
            Document doc = Jsoup.connect(url).get();
            String title = doc.title();
            if (title.contains(keyword)) {
                System.out.println("Found keyword in title: " + title);
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
 
    public static void main(String[] args) {
        String[] urls = {"http://example.com/page1", "http://example.com/page2"};
        String keyword = "keyword";
 
        for (String url : urls) {
            GeoWebCrawlerThread thread = new GeoWebCrawlerThread(url, keyword);
            thread.start();
        }
    }
}

这个简化的代码示例展示了如何使用Jsoup库来简单实现一个多线程的网页爬虫，用于搜索页面标题中的特定关键词。这个例子只是为了展示如何开始一个线程来进行网络爬取，并不包括完整的爬虫功能，如深度优先或广度优先搜索，链接跟踪，或者异常处理。