Druid源码分析，Java程序中使用 Jsoup 爬虫( 简单示例 )，附架构师必备技术详解

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
 
public class JsoupExample {
    public static void main(String[] args) {
        String url = "https://www.example.com"; // 替换为你想爬取的网站
        try {
            Document document = Jsoup.connect(url).get();
            Elements elements = document.select("div.product-info"); // 选择器，根据实际网页结构修改
            for (Element element : elements) {
                Elements titleElements = element.select("h3.product-name");
                Elements priceElements = element.select("p.price");
                if (!titleElements.isEmpty() && !priceElements.isEmpty()) {
                    String title = titleElements.get(0).text();
                    String price = priceElements.get(0).text();
                    System.out.println("Title: " + title);
                    System.out.println("Price: " + price);
                }
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

这段代码使用了Jsoup库来解析网页，并从中提取了产品的标题和价格信息。在实际应用中，你需要替换选择器以匹配目标网页的结构，并处理可能出现的异常。这个例子展示了Jsoup的基本用法，对于具有Java爬虫经验的开发者来说，这是一个很好的入门示例。