Android基于Jsoup的网络爬虫,腾讯、阿里Python高级面试真题汇总
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
public class QunarCrawler {
public static void main(String[] args) {
String url = "https://www.qunar.com/";
try {
Document doc = Jsoup.connect(url).get();
Elements elements = doc.select("div.product_li > div.product_img > a");
for (Element element : elements) {
String productUrl = element.attr("href");
String productName = element.attr("title");
System.out.println("产品名称: " + productName);
System.out.println("产品URL: " + productUrl);
// 可以继续解析产品详情页
}
} catch (Exception e) {
e.printStackTrace();
}
}
}
这段代码使用了Jsoup库来解析去哪儿网站的首页,并获取了所有产品的名称和URL。这是一个简单的网络爬虫示例,展示了如何使用Jsoup库进行基本的网页解析。在实际应用中,可以根据需要进一步解析产品详情页面以获取更多信息。
评论已关闭