C#爬虫爬取某东商品信息
要在C#中爬取某东的商品信息,你可以使用HttpClient发送请求,以及HtmlAgilityPack解析页面。以下是一个简单的例子:
首先,安装HtmlAgilityPack包:
Install-Package HtmlAgilityPack
然后,使用以下代码爬取商品信息:
using System;
using System.Net.Http;
using System.Threading.Tasks;
using HtmlAgilityPack;
class Program
{
static async Task Main(string[] args)
{
var productId = "6481596"; // 例如商品ID
var url = $"https://item.jd.com/{productId}.html";
using (var httpClient = new HttpClient())
{
var html = await httpClient.GetStringAsync(url);
var doc = new HtmlDocument();
doc.LoadHtml(html);
var productName = doc.DocumentNode.SelectSingleNode("//div[@class='sku-name']/h1").InnerText;
var productPrice = doc.DocumentNode.SelectSingleNode("//div[@class='p-price']/strong").InnerText;
Console.WriteLine($"商品名称: {productName}");
Console.WriteLine($"商品价格: {productPrice}");
}
}
}
请注意,实际爬取时可能需要处理更多的细节,例如处理Cookies、Session、处理反爬机制(如JavaScript渲染的内容)、并发请求等。此外,应遵守网站的爬取政策,对被爬取网站的服务器公平,避免造成过大压力。
评论已关闭