使用C#写的爬虫

为了创建一个简单的C#编写的网络爬虫，你可以使用HttpClient类来发送HTTP请求，以及HtmlAgilityPack库来解析HTML文档。以下是一个简单的示例代码，展示了如何实现一个基本的网络爬虫。

首先，你需要安装HtmlAgilityPack。可以通过NuGet包管理器来安装：

Install-Package HtmlAgilityPack

然后，你可以使用以下代码来创建一个简单的网络爬虫：

using System;
using System.Net.Http;
using System.Threading.Tasks;
using HtmlAgilityPack;
 
class Program
{
    static async Task Main(string[] args)
    {
        var url = "http://example.com"; // 替换为你想爬取的网站
        using (var httpClient = new HttpClient())
        {
            var html = await httpClient.GetStringAsync(url);
            var doc = new HtmlDocument();
            doc.LoadHtml(html);
 
            // 使用XPath选择器选择你想要的节点
            var nodes = doc.DocumentNode.SelectNodes("//a[@href]");
            foreach (var node in nodes)
            {
                var href = node.Attributes["href"].Value;
                Console.WriteLine(href);
            }
        }
    }
}

这个简单的爬虫发送一个HTTP GET请求到指定的URL，获取HTML内容，然后使用HtmlAgilityPack加载和解析HTML。在这个例子中，它会提取所有<a>标签的href属性值。

请注意，为了合法和高效地爬取网站，你应该遵守robots.txt协议，并确保你的爬虫不会给目标服务器带来过大压力。此外，你可能还需要处理HTTPS和其他复杂的情况，但这个例子展示了基本的爬虫构建方法。