C#实战分享--爬虫的基础原理及实现

using System;
using System.Net;
using System.IO;
 
namespace SimpleCrawler
{
    class Program
    {
        static void Main(string[] args)
        {
            // 初始网页URL
            string initialUrl = "http://example.com";
 
            // 创建Web请求
            HttpWebRequest request = (HttpWebRequest)WebRequest.Create(initialUrl);
 
            // 获取响应
            using (HttpWebResponse response = (HttpWebResponse)request.GetResponse())
            using (Stream responseStream = response.GetResponseStream())
            using (StreamReader reader = new StreamReader(responseStream))
            {
                // 读取响应内容
                string content = reader.ReadToEnd();
 
                // 打印网页内容
                Console.WriteLine(content);
            }
 
            Console.ReadKey();
        }
    }
}

这段代码展示了如何使用C#创建一个简单的网络爬虫。它创建了一个HttpWebRequest对象，用于向指定的URL发送请求，并接收返回的响应。然后，它读取响应内容并将其输出到控制台。这个例子是爬虫技术的基本实现，对于学习如何进行网页数据抓取是非常有帮助的。