C++编写的多线程自动爬虫程序

以下是一个简化的C++多线程网络爬虫的示例代码，使用了std::thread来创建线程，并假设Crawl类提供了必要的功能来处理URL和抓取数据。

#include <iostream>
#include <thread>
#include <vector>
#include <queue>
#include <mutex>
 
class Crawl {
public:
    void CrawlWebPage(const std::string& url) {
        // 实现网页内容抓取的逻辑
        std::cout << "Crawling: " << url << std::endl;
        // 模拟抓取数据
    }
};
 
std::queue<std::string> urls;
std::mutex mtx;
 
void workerThread(Crawl& crawler) {
    while (true) {
        std::string url;
        {
            std::lock_guard<std::mutex> lock(mtx);
            if (urls.empty())
                break; // 没有更多的URL，退出线程
            url = urls.front();
            urls.pop();
        }
        crawler.CrawlWebPage(url);
    }
}
 
int main() {
    Crawl crawler;
    std::vector<std::thread> threads;
 
    // 假设这里添加了一些起始URL到urls队列中
    urls.push("http://www.example.com/page1");
    urls.push("http://www.example.com/page2");
    // ...
 
    // 创建线程
    for (int i = 0; i < 5; ++i) {
        threads.emplace_back(workerThread, std::ref(crawler));
    }
 
    // 等待所有线程完成
    for (auto& t : threads) {
        t.join();
    }
 
    return 0;
}

这个示例程序展示了如何使用std::thread来创建多线程爬虫，每个线程从共享的urls队列中取出URL进行爬取。注意，这个例子没有处理网络请求的细节，只是展示了多线程的基本使用方法和队列同步的实现。