Python多线程爬虫——数据分析项目实现详解

import requests
from bs4 import BeautifulSoup
import threading
import queue
 
# 定义一个多线程爬虫函数
def multi_threaded_crawler(url, thread_count):
    # 初始化队列，存储待爬取的URL
    crawl_queue = queue.Queue()
    crawl_queue.put(url)
 
    # 创建线程
    threads = [threading.Thread(target=crawl_page, args=(crawl_queue,)) for _ in range(thread_count)]
    
    # 启动所有线程
    for thread in threads:
        thread.start()
    
    # 等待所有线程完成
    for thread in threads:
        thread.join()
 
# 定义爬取单个页面的函数
def crawl_page(crawl_queue):
    while not crawl_queue.empty():
        url = crawl_queue.get()
        response = requests.get(url)
        if response.status_code == 200:
            soup = BeautifulSoup(response.text, 'html.parser')
            # 此处添加解析页面内容的代码
            # 例如提取链接或者分析文本等
            # ...
            # 将新的链接放入队列中
            # new_urls = ...
            # for new_url in new_urls:
            #     crawl_queue.put(new_url)
        else:
            print(f'Failed to crawl {url}, status code: {response.status_code}')
 
# 使用方法
if __name__ == '__main__':
    base_url = 'http://example.com'
    num_threads = 10
    multi_threaded_crawler(base_url, num_threads)

这个简化的代码实例展示了如何使用Python的queue.Queue和threading库来实现一个多线程网络爬虫。这个爬虫从一个起始URL开始，并将其他网页的URL放入队列中，以便其他线程进行爬取。每个线程都会从队列中获取URL，然后使用requests库获取网页内容，并使用BeautifulSoup解析。这个例子省略了具体的页面解析细节，你需要根据实际需求添加相应的代码来分析页面内容。