python 队列生产者消费者爬虫

import queue
import threading
import requests
from bs4 import BeautifulSoup
 
# 创建一个全局队列
url_queue = queue.Queue()
 
def producer(url_queue):
    """网页生产者，将新网页URL放入队列中"""
    while True:
        url = 'https://example.com/page{}'.format(url_queue.qsize() + 1)
        url_queue.put(url)
 
def consumer(url_queue):
    """网页消费者，从队列中取出URL并抓取网页内容"""
    while True:
        url = url_queue.get()
        response = requests.get(url)
        if response.status_code == 200:
            parse_html(response.text)
        url_queue.task_done()
 
def parse_html(html_content):
    """解析网页内容，提取有效信息"""
    soup = BeautifulSoup(html_content, 'html.parser')
    # 这里添加解析逻辑
    print('Parsed content:', soup.title)
 
# 启动生产者线程
producer_thread = threading.Thread(target=producer, args=(url_queue,))
producer_thread.daemon = True
producer_thread.start()
 
# 启动10个消费者线程
for _ in range(10):
    consumer_thread = threading.Thread(target=consumer, args=(url_queue,))
    consumer_thread.daemon = True
    consumer_thread.start()
 
# 等待所有任务完成
url_queue.join()

这个示例代码使用了Python的queue模块来创建一个线程安全的队列，threading模块来创建并管理线程，requests模块来发送HTTP请求，以及BeautifulSoup来解析HTML内容。这个例子中，生产者线程不断向队列中添加新的网页URL，而多个消费者线程则从队列中取出URL并抓取网页内容。这个模型是一个简单的生产者-消费者模型，适用于多线程环境中处理资源限制的任务。