第1关：多线程、多进程爬虫

头歌第1关的任务是编写一个能够使用多线程或多进程方式进行网络爬虫的Python程序。以下是一个简单的Python示例，使用concurrent.futures模块中的ThreadPoolExecutor或ProcessPoolExecutor来实现多线程或多进程爬虫。

import requests
from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor
 
def fetch_url(url):
    response = requests.get(url)
    return url, response.status_code
 
def main():
    # 输入的网址列表
    urls = ["http://example.com/page1", "http://example.com/page2", ...]
    
    # 使用多线程或多进程
    # with ThreadPoolExecutor(max_workers=5) as executor:  # 多线程
    with ProcessPoolExecutor(max_workers=5) as executor:  # 多进程
        future_to_url = {executor.submit(fetch_url, url): url for url in urls}
        for future in concurrent.futures.as_completed(future_to_url):
            url, status_code = future.result()
            print(f"{url} - {status_code}")
 
if __name__ == "__main__":
    main()

在这个例子中，fetch_url函数负责获取单个URL的内容。main函数中，我们创建了一个网址列表，并使用ThreadPoolExecutor或ProcessPoolExecutor来并发地执行这些网址的抓取。我们可以通过注释来切换使用多线程或多进程。

请注意，在实际应用中，应该对网络请求添加适当的错误处理和重试机制，以及对并发数进行适当的管理，以免被目标服务器封禁。