Fastapi中怎么一次性运行多个Scrapy爬虫

在FastAPI中运行多个Scrapy爬虫通常涉及到并发或并行地启动它们。这可以通过Python的concurrent.futures模块中的ThreadPoolExecutor或ProcessPoolExecutor来实现。以下是使用ProcessPoolExecutor来运行多个Scrapy爬虫的示例代码：

from concurrent.futures import ProcessPoolExecutor
from fastapi import FastAPI
import scrapy
import time
 
app = FastAPI()
 
class MySpider1(scrapy.Spider):
    name = 'spider1'
    start_urls = ['http://example.com/1']
 
    def parse(self, response):
        # 爬取逻辑
        pass
 
class MySpider2(scrapy.Spider):
    name = 'spider2'
    start_urls = ['http://example.com/2']
 
    def parse(self, response):
        # 爬取逻辑
        pass
 
@app.post("/run_spiders/")
async def run_spiders():
    spiders = [MySpider1(), MySpider2()]
    with ProcessPoolExecutor() as executor:
        results = list(executor.map(run_scrapy, spiders))
    return {"message": "Spiders finished crawling"}
 
def run_scrapy(spider):
    scrapy.crawler.CrawlerRunner({
        'ROBOTSTXT_OBEY': True,
        'CONCURRENT_ITEMS': 100,
    }).crawl(spider)
    time.sleep(1)  # 确保Scrapy有足够的时间启动，根据实际情况调整
 
if __name__ == "__main__":
    import uvicorn
    uvicorn.run(app, host="0.0.0.0", port=8000)

在这个示例中，我们定义了两个Scrapy爬虫MySpider1和MySpider2。在FastAPI的路由/run_spiders/中，我们使用ProcessPoolExecutor来并行启动这些爬虫。run_scrapy函数接受一个爬虫实例作为参数，并使用Scrapy的CrawlerRunner来启动爬虫。由于Scrapy是同步的，我们通过time.sleep来等待爬虫启动，这不是最优的解决方案，但对于简单示例来说足够了。

请注意，这个示例假设您已经设置好了Scrapy以便在非交互式环境中运行。此外，根据您的具体需求，您可能需要调整Scrapy的设置或者使用其他的并发工具，如asyncio配合异步Scrapy爬虫。