【Python】Scrapy整合FastAPI实现爬虫API 附大量示例

from fastapi import FastAPI, HTTPException
from pydantic import BaseModel
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
 
# 定义一个Pydantic模型来接收API请求参数
class ScrapeRequest(BaseModel):
    url: str
    callback: str = None
 
# 初始化FastAPI应用
app = FastAPI()
 
@app.post("/scrape/")
async def scrape(request: ScrapeRequest):
    # 使用Scrapy的CrawlerProcess运行爬虫
    process = CrawlerProcess(get_project_settings())
    process.crawl(spider_name='my_spider', start_urls=[request.url], callback=request.callback)
    process.start()  # 这将是异步的，因为Scrapy是异步的
 
    # 这里可以添加代码来获取爬取结果并返回给客户端，但是由于Scrapy是异步的，
    # 我们需要一个方式来异步获取爬取结果，这通常涉及到消息队列或者数据库存储爬取结果。
    # 这里我们暂时跳过这部分，只是运行爬虫。
 
    return {"message": "Scrape request received"}
 
# 注意：这个代码示例假设你已经有一个Scrapy项目，并且定义了一个名为'my_spider'的爬虫。
# 实际使用时，你需要根据你的项目具体情况来调整。

这个代码示例展示了如何使用FastAPI和Scrapy来创建一个简单的API，用户可以通过POST请求发送爬取任务。这个示例只是启动了爬虫，并没有包含获取爬取结果的步骤，这部分通常需要结合消息队列或数据库来异步处理爬取的数据。