推荐开源项目：Spidermon - 轻松监控你的Scrapy爬虫

Spidermon 是一个用于监控和管理 Scrapy 爬虫的开源库。它提供了一种简单的方法来定义爬虫的监控条件，并在条件不满足时通知你。

以下是一个使用 Spidermon 的基本示例：

from scrapy.spider import Spider
from scrapy.crawler import CrawlerProcess
from spidermon import Monitor
from spidermon.contrib.scrapy.monitors import SpiderMonitor
from spidermon.contrib.scrapy.exceptions import SpiderMonitorError
 
class MySpider(Spider):
    name = 'my_spider'
 
    def parse(self, response):
        # 爬取逻辑
        pass
 
# 创建监控器
monitor = Monitor(MySpider, monitors=[
    SpiderMonitor,
])
 
def start_monitor():
    try:
        # 运行监控器
        monitor.run()
    except SpiderMonitorError as e:
        # 处理监控错误
        print(f"Spider Monitor failed: {e}")
 
# 启动爬虫
process = CrawlerProcess({
    'USER_AGENT': 'My Spidermon Spider',
})
process.crawl(MySpider)
process.start()
 
# 确保监控在爬虫之后运行
process.stop()
start_monitor()

在这个示例中，我们定义了一个简单的爬虫 MySpider，然后创建了一个 Monitor 实例来监控这个爬虫。SpiderMonitor 是一个内置的监控器，它提供了一些基本的检查，如爬虫是否有错误，是否有超时，以及爬取的项目数量是否满足特定条件等。如果有任何问题，它会抛出一个 SpiderMonitorError 异常。

请注意，Spidermon 提供了丰富的功能和可扩展性，允许你定制监控条件和通知方式。上面的示例只是一个基本的入门示例，实际使用中你可能需要根据自己的需求来配置更多参数。