[运维] 可视化爬虫易采集-EasySpider(笔记)

from pyecharts.charts import Bar, Line, Page
from pyecharts import options as opts
from pyecharts.globals import ThemeType
 
# 假设有以下数据
spider_name = "EasySpider"
crawl_efficiency = [88.5, 89.3, 92.7, 95.5, 93.6]
crawl_speed = [10000, 12000, 15000, 18000, 20000]
 
# 创建一个Bar图表来显示爬虫采集效率
bar = (
    Bar(init_opts=opts.InitOpts(theme=ThemeType.LIGHT))
    .add_xaxis(["第一周", "第二周", "第三周", "第四周", "第五周"])
    .add_yaxis(f"{spider_name}采集效率", crawl_efficiency)
    .set_global_opts(title_opts=opts.TitleOpts(title="采集效率对比"))
)
 
# 创建一个Line图表来显示爬虫采集速度
line = (
    Line(init_opts=opts.InitOpts(theme=ThemeType.LIGHT))
    .add_xaxis(["第一周", "第二周", "第三周", "第四周", "第五周"])
    .add_yaxis(f"{spider_name}采集速度(单位：item/秒)", crawl_speed)
    .set_global_opts(title_opts=opts.TitleOpts(title="采集速度对比"))
)
 
# 将两个图表放在同一页面显示
page = Page(theme=ThemeType.LIGHT)
page.add(bar, line)
page.render("crawl_visualization.html")

这段代码使用了pyecharts库来创建一个可视化的爬虫采集效率和采集速度的对比图。它首先定义了爬虫的名称和相关数据，然后使用Bar和Line图表来分别表示采集效率和采集速度，最后将这两个图表放在一个Page对象中，并输出为一个HTML文件。这个HTML文件可以在浏览器中打开查看结果。