'# Prometheus结合Grafana监控MySQL,这篇不可不读！
一、背景与问题
在分布式系统中，MySQL的稳定运行至关重要。传统监控方案存在两大痛点：
- 数据孤岛：每个数据库实例需要独立配置监控工具，运维成本高
- 实时性不足：传统监控工具难以实现毫秒级指标采集
Prometheus+Grafana方案通过以下特性解决上述问题：
- 统一监控：集中管理所有数据库实例的监控指标
- 实时性：支持毫秒级数据采集和可视化
- 可扩展性：支持自定义指标和告警规则
二、基本原理
1. Prometheus监控体系架构
Prometheus监控体系由三个核心组件构成：
- Exporter：将MySQL指标转换为Prometheus可识别的格式
- Prometheus Server：负责指标采集、存储和处理
- Grafana：实现指标的可视化展示
2. MySQL指标采集流程
MySQL实例
│
└──→ MySQL Exporter (HTTP接口)
│
└──→ Prometheus Server (Pull模式)
│
└──→ Grafana (可视化展示)3. 关键技术点
- 指标暴露：通过HTTP接口暴露指标
- 指标格式：使用Prometheus的Metric Format标准
- 数据可视化：通过Grafana的面板配置实现多维度展示
三、环境准备
1. 系统要求
- Linux系统（推荐Ubuntu 20.04）
- Python 3.8+
- MySQL 5.7+
- Docker（可选）
2. 安装依赖
# 安装依赖库
sudo apt-get update
sudo apt-get install -y python3-pip
sudo apt-get install -y libmysqlclient-dev
# 安装MySQL Exporter
wget https://github.com/prometheus/mysqld_exporter/releases/download/0.13.1/mysqld_exporter-0.13.1.linux-amd64.tar.gz
tar xvf mysqld_exporter-0.13.1.linux-amd64.tar.gz
cd mysqld_exporter-0.13.1.linux-amd64四、核心实现
1. MySQL Exporter配置
# 创建配置文件
cat <<EOF > my.cnf
[mysqld_exporter]
data-source-name = "user:password@tcp(127.0.0.1:3306)/"
enable-legacy-metrics = true
EOF关键代码解释：
data-source-name：MySQL连接参数，需替换为实际数据库信息enable-legacy-metrics：启用兼容性指标（建议保留）
2. Prometheus配置文件
# prometheus.yml
scrape_configs:
- job_name: 'mysql'
static_configs:
- targets: ['localhost:9104']
metrics_path: '/metrics'
scheme: 'http'关键代码解释：
scrape_configs：定义监控任务targets：指定Exporter地址metrics_path：指定指标接口路径
3. Grafana配置
{
"httpMethod": "GET",
"url": "http://localhost:9090/api/v1/query?query=up{job=\"mysql\"}"
}关键代码解释：
httpMethod：请求方法url：Prometheus查询接口query：PromQL查询语句
五、完整案例
1. 案例目标
监控MySQL的以下关键指标：
- 连接数（Threads_connected）
- 缓存命中率（Qcache_hits）
- 磁盘IO（Innodb_data_read）
2. 实现步骤
1. 配置MySQL Exporter
# 启动Exporter
./mysqld_exporter --config.my-cnf my.cnf --log.level debug2. 配置Prometheus
# 启动Prometheus
./prometheus --config.file=prometheus.yml3. 配置Grafana
{
"panels": [
{
"type": "timeseries",
"grid": false,
"field": "value",
"name": "Threads_connected",
"type": "value",
"datasource": "Prometheus",
"query": "mysql_threads_connected{job=\"mysql\"}"
},
{
"type": "timeseries",
"grid": false,
"field": "value",
"name": "Qcache_hits",
"type": "value",
"datasource": "Prometheus",
"query": "mysql_qcache_hits{job=\"mysql\"}"
}
]
}3. 指标分析示例
# 查询缓存命中率
(mysql_qcache_hits / (mysql_qcache_hits + mysql_qcache_inserts)) * 100关键代码解释：
- 分子：缓存命中次数
- 分母：缓存命中+插入次数
- 乘以100得到百分比
六、源码解析
1. MySQL Exporter源码结构
# mysqld_exporter/mysqld_exporter.py
def main():
# 初始化数据库连接
conn = mysql.connect(host='localhost', user='user', password='password')
# 获取监控指标
metrics = get_metrics(conn)
# 暴露指标
for metric in metrics:
print(f"{metric.name} {metric.value} {metric.unit}")关键代码解释：
- 使用mysql库连接数据库
- 调用get_metrics获取指标
- 通过标准输出暴露指标
2. Prometheus采集流程
// prometheus/scrape.go
func (scrapeConfig *ScrapeConfig) Scrape() {
// 建立HTTP连接
resp, err := http.Get("http://localhost:9104/metrics")
if err != nil {
log.Fatal(err)
}
// 解析指标
metrics := parseMetrics(resp.Body)
// 存储指标
store.Store(metrics)
}关键代码解释：
- 使用HTTP拉取指标
- 解析指标数据
- 存储到时间序列数据库
七、进阶使用
1. 自定义指标
# 自定义监控指标
def custom_metric(conn):
cursor = conn.cursor()
cursor.execute("SHOW ENGINE INNODB STATUS")
result = cursor.fetchone()
# 提取关键数据
innodb_status = result[0]
# 计算缓冲池命中率
buffer_hit_rate = calculate_buffer_hit_rate(innodb_status)
return {
"innodb_buffer_hit_rate": buffer_hit_rate
}2. 告警规则配置
# rules.yaml
groups:
- name: mysql
rules:
- alert: HighInnoDBBufferUsage
expr: (mysql_innodb_buffer_pool_pages_data / mysql_innodb_buffer_pool_pages_total) > 0.9
for: 5m
labels:
severity: warning
annotations:
summary: "InnoDB buffer pool usage is high"3. 数据持久化
# 配置远程写入
./prometheus --remote-write.url=http://prometheus-server:9091/api/v1/write八、性能与工程实践
1. 性能优化
| 优化措施 | 说明 |
|---|---|
| 采集间隔 | 调整scrape_interval参数，避免过度采集 |
| 数据压缩 | 使用Gzip压缩指标传输 |
| 内存限制 | 设置合理的memory_limit参数 |
| 分片存储 | 使用Prometheus远程写入实现分片存储 |
2. 异常处理
# 异常处理示例
try:
conn = mysql.connect(host='localhost', user='user', password='password')
except mysql.Error as e:
print(f"数据库连接失败: {e}")
exit(1)3. 安全措施
- 使用TLS加密通信
- 配置访问控制
- 隔离监控网络
# 配置TLS
./mysqld_exporter --tls-cert=/path/to/cert.pem --tls-key=/path/to/key.pem九、常见问题与踩坑
1. 常见错误
| 错误现象 | 原因 | 解决方案 |
|---|---|---|
| 指标未显示 | Prometheus未正确抓取 | 检查scrape_configs配置 |
| 数据延迟 | 采集间隔过长 | 调整scrape_interval参数 |
| 权限错误 | 导致无法连接 | 配置正确的MySQL用户权限 |
| 指标不全 | Exporter未启用相应功能 | 检查enable-legacy-metrics参数 |
2. 典型问题
问题： MySQL Exporter无法连接数据库
错误日志：
mysql: error while loading shared libraries: libmysqlclient.so.18: cannot open shared object file: No such file or directory解决方法：
# 安装依赖库
sudo apt-get install -y libmysqlclient-dev十、最佳实践
1. 推荐配置
- 采集间隔：10s（生产环境建议30s）
- 保留周期：7天（可配置为14天）
- 告警阈值：根据业务需求动态调整
- 安全措施：启用TLS和访问控制
2. 目录结构建议
monitoring/
├── prometheus/
│ ├── prometheus.yml
│ └── rules/
│ └── mysql_rules.yaml
├── grafana/
│ ├── dashboards/
│ └── config.js
└── exporters/
└── mysql/
├── my.cnf
└── mysqld_exporter3. 告警策略建议
- CPU使用率 > 80% 触发告警
- 磁盘IO延迟 > 100ms 触发告警
- 连接数 > 1000 触发告警
十一、总结
Prometheus+Grafana监控方案在MySQL监控中具有以下优势：
- 实时性：支持毫秒级指标采集
- 灵活性：支持自定义指标和告警规则
- 可扩展性：支持大规模集群监控
适用场景：
- 云原生环境
- 微服务架构
- 需要细粒度监控的业务系统
不适用场景：
- 资源极度受限的环境
- 需要高可用性的核心业务系统
- 无法配置网络访问的封闭系统
实际应用中，建议结合监控指标的业务意义，动态调整采集策略和告警阈值。同时要注意监控系统本身的资源消耗，避免监控系统成为新的性能瓶颈。