【Linux】监控NVIDIA GPU显卡占用状态的命令

作者： 分类：所有,linux 字数：8383

'# 【Linux】监控NVIDIA GPU显卡占用状态的命令

一、背景与问题

在深度学习、高性能计算和图形渲染等场景中，GPU资源的高效利用是提升系统性能的关键。NVIDIA GPU作为主流显卡硬件，其资源监控需求尤为突出。传统监控工具如top、htop等无法直接获取GPU状态信息，而NVIDIA官方提供的nvidia-smi工具虽然功能强大，但其底层原理和使用场景仍需深入理解。

在实际开发中，常见问题包括：

  1. 如何在容器化环境中获取GPU信息
  2. 如何实现GPU使用率的实时监控
  3. 如何将GPU监控数据集成到运维系统中
  4. 如何在不同Linux发行版中适配监控方案

这些问题的核心在于理解NVIDIA显卡驱动的底层架构，以及如何通过系统接口获取硬件状态信息。

二、基本原理

NVIDIA GPU监控体系基于NVML（NVIDIA Management Library）接口，其工作原理分为三个层级：

  1. 硬件层：NVIDIA显卡通过PCIe接口与主机通信，通过特定的IO寄存器获取硬件状态
  2. 驱动层：NVIDIA驱动程序（nvidia-driver）提供NVML API接口，封装硬件访问逻辑
  3. 用户空间：通过nvidia-smi工具或第三方库（如pynvml）调用NVML接口获取数据

NVML接口包含以下核心功能：

  • 获取GPU数量和基本信息
  • 获取GPU的使用率（显存、计算单元）
  • 获取温度、功耗、显存使用情况
  • 获取进程级别的GPU资源占用

三、环境准备

在使用任何监控方案前，需确保以下条件：

  1. 已安装NVIDIA驱动：

    # 安装NVIDIA驱动（以Ubuntu为例）
sudo apt update
sudo apt install nvidia-driver-535

  2. 安装NVML开发库（如使用pynvml）：

    # 安装pynvml库
pip install nvidia-ml-py3

四、核心实现

1. 使用nvidia-smi命令行工具

这是最直接的监控方式，适用于快速查看状态：

# 查看所有GPU信息
nvidia-smi

# 查看特定GPU的使用情况
nvidia-smi --query-gpu=temperature.gpu,utilization.gpu,mem.used --format=csv

关键代码解释：

  • --query-gpu参数指定查询字段，支持temperature.gpu（温度）、utilization.gpu（使用率）、mem.used（显存使用）等
  • --format=csv将输出格式化为CSV，方便后续处理
  • --query-pcie可查询PCIe接口信息，用于识别显卡物理位置

2. 使用pynvml库实现Python监控

import pynvml
import time

def monitor_gpu():
    pynvml.nvmlInit()
    device_count = pynvml.nvmlDeviceGetCount()
    
    for i in range(device_count):
        handle = pynvml.nvmlDeviceGetHandleByIndex(i)
        info = pynvml.nvmlDeviceGetInfo(handle)
        print(f"GPU {i}: {info['name']}")
        
        # 获取使用率
        utilization = pynvml.nvmlDeviceGetUtilizationRates(handle)
        print(f"  使用率: {utilization.gpu}%")
        
        # 获取温度
        temperature = pynvml.nvmlDeviceGetTemperature(handle, pynvml.NVML_TEMPERATURE_CURRENT)
        print(f"  温度: {temperature}°C")
        
        # 获取显存使用
        meminfo = pynvml.nvmlDeviceGetMemoryInfo(handle)
        print(f"  显存使用: {meminfo.used / 1024 / 1024}MB / {meminfo.total / 1024 / 1024}MB")
    
    pynvml.nvmlShutdown()

if __name__ == "__main__":
    monitor_gpu()

关键代码解释：

  • nvmlInit()初始化NVML库，需在调用任何接口前调用
  • nvmlDeviceGetCount()获取GPU数量
  • nvmlDeviceGetUtilizationRates()获取GPU使用率，返回包含gpu和memory的字典
  • nvmlDeviceGetTemperature()获取当前温度，支持多种温度类型（如NVML_TEMPERATURE_CURRENT）
  • nvmlDeviceGetMemoryInfo()获取显存信息，返回包含used、free、total字段的结构

3. 使用CUDA API进行监控

#include <nvml.h>
#include <stdio.h>

int main() {
    nvmlDevice_t device;
    nvmlDeviceGetHandleByIndex(0, &device);
    
    nvmlDeviceGetUtilizationRates(device, &utilization);
    printf("GPU Usage: %d%%\n", utilization.gpu);
    
    nvmlDeviceGetTemperature(device, NVML_TEMPERATURE_CURRENT, &temperature);
    printf("Temperature: %d°C\n", temperature);
    
    nvmlDeviceGetMemoryInfo(device, &meminfo);
    printf("Memory Used: %dMB / %dMB\n", meminfo.used / 1024 / 1024, meminfo.total / 1024 / 1024);
    
    return 0;
}

关键代码解释：

  • CUDA API需要先初始化NVML库
  • nvmlDeviceGetHandleByIndex()获取特定GPU的句柄
  • nvmlDeviceGetUtilizationRates()返回的结构体包含gpu和memory使用率
  • nvmlDeviceGetMemoryInfo()返回的结构体包含显存使用情况
  • 需要手动管理内存资源，避免内存泄漏

五、完整案例

GPU监控系统实现

import pynvml
import time
import json
import socket
import os

# 配置参数
LOG_DIR = "/var/log/gpu_monitor"
INTERVAL = 5  # 监控间隔秒
MAX_LOGS = 100  # 最多保存100条日志

def init_logger():
    if not os.path.exists(LOG_DIR):
        os.makedirs(LOG_DIR)
    return open(os.path.join(LOG_DIR, f"gpu_monitor_{socket.gethostname()}.log"), 'a')

def log_data(data):
    with open(os.path.join(LOG_DIR, f"gpu_monitor_{socket.gethostname()}.log"), 'a') as f:
        f.write(json.dumps(data) + '\n')

def monitor_gpu():
    pynvml.nvmlInit()
    device_count = pynvml.nvmlDeviceGetCount()
    log_file = init_logger()
    
    try:
        while True:
            now = time.strftime("%Y-%m-%d %H:%M:%S")
            log = {"timestamp": now, "devices": []}
            
            for i in range(device_count):
                handle = pynvml.nvmlDeviceGetHandleByIndex(i)
                info = pynvml.nvmlDeviceGetInfo(handle)
                
                utilization = pynvml.nvmlDeviceGetUtilizationRates(handle)
                meminfo = pynvml.nvmlDeviceGetMemoryInfo(handle)
                temperature = pynvml.nvmlDeviceGetTemperature(handle, pynvml.NVML_TEMPERATURE_CURRENT)
                
                log["devices"].append({
                    "id": i,
                    "name": info["name"],
                    "temperature": temperature,
                    "utilization": utilization.gpu,
                    "memory_used": meminfo.used / 1024 / 1024,
                    "memory_total": meminfo.total / 1024 / 1024
                })
            
            log_data(log)
            time.sleep(INTERVAL)
            
            # 保持日志数量
            if os.path.getsize(log_file.name) > 1024 * 100:  # 100KB
                with open(log_file.name, 'r') as f:
                    lines = f.readlines()
                with open(log_file.name, 'w') as f:
                    f.writelines(lines[-MAX_LOGS:])
    
    finally:
        pynvml.nvmlShutdown()
        log_file.close()

if __name__ == "__main__":
    monitor_gpu()

关键点说明：

  1. 日志系统自动记录GPU状态，包含时间戳、温度、使用率等关键指标
  2. 自动限制日志文件大小，防止磁盘空间耗尽
  3. 使用JSON格式便于后续分析和集成到监控系统
  4. 可扩展为分布式监控系统，通过网络将日志发送到集中式服务器

六、源码解析

以pynvml库的nvmlDeviceGetUtilizationRates函数为例：

nvmlReturn_t nvmlDeviceGetUtilizationRates(nvmlDevice_t device, nvmlUtilization_t *utilization) {
    // 检查参数有效性
    if (device == NULL || utilization == NULL) {
        return NVML_ERROR;
    }
    
    // 调用底层驱动接口获取数据
    int ret = nvidiaGetUtilizationRates(device, utilization);
    
    // 处理错误码
    if (ret != NVML_SUCCESS) {
        return ret;
    }
    
    return NVML_SUCCESS;
}

该函数的实现体现了NVML库的典型架构：

  1. 参数校验确保调用安全
  2. 调用底层驱动接口（如nvidiaGetUtilizationRates）
  3. 错误码处理机制保证系统健壮性

七、进阶使用

1. GPU资源分配策略

在深度学习训练场景中，可以结合GPU监控数据实现动态资源分配：

def allocate_gpu(job):
    # 获取当前GPU状态
    current_usage = get_gpu_usage()
    
    # 根据任务需求选择GPU
    for i in range(len(current_usage)):
        if current_usage[i] < job.gpu_threshold:
            return i
    return -1

2. 异常检测系统

def detect_anomalies(logs):
    for log in logs:
        for device in log["devices"]:
            if device["temperature"] > 85:
                print(f"Warning: GPU {device['id']} temperature is {device['temperature']}°C")
            if device["utilization"] > 95:
                print(f"Warning: GPU {device['id']} utilization is {device['utilization']}%")

3. 容器环境适配

在Docker容器中需要特别处理权限问题：

# 在Dockerfile中添加
RUN apt-get update && apt-get install -y nvidia-driver nvidia-ml-py3

# 在容器中运行
LD_LIBRARY_PATH=/usr/lib/x86_64-linux-gnu:$LD_LIBRARY_PATH python app.py

八、性能与工程实践

1. 性能优化

  • 降低监控频率：从默认的1秒/次调整为5秒/次
  • 减少数据采集维度：仅采集关键指标
  • 使用缓存：对不变的GPU信息进行缓存
  • 异步采集：使用多线程/异步IO采集数据

2. 异常处理

  • 驱动异常处理：

    try:
    pynvml.nvmlInit()
except Exception as e:
    print("Failed to initialize NVML:", e)
    sys.exit(1)

  • 资源泄露处理：

    def shutdown():
    pynvml.nvmlShutdown()
    # 释放其他资源

3. 安全考虑

  • 权限控制：确保监控脚本仅在必要时运行
  • 数据加密：传输敏感数据时使用TLS加密
  • 访问控制：限制对监控系统的访问权限
  • 审计日志：记录所有访问行为

九、常见问题与踩坑

1. 权限问题

问题现象：nvidia-smi提示"Failed to initialize NVML"
解决方法：

  • 确保以root用户运行（sudo nvidia-smi）
  • 检查/etc/X11/xorg.conf配置文件
  • 确认驱动安装成功（nvidia-smi --version）

2. 数据不一致

问题现象：监控数据与实际使用情况不符
解决方法：

  • 确认监控脚本运行在正确的环境
  • 检查是否被其他进程占用GPU资源
  • 使用nvidia-smi --query-gpu=utilization.gpu --format=csv验证数据

3. 容器环境问题

问题现象：容器中无法获取GPU信息
解决方法：

  • 安装nvidia-docker运行容器
  • 确保容器内安装nvidia-ml-py3库
  • 使用--device参数指定GPU设备

十、最佳实践

  1. 监控频率：生产环境建议设置为5-10秒/次，避免资源浪费
  2. 数据采集：优先采集温度、使用率、显存使用等关键指标
  3. 日志管理：使用JSON格式日志，便于后续分析
  4. 异常处理：添加全面的异常捕获和恢复机制
  5. 资源隔离：在容器环境中使用nvidia-docker进行资源隔离
  6. 安全控制：限制监控脚本的执行权限，避免敏感信息泄露

十一、总结

NVIDIA GPU监控是提升系统性能的重要手段，通过nvidia-smi命令行工具和pynvml库等方案，可以实现多维度的监控需求。在实际开发中，应根据具体场景选择合适的监控方案：对于快速查看使用nvidia-smi，对于自动化监控和数据分析使用pynvml，对于高性能要求使用CUDA API。

需要注意的是，监控系统本身也会消耗系统资源，应合理控制监控频率和数据采集维度。在容器环境中需要特别处理权限和资源隔离问题。同时，要结合安全考虑，防止监控数据被滥用。

通过合理设计监控系统，可以显著提升GPU资源的利用率，为深度学习训练、高性能计算等场景提供可靠保障。

linux
最后修改于：2026年09月24日 20:17

评论已关闭

推荐阅读

AIGC实战——Transformer模型
2024年12月01日
python , AI , 机器学习
Socket TCP 和 UDP 编程基础（Python）
2024年11月30日
python , tcp , udp
如何使用 ChatGPT 进行学术润色？你需要这些指令
2024年12月01日
AI
最新 Python 调用 OpenAi 详细教程实现问答、图像合成、图像理解、语音合成、语音识别（详细教程）
2024年11月24日
python , AI
ChatGPT 和 DALL·E 2 配合生成故事绘本
2024年12月01日
python , AI
omegaconf，一个超强的 Python 库！
2024年11月24日
python
【视觉AIGC识别】误差特征、人脸伪造检测、其他类型假图检测
2024年12月01日
python , AI
［超级详细］如何在深度学习训练模型过程中使用 GPU 加速
2024年11月29日
python , AI , 机器学习
Python 物理引擎pymunk最完整教程
2024年11月27日
python
MediaPipe 人体姿态与手指关键点检测教程
2024年11月27日
python
深入了解 Taipy：Python 打造 Web 应用的全面教程
2024年11月26日
python
基于Transformer的时间序列预测模型
2024年11月25日
python , Matplotlib , 机器学习
Python在金融大数据分析中的AI应用（股价分析、量化交易）实战
2024年11月25日
python , Matplotlib , 机器学习
AIGC Gradio系列学习教程之Components
2024年12月01日
python , AI
Python3 `asyncio` — 异步 I/O，事件循环和并发工具
2024年11月30日
python
llama-factory SFT系列教程：大模型在自定义数据集 LoRA 训练与部署
2024年12月01日
python , AI , 机器学习
Python 多线程和多进程用法
2024年11月24日
python
Python socket详解，全网最全教程
2024年11月27日
python , http , websocket
python之plot()和subplot()画图
2024年11月26日
python , Matplotlib
理解 DALL·E 2、Stable Diffusion 和 Midjourney 工作原理
2024年12月01日
python , AI , 机器学习
Copyright © 2026 Tech Blog
All Right Reserved | 京ICP备19053165号