视频实时行为检测——基于 YOLOv5 + DeepSORT + SlowFast 算法

随着计算机视觉技术的发展，视频行为检测已经成为许多领域（如安防监控、智能驾驶、视频分析）的重要应用。本文将介绍如何基于 YOLOv5（目标检测）、DeepSORT（多目标跟踪）和 SlowFast（行为识别）组合实现视频实时行为检测。

通过详细的算法讲解、代码示例和图解，帮助你快速掌握这一强大技术。

一、算法简介

1. YOLOv5：实时目标检测

YOLOv5 是一种轻量级、实时性强的目标检测算法，能够快速检测视频中的目标，并标记其类别和位置。

特点：

• 高检测精度
• 快速推理速度
• 易于集成到实时任务中

2. DeepSORT：多目标跟踪

DeepSORT 是一种基于外观特征的目标跟踪算法。它能够在 YOLOv5 提供的检测框基础上，通过外观特征和卡尔曼滤波算法，实现目标的身份跟踪。

特点：

• 保持目标的身份一致性
• 能够处理复杂场景中的遮挡和目标丢失

3. SlowFast：视频行为识别

SlowFast 是一种先进的视频行为识别模型。它通过两个路径：

• Slow Path：低帧率处理视频全局信息
• Fast Path：高帧率捕捉快速变化的细节信息

组合分析目标对象的行为类别。

二、项目结构

完整的行为检测流程如下：

1. 视频输入：获取实时视频流。
2. 目标检测：使用 YOLOv5 检测目标框。
3. 目标跟踪：使用 DeepSORT 跟踪目标。
4. 行为识别：通过 SlowFast 模型分析目标行为。
5. 结果输出：将目标和行为标注在视频上，实时显示或保存。

三、环境配置

1. 安装所需库

首先安装必要的 Python 库：

# 克隆 YOLOv5 仓库
git clone https://github.com/ultralytics/yolov5.git
cd yolov5
pip install -r requirements.txt

# 安装 DeepSORT
git clone https://github.com/nwojke/deep_sort.git
cd deep_sort
pip install -r requirements.txt

# 安装 SlowFast（需 PyTorch 支持）
pip install slowfast

2. 下载预训练模型

• YOLOv5：下载预训练权重 yolov5s.pt 链接
• DeepSORT：下载 ckpt.t7 权重文件 链接
• SlowFast：使用 PyTorch 官方提供的预训练模型。

四、代码实现

1. 视频目标检测和跟踪

YOLOv5 和 DeepSORT 整合

import cv2
import torch
from yolov5.models.common import DetectMultiBackend
from yolov5.utils.general import non_max_suppression
from yolov5.utils.torch_utils import select_device
from deep_sort import DeepSort

# 初始化 YOLOv5
device = select_device("")
model = DetectMultiBackend(weights="yolov5s.pt", device=device)
model.warmup()

# 初始化 DeepSORT
deepsort = DeepSort(model_path="ckpt.t7")

# 打开视频流
cap = cv2.VideoCapture("input_video.mp4")
while cap.isOpened():
    ret, frame = cap.read()
    if not ret:
        break

    # YOLOv5 目标检测
    results = model(frame)
    detections = non_max_suppression(results)

    # DeepSORT 跟踪
    for detection in detections[0]:
        x1, y1, x2, y2, conf, cls = detection
        deepsort.update([[x1, y1, x2, y2]], frame)

    # 显示结果
    tracked_objects = deepsort.tracked_objects
    for obj in tracked_objects:
        bbox = obj.bbox
        cv2.rectangle(frame, (bbox[0], bbox[1]), (bbox[2], bbox[3]), (0, 255, 0), 2)

    cv2.imshow("Video", frame)
    if cv2.waitKey(1) & 0xFF == ord("q"):
        break

cap.release()
cv2.destroyAllWindows()

2. SlowFast 行为识别

基于跟踪到的目标帧，使用 SlowFast 识别行为：

from slowfast.models.video_model_builder import build_model
from slowfast.utils.checkpoint import load_checkpoint

# 初始化 SlowFast 模型
cfg = load_cfg("slowfast_config.yaml")
model = build_model(cfg)
load_checkpoint("slowfast_pretrained.pyth", model)

# 行为识别函数
def recognize_action(clip):
    clip = preprocess_clip(clip)  # 预处理
    with torch.no_grad():
        output = model(clip)
    action_idx = torch.argmax(output)
    return action_labels[action_idx]

将行为检测结果与目标跟踪结果整合到视频中：

# 将行为检测整合到主循环中
for obj in tracked_objects:
    bbox = obj.bbox
    track_id = obj.track_id
    clip = extract_clip(frame, bbox)  # 提取目标的动作序列

    action = recognize_action(clip)
    cv2.putText(frame, f"ID:{track_id} Action:{action}",
                (bbox[0], bbox[1] - 10), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 255, 0), 1)

五、效果展示

处理后的视频中，每个目标都被标记：

1. 矩形框表示目标位置。
2. 文本信息包含目标 ID 和识别的行为类别。

六、注意事项

1. 实时性优化：在 GPU 环境下运行以提升处理速度。
2. 模型精度：根据场景需求调整 YOLOv5、DeepSORT 和 SlowFast 的权重。
3. 多目标处理：确保跟踪目标 ID 与行为检测结果正确匹配。

七、总结

通过 YOLOv5 + DeepSORT + SlowFast 的组合，可以轻松实现视频实时行为检测。本文提供了详细的代码示例和运行流程，希望帮助你快速掌握这一技术，应用于实际项目中。

如果想进一步优化，可以尝试：

1. 替换 YOLOv5 为 YOLOv8。
2. 增加自定义行为数据集，提升 SlowFast 的识别能力。

快试试自己实现吧！