linux下 yolov8 tensorrt模型部署

在Linux下将YOLOv8模型部署到TensorRT需要以下步骤：

1. 确保你已经安装了NVIDIA的TensorRT库。
2. 使用ONNX将YOLOv8模型从PyTorch转换为ONNX格式。
3. 从ONNX将模型转换为TensorRT的engine文件。
4. 编写C++代码以使用TensorRT运行模型。

以下是一个简化的示例流程：

# 安装TensorRT
sudo apt-get install tensorrt
 
# 安装ONNX
pip install onnx

# 导入必要的库
import torch
import onnx
 
# 加载YOLOv8模型
model = torch.hub.load('ultralytics/yolov8', 'custom', path='yolov8.pt', source='local')
 
# 将PyTorch模型转换为ONNX格式
torch.onnx.export(model, dummy_input, 'model.onnx', verbose=True, input_names=['input'], output_names=['output'])
 
# 这里的dummy_input是模型需要的任意输入数据

# 使用TensorRT的python API将ONNX模型转换为TensorRT engine
# 需要TensorRT的python API支持
 
from tensorrt.python import trt
 
def convert_onnx_to_trt_model(onnx_model_path, engine_path):
    with trt.Builder(TRT_LOGGER) as builder, builder.create_network() as network, trt.OnnxParser(network, TRT_LOGGER) as parser:
        builder.max_workspace_size = 1 << 30
        with open(onnx_model_path, 'rb') as model:
            if not parser.parse(model.read()):
                print('ERROR: Failed to parse the ONNX file.')
                for error in range(parser.num_errors):
                    print(parser.get_error(error))
                return None
 
        engine = builder.build_cuda_engine(network)
        with open(engine_path, 'wb') as f:
            f.write(engine.serialize())
 
convert_onnx_to_trt_model('model.onnx', 'model.engine')

// 编写C++代码以使用TensorRT运行模型
// 需要TensorRT的C++ API支持
 
#include <iostream>
#include <cuda_runtime_api.h>
#include "NvInfer.h"
#include "NvOnnxParser.h"
 
int main() {
    // 创建TensorRT的引擎
    IBuilder* builder = createInferBuilder(gLogger);
    nvinfer1::INetworkDefinition* network = builder->createNetwork();
    nvonnxparser::IOnnxParser* parser = nvonnxparser::createParser(*network, gLogger);
 
    // 从engine文件加载TensorRT引擎
    ICudaEngine* engine = nullptr;
    engine = loadEngine("model.engine");
    if (!engine) {
        std::cout << "Unable to load engine" << std::endl;
        return -1;
    }
 
    // 运行模型的其余部分...
 
    // 清理资源
    parser->destroy();
    network->destroy();
    builder->destroy();
    engine->destroy();
 
    return 0;
}