【TensorRT部署YOLO项目：实例分割+目标检测】+【C++和python两种方式】+【支持linux和windows】

[English](README.en.md) | 简体中文 <div align="center"> <img width="75%" src="assets/logo.png"> <p align="center"> <a href="./LICENSE"><img alt="GitHub License" src="https://img.shields.io/github/license/laugh12321/TensorRT-YOLO?style=for-the-badge&color=0074d9"></a> <a href="https://github.com/laugh12321/TensorRT-YOLO/releases"><img alt="GitHub Release" src="https://img.shields.io/github/v/release/laugh12321/TensorRT-YOLO?style=for-the-badge&color=0074d9"></a> <img alt="GitHub Repo Stars" src="https://img.shields.io/github/stars/laugh12321/TensorRT-YOLO?style=for-the-badge&color=3dd3ff"> <img alt="Linux" src="https://img.shields.io/badge/Linux-FCC624?style=for-the-badge&logo=linux&logoColor=black"> <img alt="Arch" src="https://img.shields.io/badge/Arch-x86%20%7C%20ARM-0091BD?style=for-the-badge&logo=cpu&logoColor=white"> <img alt="NVIDIA" src="https://img.shields.io/badge/NVIDIA-%2376B900.svg?style=for-the-badge&logo=nvidia&logoColor=white"> </p> <p align="center"> <a href="/docs/cn/build_and_install.md"><img src="https://img.shields.io/badge/-安装-0078D4?style=for-the-badge&logo=github&logoColor=white"></a> <a href="/examples/"><img src="https://img.shields.io/badge/-使用示例-0078D4?style=for-the-badge&logo=github&logoColor=white"></a> <a href="#quick-start"><img src="https://img.shields.io/badge/-快速开始-0078D4?style=for-the-badge&logo=github&logoColor=white"></a> <a href=""><img src="https://img.shields.io/badge/-API文档-0078D4?style=for-the-badge&logo=github&logoColor=white"></a> <a href="https://github.com/laugh12321/TensorRT-YOLO/releases"><img src="https://img.shields.io/badge/-更新日志-0078D4?style=for-the-badge&logo=github&logoColor=white"></a> </p> </div> --- 🚀 TensorRT-YOLO 是一款专为 NVIDIA 设备设计的**易用灵活**、**极致高效**的**YOLO系列**推理部署工具。项目不仅集成了 TensorRT 插件以增强后处理效果，还使用了 CUDA 核函数以及 CUDA 图来加速推理。TensorRT-YOLO 提供了 C++ 和 Python 推理的支持，旨在提供📦**开箱即用**的部署体验。包括 [目标检测](examples/detect/)、[实例分割](examples/segment/)、[图像分类](examples/classify/)、[姿态识别](examples/pose/)、[旋转目标检测](examples/obb/)、[视频分析](examples/VideoPipe)等任务场景，满足开发者**多场景**的部署需求。 <div align="center"> [<img src='assets/obb.png' height="138px" width="190px">](examples/obb/) [<img src='assets/detect.jpg' height="138px" width="190px">](examples/detect/) [<img src='assets/segment.jpg' height="138px" width="190px">](examples/segment/) [<img src='assets/pose.jpg' height="138px" width="190px">](examples/pose/) [<img src='assets/example.gif' width="770px">](examples/videopipe) </div> ## <div align="center">🌠 近期更新</div> - [性能飞跃！TensorRT-YOLO 6.0 全面升级解析与实战指南](https://www.cnblogs.com/laugh12321/p/18693017) 🌟 NEW ## <div align="center">✨ 主要特性</div> ### 🎯 多样化的 YOLO 支持 - **全面兼容**：支持 YOLOv3 至 YOLOv11 全系列模型，以及 PP-YOLOE 和 PP-YOLOE+，满足多样化需求。 - **灵活切换**：提供简洁易用的接口，支持不同版本 YOLO 模型的快速切换。🌟 NEW - **多场景应用**：提供丰富的示例代码，涵盖[Detect](examples/detect/)、[Segment](examples/segment/)、[Classify](examples/classify/)、[Pose](examples/pose/)、[OBB](examples/obb/)等多种应用场景。 ### 🚀 性能优化 - **CUDA 加速**：通过 CUDA 核函数优化前处理流程，并采用 CUDA 图技术加速推理过程。 - **TensorRT 集成**：深度集成 TensorRT 插件，显著加速后处理，提升整体推理效率。 - **多 Context 推理**：支持多 Context 并行推理，最大化硬件资源利用率。🌟 NEW - **显存管理优化**：适配多架构显存优化策略（如 Jetson 的 Zero Copy 模式），提升显存效率。🌟 NEW ### 🛠️ 易用性 - **开箱即用**：提供全面的 C++ 和 Python 推理支持，满足不同开发者需求。 - **CLI 工具**：内置命令行工具，支持快速模型导出与推理，提升开发效率。 - **Docker 支持**：提供 Docker 一键部署方案，简化环境配置与部署流程。 - **无第三方依赖**：全部功能使用标准库实现，无需额外依赖，简化部署流程。 - **部署便捷**：提供动态库编译支持，方便调用和部署。 ### 🌐 兼容性 - **多平台支持**：全面兼容 Windows、Linux、ARM、x86 等多种操作系统与硬件平台。 - **TensorRT 兼容**：完美适配 TensorRT 10.x 版本，确保与最新技术生态无缝衔接。 ### 🔧 灵活配置 - **预处理参数自定义**：支持多种预处理参数灵活配置，包括 **通道交换 (SwapRB)**、**归一化参数**、**边界值填充**。🌟 NEW ## <div align="center">🚀 性能对比</div> <div align="center"> | Model | Official + trtexec (ms) | trtyolo + trtexec (ms) | TensorRT-YOLO Inference (ms)| |:-----:|:-----------------------:|:----------------------:|:---------------------------:| | YOLOv11n | 1.611 ± 0.061 | 1.428 ± 0.097 | 1.228 ± 0.048 | | YOLOv11s | 2.055 ± 0.147 | 1.886 ± 0.145 | 1.687 ± 0.047 | | YOLOv11m | 3.028 ± 0.167 | 2.865 ± 0.235 | 2.691 ± 0.085 | | YOLOv11l | 3.856 ± 0.287 | 3.682 ± 0.309 | 3.571 ± 0.102 | | YOLOv11x | 6.377 ± 0.487 | 6.195 ± 0.482 | 6.207 ± 0.231 | </div> > [!NOTE] > > **测试环境** > - **GPU**：NVIDIA RTX 2080 Ti 22GB > - **输入尺寸**：640×640 像素 > > **测试工具** > - **Official**：使用 Ultralytics 官方导出的 ONNX 模型。 > - **trtyolo**：使用 TensorRT-YOLO 提供的 CLI 工具 (trtyolo) 导出的带 EfficientNMS 插件的 ONNX 格式模型。 > - **trtexec**：使用 NVIDIA 的 `trtexec` 工具将 ONNX 模型构建为引擎并进行推理测试。 > - **构建指令**：`trtexec --onnx=xxx.onnx --saveEngine=xxx.engine --fp16` > - **测试指令**：`trtexec --avgRuns=1000 --useSpinWait --loadEngine=xxx.engine` > - **TensorRT-YOLO Inference**：使用 TensorRT-YOLO 框架对 **trtyolo + trtexec** 方式得到的引擎进行推理的延迟时间（包括前处理、推理和后处理）。 ## <div align="center">🔮 文档教程</div> - **安装指南** - [📦 快速编译安装](docs/cn/build_and_install.md) - **使用示例** - [目标检测 示例](examples/detect/README.md) - [实例分割 示例](examples/segment/README.md) - [图像分类 示例](examples/classify/README.md) - [姿态识别 示例](examples/pose/README.md) - [旋转目标检测 示例](examples/obb/README.md) - [📹视频分析 示例](examples/VideoPipe/README.md) - [多线程多进程 示例](examples/mutli_thread/README.md) 🌟 NEW - **API文档** - Python API文档（⚠️ 未实现） - C++ API文档（⚠️ 未实现） - **常见问题** - ⚠️ 收集中 ... - **模型支持列表** - [🖥️ 模型支持列表](#support-models) ## <div align="center">💨 快速开始</div><div id="quick-start"></div> ### 1. 前置依赖 - **CUDA**：推荐版本 ≥ 11.0.1 - **TensorRT**：推荐版本 ≥ 8.6.1 - **操作系统**：Linux (x86_64 或 arm)（推荐）；Windows 亦可支持 ### 2. 安装 - 参考 [📦 快速编译安装](docs/cn/build_and_install.md) 文档。 ### 3. 模型导出 - 参考 [🔧 模型导出](docs/cn/model_export.md) 文档，导出适用于该项目推理的ONNX模型并构建为TensorRT引擎。 ### 4. 推理示例 > [!NOTE] > > `ClassifyModel`、`DetectModel`、`OBBModel`、`SegmentModel` 和