深度学习模型部署主流框架三剑客介绍

微信公众号：OpenCV开发者联盟 关注获取更多计算机视觉与深度学习知识

深度学习工程化步骤

深度学习工程落地分为两个主要阶段，分别是数据准备、模型训练、模型部署三个主要阶段。

深度学习主流部署框架

深度学习开发者至少应该掌握一种深度学习模型部署框架，当前深度学习模型部署主要有OpenVINO、TensorRT、ONNXRUNTIME 这三个当前主流的框架。

OpenVINO来自英特尔公司，当前最新版本是OpenVINO2023.1

TensorRT来自英伟达公司，当前最新版本是TensorRT8.6

ONNXRUNTIME来自微软，当前最新版本是1.15.x

如何选择

英特尔CPU/GPU上模型加速与推理最佳选择是OpenVINO

英伟达GPU上模型加速与推理最佳选择TensorRT

兼容不同硬件厂家平台模型算子支持度高，兼容性强最佳选择是ONNXRUNTIME