将介绍如何将YOLOv8 模型导出为 OpenVINO格式的模型,这种格式可将CPU速度提高 3 倍,并可加速YOLO 在英特尔GPU和NPU硬件上的推理。
OpenVINOOpen Visual Inference & Neural Network Optimization toolkit 的缩写,是一个用于优化和部署人工智能推理模型的综合工具包。虽然名称中包含 Visual,但OpenVINO 还支持语言、音频、时间序列等各种附加任务。
将YOLOv8n 模型导出为OpenVINO 格式,并使用导出的模型运行推理。
from ultralytics import YOLO
# Load a YOLOv8n PyTorch model
model = YOLO('yolov8n.pt')
# Export the model
model.export(format='openvino') # creates 'yolov8n_openvino_model/'
# Load the exported OpenVINO model
ov_model = YOLO('yolov8n_openvino_model/')
# Run inference
results = ov_model('https://ultralytics.com/images/bus.jpg')
key | value | 说明 |
---|---|---|
format | 'openvino' | 格式导出到 |
imgsz | 640 | 图像尺寸标量或(高,宽)列表,即(640,480) |
half | False | FP16 量化 |
将模型导出为OpenVINO 格式时,会生成一个包含以下内容的目录:
XML 文件:描述网络拓扑结构。
BIN 文件:包含weights and biases 二进制数据。
映射文件:保存原始模型输出张量到OpenVINO tensor 名称的映射。
可以使用这些文件通过OpenVINO 推理引擎运行推理。
获得OpenVINO 文件后,就可以使用OpenVINO Runtime 运行模型。运行时为所有支持的英特尔硬件提供了统一的推理 API。它还提供跨英特尔硬件负载均衡和异步执行等高级功能。有关运行推理的更多信息,请参阅《使用OpenVINO Runtime 进行推理指南》。
请记住,您需要 XML 和 BIN 文件以及任何特定于应用程序的设置,如输入大小、规范化的比例因子等,以便正确设置模型并将其用于 Runtime。
在部署应用程序中,通常需要执行以下步骤:
我正在参与2024腾讯技术创作特训营最新征文,快来和我瓜分大奖!
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。