问可以在保持张量精度的同时将ONNX ConvInteger运算符转换为OpenVINO吗？
EN

Stack Overflow用户

提问于 2022-06-20 17:19:15

回答 1查看 227关注 0票数 1

我使用OpenVINO模型优化器框架将包含单个ConvInteger操作的ONNX模型转换为OpenVINO IR格式。

mo --input_model {onnx_model}

ONNX ConvInteger算子具有INT8 8/UINT8 8精度的输入和权重张量，以及具有INT32精度的输出张量--这种输出精度是唯一支持的精度。

当模型转换为OpenVINO时，输入和权重张量被自动转换为INT32精度，转换算子被添加到模型中，从而使精度发生这种变化。

对于openvino模型，可以强制使用it 8/uint8 8精度吗？或者，在创建openvino模型之后，是否有一种简单的方法将精度转换为int8 8/uint8 8？

谢谢

发布于 2022-06-21 07:25:21

您可以将FP32或FP16的精度转换为INT8，而无需再培训或使用OpenVINO培训后优化工具(POT)进行微调。该工具支持统一整数量化方法。

主要有两种量化方法：

默认量化：一种推荐的方法，在大多数情况下提供快速准确的结果。它只需要一个未加注释的数据集进行量化。
精度感知量化：一种先进的方法，允许在默认量化无法保证的情况下，以牺牲性能改善为代价，将准确性保持在预定的范围内。该方法需要有注释的有代表性的数据集，并且可能需要更多的时间进行量化。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/72690777

复制

相似问题

问可以在保持张量精度的同时将ONNX ConvInteger运算符转换为OpenVINO吗？EN