通过tensorrt测试但无法导入tensorrt
可能是由以下几个原因引起的：
- 版本不匹配：确保你使用的tensorrt版本与你的开发环境兼容。不同版本的tensorrt可能具有不同的API和功能，因此需要确保版本匹配。你可以在腾讯云的TensorRT产品页面上找到适合你的版本，并查看相应的文档和示例代码。
- 缺少依赖库：tensorrt依赖于一些其他的库，如CUDA和cuDNN。在导入tensorrt之前，确保这些依赖库已正确安装并配置。你可以参考腾讯云的CUDA和cuDNN产品页面获取安装指南。
- 缺少必要的文件：在导入tensorrt之前，确保你已正确安装tensorrt，并且相关的文件和目录已正确配置。这包括库文件、头文件、模型文件等。你可以参考腾讯云的TensorRT产品文档中的安装指南和示例代码，了解正确的文件配置和使用方法。
- 环境变量配置错误：在导入tensorrt时，系统需要正确配置一些环境变量，以便找到相关的库和文件。确保你已正确设置了LD_LIBRARY_PATH等必要的环境变量。你可以参考腾讯云的TensorRT产品文档中的环境变量配置指南。
如果你遇到了无法导入tensorrt的问题，可以先检查以上几个方面，逐一排查可能的原因。如果问题仍然存在，你可以参考腾讯云的技术支持文档，寻求进一步的帮助和支持。
腾讯云相关产品推荐：
- 腾讯云TensorRT产品介绍：https://cloud.tencent.com/product/trt
- 腾讯云CUDA产品介绍：https://cloud.tencent.com/product/cuda
- 腾讯云cuDNN产品介绍：https://cloud.tencent.com/product/cudnn
相关·内容
我使用Debian安装程序在我的虚拟机上安装了TensorRT。如果我运行"dpkg -l | grep TensorRT“，我会得到预期的结果：
ii graphsurgeon-tf 5.0.2-1+cuda10.0 amd64 GraphSurgeon for TensorRT package
ii libnvinfer-dev 5.0.
浏览 10提问于2019-04-07得票数 5
我想使用NVIDIA TensorRT来运行我的Tensorflow模型。目前，TensorRT支持Caffe prototxt网络描述符文件。
我找不到将Tensorflow模型转换为Caffe模型的源代码。有什么变通方法吗？
浏览 0提问于2016-12-14得票数 9
我想优化我的神经网络(来自谷歌的Resnet101)，以便使用TensorRT (ver.5.1)。我一直在寻找如何做到这一点的博客和教程，并找到了一些像和其他一些东西。它们都有一个共同点：
trt_graph = trt.create_inference_graph(
getNetwork(network_file_name),
outputs,
max_batch_size=batch_size,
max_workspace_size_bytes=workspa
浏览 134提问于2019-04-30得票数 0
回答已采纳
2回答
我在导入Logger()和Builder()时出错
我在Jetson AGX Xavier上
我也尝试过python shell。
import tensorflow.contrib.tensorrt as trt
TRT_LOGGER = trt.Logger(trt.Logger.INFO)
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
AttributeError: module 'tensorflow.contrib.tensorrt'
浏览 3提问于2019-07-03得票数 1
我已经安装了Tensorflow r1.14，并希望使用TF-TRT。但是，会发生以下错误：
"ModuleNotFoundError:没有名为‘tensorflow.contrib.tensorrt’的模块“
运行示例代码时。Tensorflow r1.13也会发生同样的错误。所以我的问题是，我是否需要单独安装tensorflow.contrib.tensorrt库？如果是，怎么做？
此外，我可以成功地运行TensorRT的示例代码，例如sampleINT8。单击查看我成功运行的示例代码。
这使我相信TensorRT安装得很好。然而，TF-TRT仍然不能工作。
任何帮助都将不
浏览 2提问于2019-04-04得票数 2
我无法理解整个过程，因为它说我必须替换特定下载的tensorRT、cuda、cuDNN版本的版本。他们说的是什么特别的下载？
下面是第三篇step.Please的全部说明和解释：
将TensorRT-7.x.x.x.Windows10.x86_64.cuda-x.x.cudnnx.x.zip文件解压缩到您选择的位置。取代：
7.x.x.x with the TensorRT version
cuda-x.x with the CUDA version, and
cudnnx.x with the cuDNN version for your particular download.
P.S:
浏览 2提问于2020-12-15得票数 0
回答已采纳
1回答
我找不出第17行的错误
、、、、
我无法以任何方式安装它，我想知道错误的原因是什么。
我安装了C++和其他必要的东西
我使用的是windows 11
我安装pip install nvidia-pyindex时没有问题。和tensorrt一样，我不能安装pycuda库，而且我得到了相同的错误
\`
(base) PS C:\\Users\\byara\> pip install nvidia-tensorrt
Looking in indexes: https://pypi.org/simple, https://pypi.ngc.nvidia.com
Collecting nvidia-tensorrt
Downloa
浏览 56提问于2022-11-21得票数 -2
遇到一个从子进程运行tensorrt的问题。我不知道这是个紧张问题，还是我做错了什么。如果这是一个集成错误，我想知道这是否已经在新版本的tensorflow 1.7中解决了。
这是错误的总结，以及如何重现错误。
使用单个进程的工作 TensorRT示例代码：
import pycuda.driver as cuda
import pycuda.autoinit
import argparse
import numpy as np
import time
import tensorrt as trt
from tensorrt.parsers import uffparser
uff_mode
浏览 0提问于2018-04-03得票数 3
我已经在Tensorflow 2.0中训练了一个模型，并且正在尝试改进当转移到生产时(在一个支持GPU的服务器上)的预测时间。在Tensorflow 1.xI中，使用冻结图可以得到预测的加速，但从Tensorflow 2开始就不再推荐这种方法了。通过阅读Nvidia对TensorRT的描述，他们认为使用TensorRT比单独使用Tensorflow可以加速7倍的速度。来源：
我已经训练了我的模型，并使用Tensorflow的SavedModel格式将其保存到一个SavedModel文件中。现在，我使用nvidia的文档来优化使用tensorrt：进行推理的模型。
当我跑步时：
import
浏览 9提问于2019-11-13得票数 4
回答已采纳
2回答
正在尝试从NVIDIA下载需要身份验证的库。我可以像往常一样从浏览器下载。但我需要在服务器(无浏览器)终端中下载。
我试了几种方法，都不起作用。
curl -u myuseremail:mypassword https://developer.nvidia.com/compute/machine-learning/tensorrt/5.1/ga/local_repos/nv-tensorrt-repo-ubuntu1804-cuda10.1-trt5.1.5.0-ga-20190427_1-1_amd64.deb
和
wget --http-user=myemailaddress --http
浏览 2提问于2019-08-24得票数 3
在Nvidia的博客中，他们介绍了他们的TensorRT如下：
NVIDIA TensorRT™是一种用于生产部署深度学习应用的高性能神经网络推理机。TensorRT可用于快速优化、验证和部署经过训练的神经网络，用于向超级计算机数据中心、嵌入式或汽车产品平台进行推理。
所以我想知道，如果我有一个预先训练过的Tensorflow模型，我能在Jetson TX1中的TensorRT中使用它进行推理吗？
浏览 4提问于2017-02-24得票数 0
我有一个tensorflow训练模型，并在tensorflow测试，精度达到95%。
Tensorflow模型被转换为ONNX并转换为TensorRT。TensorRT引擎以16位精度运行.在TensorRT中，准确率下降到75%。即使使用kTF32，准确率仍为75%。测试相同的图像为两个测试和相同的输入大小。
我该从哪里看这个精度下降的地方？唯一的区别是我在TensorRT中进行批处理推理，而不是在Tensorflow中。
对于Tensorflow和TensorRT，使用OpenCV读取图像。
从Tensorflow到ONNX的转换精度会下降吗？
浏览 6提问于2020-09-11得票数 0
回答已采纳
2回答
我正在尝试将经过预先训练的火炬模型转换为ONNX，但会导致以下错误：
RuntimeError: step!=1 is currently not supported
我在一个预先训练过的彩色模型上尝试这个：
下面是我在Google中运行的代码：
!git clone https://github.com/richzhang/colorization.git
cd colorization/
import colorizers
model = colorizer_siggraph17 = colorizers.siggraph17(pretrained=True).eval()
input_n
浏览 34提问于2020-12-29得票数 5
回答已采纳
我在jetson nano上推断TensorRt模型。它通过onnx从pytorch转换而来。在推理时，TensorRt模型的精度已经急剧下降。它是一个目标检测类型的模型。 代码链接：https://github.com/NVIDIA/TensorRT/issues/467
浏览 124提问于2020-03-31得票数 0
回答已采纳
2回答
我的网络包含一些当前tensorRT不支持的特定层。所以我想在tensorRT上运行conv层和pooling层，然后使用tensorRT的输出作为我的caffe模型的输入，该模型包含一些特定的层。有没有我可以参考的API或示例代码？谢谢
浏览 2提问于2016-11-21得票数 2
全局python
which python3.6
给出
/usr/bin/python3
全球python3内部
import tensorrt
工作正常，但创建虚拟环境
mkvirtualenv -p /usr/bin/python3 --system-site-packages test
内部虚拟环境
import tensorrt
No module named 'tensorrt'
浏览 2提问于2019-06-24得票数 0
我正在使用一个基于Ubuntu18.04的深度学习AMI的EC2实例。
我所做的工作如下：
启动终端
激活conda环境：conda activate tensorflow2_latest_p37
安装软件包pip3 install tensorrt
运行我的代码python3 mycode.py
我得到了以下错误：
ModuleNotFoundError: No module named 'tensorrt'
我还试图安装为sudo或使用-U或-m选项。什么都不管用。我无法安装conda安装，因为它中没有tensorrt。
浏览 53提问于2020-11-26得票数 0
我已经安装了tensorrt 3.0.4，但是当我尝试使用tensorrt 3.0.4安装tensorflow时，我得到了以下结果：
uff 0.2.0 requires argparse>=1.4.0, which is not installed.
tensorrt 3.0.4 requires argparse>=1.4.0, which is not installed.
但奇怪的是，pip show argparse会产生以下输出：
Name: argparse
Version: 1.4.0
Summary: Python command-line parsing lib
浏览 1提问于2018-04-06得票数 0
我正在尝试用TRTorch引擎编译我的py手电筒模型。我已经根据TRTorch链接安装了。
当运行示例代码(使用来自此的以下命令)时，会出现给定的错误：
sudo bazel run //cpp/trtorchexec -- $(realpath /home/TRTorch/tests/modules/alexnet_scripted.jit.pt) "(1,3,227,227)"
加载共享库时出错: libnvinfer.so.7:无法打开共享对象文件:没有此类文件或目录
另外，LD_LIBRARY_PATH也是正确设置的。
导出LD_LIBRARY_PATH=$L
浏览 3提问于2020-07-27得票数 2
回答已采纳
1回答
我尝试使用GPU与Tensorflow，所以我安装了CUDA10.1，CURN7.6，TensorRT 6和Tensorflow-GPU2.1.0。但是当我导入tensorflow来检查它是否能检测到gpu时。它给出了以下错误
>>> import tensorflow as tf
2020-04-22 14:44:14.473830: W tensorflow/stream_executor/platform/default/dso_loader.cc:55] Could not load dynamic library 'libnvinfer.so.6';
浏览 0提问于2020-04-22得票数 1
我的Tensorflow模型是follow (模型的一部分)。 ? Tensorflow模型需要是NHWC格式的输入图像及其处理。在将Tensorflow模型转换为TensorRT引擎时，upsample需要实现插件。 但是TensorRT插件需要的格式必须是PluginFormat::kNCHW。如果设置为PluginFormat::kNHWC，则无法编译插件。 那么如何为这样的Tensorflow模型创建插件呢？
浏览 110提问于2019-08-29得票数 0
回答已采纳
我正在使用PyTorch训练神经网络并将它们输出到ONNX中.我在索引中使用这些模型，该索引通过TensorRT加载ONNX。我需要一些特性的一个热编码，但这真的很难在Vespa框架内实现。
是否有可能在我的ONNX网络中(例如，在网络表示之前)嵌入对某些给定功能的单热编码？如果是这样的话，我应该如何基于PyTorch模型来实现这一点？
我已经注意到两件事：
ONNX格式包括OneHot运算符：
PyTorch内置的ONNX导出系统不支持OneHot操作符：
编辑2021/03/11:以下是我的工作流程：
基于PyTorch的学习秩模型的训练
将它们导出为ONNX
浏览 17提问于2021-03-09得票数 3
回答已采纳
我的目标是在C++应用程序中运行tensorrt优化的tensorflow图。我正在使用tensorflow 1.8和tensorrt 4。使用python api，我能够优化图形并看到良好的性能提升。
尝试在c++中运行图形失败，并显示以下错误：
Not found: Op type not registered 'TRTEngineOp' in binary running on e15ff5301262. Make sure the Op and Kernel are registered in the binary running in this process.
其他
浏览 3提问于2018-05-02得票数 2
我正在尝试使用onnx，但这需要TENSORRT_LIBRARY_MYELIN。TENSORRT_LIBRARY_MYELIN需要trt 7，trt 7需要cuda 10.2。Cuda10.2只能通过jetpack管理器更新。但我只看到库达10.0在那里。如何更新到cuda 10.2？
浏览 3提问于2020-01-20得票数 1
回答已采纳
2回答
我正在尝试安装conda env中的tensorrt，我已经通过conda导航器在我的env中安装了cudatoolkit和cudnn。我也更新了我的pip和setuptool，但是得到下面的错误，我应该做什么？
错误：
Looking in indexes: https://pypi.org/simple, https://pypi.ngc.nvidia.com
Collecting nvidia-tensorrt
Downloading nvidia-tensorrt-0.0.1.dev5.tar.gz (7.9 kB)
Preparing metadata (setup.py)
浏览 16提问于2022-09-13得票数 1
在从源代码安装TensorRT 1.8之前，我正在尝试安装TensorFlow。当我遵循给定的这里文档时，我在安装TensorRT 4.0时遇到了一个错误。我得到的错误是：
nivedithak@nivii-Sum18:~/Downloads$ sudo apt-get install tensorrt
[sudo] password for nivedithak:
Reading package lists... Done
Building dependency tree
Reading state information... Done
Some packages coul
浏览 0提问于2018-06-26得票数 0
回答已采纳
我在使用conda环境时遇到了麻烦。
我简单地通过以下方式创建一个环境：
conda create -n NAME python==3.5
所以有一个python3.5虚拟环境。然后进入虚拟环境并安装tensorflow-gpu：
conda install tensorflow-gpu
现在我可以看到tensorflow-gpu包连同cudatoolkit和cudnn。但是当我运行一个简单的程序时，它只是没有使用gpu.I，我不认为它是nvidia驱动程序问题或来自不同资源的包，因为它在旧的conda环境中工作，但是当我创建一个新的，它失败了。
更有趣的是，它将使用来自外部环境的包(tens
浏览 2提问于2018-10-29得票数 3
我尝试安装tensorrt7.2.3.4，我的系统是win10，cuda11.1，python3.8。 按照安装说明操作之后，我进行了tensorrt测试：Tensorrt samples 我们可以看到tensorrt应该可以正常安装 但是当我想导入tensorrt时，出现错误：enter image description here
浏览 55提问于2021-03-24得票数 0
我正在运行nvprof来分析TensorRT服务器-客户机模型的GPU使用情况。我正在做的事情是：
在启用TensorRT的码头容器中运行nvprof，nvprof --profile-all-processes -o results%p.nvvp
在与第一步相同的码头容器中在第2航站楼上运行TensorRT服务器
作为前两个步骤，在不同码头容器内的3号航站楼上请求服务。
当第三步完成时，客户端正常存在，但服务器和nvprof仍在运行。因此，我自然地用ctrl关闭了TensorRT服务器。当我这样做时，在终端1(运行nvprof)上，它告诉我应用程序有一个内部分析错误，并且
浏览 4提问于2020-03-16得票数 0
回答已采纳
我想使用tensorRT优化我的模型，但是，我的模型中的CTC层不受tensorRT支持。有人成功地用tensorRT优化了CTC层。
浏览 1提问于2018-08-21得票数 1
回答已采纳
1回答
我用TensorRT优化了我的深度学习模式。C++接口在Jetson TX2上通过优化模型对图像进行推理。这个接口提供了平均60 FPS (但不稳定)。推论在50和160 FPS范围内)。我需要运行这个系统作为实时实时修补Jetson。
那么，您对TensorRT实时推理的想法是什么呢？用TensorRT开发实时推理系统是可行的吗？
我已经尝试设置高优先级的进程和线程提供抢占。我期望在每次推理中都能得到相同的FPS值。所以我需要确定性推理时间。但系统不能确定地输出。
浏览 1提问于2019-03-24得票数 0
当我试图导入tensorrt时，我得到了这样的消息：
ImportError: libnvinfer.so.6:无法打开共享对象文件:没有这样的文件或目录
验证安装情况显示：
..。
ii张量7.0.0.11-1+cuda10.2 amd64元包tensorrt
..。
所以我假设安装已经成功了。
由于我已经尝试了一些解决方案，我已经找到，但仍然可以让它发挥作用，我在这里张贴这个问题。
谢谢你帮忙。
浏览 3提问于2020-02-24得票数 0
我想移除tensorRT 7
/var/nv-tensorrt-repo-cuda10.2-trt7.0.0.11-ga-20191216
当我安装tensorRT 6时，它会被更新。
sudo apt-get update
所以我去掉了sudo rm -rf /var/nv-tensorrt-repo-cuda10.2-trt7.0.0.11-ga-20191216
当我尝试使用sudo apt-get update的时候
我收到此错误消息并停止更新。
Reading package lists... Done
E:
浏览 0提问于2020-01-07得票数 1
我使用TensorRT将模型从onnx转换为trt -format。该模型最初是来自Tensorflow模型动物园(SSD ResNet50)的一个模型。当我试图转换它时，我得到了错误：
[E] [TRT] /home/jenkins/agent/workspace/OSS/OSS_L0_MergeRequest/oss/parsers/onnx/ModelImporter.cpp:708: ERROR: /home/jenkins/agent/workspace/OSS/OSS_L0_MergeRequest/oss/parsers/onnx/builtin_op_importers.cpp
浏览 2提问于2021-06-18得票数 4
回答已采纳
我正在尝试使用YoloV3优化tensorRT
我来这篇文章叫
文章中使用了Docker。
使用安装nvidia-docker2
从docker pull aminehy/tensorrt-opencv-python3:version-1.3中提取了最新版本的docker映像
这是照片
$ sudo docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
nvcr.io/nvidia/cuda
浏览 7提问于2019-12-23得票数 0
回答已采纳
1回答
有了经过训练的“.h5”Keras模型文件，我正在尝试优化推理时间：
探讨了两个备选方案：
基于TensorRT的加速推理
“int8”量化。
此时，我可以将模型文件转换为TensorFlow protobuf '.pb‘格式，但作为一个侧面，它还包含几个层的自定义对象。
看到了一些关于TensorRT转换和TFLite转换的文章，但我似乎找不到一个可读的健壮实现。有人能解释一下如何做到这一点(TFLite/Keras量化或TensorRT)来使用相同的模型来进行更快的推理吗？
(打开以提高TensorFlow和Keras支持的推理速度的其他建议)
浏览 1提问于2019-07-06得票数 3
1回答
我训练了一个用于目标检测的tensorflow模型，输入作为占位符，维度为1，None，None,3，因为我的训练图像具有不同的大小。然后我将冻结的图(.pb文件)转换为tensorRT图，以便更快地推断，但tensorRT给了我一个警告，即输入张量具有未知的非批处理维度，因此节点将回落到TF。错误消息为： 2019-05-22 08:59:56.628216: W tensorflow/contrib/tensorrt/convert/convert_nodes.cc:3710] Validation failed for TensorRTInputPH_0 and input slot
浏览 23提问于2019-05-23得票数 2
1回答
我试图在继承自多处理的python类中使用TensorRT引擎进行推理。引擎在我的系统上运行在一个独立的python脚本中，但是现在在将它集成到代码库中时，类中使用的多处理似乎造成了问题。
我不会犯任何错误。它只是跳过行self.runtime = trt.Runtime(self.trt_logger)之后的所有内容。我的vscode调试器也不会进入函数。
提到了以下内容，但我并不完全理解：
TensorRT构建器一次只能由一个线程使用。如果需要同时运行多个构建，则需要创建多个构建器。只要每个对象使用不同的执行上下文，多个线程可以同时使用TensorRT运行时。
我的代码的以下部分是
浏览 1提问于2021-04-06得票数 2
2回答
我正在使用TensorFlow 1.14并测试TensorRT；正如我在文档中看到的那样，TensorRT支持3种精确模式："FP32“、"FP16”和"INT8“。因此，我想知道TensorFlow的默认精确模式是什么；我想它是FP32，但我不完全确定这一点？
浏览 5提问于2020-09-02得票数 1
回答已采纳
我正在尝试将我的PB模型转换为tenrorrt模型，以使其在tx2上工作。
我使用了来自Nvidia论坛的示例代码，并尝试执行它。我知道这是一些与python包相关的问题，但我无法解决它。
我在下面的代码中得到以下错误
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
import tensorrt as trt
from tensorrt.parsers import uffparser
import pycuda.driver a
浏览 0提问于2018-04-12得票数 1
我有TensorRT引擎生产的tensorflow冷冻模型。
我不能再训练模型，因为我没有所有需要的图像。
但是Tensorflow流程有一些后处理层，我喜欢添加到TensorRT引擎中。
什么是最好的方法？
我可以使用TensorRT层创建插件层吗？
这些Tensorflow层主要可用在TensorRT中，如下所示。
self.tensor_heatMat_up = tf.image.resize_area(self.tensor_output[:, :, :, :19], self.upsample_size,
浏览 0提问于2019-07-22得票数 1
回答已采纳
嘿，对于Tensorflow和TensorRT来说都是很新的，我很难将现有的冻结图转换为tensorRT图。我不认为我所拥有的代码正在成功地转换我的图形。在Nvidia Jetson Nano上运行这个。
我试图遵循如下所示的指导方针：
def load_object_detection_model(self):
# Load TensorFlow object detection model
gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=.5)
EXPORTED_OB
浏览 0提问于2019-07-08得票数 0
我已经在家用笔记本电脑(Ubuntu18.04)的虚拟主机上安装了tensorflow 2.1.0。当我从终端import tensorflow as tf时，我会收到以下警告：
tensorflow/stream_executor/platform/default/dso_loader.cc:55] 2020-03-12 :17:17:56.485098:W 无法加载动态库'libnvinfer.so.6'；：libnvinfer.so.6:无法打开共享对象文件:没有这样的文件或目录
2020-03-12 :17:17:56.485179:W tensorflow/strea
浏览 3提问于2020-03-12得票数 1
我安装了Tensorrt压缩文件，我正在尝试安装tensorrt，但它显示了一些丢失的dll文件错误。我是个新手，知道如何使用tensorrt和CUDA引擎。如何使用CUDA转换为C++引擎。作为参考，我也附上截图。 有人能帮帮我吗？enter image description here
浏览 35提问于2020-06-26得票数 1
我正在使用珊瑚吞吐板和Nvidia Jetson TX2。这就是我如何了解TensorFlow-Lite，TensorFlow-TRT和TensorRT的.我有一些关于他们的问题：
在TensorFlow-TRT和TensorRT之间:当使用与TensorRT完全优化/兼容的图时，哪一个更快，为什么？
在Google中使用TFlite的管道(当使用TensorFlow 1.x.)is:
使用TensorFlow动物园提供的模型
b.将模型转换为冻结(.pb)
c.使用原型对图形进行序列化。
d.改为Tflite
e.应用量化(INT8)
f.汇编
当使用TensorFlow-TRT和Tenso
浏览 6提问于2020-09-07得票数 1
我很少遇到将yolo.weight模型转换为tensorRT的问题。那么，是否有可能在Jetson中运行yolo模型，并将其优化为TensorRT？会有同样的检测速度吗？(无论如何，训练都不会在杰特森进行)。
或者还有其他替代TensorRT的建议吗？
浏览 5提问于2020-03-23得票数 0
回答已采纳
我安装了拉杆，但得到了：
ImportError:没有名为'tensorrt'的模块
浏览 2提问于2020-03-25得票数 0
回答已采纳
我们现在有了一个经过训练的分类任务网络。网络的顶端就像
因此，layer relu_fc1类似于提取特征，然后再从softmax到类预测。
现在我们要直接提取这些特征。在正常情况下，我们可以通过
y = sess.graph.get_tensor_by_name('relu_fc1:0') sess.run(y,...)
这很好，但我们仍然希望它更快，所以我们使用TensorRT来转换保存的模型。然而，在转换之后，我们无法在relu_fc1中得到正确的张量，因为TensorRT混合了操作，产生了类似于TRTENgineOp_1的东西。
我想知道有什么方法可以在Tensor
浏览 5提问于2020-01-17得票数 4
我正在使用TensorRT FP16精密模式来优化我的深度学习模型。我在Jetson TX2上使用了这个优化模型。在测试模型时，我发现TensorRT推理机是而不是确定性。换句话说，对于相同的输入图像，我的优化模型给出了不同的FPS值在40到120 FPS之间。
当我看到关于数据自动化系统的评论时，我开始认为非决定论的根源是浮点操作：
“如果您的代码使用浮点原子，结果可能因运行不同而不同，因为浮点操作通常不是关联的，而且数据输入计算的顺序(例如和)在使用atomics时是不确定的。”
FP16、FP32和INT8等精度类型是否影响TensorRT的确定性？或者其他什么？
你有什么想法吗
浏览 1提问于2019-07-19得票数 1
回答已采纳
如何在libtorch中从tensorRT fp16半类型指针创建张量？我正在研究一个检测模型。我把它的主干改成了tensorRT来做FP16推断，解码盒和nms等检测代码都是在libtorch和torchvisoin中完成的，那么如何从fp16半类型指针创建tensorRT张量呢？重要的代码是为了说明这个问题：
// tensorRT code to get half type outpus
half_float::half* outputs[18];
doInference(*engine, data, outputs, 1);
// to get the final outputs wi
浏览 0提问于2020-04-24得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
