我尝试安装tensorrt7.2.3.4，我的系统是win10，cuda11.1，python3.8。按照安装说明操作之后，我进行了tensorrt测试：Tensorrt samples 我们可以看到tensorrt应该可以正常安装 但是当我想导入tensorrt时，出现错误：enter image description
浏览 55提问于2021-03-24得票数 0
我想使用NVIDIA TensorRT来运行我的Tensorflow模型。目前，TensorRT支持Caffe prototxt网络描述符文件。
浏览 0提问于2016-12-14得票数 9
我使用Debian安装程序在我的虚拟机上安装了TensorRT。如果我运行"dpkg -l | grep TensorRT“，我会得到预期的结果：ii libnvinfer-devamd64 Meta package of TensorRT
ii uff-converter-tf
浏览 10提问于2019-04-07得票数 5
通过阅读Nvidia对TensorRT的描述，他们认为使用TensorRT比单独使用Tensorflow可以加速7倍的速度。现在，我使用nvidia的文档来优化使用tensorrt：进行推理的模型。当我跑步时：from tensorflow.python.compiler.tensorrt import trt_convert as trt有人能建议如何用
浏览 9提问于2019-11-13得票数 4
回答已采纳
我正在尝试使用onnx，但这需要TENSORRT_LIBRARY_MYELIN。TENSORRT_LIBRARY_MYELIN需要trt 7，trt 7需要cuda 10.2。Cuda10.2只能通过jetpack管理器更新。但我只看到库达10.0在那里。如何更新到cuda 10.2？
浏览 3提问于2020-01-20得票数 1
回答已采纳
1回答
我用TensorRT优化了我的深度学习模式。C++接口在Jetson TX2上通过优化模型对图像进行推理。这个接口提供了平均60 FPS (但不稳定)。推论在50和160 FPS范围内)。那么，您对TensorRT实时推理的想法是什么呢？用TensorRT开发实时推理系统是可行的吗？
我已经尝试设置高优先级的进程和线程提供抢占。我期望在每次推理中都能得到相同的FPS值。但系统不能确定地输出。
浏览 1提问于2019-03-24得票数 0
我想将这个已开发的模型转换成一个TensorRT模型，但是在参考了附加的URL之后，我发现我只能转换原来的v4-微型模型。
我的问题是，其他人如何将他们的原始模型转换为TensorRT？
浏览 16提问于2022-04-06得票数 0
1回答
然后我将冻结的图(.pb文件)转换为tensorRT图，以便更快地推断，但tensorRT给了我一个警告，即输入张量具有未知的非批处理维度，因此节点将回落到TF。错误消息为： 2019-05-22 08:59:56.628216: W tensorflow/contrib/tensorrt/convert/convert_nodes.cc:3710] Validation/convert/convert_graph.cc:1021] TensorRT</e
浏览 23提问于2019-05-23得票数 2
我正在使用PyTorch训练神经网络并将它们输出到ONNX中.我在索引中使用这些模型，该索引通过TensorRT加载ONNX。我需要一些特性的一个热编码，但这真的很难在Vespa框架内实现。：
通过ONNX模型，将这些ONNX导入到我的Vespa索引中，以便对任何查询的结果进行排序。在引擎盖下
浏览 17提问于2021-03-09得票数 3
回答已采纳
在正常情况下，我们可以通过
y = sess.graph.get_tensor_by_name('relu_fc1:0') sess.run(y,...)这很好，但我们仍然希望它更快，所以我们使用TensorRT来转换保存的模型。然而，在转换之后，我们无法在relu_fc1中得到正确的张量，因为TensorRT混合了操作，产生了类似于TRTENgineOp_1的东西。我想知道有什么方法可以在TensorRT之后获得中间层的输出吗？我想也许我们可以更容易地删除网络中的最后一个层，然后进行
浏览 5提问于2020-01-17得票数 4
1回答
我在TensorRT中执行批处理推理时遇到问题。当批量大小为1时，它的效果很好，但当我将其更改为任何其他数字时，它会给出普通的垃圾。我一步一步地下载了TensorRT (5.0)，并将其安装在装有GTX755M的Ubuntu18.04笔记本电脑上。然后我构建了与之配套的示例，并在sampleMNIST sample上对其进行了测试，它就像一个护身符。然后，我继续将每次出现的mParams.batchSize更改为10。我已经在不同的网络上尝试过了，但结果是相似的，大多数网络都给出了1个正确的输出，其他9次
浏览 0提问于2018-11-14得票数 1
1回答
加载后，通过调用tensorflow的session.run()命令执行推理。 如果我只运行Inference1或Inference2，代码可以正常运行，没有任何错误。但是，当我通过管道传输它们时，我得到了错误[TensorRT] ERROR: cuda/caskConvolutionLayer.cpp (355) - Cuda Error in execute: 33Tensorflow也被导入，它可以识别我的GPU。通过我在互联网上的搜索，我发现这个问题可能与CUDA上下文有关？因此，我在下
浏览 88提问于2019-10-14得票数 0
我正在尝试使用TensorRT部署一个经过训练的U-Net。该模型使用Keras进行训练(以Tensorflow作为后端)。up_sampling2d_32_12/Shape-0-0-VecPermuteNCHWToNHWC-LayoutOptimizer as custom op: DataFormatVecPermute我还在某个地方看到，可以添加自定义操作来替换那些不受Te
浏览 13提问于2019-07-18得票数 19
我的目标是在C++应用程序中运行tensorrt优化的tensorflow图。我正在使用tensorflow 1.8和tensorrt 4。我在python api中也遇到过类似的错误，但通过导入tensorflow.contrib.tensorrt解决了这个问题。顺便说一句，我不能使用bazel，但需要使用cmake。到目前为止，我链接到了libtensorflow_cc.so和libtensorflow_framework.so。
有人能帮我吗？谢谢!更新:使用c或
浏览 3提问于2018-05-02得票数 2
我尝试了两种转换方法：第一种方法转换模型，但不为模型创建TensorRTconverter.convert()第二种方法转换模型并为所有可能的输入形状构建TensorRT这造成了很大的性能开销，我试图通过为这些模型缓存TensorRT引擎来克服这个问题(
浏览 18提问于2020-04-01得票数 4
列出了将TensorFlow SavedModel转换为TensorRT SavedModel的两种方法:第一种方法是 graph_func)除去所有用于导入文件解释了这一职能：
“此方法通过构建TensorRT引擎优化
浏览 1提问于2020-05-12得票数 2
回答已采纳
2回答
现在，当我尝试将ONNX转换为TensorRT时，我遇到了一个新的可能相关的问题。我得到以下错误：下面是我使用的代码：import pycuda.driver(onnx_file_path): builder = trt.Builder(TRT_LOGGERONNX_FILE_PATH
浏览 34提问于2020-12-29得票数 5
回答已采纳
1回答
我试图在继承自多处理的python类中使用TensorRT引擎进行推理。引擎在我的系统上运行在一个独立的python脚本中，但是现在在将它集成到代码库中时，类中使用的多处理似乎造成了问题。提到了以下内容，但我并不完全理解：
# More stuff
浏览 1提问于2021-04-06得票数 2
云服务器
ICP备案
云直播
实时音视频
即时通信 IM
腾讯云开发者
