将PyTorch模型转换为TorchScript时出错
可能是由于以下原因导致的：
- 版本不兼容：PyTorch和TorchScript有不同的版本要求。请确保你正在使用兼容的PyTorch和TorchScript版本。你可以查看PyTorch和TorchScript的官方文档来获取版本兼容性信息。
- 模型结构不支持转换：TorchScript转换器可能无法处理某些特定类型的模型结构。确保你的模型结构符合TorchScript的要求。通常，只有一些特定的模块和操作符才能被转换为TorchScript。你可以查看PyTorch官方文档中关于TorchScript的支持和限制来获取更多信息。
- 模型依赖外部库：如果你的模型依赖于一些外部库或自定义操作符，TorchScript转换器可能无法正确处理它们。在转换之前，确保你的模型不依赖于任何无法在TorchScript中运行的外部库或操作符。
解决这个问题的方法包括：
- 更新PyTorch和TorchScript版本：确保你使用的PyTorch和TorchScript版本兼容，并且更新到最新的稳定版本。
- 检查模型结构：仔细检查你的模型结构，确保它符合TorchScript的要求。如果可能的话，尝试使用TorchScript支持的模块和操作符来构建模型。
- 移除外部依赖：如果你的模型依赖于无法在TorchScript中运行的外部库或操作符，尝试移除或替换它们，以使模型可以成功转换为TorchScript。
如果你需要更具体的帮助，可以提供更多关于错误信息和你的模型结构的详细信息，以便我们能够提供更准确的解决方案。
相关·内容
从开始，我下载了教程项目并让它构建和运行。然后，我尝试将其添加到该项目的应用程序build.gradle中(在将pytorch版本提高到1.5.0之后)：
implementation 'org.pytorch:pytorch_android_torchaudio:1.5.0'
我得到了一个错误：
Could not find org.pytorch:pytorch_android_torchaudio:1.5.0.
其他人有运气让PyTorch的torchaudio在Android上工作吗？
浏览 3提问于2020-07-28得票数 0
回答已采纳
当我从Matlab调用mex api时，我得到了一个意外的标准异常。
我导出了2个pytorch DNN模型到'A.pt‘和'B.pt’文件。
我实现了从'.pt‘文件加载模型并运行模型(向前)的c++函数。
c++实现运行得很好，我可以从模型中得到适当的结果。
我将load & run forward函数构建到'.dll‘库中，并实现了一个可以调用它们的mex函数。
当我在Matlab环境中调用mex api时，两个模型正常加载，第一个模型正常向前运行。
然而，当运行第二个模型时，我得到了以下异常。
来自MEX文件的意外标准异常
What()：以下操
浏览 9提问于2020-08-22得票数 0
我试图使用DJL加载Yolov5模型以进行目标识别，但报告了一个错误。
ai.djl.engine.EngineException: PytorchStreamReader failed locating file constants.pkl: file not found
at ai.djl.pytorch.jni.PyTorchLibrary.moduleLoad(Native Method)
at ai.djl.pytorch.jni.JniUtils.loadModule(JniUtils.java:1360)
at ai.djl.pyt
浏览 112提问于2022-01-27得票数 0
我正在以以下方式加载torchscript模型：
model = torch.jit.load("model.pt").to(device)
该模型的子模块被识别为RecursiveScriptModule。我想整理上传的重量，为了使它更简单，并将它们投到torch.float32，最好将所有这些东西转换成普通的PyTorch nn.Module。
在正式的docs 中，我们被告知如何将nn.Module转换为torchscript，但是我还没有发现在相反方向上这样做的例子。有办法这样做吗？
本文给出了加载模型预训练模型的实例：
浏览 22提问于2021-05-15得票数 3
回答已采纳
我试图运行我的PyTorch模型的ASR在一个arm为基础的设备，没有gpu。据我所知，arm不支持ATen使用的MKL。当然，当我试图进行推断时，我会得到以下错误：
RuntimeError: fft: ATen not compiled with MKL support
我该如何解决这个问题？有什么可供我选择的吗？
浏览 13提问于2021-03-18得票数 2
回答已采纳
我有一个用pytorch训练的神经网络，我想把它部署到Unity应用程序中。做这件事最好的方法是什么？我还对允许用户在Unity应用程序中进一步训练神经网络感兴趣，我猜这将需要将pytorch的某些部分集成到Unity中(也许有一种方法可以将pytorch的C++ / torchscript API与Unity集成？)。如果有人有这方面的经验，我想知道最好的替代方案是什么。
浏览 5提问于2019-05-27得票数 4
为了在Swift 5(ios-iphone6s，xcode 11)中使用它，我将.pt转换为torchscript模型(.pt)。在Swift中，模型的“预测”函数给出了它的嵌入值(张量)。由于它作为预测结果返回了NSNumber数组，所以我使用类型转换NSNumber来计算两个嵌入值之间的距离。L2归一化、点积等。
然而，在pytorch版本得到正确答案的同时，torchscript模型得到了很多错误的答案，不仅有不同的答案，而且两种嵌入对在torchscript中的距离计算也与PC机上pytorch模型的结果不同。实际上，在使用类型铸造进行距离计算之前，NSNumber(Swift)中的嵌
浏览 3提问于2020-02-08得票数 3
回答已采纳
我有一个Detectron2模型，用于识别后端服务器上的特定项。我想让这个模型在iOS设备上可用，并使用corelToolsv6.1将其转换成一个CoreML模型。我使用Facebook提供的export_model.py脚本创建了一个torchscript模型，但是当我试图将它转换为coreml时，我得到了一个KeyError。
def save_core_ml_package(scripted_model):
# Using image_input in the inputs parameter:
# Convert to Core ML neural network us
浏览 24提问于2022-11-28得票数 0
我已经将一个模型从PyTorch转换为Keras，并使用后端提取tensorflow图。由于PyTorch的数据格式为NCHW，因此提取并保存的模型也是NCHW。在将模型转换为TFLite时，由于格式为NCHW，因此无法转换。有没有办法将整个图转换成NHCW？
浏览 2提问于2018-05-01得票数 2
在原型化过程中，我经常对PyTorch模型执行许多更改。例如，假设我正在试验的第一个模型是：
class Model(nn.Module):
def __init__(self, **args):
super().__init__()
self.l1 = nn.Linear(128, 1)
然后，我将添加另一层：
class Model(nn.Module):
def __init__(self, **args):
super().__init__()
self.l1 = nn.Linear(128, 32)
浏览 4提问于2021-03-16得票数 1
回答已采纳
Torchscript提供了torch.jit.trace和torch.jit.script，可以将pytorch代码从急切的模式转换为脚本模型。从文档中可以了解到，torch.jit.trace无法处理python中的控制流和其他数据结构。因此，开发了torch.jit.script来克服torch.jit.trace中的问题。
但是看起来torch.jit.script适用于所有的情况，那么为什么我们需要torch.jit.trace?
请帮助我理解这两种方法的区别。
浏览 10提问于2020-06-28得票数 4
我正在尝试使用triton (tensorRT)推理服务器为TorchScript模型提供服务。但每次启动服务器时，它都会抛出以下错误：
PytorchStreamReader failed reading zip archive: failed finding central directory
我的文件夹结构是：
<model_repository>
<model_name>
config.pbtxt
<1>
<model.pt>
我的config.pbtxt文件是：
name: "model"
pl
浏览 17提问于2020-11-26得票数 0
我在Pytorch C++前端使用TorchScript模型。 Python中的模型以Dict[str, List[torch.Tensor]]的形式返回一个output字典。 当我在C++中使用它时，它返回一个c10::Dict<c10::IValue, c10::IValue>。以下Python代码的等价物是什么： value_a = output['key_a']
value_b = output['key_b'] 在C++中从c10::Dict获取值 我试过了，但不起作用。 torch::IValue key_a("key_a
浏览 164提问于2020-09-16得票数 2
回答已采纳
2回答
我是C++和lib手电的新手，我尝试用torchscript加载模型并执行推断，代码如下：
torch::jit::script::Module module;
try {
module = torch::jit::load("../../weights/card_extraction/pytorch/2104131340/best_model_27_mAP=0.9981_torchscript.pt");
}
catch (const c10::Error& e) {
std::cerr << "E
浏览 6提问于2021-08-16得票数 2
当我将torch模型编译成torchscript时，只需调用torchscript模型对象forward，就可以使用函数model()。
但是，当我想使用在模型上创建的另一个函数时，我不能调用该函数。我尝试执行model.functionName()，期望调用函数functionName，但什么也没有发生。
对于如何调用不向前的模型对象的子函数，有什么想法吗？
谢谢
浏览 10提问于2022-03-08得票数 3
对于gpus，由于速度优势，nchw模式是首选模式，但是对于tflite模型，在移动性能方面更好的模式是什么？现在，从pytorch到tflite的转换产生了一个工作的nchw模型，但是这种模式是最优的吗？
浏览 142提问于2021-03-17得票数 0
回答已采纳
我已经训练了一个对象检测模型，用于生产实时应用程序.我有以下两个选择。有人能建议什么是最好的方式运行Jetson的最佳性能推断吗？任何其他建议也是受欢迎的。
将模型转换为ONXX格式并与TensorRT一起使用
将模型保存为Torchscript并在C++中运行推理
浏览 9提问于2021-02-08得票数 2
1回答
我还没有找到任何使用tensorflow lite 2的立体成像来测量距离的项目、库、模型或指南。
我希望能够测量立体图像的距离。我希望能够在android上运行它，所以我想在tensorflow 2中创建一个模型或使用现有的模型。但我不知道从何说起，我找到的所有东西都用pytorch
我知道opencv提供了一种方法来做到这一点，但根据文献，神经网络可以获得更好的结果。但我在tensorflow 2中没有找到任何模型。我不能使用google ar，因为我的设备不支持google play服务。
浏览 1提问于2021-04-28得票数 1
我目前有一个通过torch.jit.load加载的Torchscript模型。我想拿一些我拥有的数据，在这些权重的基础上进行训练，但是我找不到如何训练序列化的torchscript模型。
浏览 10提问于2021-05-18得票数 0
我很难让我的量化火把移动模型(自定义MobilenetV3)运行在安卓系统上。我遵循了本教程，和我设法量化我的模型，没有任何问题。但是，当我试图通过。module = Module.load(assetFilePath(this, MODEL_NAME));我得到以下异常：
未知内建op: quantized::linear_unpack_fp16.
找不到与quantized::linear_unpack_fp16类似的操作。这个op可能不存在，或者目前在TorchScript中不受支持。
为什么量化模型中甚至存在float16值，我认为量化将用qint8 8/quint8 8取代所有的f
浏览 1提问于2020-06-22得票数 1
回答已采纳
1回答
在测试super resolution model的ONNX模型时，我在运行this sample program时出错。 我的ONNX版本是1.5.0，带有onnxruntime 1.4.0。Onnxruntime was installed using pip。Pytorch版本为1.6.0 错误发生在ort_session = onnxruntime.InferenceSession('/home/itc/pytorch/sub_pixel_cnn_2016/model/super-resolution-10.onnx') 加载onnx模型时出错。 Traceback
浏览 747提问于2020-10-09得票数 1
回答已采纳
1回答
简捷的拥抱转储式变压器
、、、
我有个问题要放弃一个简单的变形模型。
我训练了一个模型，而不是用joblib转储它：
dump(model, 'Simple_transfomers.joblib')
当我在另一个脚本中加载它时，我使用：
files = glob.glob('Simple_transfomers.joblib')
model = ClassificationModel(
"bert", "models/files"
)
甚至尝试过其他方法：
model = ClassificationModel(
"bert"
浏览 6提问于2021-08-18得票数 0
1回答
如何定义多个入口点
、、、
有一个火炬模型如下：
MyModel
update(self) : Update some params.
predict(self,X) : Predict with some input tensor.
当导出到torchscript时，是否有一种方法可以有两个入口点：
One for update()
One for predict()
浏览 17提问于2022-12-03得票数 1
回答已采纳
我的代码是 a=torch.randn(1,80,100,requires_grad=True)
torch.onnx.export(waveglow,a, "waveglow.onnx") 我正在尝试将PyTorch模型导出为ONNX格式，这样我就可以在TensorRT中使用它。在PyTorch中测试我的模型时，输入张量维度是(1,80，x)，其中x随输入文本长度而变化(我使用的模型是名为waveglow的TTS模型) 当我尝试运行上面的代码将模型导出到onnx时，我总是得到这个错误 RuntimeError: Only tuples, lists and Variable
浏览 631提问于2019-03-10得票数 3
我正在用以下规范训练拥抱脸xlnet大案例模型：args = TrainingArguments( f"xlnet-large-finetuned", evaluation_strategy = "epoch", save_strategy = "epoch", learning_rate=2e-5, per_device_train_batch_size=1, per_device_eval_batch_size=1, num_train_epochs=3, gradient_accumulation_steps=16, weight_deca
浏览 11提问于2022-07-24得票数 0
我遇到了一个问题，我在pytorch 0.4.1中训练我的模型，但我找不到一个工具来将它转换为caffe模型。
如何使用init pytorch 0.2.0的pytorch 0.4.1 model
或者如何将pytorch 0.4.1 model转换为caffe model
浏览 12提问于2018-09-12得票数 0
我正在尝试将PyTorch 模型转换为TorchScript。当我开始用@torch.jit.script注释一些类时，我就得到了一个错误：
OSError: Can't get source for <class 'collections.deque'>. TorchScript requires source access in order to carry out compilation, make sure original .py files are available.
因此，据我所知，在CPython中实现的类不能被TorchScript编译器
浏览 21提问于2021-03-14得票数 3
回答已采纳
关于CoreML模型的教程都是将TensorFlow模型或PyTorch模型转换为CoreML模型。如果预先训练好的模型文件是mlmodel类型，我不知道如何在python中使用它，也不知道如何将mlmodel转换为tf模型。 如何在Python语言中通过TensorFlow、Keras或PyTorch来读取和部署CoreML模型？
浏览 28提问于2020-09-06得票数 0
回答已采纳
1回答
放火器和煤角中的保存模型
、、、
我用keras训练了模型，并在pytorch的帮助下保存了下来。会不会在将来引起任何问题。据我所知，它们之间的唯一区别是Keras将其模型的权重保存为双倍，而PyTorch将其权重保存为浮点数。
浏览 1提问于2020-07-25得票数 0
回答已采纳
1回答
我使用英特尔lpot()成功地量化了一个用于huggingface文本分类的pytorch模型。
现在，我的机器中有了原始的fp32模型和量化的int8模型。为了进行推断，我用以下代码加载了量化的lpot模型
model = AutoModelForSequenceClassification.from_pretrained('fp32/model/path')
from lpot.utils.pytorch import load
modellpot = load("path/to/lpotmodel/", model)
我能够看到时间上的各种改进，但我想
浏览 29提问于2021-09-29得票数 0
我已经使用pytorch训练了一个图像分类模型。
现在，我想把它从研究转移到生产流水线。
我正在考虑使用TensorFlow扩展。我非常怀疑我是否能够在TensorFlow扩展管道中使用我的PyTorch训练模型(我可以将训练模型转换为ONNX，然后转换为Tensorflow兼容格式)。我不想重写和重新训练训练部分到TensorFlow，因为这将是一个很大的开销。有没有可能或者有更好的方法来生产PyTorch训练过的模型？
浏览 6提问于2020-11-13得票数 2
1回答
上下文
我试图使用一个预先训练的模型，在ONNX格式，以进行推断的图像数据在统一。该模型作为一个名为modelAsset的资产，链接到Unity中的执行组件。为此，我使用了Barracuda版本1.0.0，并按如下方式执行该模型：
// Initialisation
this.model = ModelLoader.Load(this.modelAsset);
this.worker = WorkerFactory.CreateWorker(WorkerFactory.Type.CSharpBurst, model);
// Loop
Tensor tensor = new
浏览 3提问于2020-07-02得票数 1
回答已采纳
Platform : ubuntu 16.04
Python version: 3.5.2
mmdnn version : 0.2.5
Source framework with version : Tensorflow 1.14.0 with GPU
Destination framework with version : Pytorch 1.1.0
预训练模型路径:
初始resnet v2模型(Tensorflow)(来自)
运行脚本：
mmconvert -sf tensorflow -iw inception_resnet_v2_jsy.pb --inNodeName input --
浏览 1提问于2019-07-25得票数 5
1回答
BERT生产优化
、、、
我使用BERT将文本转换为768模糊向量，它是多语种的：
from sentence_transformers import SentenceTransformer
model = SentenceTransformer('paraphrase-multilingual-mpnet-base-v2')
现在我想把模型投入生产，但是嵌入时间太长了，我想减少和优化模型以减少嵌入时间
浏览 0提问于2021-07-08得票数 1
回答已采纳
1回答
我试图使用GPU在PyTorch中的加速来优化一个函数(PyTorch)。这是直接的Python代码，我在这里做fit的计算
import numpy as np
...
for j in range(P):
e[:,j] = z - h[:,j];
fit[j] = 1/(sqrt(2*pi)*sigma*N)*np.sum(exp(-(e[:,j]**2)/(2*sigma**2)));
变量维数为：zNx1、hNxP、eNxP、fit1xP。其中P是fit的维数，N是每个维的长度。
我知道应该避免for循环，所以我试图通过torch.cuda.FloatTensor
浏览 4提问于2017-11-14得票数 0
回答已采纳
我正在尝试从MATLAB导入一个经过DNN训练的模型到PyTorch。
我已经找到了相反情况的解决方案(从PyTorch到MATLAB)，但没有提出如何从MATLAB导入经过训练的模型到PyTorch的解决方案。
有什么想法吗？
浏览 7提问于2021-02-16得票数 1
回答已采纳
我有一个关于Tensorflow模型的问题，这个模型是从Pytorch -> Onnx -> Tensorflow转换而来的。问题是，转换后的Tensorflow模型期望输入的格式为Pytorch格式，即(批次大小、数字通道、高度、宽度)，而不是Tensorflow格式(批大小、高度、宽度、数字通道)。因此，我不能使用该模型进一步处理与Vitis AI。
因此，我想问一下，是否有任何方法可以通过使用Onnx、Tensorflow 1或其他工具将这个Py手电输入格式转换为Tensorflow格式？
我的代码如下：
火炬-> Onnx
from hardnet import ha
浏览 8提问于2020-12-17得票数 0
回答已采纳
如何保存PyTorch模型而不需要在某个地方定义模型类？
免责声明
在中，在不访问模型类代码的情况下，没有解决方案(或有效的解决方案)来保存模型。
浏览 4提问于2019-12-11得票数 20
回答已采纳
我准备好将pytorch模块转换为ScriptModule，然后将其加载到c++，but中。我被这个错误This attribute exists on the Python module, but we failed to convert Python type: 'Vocab' to a TorchScript type阻塞了，Vocab是我定义的python对象。演示代码如下： import torch
class Vocab(object):
def __init__(self, name):
self.name = name
def
浏览 47提问于2020-06-09得票数 2
回答已采纳
这段代码编译得很好： import torch
import torch.nn as nn
class Foo(nn.Module):
def __init__(self):
super(Foo, self).__init__()
self.x = 0
def forward(self, X):
X *= self.x
self.x += 1
return X
# @torch.jit.script
def bar(f: Foo):
return f
浏览 41提问于2020-06-17得票数 0
回答已采纳
1回答
这个问题可以被认为与相关。
我尝试并行运行多个机器学习进程(使用bash)。这些都是使用PyTorch编写的。经过一定数量的并发程序(在我的例子中是10个)后，我得到以下错误：
RuntimeError: Unable to find a valid cuDNN algorithm to run convolution
正如所提到的，
...it可能是因为VRAM内存限制被击中而发生的(从错误消息来看，这是非常不直观的)。
对于我进行PyTorch模型培训的案例来说，减少批处理大小是有帮助的。您可以尝试这样做，或者减少模型大小以减少VRAM的消耗。
我尝试了提到的解决方案，以强制每个进程G
浏览 12提问于2022-11-30得票数 0
回答已采纳
我有一个具有多个可选头的模型，并且希望编译成torchscript。
有正确编译的方法吗？
我试着搜索，但最接近的答案是这个，它不提供任何解决办法。
浏览 7提问于2022-12-03得票数 0
我使用的是PyTorch 1.4，需要在forward中导出一个循环内带卷积的模型：
class MyCell(torch.nn.Module):
def __init__(self):
super(MyCell, self).__init__()
def forward(self, x):
for i in range(5):
conv = torch.nn.Conv1d(1, 1, 2*i+3)
x = torch.nn.Relu()(conv(x))
return x
t
浏览 100提问于2020-03-05得票数 3
回答已采纳
1回答
IPEX的性能
、、、
我在PyTorch中尝试了线性回归和梯度下降。()
我使用以下命令导入了Ipex：
import intel_pytorch_extension as ipex
如何将模型转换为ipex？我怎样才能检查性能是否有所提高？这里有什么帮助吗？
浏览 5提问于2021-10-01得票数 1
回答已采纳
2回答
我正在通过PyTorch跟踪导出一个TorchScript模型，但我面临着一些问题。具体来说，我必须对张量大小执行一些操作，但是JIT编译器将变量形状硬编码为常量，与不同尺寸的张量兼容。
例如，创建类：
class Foo(nn.Module):
"""Toy class that plays with tensor shape to showcase tracing issue.
It creates a new tensor with the same shape as the input one, except
for the last
浏览 7提问于2021-05-06得票数 1
回答已采纳
在android上运行PyTorch模型时，我会收到以下错误？
Lite Interpreter verson number does not match. The model version must be between 3 and 5But the model version is 7 ()
有什么建议吗？
浏览 46提问于2022-03-07得票数 0
我在Keras中训练了一个特征提取器，并将权重保存为一个h5文件。现在，我希望将相同的权重加载到在PyTorch中创建和初始化的相同模型中，以便进行性能比较。有没有办法将h5文件转换为pth文件，以便将其加载到PyTorch模型中？
浏览 0提问于2019-08-04得票数 3
目标:使用这个对albert-base-v2模型执行量化。
内核：conda_pytorch_p36.
第1.2和2.2节中的输出显示：
将香草BERT从PyTorch转换为ONNX，保持相同大小的，417.6 MB。
量化模型的比香草BERT、PyTorch 173.0 MB和ONNX 104.8 MB小。
但是，当运行ALBert时
PyTorch和ONNX模型的尺寸是不同的。
量化模型尺寸比香草大。
我认为这是模型性能较差的原因，与香草ALBert相比，ALBert的两种量化ALBert方法的模型性能都较差。
PyTorch：
Size (MB): 44
浏览 35提问于2022-01-20得票数 0
回答已采纳
我目前正在尝试将FFB6D姿态估计模型转换为TorchScript。因为它有很多条件流，所以我必须torch.jit.script它。然而，我对脚本编写完全陌生，而这些文档并没有真正说明错误处理和如何正确理解一些错误(…)。
我实例化了具有最佳检查点的模型，并向我的模型提供了1的批处理大小，并提供了数据生成器，该生成器也用于培训网络：
model.to('cpu')
for (batch_idx, batch) in enumerate(train_loader):
scripted_module = torch.jit.script(model, batch)
pri
浏览 32提问于2022-05-25得票数 1
3回答
我的问题可分为两部分。
是否有可以通过不同库使用的机器学习模型文件的格式？例如，我保存了一个模型，然后使用tensorflow加载它？
如果没有，是否有一个库可以帮助传输格式，以便可以在keras中直接使用py手电筒机器学习模型？
我问这个问题的原因是，最近我需要调整我以前在tensorflow的一些受过训练的模型。
这个问题的更新： Facebook和微软将推出一个名为ONNX的模型标准，该标准用于在不同的框架之间传输模型，例如在Pytorch到Caffe2之间。链接如下：
对此问题的进一步更新： Tensorflow本身使用协议缓冲区格式存储模型文件，该文件可用于不同模型
浏览 12提问于2017-06-01得票数 1
回答已采纳
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
腾讯云开发者
