我在PyTorch中有以下虚拟代码 class inside(nn.Module):
def __init__(self):
super(inside, self).__init__()
self.weight_h = nn.Parameter(SOMETHING GOES HERE) # send to CPU or GPU
self.weight_v = nn.Conv2d(SOMETHING GOES HERE) # send to CPU or GPU
def forward(self, x):
浏览 21提问于2021-09-16得票数 0
回答已采纳
目标:使用这个对albert-base-v2模型执行量化。
内核：conda_pytorch_p36.
第1.2和2.2节中的输出显示：
将香草BERT从PyTorch转换为ONNX，保持相同大小的，417.6 MB。
量化模型的比香草BERT、PyTorch 173.0 MB和ONNX 104.8 MB小。
但是，当运行ALBert时
PyTorch和ONNX模型的尺寸是不同的。
量化模型尺寸比香草大。
我认为这是模型性能较差的原因，与香草ALBert相比，ALBert的两种量化ALBert方法的模型性能都较差。
PyTorch：
Size (MB): 44
浏览 35提问于2022-01-20得票数 0
回答已采纳
model_urls = {
'resnet18': 'https://download.pytorch.org/models/resnet18-5c106cde.pth',
'resnet34': 'https://download.pytorch.org/models/resnet34-333f7ec4.pth',
'resnet50': 'https://download.pytorch.org/models/resnet50-19c8e357.pth',
&#
浏览 22提问于2022-07-20得票数 0
我使用的是，一个张力流am的包装器。我想在浏览器中训练一个神经网络，下载权重，在pyTorch中将它们作为张量处理，然后将它们加载到浏览器的tensorflowjs模型中。如何在这些格式( tfjs <-> pytorch )之间进行转换
浏览器模型有一个save()函数，它生成三个文件。特定于ml5.js (json)的元数据文件、描述模型体系结构(json)的拓扑文件和二进制权重文件(bin)。
// Browser
model.save()
// HTTP/Download
model_meta.json (needed by ml5.js)
model.json
浏览 8提问于2020-12-18得票数 3
回答已采纳
我刚刚开始学习pytorch。
但是，你知道为SSD pytorch创建预训练权重的方法吗？
我们有一个自定义的数据集，所以我们希望使用VGG16在自定义数据集上创建预训练的权重，以增强固态硬盘的性能。
然后从那里带来的权重将用于SSD。
让我知道它的可行性。
提前谢谢你
浏览 11提问于2021-10-22得票数 0
对于gpus，由于速度优势，nchw模式是首选模式，但是对于tflite模型，在移动性能方面更好的模式是什么？现在，从pytorch到tflite的转换产生了一个工作的nchw模型，但是这种模式是最优的吗？
浏览 142提问于2021-03-17得票数 0
回答已采纳
我试图了解PyTorch是如何工作的，并希望复制CNN关于CIFAR的简单培训。脚本经过168秒的训练(10次)后，达到了0.76的精度，这与我的脚本类似( 153秒后的0.75精度)。
然而，我的脚本远远落后于0.71的准确性和354秒。我明白，由于随机权初始化等原因，我会得到精度上的差异。然而，不同框架之间的差异要比框架内的差异大得多，在运行之间随机初始化。
我能想到的原因是：
MXNet和CNTK被初始化为xavier/glorot制服；不确定如何在PyTorch中做到这一点，因此可能将权重初始化为0。
默认情况下，CNTK进行梯度裁剪；不确定PyTorch是否具有等效的
也
浏览 7提问于2017-08-17得票数 1
我在修改一个预先训练好的有效的网络模型。我这样做是为了：
创建默认模型，加载imagenet权重.
然后，，更改第一层中的信道数，删除几个层，同时添加几个.
from efficientnet_pytorch import EfficientNet
from efficientnet_pytorch.utils import Conv2dStaticSamePadding
PATH = "../input/efficientnet-pytorch/efficientnet-b0-08094119.pth"
model = EfficientNet.from_name('
浏览 2提问于2021-07-27得票数 1
回答已采纳
我在Keras中训练了一个特征提取器，并将权重保存为一个h5文件。现在，我希望将相同的权重加载到在PyTorch中创建和初始化的相同模型中，以便进行性能比较。有没有办法将h5文件转换为pth文件，以便将其加载到PyTorch模型中？
浏览 0提问于2019-08-04得票数 3
1回答
PyTorch的nn.Embedding支持只为特定值手动设置嵌入权重吗？
我知道我可以像这样设定整个嵌入层的权重-
emb_layer = nn.Embedding(num_embeddings, embedding_dim)
emb_layer.weights = torch.nn.Parameter(torch.from_numpy(weight_matrix))
但是，PyTorch是否提供了任何简洁有效的方法来为一个特定的值设置嵌入权值？
类似于emb_layer.set_weight(5) = torch.tensor([...])，只为值"5“手动设置嵌入吗？
浏览 10提问于2022-05-13得票数 0
回答已采纳
我正在使用一个集群来训练一个使用PyTorch开发的递归神经网络。PyTorch自动线程，它允许并行使用机器的所有内核，而不必显式地为其编程。这太棒了！
现在，当我尝试使用下面这样的脚本同时使用多个节点时：
#$ -S /bin/bash
#$ -N comparison_of_architecture
#$ -pe mvapich2-rostam 32
#4 -tc 4
#$ -o /scratch04.local/cnelias/Deep-Jazz/logs/out_comparison_training.txt
#$ -e /scratch04.local/cnelias/Deep-Ja
浏览 7提问于2019-09-05得票数 0
2回答
我正在努力理解YOLO (v2)是如何被训练的。为此，我使用这个keras实现从零开始在VOC上训练YOLO (我对其他实现开放，但我从未使用过pytorch，因此，keras实现将是首选)。
1-正如我所理解的，YOLO首先用于在imageNet上进行分类，然后这些经过训练的权重(用于分类)应该在训练yolo进行回归(检测边界框)时使用。在我在互联网上找到的用来从零开始训练yolo的大部分代码(用于回归)中，我没有看到这些分类权重被加载的部分。这是什么时候发生的？什么时候分类权重被用来训练yolo回归？
我的理解是正确的吗？
提前感谢
浏览 5提问于2020-03-27得票数 2
回答已采纳
我一直在使用预简历https://github.com/nlpyang/PreSumm进行文本摘要。 但是，在src/train_abstractive.py中，模型学习者trainer不是torch.nn.Module。但是，输入AbsSummarizer是torch.nn.Module类的扩展。 我想使用mlflow.pytorch.log_model将模型保存为原生pytorch模型。但trainer不是torch.nn.Module。我该怎么做呢？
浏览 16提问于2020-06-09得票数 1
1回答
嗨，我想添加元素的乘法层复制输入到多个渠道，如下图。(因此，输入大小M和乘法滤波器大小M是相同的)，如下图所示
我想要添加自定义初始化值的过滤器，并希望他们得到梯度时，培训。但是，我无法在PyTorch中找到元素过滤层.我能行吗？或者在PyTorch中这是不可能的？
浏览 1提问于2018-08-23得票数 4
回答已采纳
1回答
我正在使用pytorch训练一个具有17个特征和5个输出的数据集。但我对其中的两个最感兴趣，假设0-4中的输出为2和3。有什么好策略可以在2和3上获得尽可能高的准确率，而其余的可能具有较低的准确率？
浏览 0提问于2021-01-03得票数 1
我正在使用Pytorch进行图像分类。我正在寻找在ImageNet以外的数据集上预先训练的CNN模型，我找到了一个指向".ckpt“文件的链接。我还找到了使用Tenserflow加载此文件的教程，但没有使用pytorch。如何从".ckpt“文件中使用Pytorch加载预先训练好的模型？
浏览 295提问于2019-11-25得票数 1
回答已采纳
在Pytorch中添加丢失时，我在torch.nn.Functional和torch.nn中都有相同的函数。有什么不同吗？
torch.nn.CrossEntropyLoss()和torch.nn.functional.cross_entropy
浏览 6提问于2020-09-10得票数 4
回答已采纳
1回答
我有一个希望加载到同一个模型中的Keras h5文件，但是这个文件是使用PyTorch创建的。ONXX是一个可行的中介选择吗？我还能用什么？
浏览 0提问于2019-08-01得票数 1
1回答
我关注，，但它们并不能解决我的问题。
我也读过。并从和搜索源代码。
下面是我的测试代码，pytorch和keras之间的结果在1e-2到1e-3量级的误差很大。函数b0，b1类似于torch的结果，但仍然不太准确。b2尝试遵循中使用的公式。
卷积部分产生相同的结果，但我停留在batchnorm层。我还对pytorch使用eval()，对pytorch使用no_grad()，对keras模型使用model.predict以确保它们处于推理阶段。
Tensorflow实现不使用1/ sqrt(var+eps)，而是使用sqrt(var+eps)。我尝试将1/running_var传输到keras.
浏览 2提问于2020-07-31得票数 1
1回答
我想要应用迁移学习(使用来自UNet或ResNet的预训练编码器的权重初始化我的自定义网络的编码器)。所以问题是:给定Pytorch中的UNet或ResNet实例，如何提取PyTorch中ResNet或UNet的编码器部分？ This blog展示了这样做的一种方法，但它首先要求我拥有UNet或ResNet类，这对我来说并不实用。因为UNet或ResNet的实例是通过net = get_resnet(depth=34)这样的函数获取的，所以我只能获取UNet或ResNet的实例，但不能获取它们的类。
浏览 24提问于2021-07-29得票数 0
问题展示了如何在Pytorch中初始化权重。但是，Conv和Dense在Pytorch中的默认权重初始化器是什么？Pytorch使用什么发行版？
浏览 0提问于2018-04-13得票数 15
回答已采纳
1回答
根据二元交叉熵损失的PyTorch文档，我们可以这样写：
l_{n} = -w_{n}\cdot \left[y_{n}\cdot \log \left(x_{n}\right) + \left( 1-y_{n}\right)\cdot \log\left( 1-x_{n}\right) \right].
w_{n}，x_{n}和y_{n}是什么意思？
浏览 0提问于2021-03-31得票数 0
我很难理解批处理如何在Pytorch框架中发挥作用。
在此模型中：
class MyModel(nn.Module):
def __init__(self):
super(MyModel, self).__init__()
# 28x28x1 => 26x26x32
self.conv1 = nn.Conv2d(in_channels=1, out_channels=32, kernel_size=3)
self.d1 = nn.Linear(26 * 26 * 32, 128)
self.d2 =
浏览 0提问于2020-10-27得票数 1
我正试图将一个TensorFlow模型转换成Pytorch，但却陷入了这个错误。有谁可以帮我？
#getting weights and biases from tensorflow model
weights, biases = model.layers[0].get_weights()
#[1] is the dropout layer
weights2, biases2 = model.layers[2].get_weights()
#initializing pytorch
class TwoLayerNet(torch.nn.Module):
def __init__(self,
浏览 5提问于2020-06-15得票数 0
回答已采纳
1回答
我一直在研究这篇论文，“支持向量数据描述”。作者描述了一个类似于One-Class SVM的模型。但是，解决方案会找到一个封装样本的球体。目标函数表示为：
K表示核函数，alpha是可调参数。我正在考虑使用PyTorch autograd来解决这个问题，但是这个包没有强制执行约束的方法。我也检查过，但我对这些方法都不是很熟悉。
浏览 13提问于2020-05-14得票数 0
1回答
是否可以在PyTorch中为训练实例添加自定义权重？更明确地说，我想为数据集中的每一行添加一个自定义权重。默认情况下，权重为1，这意味着每个数据对我的模型都同样重要。
浏览 1提问于2021-02-25得票数 4
回答已采纳
我的自动编码器模型学习图像中最常见的模式，像素值为- 1，0或1。虽然我的模型运行良好，但解码陷入了浮点值在-1和1之间的局部最小值。
在Pytorch中，我是否可以限制内核过滤器的条目-1、0或1，以观察更好的学习能力？
浏览 0提问于2019-02-09得票数 0
1回答
我正在尝试将TensorFlow检查点权重迁移到PyTorch。
当我使用cp.load_variable(<CKPT>, <FIELD_NAME>)提取一些权重时，我得到一个4D列表，排序为HWCN，例如1，1,512,1024，这显然是HWCN。但是，所有卷积块data_format都被设置为NHWC。
所以，问题是，为什么会有错配？我该相信什么？from cp.load_variable的4D列表正确吗?剩下的就是permute的尺寸了吗？
谢谢!
浏览 1提问于2020-06-12得票数 0
回答已采纳
训练数据集包含两个类别A和B，相应地，我们在目标标签中表示为1和0。Out标签数据严重倾向于0类，这大约占数据的95%，而我们的类1仅占5%。在这种情况下，我们应该如何构建我们的损失函数？
我发现Tensorflow有一个可以用于权重的函数：
tf.losses.sigmoid_cross_entropy
weights作为损失系数。如果提供了标量，则损失将按给定值进行缩放。
听起来不错。我将权重设置为2.0，以使损失更高，更多地惩罚错误。
loss = loss_fn(targets, cell_outputs, weights=2.0, label_smoothing=0)
然而，
浏览 1提问于2018-04-13得票数 3
回答已采纳
对于大多数PyTorch代码，我们使用Adam优化器的以下定义， optim = torch.optim.Adam(model.parameters(), lr=cfg['lr'], weight_decay=cfg['weight_decay']) 然而，经过反复试验，我发现下面的Adam定义给出了1.5PSNR更高的dB，这是巨大的。 optim = torch.optim.Adam(
[
{'params': get_parameters(model, bias=False)},
浏览 31提问于2021-09-17得票数 2
回答已采纳
在TensorFlow/Keras或Pytorch中训练用于分类的神经网络时，是否可以对输出层中的权重施加约束，以便从特定的有限可行集中选择它们？
例如，假设W是输出层中的权重，是否可以对W施加约束，以便从集合S={W_1，W_2，...，W_n}中选择最佳W，其中每个W_i都是W的给定可行值？也就是说，我将把W_1，...，W_n的值提供给模型
如果在TensorFlow或Pytorch中不能做到这一点，有没有其他方法可以做到这一点？
谢谢!
浏览 2提问于2020-12-28得票数 0
我正在使用torch.load()加载Pytorch模型，并收到错误"AttributeError:无法获取<主‘>上的属性’‘>“。有人知道是什么原因造成的吗？
浏览 1提问于2020-12-30得票数 0
我已经在Keras和PyTorch中实现了一个微小的CNN样本。当我打印两个网络的摘要时，可训练参数的总数是相同的，但是用于批归一化的参数总数和参数数不匹配。
以下是CNN在Keras中的实现：
inputs = Input(shape = (64, 64, 1)). # Channel Last: (NHWC)
model = Conv2D(filters=32, kernel_size=(3, 3), padding='SAME', activation='relu', input_shape=(IMG_SIZE, IMG_SIZE, 1))(inputs
浏览 2提问于2020-02-05得票数 11
回答已采纳
我正在训练一个PyTorch模型来执行二进制分类。我的少数类约占数据的10%，因此我想使用加权损失函数。BCELoss和CrossEntropyLoss的文档说我可以为每个示例使用一个'weight'。
但是，当我声明CE_loss = nn.BCELoss()或nn.CrossEntropyLoss()，然后执行CE_Loss(output, target, weight=batch_weights)，其中output、target和batch_weights是batch_size的Tensor时，我得到以下错误消息：
forward() got an unexpected
浏览 16提问于2021-05-28得票数 2
在由Hugginface编写的代码中，有许多具有init_weight功能的微调模型.例如()，最后有一个init_weight函数。
class BertForSequenceClassification(BertPreTrainedModel):
def __init__(self, config):
super().__init__(config)
self.num_labels = config.num_labels
self.bert = BertModel(config)
self.dropout = nn.
浏览 2提问于2020-05-27得票数 2
回答已采纳
我正在使用tensorflow对象检测API做一些工作。当我得到检查点(与量化)时，我发现权重_quant/min和权重_quant/max与实际重量的min/max不同。由于我想把这个模型转换成pytorch，所以在tf模型和pytorch模型中处理最小/最大值使我感到困惑。
我的环境是tf1.9，带有对象检测API，ubuntu16.04。我训练了一个mobilenet v1模型，并检查了模型中的一些权重，下面是一个例子：
('FeatureExtractor/MobilenetV1/MobilenetV1/Conv2d_1_depthwise/weights_quant/min
浏览 2提问于2019-09-02得票数 0
我试图用 (而不是PyTorch )实现TensorFlow中的CSRA模块，使用MobileNetV3作为特性提取器。
我只精通TensorFlow，在从PyTorch到TensorFlow的翻译中遇到了一些困难。
实现该模块的使用了一些在TensorFlow中不常用的函数，而those为这些函数提供的帮助很少。
源代码如下：
class CSRA(nn.Module): # one basic block
def __init__(self, input_dim, num_classes, T, lam):
super(CSRA, self).__init__()
浏览 2提问于2022-05-23得票数 0
我在PyTorch中使用Adam优化器训练了一个模型，并将weight_decay参数设置为1.0。
optimizer = optim.Adam(model.parameters(), lr=args.lr, weight_decay=1.0)
optimizer.zero_grad()
loss.backward()
optimizer.step()
如果我想要比较weight_decay损失和模型损失的数量，如何查看weight_decay造成的损失的价值
浏览 0提问于2019-10-18得票数 0
我正在将模型从PyTorch移植到Keras/Tensorflow，并且我希望确保使用相同的算法进行权重初始化。如何在Keras中模拟PyTorch的权值初始化？
浏览 16提问于2022-05-10得票数 0
回答已采纳
1回答
我正在使用 (点燃)加载和分析一个伯特模型，我预先培训了一个新的任务。
但是，当我用传递给它的经过预先训练的模型的路径启动LIT脚本时，它无法初始化权重，并告诉我：
modeling_utils.py:648] loading weights file bert_remote/examples/token-classification/Data/Models/results_21_03_04_cleaned_annotations/04.03._8_16_5e-5_cleaned_annotations/04-03-2021 (15.22.23)/pytorch_model.bin
浏览 1提问于2021-03-10得票数 0
回答已采纳
我正在寻找一个OCR预先训练的模型，与pytorch一起工作。我尝试过，但pytorch集线器不支持它。我不能加载pth模型，因为它只有权重。如何加载模型？
我的第一个模型是在自定义数据上训练的yolov5模型，因此它应该裁剪图像并将其发送到下一个模型。下一个模型应该是OCR，主要是数字识别。但我不能运行craft-pytorch
model = torch.hub.load('.', 'custom', path='runs/train/exp2/weights/best.pt', source='local', force_r
浏览 0提问于2021-10-11得票数 1
1回答
我使用mmdnn将两个模型(vgg16和resnet50)从带有TensorFlow后端(来自as model.save文件)的Keras转换为PyTorch。这是通过以下方式完成的：
mmconvert -sf keras -iw vgg.h5 -df pytorch -om keras_to_torch.pt
A = imp.load_source('MainModel','/weights/keras_to_torch.py')
model = torch.load('/weights/keras_to_torch.pt')
对同一数据集
浏览 4提问于2021-06-16得票数 6
回答已采纳
1回答
访问卷积神经网络参数
、、、
我尝试从pytorch切换到tensorflow，由于该模型现在似乎在tensorflow中是固定的，因此在使用卷积神经网络时，我偶然发现了一个问题。
我有一个非常简单的模型，只有一个Conv1D层和一个大小为2的内核。我想在一个小的配置上训练它，比如16个输入大小，然后导出32个输入大小的训练结果。
我如何访问这个网络中的3个参数？(2个内核，1个偏置)我想这样做是为了将它们应用于更大的情况。我遇到了困难，因为我需要预先定义模型的输入大小，而pytorch并非如此。
感谢您的回答，我只找到了这个问题的过时答案
浏览 14提问于2020-05-06得票数 0
回答已采纳
1回答
如何实现可变长度的递归神经网络？
、、、、
什么是一个完整的工作示例(而不是片段)的可变长度序列输入到递归神经网络(RNNs)？
例如，PyTorch应该可以将可变长度的序列作为RNN的输入来实现，但是似乎没有完整的工作代码的例子。
相关：
浏览 4提问于2017-06-20得票数 3
回答已采纳
1回答
嗨，大家好！你能帮我吗？我有个问题："How can I retrain a PyTorch model with just a .pt file ?”
我看过许多指南，但没有找到答案。那里的每样东西都有模型类。
我尝试使用torch.load()和其他方式导入。但不起作用。当我用torch.load() I can't get the parameters.加载模型时
MyModel课我自己写的？它不需要与.pt中的类匹配吗？
浏览 10提问于2022-12-02得票数 2
回答已采纳
当我注意到tensorflow和pytorch对于2d cnns有不同的大小权重张量时，我正在将tensorflow v1.13编写的旧项目转换到pytorch v1.4.0。 以下是我的tensorflow代码 cnn = tf.layers.conv2d(img_tensor, 16, (3, 3), (1, 1), padding='SAME', name='cnn_1')
cnn = tf.layers.conv2d(cnn, 32, (3, 3), (1, 1), padding='SAME', name='cnn_2'
浏览 14提问于2020-04-14得票数 0
nn.Embedding()对于学习LSTM是必不可少的吗？
我在PyTorch中使用LSTM来预测NER类似任务的例子在这里- 。
就代码而言，我使用的代码几乎与上述教程中的代码相同。
唯一的细节是-我使用的是word2Vec而不是nn.Embedding()。
因此，我删除了nn.Embedding()层，直接从word2Vec中提供了前向函数。RNN不学习。
因此，nn.Embedding()对于学习LSTM是必不可少的吗？
浏览 3提问于2018-05-14得票数 2
回答已采纳
我试图使用PyTorch框架重新实现Tensorflow代码。下面我包含了TF示例代码和我的PyT解释。
TensorFlow实现：
W1 = tf.Variable(xavier_init([135, 128]))
b1 = tf.Variable(tf.zeros(shape=[128]))
def fcn(x):
z = tf.reshape(x, (-1, 135))
out1 = leaky_relu( tf.matmul(z, W1) + b1 )
return out1
PyTorch实现：
class decoder(nn.Module):
浏览 0提问于2019-12-04得票数 1
回答已采纳
1回答
当我尝试使用以下命令行将pytorch版本更新到0.4时
conda install pytorch=0.4.0 -c pytorch
我得到了以下错误：
Solving environment: done
##Package Plan##
environment location: /anaconda
added / updated specs:
- pytorch=0.4.0
The following NEW packages will be INSTALLED:
blas: 1.0-mkl
in
浏览 0提问于2018-08-24得票数 0
在MacOS上，Pytorch模型(来自torchvision)的默认下载路径是什么？ 我在主目录ls -la ~/ | grep torch中看不到任何东西。
浏览 88提问于2021-09-29得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
