我试图了解PyTorch是如何工作的，并希望复制CNN关于CIFAR的简单培训。脚本经过168秒的训练(10次)后，达到了0.76的精度，这与我的脚本类似( 153秒后的0.75精度)。
然而，我的脚本远远落后于0.71的准确性和354秒。我明白，由于随机权初始化等原因，我会得到精度上的差异。然而，不同框架之间的差异要比框架内的差异大得多，在运行之间随机初始化。
我能想到的原因是：
MXNet和CNTK被初始化为xavier/glorot制服；不确定如何在PyTorch中做到这一点，因此可能将权重初始化为0。
默认情况下，CNTK进行梯度裁剪；不确定PyTorch是否具有等效的
也
浏览 7提问于2017-08-17得票数 1
model_urls = {
'resnet18': 'https://download.pytorch.org/models/resnet18-5c106cde.pth',
'resnet34': 'https://download.pytorch.org/models/resnet34-333f7ec4.pth',
'resnet50': 'https://download.pytorch.org/models/resnet50-19c8e357.pth',
&#
浏览 22提问于2022-07-20得票数 0
问题展示了如何在Pytorch中初始化权重。但是，Conv和Dense在Pytorch中的默认权重初始化器是什么？Pytorch使用什么发行版？
浏览 0提问于2018-04-13得票数 15
回答已采纳
我在修改一个预先训练好的有效的网络模型。我这样做是为了：
创建默认模型，加载imagenet权重.
然后，，更改第一层中的信道数，删除几个层，同时添加几个.
from efficientnet_pytorch import EfficientNet
from efficientnet_pytorch.utils import Conv2dStaticSamePadding
PATH = "../input/efficientnet-pytorch/efficientnet-b0-08094119.pth"
model = EfficientNet.from_name('
浏览 2提问于2021-07-27得票数 1
回答已采纳
我刚刚开始学习pytorch。
但是，你知道为SSD pytorch创建预训练权重的方法吗？
我们有一个自定义的数据集，所以我们希望使用VGG16在自定义数据集上创建预训练的权重，以增强固态硬盘的性能。
然后从那里带来的权重将用于SSD。
让我知道它的可行性。
提前谢谢你
浏览 11提问于2021-10-22得票数 0
在由Hugginface编写的代码中，有许多具有init_weight功能的微调模型.例如()，最后有一个init_weight函数。
class BertForSequenceClassification(BertPreTrainedModel):
def __init__(self, config):
super().__init__(config)
self.num_labels = config.num_labels
self.bert = BertModel(config)
self.dropout = nn.
浏览 2提问于2020-05-27得票数 2
回答已采纳
1回答
我正在使用 (点燃)加载和分析一个伯特模型，我预先培训了一个新的任务。
但是，当我用传递给它的经过预先训练的模型的路径启动LIT脚本时，它无法初始化权重，并告诉我：
modeling_utils.py:648] loading weights file bert_remote/examples/token-classification/Data/Models/results_21_03_04_cleaned_annotations/04.03._8_16_5e-5_cleaned_annotations/04-03-2021 (15.22.23)/pytorch_model.bin
浏览 1提问于2021-03-10得票数 0
回答已采纳
我试图使用PyTorch框架重新实现Tensorflow代码。下面我包含了TF示例代码和我的PyT解释。
TensorFlow实现：
W1 = tf.Variable(xavier_init([135, 128]))
b1 = tf.Variable(tf.zeros(shape=[128]))
def fcn(x):
z = tf.reshape(x, (-1, 135))
out1 = leaky_relu( tf.matmul(z, W1) + b1 )
return out1
PyTorch实现：
class decoder(nn.Module):
浏览 0提问于2019-12-04得票数 1
回答已采纳
1回答
带扣面和拥抱面的多级序列分类
、、、、
我希望通过快速和拥抱脸来实现DistilBERT，以解决多序列分类问题。我找到了一个有用的教程，它给出了一个很好的例子，说明如何使用二进制分类来完成这个任务。守则如下：
# !pip install torch==1.9.0
# !pip install torchtext==0.10
# !pip install transformers==4.7
# !pip install fastai==2.4
from fastai.text.all import *
from sklearn.model_selection import train_test_split
import panda
浏览 2提问于2021-08-25得票数 0
回答已采纳
1回答
嗨，我想添加元素的乘法层复制输入到多个渠道，如下图。(因此，输入大小M和乘法滤波器大小M是相同的)，如下图所示
我想要添加自定义初始化值的过滤器，并希望他们得到梯度时，培训。但是，我无法在PyTorch中找到元素过滤层.我能行吗？或者在PyTorch中这是不可能的？
浏览 1提问于2018-08-23得票数 4
回答已采纳
我下载了基于bert的预训练模型。我编辑config.json (从512到256) "max_position_embeddings": 256, 然后我想使用bert模型， from transformers import BertForSequenceClassification
model = BertForSequenceClassification.from_pretrained(
MODEL_PATH,
num_labels = 2, # The number of output labels--2 for binary classifica
浏览 260提问于2020-10-23得票数 0
我正在将模型从PyTorch移植到Keras/Tensorflow，并且我希望确保使用相同的算法进行权重初始化。如何在Keras中模拟PyTorch的权值初始化？
浏览 16提问于2022-05-10得票数 0
回答已采纳
目标:使用这个对albert-base-v2模型执行量化。
内核：conda_pytorch_p36.
第1.2和2.2节中的输出显示：
将香草BERT从PyTorch转换为ONNX，保持相同大小的，417.6 MB。
量化模型的比香草BERT、PyTorch 173.0 MB和ONNX 104.8 MB小。
但是，当运行ALBert时
PyTorch和ONNX模型的尺寸是不同的。
量化模型尺寸比香草大。
我认为这是模型性能较差的原因，与香草ALBert相比，ALBert的两种量化ALBert方法的模型性能都较差。
PyTorch：
Size (MB): 44
浏览 35提问于2022-01-20得票数 0
回答已采纳
我想创建一个简单的PyTorch神经网络，它的权重之和等于1。为了理解我的问题，这里给出一个例子： ?
浏览 31提问于2021-09-07得票数 0
回答已采纳
2回答
我对pytorch真的很陌生，而且我自己也在编写卷积代码。 为了对输入数据应用卷积，我使用conv2d。 在文档中， torch.nn.Conv2d(in_channels, out_channels, kernel_size ...) 但是过滤器在哪里呢？为了卷积，我们应该使用内核对输入数据进行卷积。但是只有内核大小，没有内核的元素。 例如，有一个5x5的输入数据，如果2x2内核的所有4个内核元素都是1，那么我就可以输出4x4。那么，我应该把内核的元素放在哪里呢？
浏览 73提问于2021-11-21得票数 0
回答已采纳
2回答
Pytorch复制层中的神经元
、、、、
我使用的是pytorch 0.3.0。我试图有选择地复制一个神经元和它在同一层中的权重，然后用另一组权重替换原始神经元。这是我在这方面的尝试：
reshaped_data2 = data2.unsqueeze(0)
new_layer_data = torch.cat([new_layer.data, reshaped_data2], dim=0)
new_layer_data[i] = data1
new_layer.data.copy_(new_layer_data)
首先，我解压了data2，使其成为1*X张量，而不是0*X。然后我沿着维度0将我的层的张量与重塑的data2连接起来。然后
浏览 62提问于2020-02-29得票数 0
回答已采纳
我正在训练一个PyTorch模型来执行二进制分类。我的少数类约占数据的10%，因此我想使用加权损失函数。BCELoss和CrossEntropyLoss的文档说我可以为每个示例使用一个'weight'。
但是，当我声明CE_loss = nn.BCELoss()或nn.CrossEntropyLoss()，然后执行CE_Loss(output, target, weight=batch_weights)，其中output、target和batch_weights是batch_size的Tensor时，我得到以下错误消息：
forward() got an unexpected
浏览 16提问于2021-05-28得票数 2
我使用的是，一个张力流am的包装器。我想在浏览器中训练一个神经网络，下载权重，在pyTorch中将它们作为张量处理，然后将它们加载到浏览器的tensorflowjs模型中。如何在这些格式( tfjs <-> pytorch )之间进行转换
浏览器模型有一个save()函数，它生成三个文件。特定于ml5.js (json)的元数据文件、描述模型体系结构(json)的拓扑文件和二进制权重文件(bin)。
// Browser
model.save()
// HTTP/Download
model_meta.json (needed by ml5.js)
model.json
浏览 8提问于2020-12-18得票数 3
回答已采纳
3回答
我用PyTorch实现了一个LSTM，如下所示。 import numpy as np
import torch
import torch.nn as nn
import torch.nn.functional as F
from torch.autograd import Variable
class LSTM(nn.Module):
"""
Defines an LSTM.
"""
def __init__(self, input_dim, hidden_dim, output_dim, num_lay
浏览 116提问于2019-03-13得票数 2
回答已采纳
1回答
我有一个用Keras编写的非常简单的LSTM示例，我正试图将其移植到pytorch。但它似乎根本无法学习。我是一个绝对的开始，所以任何建议都是值得感激的。
KERAS
X_train_lmse具有shape (1691, 1, 1)，本质上是以X(t-1)作为单一特性来运行X(t)
lstm_model = Sequential()
lstm_model.add(LSTM(7, input_shape=(1, X_train_lmse.shape[1]), activation='relu', kernel_initializer='lecun_uniform'
浏览 0提问于2019-05-10得票数 1
2回答
关于最后一段，我在自学。
学习
在您所使用的代码中，您已经显式地设置了过滤器权重的值，但是神经网络在对一组图像数据进行训练时实际上将学习最佳的过滤器权重。在本节的后面，您将了解到这类神经网络的所有情况，但您知道高通和低通过滤器是定义这种网络行为的原因，并且您知道如何从零开始编写这些代码！
在实践中，您还会发现许多神经网络学习检测图像的边缘，因为对象的边缘包含关于对象形状的有价值的信息。
我已经学习了所有的最后44节。但我不能回答以下问题
当我执行torch.nn.Conv2d时初始化的权重是多少？我自己怎么定义呢？
PyTorch如何更新卷积层中的权重？
浏览 2提问于2018-12-31得票数 1
回答已采纳
对于gpus，由于速度优势，nchw模式是首选模式，但是对于tflite模型，在移动性能方面更好的模式是什么？现在，从pytorch到tflite的转换产生了一个工作的nchw模型，但是这种模式是最优的吗？
浏览 142提问于2021-03-17得票数 0
回答已采纳
1回答
我用自定义的dataset在Pytorch上培训了一个经过预培训的ResNet18模型，并想知道是否可以传输我的模型文件来训练另一个具有不同体系结构的文件，例如ResNet50。我知道我必须相应地保存我的模型(在上解释得很好)，但这是我以前从未想过的问题。
我计划使用更先进的模型，比如VisionTransformers ( ViT )，但我不知道我是否已经开始使用经过预培训的ViT，或者我只需要使用以前的模型文件，并使用它作为预培训的模型来训练ViT。
示例场景：ResNet18 --> ResNet50 --> Inception v3 --> ViT
我最好的猜测是，这
浏览 8提问于2022-03-14得票数 1
回答已采纳
1回答
我想要构建一个模型，其中包含多个Conv1d层，然后是几个Linear层。由于Conv1d层不需要数据长度，所以Conv1d层将适用于任意给定长度的数据。然而，问题出现在Linear层，因为我不知道如何让模型对不同长度的数据进行实验。现在，每当我更改输入数据的长度时，Conv1d层的输出大小就会发生变化，因此我必须手动重置Linear层的in_features。
注:我学习了CNN，我清楚地知道如何手工计算输出尺寸。我正在寻找一种编程的方法来确定它，因为我必须用不同长度的输入数据多次实验。
问:在pytorch中，如何在多个Conv1d层之后自动计算出输出维度，并为下面的Linear层设置in
浏览 4提问于2021-11-07得票数 2
回答已采纳
1回答
PyTorch的nn.Embedding支持只为特定值手动设置嵌入权重吗？
我知道我可以像这样设定整个嵌入层的权重-
emb_layer = nn.Embedding(num_embeddings, embedding_dim)
emb_layer.weights = torch.nn.Parameter(torch.from_numpy(weight_matrix))
但是，PyTorch是否提供了任何简洁有效的方法来为一个特定的值设置嵌入权值？
类似于emb_layer.set_weight(5) = torch.tensor([...])，只为值"5“手动设置嵌入吗？
浏览 10提问于2022-05-13得票数 0
回答已采纳
我正在使用一个集群来训练一个使用PyTorch开发的递归神经网络。PyTorch自动线程，它允许并行使用机器的所有内核，而不必显式地为其编程。这太棒了！
现在，当我尝试使用下面这样的脚本同时使用多个节点时：
#$ -S /bin/bash
#$ -N comparison_of_architecture
#$ -pe mvapich2-rostam 32
#4 -tc 4
#$ -o /scratch04.local/cnelias/Deep-Jazz/logs/out_comparison_training.txt
#$ -e /scratch04.local/cnelias/Deep-Ja
浏览 7提问于2019-09-05得票数 0
如何在Pytorch中编写Keras神经网络的以下等效代码？
actor = Sequential()
actor.add(Dense(20, input_dim=9, activation='relu', kernel_initializer='he_uniform'))
actor.add(Dense(20, activation='relu'))
actor.add(Dense(27, activation='softmax', kernel_initializer='
浏览 0提问于2019-01-10得票数 0
我在Keras中训练了一个特征提取器，并将权重保存为一个h5文件。现在，我希望将相同的权重加载到在PyTorch中创建和初始化的相同模型中，以便进行性能比较。有没有办法将h5文件转换为pth文件，以便将其加载到PyTorch模型中？
浏览 0提问于2019-08-04得票数 3
1回答
我正在尝试让pytorch模型运行在句子分类任务上。在处理医学笔记时，我使用的是ClinicalBert (https://github.com/kexinhuang12345/clinicalBERT)，并希望使用其预先训练好的权重。不幸的是，ClinicalBert模型只将文本分类为1个二进制标签，而我有281个二进制标签。因此，我正在尝试实现此代码https://github.com/kaushaltrivedi/bert-toxic-comments-multilabel/blob/master/toxic-bert-multilabel-classification.ipynb，其
浏览 94提问于2020-04-14得票数 6
1回答
所以，我得到了这个CNN构建PyTorch的代码: CNN代码1的图片 到目前为止，我已经能够通过在forward函数中打印f5.shape的最后两个维度的乘积来计算最后一个conv1d块(在本例中为b5)之后的线性层(self.fc)的输入大小，但我需要自动执行实验，并且我不能只打印每个测试的值并更改代码。 我的输入张量的大小也是可变的(我有信号作为我的数据，我使用一个窗口来获得每个样本的X个点，所以例如，1020个窗口大小将导致1020x1x3张量，我猜是一个1D CNN，我有3个输入通道)。 那么，如何使用此代码自动获取self.n_features参数(线性层的输入)？
浏览 88提问于2021-10-25得票数 0
我已经使用'Tensorflow‘建立了一个MLP神经网络，声明如下： model_mlp=Sequential()
model_mlp.add(Dense(units=35, input_dim=train_X.shape[1], kernel_initializer='normal', activation='relu'))
model_mlp.add(Dense(units=86, kernel_initializer='normal', activation='relu'))
model_mlp.add(Dens
浏览 30提问于2020-07-28得票数 1
回答已采纳
1回答
在pytorch中，有没有一种有效的方法来反向传播梯度，而不是更新它们对应的变量？在更新过程中，每次创建一个权重副本似乎太昂贵了。但是no_grad & set_grad_enabled不允许反向传播。
例如。下面的操作似乎花费了太多时间，因为每次更新权重时，它都需要复制模型：
def __init__():
…
self.model = MyModel()
self.func1 = FuncModel1()
self.func2 = FuncModel2()
…
def trainstep
浏览 0提问于2020-03-20得票数 2
我一直在使用预简历https://github.com/nlpyang/PreSumm进行文本摘要。 但是，在src/train_abstractive.py中，模型学习者trainer不是torch.nn.Module。但是，输入AbsSummarizer是torch.nn.Module类的扩展。 我想使用mlflow.pytorch.log_model将模型保存为原生pytorch模型。但trainer不是torch.nn.Module。我该怎么做呢？
浏览 16提问于2020-06-09得票数 1
我读过几个使用nn.init.kaiming_normal_() of PyTorch进行层初始化的代码。一些代码使用默认的fan in模式。在众多的例子中，有一个可以找到，如下所示。
init.kaiming_normal(m.weight.data, a=0, mode='fan_in')
但是，有时我看到人们使用fan out模式，如所示，如下所示。
if isinstance(m, nn.Conv2d):
nn.init.kaiming_normal_(m.weight, mode='fan_out', nonlinear
浏览 3提问于2020-05-17得票数 6
回答已采纳
我想知道在TensorFlow、PyTorch或其他库中是否有一种方法可以选择性地连接神经元。我想要在每一层中建立一个具有非常多神经元的网络，但层之间的连接很少。
请注意，我不认为这是这个答案的重复：。我实现了一个自定义keras层，使用的方法基本上与问题中的方法相同-本质上是通过创建一个密集层，其中除了指定的权重之外，所有的权重在训练和评估中都被忽略。这满足了我想要做的一部分，不训练指定的权重，也不使用它们进行预测。但是，问题是我仍然浪费内存保存未训练的权重，并且浪费时间计算归零权重的梯度。我希望梯度矩阵的计算只涉及稀疏矩阵，这样我就不会浪费时间和内存。
有没有一种方法可以有选择地创建和训练
浏览 3提问于2018-10-18得票数 0
几天来，我一直在尝试用pytorch复制我的keras训练结果。无论我做什么，pytorch模型都会比keras更早、更强地适应验证集。对于pytorch，我使用来自的相同XCeption代码。
数据加载、增强、验证、训练计划等是等效的。我是不是漏掉了什么明显的东西？在某个地方一定有一个普遍的问题。我尝试了数千个不同的模块星座，但似乎没有任何东西能接近keras训练。有人能帮帮忙吗？
Keras模型: val准确率> 90%
# base model
base_model = applications.Xception(weights='imagenet', includ
浏览 4提问于2018-04-29得票数 32
1回答
我正在使用pytorch训练一个具有17个特征和5个输出的数据集。但我对其中的两个最感兴趣，假设0-4中的输出为2和3。有什么好策略可以在2和3上获得尽可能高的准确率，而其余的可能具有较低的准确率？
浏览 0提问于2021-01-03得票数 1
我正在使用Pytorch进行图像分类。我正在寻找在ImageNet以外的数据集上预先训练的CNN模型，我找到了一个指向".ckpt“文件的链接。我还找到了使用Tenserflow加载此文件的教程，但没有使用pytorch。如何从".ckpt“文件中使用Pytorch加载预先训练好的模型？
浏览 295提问于2019-11-25得票数 1
回答已采纳
在Pytorch中添加丢失时，我在torch.nn.Functional和torch.nn中都有相同的函数。有什么不同吗？
torch.nn.CrossEntropyLoss()和torch.nn.functional.cross_entropy
浏览 6提问于2020-09-10得票数 4
回答已采纳
在PyTorch中实现custom weight initialization方法的正确方式是什么
我相信我不能直接将任何方法添加到'torch.nn.init`中，但希望用我自己的专有方法初始化我的模型的权重。
浏览 3提问于2018-07-02得票数 9
1回答
我有一个希望加载到同一个模型中的Keras h5文件，但是这个文件是使用PyTorch创建的。ONXX是一个可行的中介选择吗？我还能用什么？
浏览 0提问于2019-08-01得票数 1
%reset -f
import torch
import torch.nn as nn
import torchvision
import torchvision.transforms as transforms
import numpy as np
import matplotlib.pyplot as plt
import torch.utils.data as data_utils
import torch.nn as nn
import torch.nn.functional as F
num_epochs = 20
x1 = np.array([0,0])
x2 = np.
浏览 89提问于2019-02-28得票数 0
回答已采纳
2回答
我正在努力理解YOLO (v2)是如何被训练的。为此，我使用这个keras实现从零开始在VOC上训练YOLO (我对其他实现开放，但我从未使用过pytorch，因此，keras实现将是首选)。
1-正如我所理解的，YOLO首先用于在imageNet上进行分类，然后这些经过训练的权重(用于分类)应该在训练yolo进行回归(检测边界框)时使用。在我在互联网上找到的用来从零开始训练yolo的大部分代码(用于回归)中，我没有看到这些分类权重被加载的部分。这是什么时候发生的？什么时候分类权重被用来训练yolo回归？
我的理解是正确的吗？
提前感谢
浏览 5提问于2020-03-27得票数 2
回答已采纳
我正在学习pytorch，并想用一个seq2seq示例()来练习它，这是一个keras 101示例，它在字符级别的特征(没有嵌入)上将eng转换为fra。
Keras代码如下：
from keras.models import Model
from keras.layers import Input, LSTM, Dense
import numpy as np
batch_size = 64 # Batch size for training.
epochs = 100 # Number of epochs to train for.
latent_dim = 256 # Laten
浏览 4提问于2019-08-10得票数 0
1回答
我想要应用迁移学习(使用来自UNet或ResNet的预训练编码器的权重初始化我的自定义网络的编码器)。所以问题是:给定Pytorch中的UNet或ResNet实例，如何提取PyTorch中ResNet或UNet的编码器部分？ This blog展示了这样做的一种方法，但它首先要求我拥有UNet或ResNet类，这对我来说并不实用。因为UNet或ResNet的实例是通过net = get_resnet(depth=34)这样的函数获取的，所以我只能获取UNet或ResNet的实例，但不能获取它们的类。
浏览 24提问于2021-07-29得票数 0
我正在使用基于Resnet152的迁移学习来训练模型。基于PyTorch教程，我在保存训练过的模型并加载它以进行推理方面没有问题。但是，加载模型所需的时间很慢。我不知道我做得是否正确，下面是我的代码： 要将训练好的模型保存为状态字典，请执行以下操作： torch.save(model.state_dict(), 'model.pkl') 要加载它以进行推理： model = models.resnet152()
num_ftrs = model.fc.in_features
model.fc = nn.Linear(num_ftrs, len(classes))
st = t
浏览 17提问于2019-05-26得票数 6
我用PyTorch编写了两种类型的线性分类器：
torch.manual_seed(0)
fc = []
for i in range(n):
fc.append(nn.Linear(feature_size, 1))
另一个：
torch.manual_seed(0)
fc = nn.Linear(feature_size, n)
在多标签分类模型中，使用这两种类型的fc，得到了不同的结果。
实际上，这些fc初始化方式不同，结果也不一样。哪一个是正确的，如果我希望使用两种类型的fc类似的结果，我应该做什么。
其他信息：
我找出了导致坏结果的原因：
第一种类型FC在训练中不更新
浏览 1提问于2018-09-13得票数 0
我试着训练和测试一个数据集。从TensorFlow到PyTorch，在训练阶段和测试阶段，均方误差略有不同。然而，神经网络和超参数是相同的。输入70个条目，两个隐藏层，40个神经元，2个输出。超参数为Adam优化器，学习速率为0.001，epsilon1e-08和600个历元。为什么会发生这种情况，还是不应该是同样的结果？
谢谢
TensorFlow代码
import tensorflow as tf
from tensorflow import keras
import pandas as pd
import numpy as np
from tensorflow.keras import
浏览 7提问于2022-06-14得票数 0
我想加载一个预先训练的word2vec嵌入与gensim到一个PyTorch嵌入层。
如何将gensim加载到PyTorch嵌入层中的嵌入权值计算出来？
浏览 0提问于2018-04-07得票数 49
回答已采纳
1回答
根据二元交叉熵损失的PyTorch文档，我们可以这样写：
l_{n} = -w_{n}\cdot \left[y_{n}\cdot \log \left(x_{n}\right) + \left( 1-y_{n}\right)\cdot \log\left( 1-x_{n}\right) \right].
w_{n}，x_{n}和y_{n}是什么意思？
浏览 0提问于2021-03-31得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
