想知道分布式pytorch如何处理批处理规范，当我添加批处理规范层时，pytorch引擎会使用相同的allreduce调用来同步跨节点的数据吗？或者批量规范只发生在本地节点上。
浏览 0提问于2018-12-11得票数 0
我想创建一个简单的PyTorch神经网络，它的权重之和等于1。为了理解我的问题，这里给出一个例子： ?
浏览 31提问于2021-09-07得票数 0
回答已采纳
2回答
我正在尝试测试PyTorch的层规范化功能。
但是我不知道为什么b[0]和result在这里有不同的值
我做错什么了吗？
import numpy as np
import torch
import torch.nn as nn
a = torch.randn(1, 5)
m = nn.LayerNorm(a.size()[1:], elementwise_affine= False)
b = m(a)
结果：
input: a[0] = tensor([-1.3549, 0.3857, 0.1110, -0.8456, 0.1486])
output: b[0] = tensor(
浏览 8提问于2021-02-20得票数 1
1回答
在连体网络中选择对比性损失的边际
、、、、
我正在为一个度量学习任务构建一个连体网络，使用一个对比损失函数，但我不确定如何设置损失的“差值”超参数。 我对损失函数的输入目前是来自RNN层的1024维密集嵌入-该输入的维度是否会影响我选择边距的方式？我是不是应该先用一个密集的层把它投射到一个低维的空间？任何关于如何挑选一个特定的保证金价值(或任何相关的研究)的建议都将受到感谢！如果重要的话，我使用PyTorch。
浏览 22提问于2019-02-27得票数 2
我打印了pytorch和https://github.com/mnielsen/neural-networks-and-deep-learning/tree/master/data的mnist数据集的第一个训练图像的矢量化形式。对于浮点精度误差来说，差异似乎太大了。 第一个mnist列车的完全不同图像：https://www.diffchecker.com/6y6YTFiN ? 要重现的代码： import mnist_loader
import numpy
numpy.set_printoptions(formatter={'float': '{: 0.4f
浏览 17提问于2020-10-24得票数 1
回答已采纳
我有一个关于时间序列的下一步预测模型，它只是一个GRU，上面有一个完全连接的层。当我用CPU训练50次后，损失为0.10，而用GPU训练时，50次后损失为0.15。在这两种情况下，做更多的划时代并不能真正降低损失。
为什么在CPU上训练后的性能要比GPU好？
我试着改变数据和模型的随机种子，这些结果与随机种子无关。
我有：
Python 3.6.2
PyTorch 0.3.0
CUDNN_MAJOR 7
CUDNN_MINOR %0
CUDNN_PATCHLEVEL 5
编辑：
我还使用PyTorch的重量归一化torch.nn.utils.weight_norm在GRU和完全连接的层上。
浏览 1提问于2018-01-25得票数 6
回答已采纳
我试图用 (而不是PyTorch )实现TensorFlow中的CSRA模块，使用MobileNetV3作为特性提取器。
我只精通TensorFlow，在从PyTorch到TensorFlow的翻译中遇到了一些困难。
实现该模块的使用了一些在TensorFlow中不常用的函数，而those为这些函数提供的帮助很少。
源代码如下：
class CSRA(nn.Module): # one basic block
def __init__(self, input_dim, num_classes, T, lam):
super(CSRA, self).__init__()
浏览 2提问于2022-05-23得票数 0
1回答
Model返回NAN值
、、、
我试图构建一个具有4个输入节点/特征和一个输出特征(0/1)的神经网络。我编写了这段代码，它可以运行，但在训练过程中，模型返回NaN。我也进行了调试，在通过模型之前，权重和偏差都是正常的。
根据我到目前为止的搜索，这可能是我传递数据的方式的问题。我的输入数据是：tensor([[0.0000e+00, 0.0000e+00, 0.0000e+00, 1.5340e+00], [1.5000e+01, 1.0000e-01, 2.4210e+00, 3.0000e+01], [3.0000e+00, 2.2000e-01, 2.2000e-01, 4.5000e+
浏览 13提问于2019-03-10得票数 0
1回答
我已经完成了MNIST数据集的PyTorch MLP模型，但是得到了两个不同的结果:使用PyTorch的MNIST数据集时的0.90+精度，以及使用Keras的MNIST数据集时的0.10精度。下面是我的依赖代码: PyTorch 0.3.0.post4，keras2.1.3，tensorflow后端1.4.1 gpu版本。
from __future__ import absolute_import
from __future__ import division
from __future__ import print_function
import numpy as np
import
浏览 0提问于2018-01-27得票数 1
回答已采纳
我试图推断一个最初在PyTorch中构建的PyTorch模型。我一直沿着的路线进行跟踪，并且必须沿着RGB通道预处理图像。我发现最接近的TensorFlow等价于transforms.Normalize()是tf.image.per_image_standardization() ()。虽然这是一个很好的匹配，但tf.image.per_image_standardization()通过跨渠道获取平均值和性病来实现这一点，并将其应用于它们。以下是它们在中的全部实现
def per_image_standardization(image):
"""Linearly s
浏览 8提问于2021-05-11得票数 4
回答已采纳
1回答
我用的是一种经过预先训练的火把模型：
model = models.resnet50(pretrained=True).to(device)
for param in model.parameters():
param.requires_grad = False
model.fc = Identity()
我应该使用我的数据平均值和std来规范数据，还是使用模型创建者使用的值？
class customDataset(torch.utils.data.Dataset):
'Characterizes a dataset for PyTorch'
def
浏览 1提问于2022-05-10得票数 1
我之所以跟踪，是因为我想使用Pytorch来尝试MNIST数据集，因为我已经使用了keras。
因此，在步骤2中，更好地了解数据集，他们打印列车加载器的形状，然后它返回torch.Size([64, 1, 28, 28])。我知道64是加载程序中的图像数量，每个图像都是28x28映像，但是1到底意味着什么呢？
浏览 8提问于2021-03-31得票数 1
我是PyTorch的新手，我想在我的网络中添加一个均值-方差归一化层，它将把特征归一化为零均值和单位标准差。我在阅读文档时有点困惑，有人能给我一些线索吗？
浏览 8提问于2021-08-26得票数 0
我在Github中查找GAN代码。我找到的代码使用pytorch。在这段代码中，我们首先将图像归一化为mean = 0.5，std = 0.5。通常，归一化为min =0和max = 1。或者正态分布，均值=0，std = 1。为什么归一化为均值= 0.5，std = 0.5？
transformtransfo = transforms.Compose([
transforms.ToTensor(),
transforms.Normalize(mean=(0.5, 0.5, 0.5), std=(0.5, 0.5, 0.5))
])
浏览 5提问于2018-09-03得票数 9
对像素级语义分割的完全卷积神经网络(FCNs)的训练是非常内存密集型的。因此，我们经常使用batchsize=1来培训FCNs。然而，当我们用BatchNorm ( BN )层完成预先训练的网络时，batchsize=1对BN层没有意义。那么，如何处理BN层呢？
一些备选方案：
删除BN层(将BN层与前面的层合并，用于预先训练的模型)
冻结BN层的参数和统计数据
……
哪一种更好，哪种演示可以在pytorch/tf/caffe中实现？
浏览 11提问于2017-06-19得票数 3
在一维张量上使用PyTorch的BatchNorm1D会给出错误：
RuntimeError: running_mean应包含%1个不是2304的元素
有什么建议可能是错误的吗？
我的代码：
self.net_common = nn.Sequential (
nn.Linear(64*64, 48*48),
nn.BatchNorm1d(48*48),
nn.Tanh(),
nn.Dropout(p=0.25),
nn.Linear(48*48, 32*32),
nn.BatchNorm1d(32*32),
nn.Tanh(),
)
浏览 116提问于2019-06-01得票数 3
1回答
我试图在PyTorch中用卷积神经网络实现贝叶斯优化，具体来说，我试图将网络结构从Matlab BayesOptExperiment转换成PyTorch。我希望我的网络具有以下结构：
输入数据-> 卷积块 -> maxpool -> 凸块 ->最大块-> 卷积池->平坦->线性-> softmax
其中，凸块包括：
conv2Dlayer ->批处理规范化层-> ReLU，
重复了几次。目前的版本，只有当section_depth = 1达到65%-70%的精度时，才能像预期的那样工作，尽管如果我将凸块的深度提高到10%左右的话。我肯
浏览 3提问于2022-03-09得票数 0
回答已采纳
我是Pytorch的新手。我想知道如何将大小为torch.Size([1, 3, 224, 224])的张量转换为图像格式显示在Jupyter笔记本上。PIL格式或CV2格式就可以了。 我尝试使用transforms.ToPILImage(x)，但得到了不同的格式：ToPILImage(mode=ToPILImage(mode=tensor([[[[1.3034e-16, 1.3034e-16, 1.3034e-16, ..., 1.4475e-16,. 也许我做错了什么，:no_mouth：
浏览 90提问于2020-04-22得票数 0
回答已采纳
我的Pytorch神经网络中有以下代码：
cos = nn.CosineSimilarity(dim=1)
d = torch.zeros(batch_sz, n, n).to(device="cuda")
for i in range(n):
for j in range(n):
d[:, i, j] = cos(q[:, i, :], k[:, j, :])
q和k的大小都是(batch_sz, n, m)。这段代码显然减慢了我的程序，我想知道Pytorch是否提供了任何函数来提高效率。
非常感谢！
浏览 1提问于2021-04-20得票数 2
我最近一直在研究DCGAN。我试着跟随pytorch.org DCGAN教程的实现，发现它(表面上)缺乏项目&重塑层，这在图表中是存在的：
📷
这让我非常困惑，所以我搜索了其他实现，并找到了tensorflow.org DCGAN教程，这进一步使我感到困惑。ArXiv的原始论文明确指出：
值得注意的是，没有使用完全连接或池层。
但是tensorflow官方教程正在使用完全连接(密集)层来重塑！
我也找到了参考DCGAN实现，但没有帮助，因为我不能理解lua脚本。
因此，问题是:从DCGAN文件中正确地实现发电机网络是什么？我应该省略项目和重塑或使用密集层吗？
浏览 0提问于2022-10-02得票数 1
我有一个关于z-score normalization方法的问题。
此方法使用z-score对数据集的值进行normalize，并需要一个mean/std。
我知道您通常应该使用数据集的mean/std。
但是，我在pytorch.org和网络上看到了多个教程，他们只是使用0.5 for mean/std，这在我看来完全是武断的。
我想知道他们为什么不使用数据集的mean/std？
示例教程，其中他们只使用0.5作为mean/std：
浏览 8提问于2020-02-13得票数 1
1回答
我有两个张量a & b of shape (m,n)，我想用距离度量d来计算距离矩阵m。也就是说，我想要m[i][j] = d(a[i], b[j])。这有点像cdist(a,b)，但假设一个泛型距离函数d，它不一定是p范数距离。是否有一种在PyTorch中实现这一功能的通用方法？
还有一个更具体的问题:是否有一种有效的方法来使用以下度量来执行此操作？
d(x,y) = 1 - cos(x,y)
编辑
我已经使用答案解决了上面的具体案例：
def metric(a, b, eps=1e-8):
a_norm, b_norm = a.norm(dim=1)[:, None], b
浏览 4提问于2020-10-01得票数 0
回答已采纳
我正在尝试一个带有SWAG数据集的huggingface样本
我想在我的代码中使用Intel Extension for Pytorch来提高性能。
这里我使用的是无训练模式(run_swag_no_trainer)。
在run_swag_no_trainer.py中，我做了一些更改以使用ipex。#变更前代码如下：
device = accelerator.device
model.to(device)
#添加ipex后：
import intel_pytorch_extension as ipex
device = ipex.DEVICE
model.to(device)
浏览 4提问于2021-10-04得票数 1
1回答
VGG16预测中的随机性
、、、
我正在使用pytorch中提供的VGG-16网络来预测一些图像索引。我发现对于同一个输入文件，如果我多次预测，我会得到不同的结果。在我看来，这似乎有悖于直觉。一旦预测了权重(因为我使用的是预训练模型)，任何步骤都不应该有任何随机性，因此使用相同的输入文件多次运行将返回相同的预测。 下面是我的代码： import torch
import torchvision.models as models
VGG16 = models.vgg16(pretrained=True)
def VGG16_predict(img_path):
transformer = transforms.Compos
浏览 6提问于2019-06-07得票数 2
回答已采纳
我正在学习pytorch，我不知道这个问题是不是很愚蠢，但是我找不到解释nn.batchnorm1d的官方网站。我想知道torch.nn.BatchNorm1d(d1)是如何工作的？我知道批量范数是关于使一批示例的均值和方差分别为0和1。我想知道是否有nn.batchnorm2d，如果有，它是做什么的？什么是d1参数？
浏览 272提问于2020-04-14得票数 3
2回答
我试图通过一个实际的例子来理解权重在CrossEntropyLoss中是如何工作的。因此，我首先作为标准PyTorch代码运行，然后手动运行这两个代码。但损失是不一样的。
from torch import nn
import torch
softmax=nn.Softmax()
sc=torch.tensor([0.4,0.36])
loss = nn.CrossEntropyLoss(weight=sc)
input = torch.tensor([[3.0,4.0],[6.0,9.0]])
target = torch.tensor([1,0])
output = loss(input,
浏览 0提问于2020-04-25得票数 1
我已经在PyTorch的视频中建立了一个动作识别的CNN模型。我正在使用torch dataloader模块加载训练数据。 train_loader = torch.utils.data.DataLoader(
training_data,
batch_size=8,
shuffle=True,
num_workers=4,
pin_memory=True) 然后通过train_loader对模型进行训练。 train_epoch(i, train_loader, acti
浏览 40提问于2019-04-12得票数 2
回答已采纳
在Pytorch documentation中，CrossEntropyLoss将LogSoftMax和NLLLoss组合在一个类中 但是我很好奇；如果我们在我的分类器中同时使用CrossEntropyLoss和LogSoftMax，会发生什么： model_x.fc = nn.Sequential (nn.Linear(num_ftrs, 2048, bias=True), nn.ReLU(),
nn.Linear(2048, 1024 ), nn.ReLU(),
浏览 25提问于2020-10-23得票数 1
在TensorFlow概率(v0.4.0)和PyTorch (v0.4.1)中，正态分布(，)和拉普拉斯分布(，)的KL散度都没有实现，导致抛出NotImplementedError错误。
>>> import tensorflow as tf
>>> import tensorflow_probability as tfp
>>> tfd = tfp.distributions
>>> import torch
>>>
>>> tf.__version__
'1.11.0
浏览 1提问于2018-10-29得票数 1
我从别人那里接过一些代码，我的任务是在pytorch中重现相同的模型和性能。我也得到了该模型的最佳超参数。在尝试了很长一段时间后，我发现如果我将drop - out rate设置为0，那么我的测试性能是最好的。它停止得越早，失落率就越小。事实上，它的表现比以前的模型要好一点。而之前的模型有显着的辍读率。
数据大小约为3300万行。神经网络大概有4-5层。总输入嵌入约为1000。虽然我很高兴看到这场表演，但我想知道这是不是某种危险信号。因为如果没有辍学，我就没有其他的正则化了。它在这方面的表现很好，这可能意味着可能存在一些数据泄漏或其他什么？在这种情况下，寻找一些关于dropout的智慧。
浏览 3提问于2020-10-13得票数 0
我正在尝试实现一个简单的神经网络，通过AUTOGRAD手动更新MNIST的权重，类似于给定的AUTOGRAD示例。这是我的代码：
import os
import sys
import torch
import torchvision
class Datasets:
"""Helper for extracting datasets."""
def __init__(self, root='data/', batch_size=25):
if not os.path.exists(root):
浏览 7提问于2018-11-30得票数 1
1回答
我有一个关于训练Pytorch模型的问题。我正在尝试使用dicom数据和nifti GT训练我的Pytorch模型，然而，权重文件的大小小得离谱，因为模型训练没有正常执行。
我使用的是网络模型Unet++
我认为数据加载器有问题。但我不能修好它。
如果你能帮我，我将不胜感激。
原始图像文件格式为dicom，GT图像格式为nifti
在我的数据记录器中
def __getitem__(self, index):
image_path = self.image_paths[index]
image_GT_path = image_path[:8]+'_'+image
浏览 36提问于2021-11-24得票数 1
这可能是一个基本的问题，因为我是从计算机视觉开始。我正在尝试使用resnet18从pytorch和使用CIFAR-100数据集。单个图像的大小为3x32x32，模型无法转发此抛出错误。它可以处理大小为224、128、64的数组。我应该如何构造我的图像来具体地用resnet18 (而不是其他的arch)来处理它们。
浏览 0提问于2020-01-15得票数 0
我训练过CIFAR10数据集的VAE。然而，当我试图从VAE生成图像时，我得到的只是一堆灰色噪声。这个VAE的实现遵循书中的实现，但是代码使用PyTorch代替了TensorFlow。
包含训练和生成的笔记本可以找到，而实际实现的VAE可以找到。
我试过：
使辍学者丧失能力。
增加了潜空间的维数。
所有这些方法都没有任何改进。
我已核实：
输入大小与输出大小匹配。
随着训练过程中损失的减少，反向传播成功。
浏览 0提问于2020-11-19得票数 2
回答已采纳
当我试图将PyTorch从1.4.0修改为1.5.0时，Anaconda说所有的软件包都已经安装好了。
$ conda install -c pytorch pytorch torchvision
Collecting package metadata (current_repodata.json): done
Solving environment: done
# All requested packages already installed.
$ conda list | grep -i torch
_pytorch_select 0.2
浏览 2提问于2020-04-24得票数 5
回答已采纳
我正在使用pytorch构建一个简单的模型，比如VGG16，并且我已经在模型中重载了函数forward。
我发现每个人都倾向于使用model(input)而不是model.forward(input)来获取输出，我对它们之间的区别很感兴趣。我尝试输入相同的数据，但结果不同。我很困惑。
我在输入数据之前已经输出了layer_weight，权重没有改变，我知道当我们使用__call__函数model(input)它的时候，这个函数会调用model.forward。
vgg = VGG()
vgg.double()
for layer in vgg.modules():
浏览 193提问于2019-03-25得票数 10
回答已采纳
Pytorch gridsample是否适用于这种特殊情况。
我有一个大小为B，100,200的图像，我想将其映射到较小的B，50，60空间。我将像素1-1映射存储在B，100,200，2张量中，其中大部分是0？
这真的是可能的吗？
浏览 0提问于2020-07-28得票数 0
我试图在A100图形处理器上使用我当前的代码，但是我得到了这个错误：
---> backend='nccl'
/home/miranda9/miniconda3/envs/metalearningpy1.7.1c10.2/lib/python3.8/site-packages/torch/cuda/__init__.py:104: UserWarning:
A100-SXM4-40GB with CUDA capability sm_80 is not compatible with the current PyTorch installation.
The curre
浏览 12提问于2021-04-08得票数 9
我需要在OpenCV或NumPy中复制PyTorch图像标准化。
快速背景:我正在做一个项目，我正在进行PyTorch培训，但由于部署到一个没有存储空间来安装PyTorch的嵌入式设备上，我将不得不在OpenCV中进行推断。在对PyTorch进行训练并保存PyTorch图之后，我会将其转换为ONNX图。为了在OpenCV中进行推断，我将图像作为OpenCV图像(即NumPy数组)打开，然后调整大小，然后依次调用cv2.normalize、cv2.dnn.blobFromImage、net.setInput和net.forward。
当在PyTorch中测试推理与在OpenCV中进行推理时，我得
浏览 3提问于2021-01-08得票数 2
当我发出Anaconda提示符conda search pytorch时，我甚至发出conda list命令：
pytorch 1.5.1 py3.7_cuda102_cudnn7_0 pytorch
但是，当我在命令提示符下启动python，然后发出import pytorch时，就会得到ModuleNotFoundError: No module named 'pytorch'。
就连我也试着在发布
conda create -n pytorch_env -c pytorch pytorch torchvisio
浏览 4提问于2020-07-04得票数 0
回答已采纳
在按照官方命令: PyTorch：conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=10.2 -c pytorch安装了conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=10.2 -c pytorch之后，conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=10.2 -c pytor
浏览 29提问于2022-09-10得票数 0
我在这个python3虚拟环境中：
(base) marco@pc01:~/PyTorchMatters/facenet_pytorch/examples$ pyenv virtualenvs
3.7.3/envs/facenet_pytorch (created from /home/marco/.pyenv/versions/venv373)
3.7.3/envs/venv373 (created from /home/marco/.pyenv/versions/3.7.3)
* facenet_pytorch (created from /home/marco/.pyenv/ve
浏览 4提问于2020-03-09得票数 1
1回答
我试图在setuptools的需求列表中包括py手电筒：
install_requires=[
'torch'
],
dependency_links=[
'http://download.pytorch.org/whl/cpu/torch-0.3.0.post4-cp27-cp27mu-linux_x86_64.whl' '@develop#egg=torch'
],
但是在运行python setup.py develop之后，我收到了以下消息：
error: Can't downloa
浏览 0提问于2018-02-12得票数 1
回答已采纳
1回答
火炬几何误差
FileNotFoundError: Could not find module '...\.conda\envs\urop\Lib\site-packages\torch_sparse\_convert_cuda.pyd' Try using the full path with constructor syntax.
版本：
torch_geometric==2.0.4
pytorch 1.11.0 py3.8_cpu_0 pytorch
pytorch-cluster 1
浏览 29提问于2022-07-20得票数 0
“显然！”，你可能会说.但我很难用随机初始化的差异来解释一个显著的差异。
以两个经过预先训练的基线集(平均池层之前)为例，用相同的图像填充它们，您将注意到输出特性并不遵循相同的分布。具体来说，TensorFlow的主干网相对于Pytorch的主干，ReLU具有更多的抑制特性。此外，如第三张图所示，这两个框架之间的动态范围是不同的。
当然，这种差异被处理分类任务的密集层所吸收，但是:这种差异能用训练过程中的随机性来解释吗？或者训练时间？或者还有什么能解释这种区别的东西呢？
复制代码：
import imageio
import numpy as np
image = imageio.i
浏览 1提问于2021-05-03得票数 5
我现在的PyTorch版本是1.10。我想把它降级到1.3，但是conda建议只使用CPU版本。我的GPU是一个GTX 1080 TI。
我现在的设置是
cudatoolkit 10.2.89 hfd86e86_1
cudnn 7.6.5 cuda10.2_0
pytorch 1.10.0 py3.7_cuda10.2_cudnn7.6.5_0 pytorch
pytorch-mutex 1.0
浏览 15提问于2021-12-07得票数 0
回答已采纳
我的遥控器有cuda==11.0，我想在上面安装pytorch。
我使用命令conda install pytorch cudatoolkit=11.0 -c pytorch -c conda-forge，但在安装列表中：
cudatoolkit conda-forge/linux-64::cudatoolkit-11.0.3-h15472ef_8
pytorch pytorch/linux-64::pytorch-1.10.0-py3.8_cpu_0
我发现pytorch是一个cpu 。
或者，我将11.0替换为11.1，安装列表看起来如下：
cudato
浏览 9提问于2021-12-13得票数 3
回答已采纳
我正在尝试使用pytorch==1.11.0 Docker图像来获取。
我第一次运行docker run -i -t continuumio/miniconda3 /bin/bash。然后，在容器中运行：conda search -c conda-forge pytorch==1.11.0。以下是错误：
No match found for: pytorch==1.11.0. Search: *pytorch*==1.11.0
PackagesNotFoundError: The following packages are not available from current channe
浏览 3提问于2022-08-28得票数 2
回答已采纳
2回答
我正在尝试自定义加载一些带有标签的图像文件(JPG文件)，并按照示例将它们输入到PyTorch中的卷积神经网络(CNN)。然而，似乎仍然存在。我看到的问题如下所示。
RuntimeError: thnn_conv2d_forward is not implemented for type
torch.ByteTensor
我的Dataset如下所示。
class ImageData(Dataset):
def __init__(self, width=256, height=256, transform=None):
self.width = width
浏览 21提问于2018-05-19得票数 5
1回答
我正试图通过以下方式获得与cuda 10兼容的火炬: conda安装pytorch cudatoolkit=10.2 -c pytorch from()，但存在超时错误：
Proceed ([y]/n)? y
Downloading and Extracting Packages
pytorch-mutex-1.0 | 3 KB |
浏览 5提问于2022-04-11得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
