五分钟理解：BCELoss 和 BCEWithLogitsLoss的区别

机器学习炼丹术

发布于 2020-07-14 11:04:20

14.2K00

代码可运行

文章被收录于专栏：机器学习炼丹术机器学习炼丹术

运行总次数：0

代码可运行

整体来说，这个区别，有没有with logit就是看模型的最后一层有没有加上sigmoid层。

BCEwithlogitsloss = BCELoss + Sigmoid

1 举个例子

导入必要库,设置预测数值和模型真实类别（二分类问题）

import torch
pred = torch.tensor([[-0.2],[0.2],[0.8]])
target = torch.FloatTensor([[0],[0],[1]])

2 BCELoss

先把pred转换成Sigmoid的0~1的概率。

sigmoid = torch.nn.Sigmoid()
print(sigmoid(pred))

然后计算BCELoss：

上面的pred(i)表示第i个样本的经过sigmoid的预测概率。

第一个样本的loss:
第二个样本的loss:
第三个样本的loss:

求相反数的均值：

然后用PyTorch的BCELoss来计算一下：

import torch
pred = torch.tensor([[-0.2],[0.2],[0.8]])
target = torch.FloatTensor([[0],[0],[1]])
sigmoid = torch.nn.Sigmoid()
loss = torch.nn.BCELoss()
print('BCELoss:',loss(sigmoid(pred),target))

得到答案：

3 BCEWithLogitsLoss

直接来看这个结果就行了：

import torch
pred = torch.FloatTensor([[-0.2],[0.2],[0.8]])
target = torch.FloatTensor([[0],[0],[1]])
sigmoid = torch.nn.Sigmoid()
loss = torch.nn.BCEWithLogitsLoss()
print('BCEWithLogitsLoss:',loss(pred,target))

一样，所以就相差一个Sigmoid罢了。