从零开始,一步一步学习caffe的使用,期间贯穿深度学习和调参的相关知识!
在有监督的机器学习中,需要有标签数据,与此同时,也需要有对应的损失函数(Loss Function
)。
在Caffe
中,目前已经实现了一些损失函数,包括最常见的L2
损失函数,对比损失函数,信息增益损失函数等等。在这里做一个笔记,归纳总结Caffe
中用到的不同的损失函数,以及分析它们各自适合的使用场景。
欧式距离损失函数:一般适用于回归问题,特别是回归的值是实数的时候。
对比损失函数:用来训练siamese
网络时候。
Hinge loss
:在一对多的分类中应用,类似于SVM
。
多项式逻辑损失函数:一般在一对多的分类任务中应用,直接把预测的概率分布作为输入。
sigmoid
交叉熵损失函数:预测目标概率分布。
softmax
+损失函数:在一对多分类中的应用。
来源:Caffe中的损失函数解析 http://www.aichengxu.com/other/10039373.htm