这篇主要是介绍一下YOLO系列算法。
这是YOLO系列的第一篇,文章发表在CVPR2016上,论文链接:YOLOV1. 摘要指出了文章的主要创新之处:把分类问题转换为回归问题,使用一个卷积神经网络就可以直接预测物体的bounding box和类别概率。 算法的优点有很多:
可以看出,这是一个end-to-end的框架。
整个框架把输入图像分成s * s个grid,然后每一个格子预测B个bounding box,每个bounding box包含五个预测参数:x,y,w,h(都是归一化之后的),以及confidence。另外每个格子都预测C个假定类别的概率。 论文中,S=7,B=2,C=20(VOC 的20个类别),所以最后一共有77(2*5+20) 维度的tensor,看这个图就很明白了。
confidence的计算公式:
每个bounding box都有一个对应的confidence score,如果当前的gird cell中不包含object的话,这个confidence就应该是0,如果有的话,这个confidence score就等于预测的box与ground truth的IOU值。那么如何判断一个grid cell中是否包含object呢?作者是这么做的:如果一个object的ground truth的中心店坐标落入一个grid cell中,那么这个grid cell就包含这个object,这个object的预测就由这个grid cell负责(也就是说每一个grid只能预测一个物体,那么对于分布密集的物体,就极有可能造成漏检,因为密集的物体可能会有多个物体的中心落在同一个grid之中。),每个grid cell都要预测C个类别概率。表示当前的gird cell 在包含某个object的条件下属于某个类别的概率,文章中是这样说的:
这个C个概率是对应于gird cell的,在预测的时候,需要得到bounding box的类别概率:
这个乘法具体是如何做的?下面这个图显示的很清楚:
对于每一个bounding box来说,用它的confidence来乘上当前grid cell里每个类别的概率。对于文中来说,每一个gird取2个bounding box,那么就会有
的一个矩阵,矩阵的行数代表类别数,列数带别bounding box的数量,如下图:
在每一行中,将得分少于阈值(0.2)的置零。然后再按照得分从高到低排序然后使用NMS算法去掉重复率交大的bounding box(NMS: 针对某一个类别,选择得分最大的bounding box,然后计算它与其他bounding box的IOU值,如果IOU大于0.5,则说明重复率交大,将该得分设置为0,否则不做处理,重复完之后,然后从未处理的bounding box中选取一个得分最高的,重复上述步骤)。下面这个图很好的说明了YOLO中NMS是如何做的:
YOLOv1包含24个卷积层以及两个全连接层,网络的最后输出是7730的tensor,这个tensor就对应着
个grid cell的predictions.
该论文的训练策略,总体给人的感觉:比较复杂,技巧性比较强。可以看得出作者为了提升性能花了不少功夫。
提升到
。
训练此段原文:https://blog.csdn.net/u011956147/article/details/73013106
为了简单以及优化方便,文中所有的损失都采取平方损失来计算:
简单解释一下:第一行是中心位置误差,第二行是宽和高的预测误差,宽和高要开根号的原因是因为相同的宽和高的误差在小目标来说实际上损失是更大的。所以采取这样的开根号然后再平方的方式(比如:
和
这两者的误差如果是按照不开方来算的话适应的,但是实际上小目标的误差实际上是更大的,所以开了一个平方,至于为什么开平方,那么看一下
函数的图像就知道了),第三四行代表的是boundingbox的confidence损失,分成包含object和不包含object的情况。第五行是分类误差,分类误差是只有当当前grid包含object的时候才计算该项。 关于
的取值,文章中解释的比较清楚:
主要的意思就是,需要把包含目标的和不包含目标的grid cell区分计算,这样更合理。 我看到一张图把整个损失函数解释得更清楚:
图片.png
未完待续