旷视AI复杂场景的交通标志检测

向AI转型的程序员都关注了这个号👇👇👇

机器学习AI算法工程   公众号：datayx

交通标志本身种类众多，大小不定，并且在交通复杂的十字路口场景下，由于光照、天气等因素的影响，使其被精确检测变得更加困难。提高上述场景下交通标志检测准确度，将有助于降低十字路口交通事故发生的概率。

提供真实场景的道路图片，部分图片给出了交通标志的标注结果，所有交通标志共计 5 个类别，分别为红灯、直行标志、向左转弯标志、禁止驶入和禁止临时停车。

数据示例如下：

初赛1/177，复赛1/12

• 全部 代码  ,方案详情 获取方式：
• 关注微信公众号 datayx  然后回复 交通标志  即可获取。

框架

megengine

算法方案

• 网络框架
  • atss + resnext101_32x8d
• 训练阶段
  • mosaic增强 随机选择四张图片，对图片进行随机平移10%，尺度缩放(0.5,2.0)，shear 0.1，最后将四张图片进行组合。
  • mixup增强 随机选取两张图进行叠加，我们最终选用的比例是0.5 * 原图+0.5 * 新图片，同时其进行缩放(0.5,2.0)。 下图为mosaic+mixup示例图：
  • 图片尺寸 最终提交版本输入图片尺寸为(1500,2100)
  • 多尺度训练（最终提交版本未采用） 起初我们将短边设为(1024, 1056, 1088, 1120, 1152, 1184, 1216, 1248, 1280, 1312, 1344, 1376, 1408)，随机选取短边后，长边按比例缩放，并使长边长度小于1800，从而进行多尺度训练，取得了很好的效果。不过后期的mosaic和mixup在增强时对图片进行了缩放，实则隐含了多尺度训练，且效果优于上述方法，所以我们最终去掉了多尺度训练。
  • 数据增强
  • mosaic增强 随机选择四张图片，对图片进行随机平移10%，尺度缩放(0.5,2.0)，shear 0.1，最后将四张图片进行组合。
  • mixup增强 随机选取两张图进行叠加，我们最终选用的比例是0.5 * 原图+0.5 * 新图片，同时其进行缩放(0.5,2.0)。
  • 随机水平翻转 直接对图片进行翻转，会导致第三个类别“arr_l”（左转线）和右转线混淆，故我们添加了class-aware的翻转，遇到有“arr_l”类的图片则不进行翻转。
  • 基于Albumentations库的各种增强（最终提交版本未采用） 我们尝试了ShiftScaleRotate（验证集+0.5）、CLANE（验证集+1.0）、RandomBrightnessContrast等，但组合起来测试集提点欠佳，所以最后没用。
  • gridmask增强（最终提交版本未采用） 生成一个和原图相同分辨率的mask（每个grid上全为0或全为1），然后将该mask与原图相乘得到一个图像。提点欠佳，所以没采用。
  • 类别平衡采样（最终提交版本未采用） 使用类别平衡采样后，效果不是很好，这可能是因为数据集本身没有严重的类别不均衡。下面是我们统计的每个类别在图片中出现的频率。

• 多尺度测试
  • 多尺度测试图片尺寸 最后提交版本(2100,2700),(2100,2800),(2400,3200)，如果继续增加尺度，map还会继续提高。
  • topk—nms 对上述三个尺度生成的结果先进行nms，再将得到的结果框与剩下所有框进行topk—nms（保留与当前结果框iou大于0.85的topk的框，把这些框的坐标进行融合），参数设置vote_thresh=0.85, k=5。
• 网络结构
  • 加上增强后，backbone从res50到res101再到resx101有稳定涨点。
  • 我们还在backbone部分尝试了dcn和gcnet，验证集收效甚微，最终没有采用。

机器学习算法AI大数据技术 搜索公众号添加： datanlp长按图片，识别二维码

阅读过本文的人还看了以下文章：
TensorFlow 2.0深度学习案例实战

基于40万表格数据集TableBank，用MaskRCNN做表格检测

《基于深度学习的自然语言处理》中/英PDF

Deep Learning 中文版初版-周志华团队

【全套视频课】最全的目标检测算法系列讲解，通俗易懂！

《美团机器学习实践》_美团算法团队.pdf

《深度学习入门：基于Python的理论与实现》高清中文PDF+源码

《深度学习：基于Keras的Python实践》PDF和代码

特征提取与图像处理(第二版).pdf

python就业班学习视频，从入门到实战项目

2019最新《PyTorch自然语言处理》英、中文版PDF+源码
《21个项目玩转深度学习：基于TensorFlow的实践详解》完整版PDF+附书代码

《深度学习之pytorch》pdf+附书源码

PyTorch深度学习快速实战入门《pytorch-handbook》

【下载】豆瓣评分8.1,《机器学习实战:基于Scikit-Learn和TensorFlow》

《Python数据分析与挖掘实战》PDF+完整源码

汽车行业完整知识图谱项目实战视频(全23课)

李沐大神开源《动手学深度学习》，加州伯克利深度学习（2019春）教材

笔记、代码清晰易懂！李航《统计学习方法》最新资源全套！
《神经网络与深度学习》最新2018版中英PDF+源码

将机器学习模型部署为REST API
FashionAI服装属性标签图像识别Top1-5方案分享

重要开源！CNN-RNN-CTC 实现手写汉字识别

yolo3 检测出图像中的不规则汉字
同样是机器学习算法工程师，你的面试为什么过不了？

前海征信大数据算法：风险概率预测

【Keras】完整实现‘交通标志’分类、‘票据’分类两个项目，让你掌握深度学习图像分类

VGG16迁移学习，实现医学图像识别分类工程项目
特征工程(一)

特征工程(二) :文本数据的展开、过滤和分块

特征工程(三):特征缩放,从词袋到 TF-IDF

特征工程(四): 类别特征

特征工程(五): PCA 降维

特征工程(六): 非线性特征提取和模型堆叠

特征工程(七)：图像特征提取和深度学习

如何利用全新的决策树集成级联结构gcForest做特征工程并打分？

Machine Learning Yearning 中文翻译稿
蚂蚁金服2018秋招-算法工程师（共四面）通过

全球AI挑战-场景分类的比赛源码(多模型融合)

斯坦福CS230官方指南：CNN、RNN及使用技巧速查（打印收藏）

python+flask搭建CNN在线识别手写中文网站
中科院Kaggle全球文本匹配竞赛华人第1名团队-深度学习与特征工程

不断更新资源深度学习、机器学习、数据分析、python 搜索公众号添加： datayx