OpenCV4.0 Mask RCNN 实例分割示例 C++/Python实现

点击我爱计算机视觉标星，更快获取CVML新技术

前几天OpenCV4.0-Alpha发布，其中新增实例分割Mask RCNN模型是这次发布的亮点之一。

图像实例分割即将图像中目标检测出来并进行像素级分割。

昨天learnopencv.com博主Satya Mallick发表博文，详述了使用新版OpenCV加载TensorFlow Object Detection Model Zone中的Mask RCNN模型实现目标检测与实例分割的应用。使用C++/Python实现的代码示例，都开源了。 先来看看作者发布的结果视频：

从视频可以看出，2.5GHZ i7 处理器每帧推断时间大约几百到2000毫秒。 TensorFlow Object Detection Model Zone中现在有四个使用不同骨干网（InceptionV2, ResNet50, ResNet101 和 Inception-ResnetV2）的Mask RCNN模型，这些模型都是在MSCOCO 数据库上训练出来的，其中使用Inception的模型是这四个中最快的。Satya Mallick博文中正是使用了该模型。

Mask RCNN网络架构

OpenCV使用Mask RCNN目标检测与实例分割流程： 1）下载模型。 地址： http://download.tensorflow.org/models/object_detection/ 现有的四个模型：

2）参数初始化。

设置目标检测的置信度阈值和Mask二值化分割阈值。 3）加载Mask RCNN模型、类名称与可视化颜色值。 mscoco_labels.names包含MSCOCO所有标注对象的类名称。 colors.txt是在图像上标出某实例时其所属类显示的颜色值。 frozen_inference_graph.pb模型权重。 mask_rcnn_inception_v2_coco_2018_01_28.pbtxt文本图文件，告诉OpenCV如何加载模型权重。 OpenCV已经给定工具可以从给定模型权重提取出文本图文件。详见： https://github.com/opencv/opencv/wiki/TensorFlow-Object-Detection-API

OpenCV支持CPU和OpenCL推断，但OpenCL只支持Intel自家GPU，Satya设置了CPU推断模式（cv.dnn.DNN_TARGET_CPU）。 4）读取图像、视频或者摄像头数据。 5）对每一帧数据计算处理。 主要步骤如图：

6）提取目标包围框和Mask，并绘制结果。

C++/Python代码下载： https://github.com/spmallick/learnopencv/tree/master/Mask-RCNN

原博文地址：

https://www.learnopencv.com/deep-learning-based-object-detection-and-instance-segmentation-using-mask-r-cnn-in-opencv-python-c/