重新配置计算机视觉的成像部分

每天一分钟，带你读遍机器人顶级会议文章

标题：Reconfiguring the Imaging Pipeline for Computer Vision

作者：Mark Buckler，Suren Jayasuriya，Adrian Sampson

来源：International Conference on Computer Vision (ICCV 2017)

编译：刘梦雅 周平

审核：陈世浪

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

深度学习的进步引发了对嵌入式计算机视觉高效硬件研究的大量涌现。然而，硬件的视觉性能加速并不能解决由于获取及处理图像数据引起的成本。因此本文研究了图像信号处理（ISP）部分在整个计算机视觉部分的作用，希望能找到机会减少计算成本及节省资源。

本文所提出的方法的关键在于成像部分是可配置的：即可在传统摄影模式和低功率视觉模式之间切换，产生仅适用于计算机视觉的低质量的图像数据。我们使用八种计算机视觉算法和一种成像模拟工具来研究成像系统对视觉性能的影响。对于基于CNN的视觉算法和经典视觉算法，我们观察到只有两个ISP阶段，即去马赛克和伽马压缩阶段对任务完成的性能至关重要。因此我们提出了一种新的图像传感器设计对这两个阶段进行补偿。该设计具有可调节分辨率和可调模数转换器（ADC）模块。我们提出的成像系统视觉模式完全禁用ISP，并配置传感器进行子采样并产生低精度图像数据。下图即是传统的视觉模块与本文提出的模块的对比。

下图是本文提出的视觉模块的电路图。

本文提出的这种视觉模式可以节省约75％的传统摄影模式的平均能量，且对视觉任务的准确性影响很小。

Abstract

Advancements in deep learning have ignited an explosion of research on efficient hardware for embedded computer vision. Hardware vision acceleration, however, does not address the cost of capturing and processing the image data that feeds these algorithms. We examine the role of the image signal processing (ISP) pipeline in computer vision to identify opportunities to reduce computation and save energy. The key insight is that imaging pipelines should be be configurable: to switch between a traditional photography mode and a low-power vision mode that produces lower-quality image data suitable only for computer vision. We use eight computer vision algorithms and a reversible pipeline simulation tool to study the imaging system’s impact on vision performance. For both CNN-based and clas- sical vision algorithms, we observe that only two ISP stages, demosaicing and gamma compression, are critical for task performance. We propose a new image sensor design that can compensate for these stages. The sensor design features an adjustable resolution and tunable analog-to-digital converters (ADCs). Our proposed imaging system’s vision mode disables the ISP entirely and configures the sensor to produce subsampled, lower- precision image data. This vision mode can save ∼75% of the average energy of a baseline photography mode with only a small impact on vision task accuracy.

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号（paopaorobot_slam）。

欢迎来到泡泡论坛，这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题，或者想刷帖回答问题，泡泡论坛欢迎你！

泡泡论坛：http://paopaorobot.org/forums/

泡泡机器人SLAM的原创内容均由泡泡机器人的成员花费大量心血制作而成，希望大家珍惜我们的劳动成果，转载请务必注明出自【泡泡机器人SLAM】微信公众号，否则侵权必究！同时，我们也欢迎各位转载到自己的朋友圈，让更多的人能进入到SLAM这个领域中，让我们共同为推进中国的SLAM事业而努力！