近十年首次，国内机构上海AI Lab、武大、商汤研究获CVPR 2023最佳论文

机器之心报道

机器之心编辑部

最佳论文将全栈驾驶任务整合到了一个网络中。

全球最重要计算机视觉学术会议的大奖，今年颁给了自动驾驶的大模型研究，获奖的还是国内团队。

北京时间今天凌晨，正在加拿大温哥华举行的国际计算机视觉顶会 CVPR 2023 正式公布了最佳论文等奖项。今年共有 5 篇论文获奖，其中两篇最佳论文，一篇最佳学生论文，另外还有一篇最佳学生论文提名和一篇最佳论文提名。

其中，上海人工智能实验室（上海 AI 实验室）、武汉大学及商汤科技联合提出的《Planning-oriented Autonomous Driving》（以路径规划为导向的自动驾驶）从 9155 篇作品中脱颖而出，获得本届 CVPR 最佳论文奖（Best Paper Award）。

据悉，《Planning-oriented Autonomous Driving》为近十年来计算机视觉三大顶级会议（CVPR、ICCV、ECCV）第一篇来自中国研究机构的最佳论文奖。

除了获奖论文，大会还同时颁布了包括时间检验奖在内的 PAMITC 奖的三个奖项。

• 最佳论文: Visual Programming: Compositional visual reasoning without training
• 作者: Tanmay Gupta, Aniruddha Kembhavi (Author Q&A)
• 最佳论文: Planning-oriented Autonomous Driving
• 作者: Yihan Hu, Jiazhi Yang, Li Chen, Keyu Li, Chonghao Sima, Xizhou Zhu, Siqi Chai, Senyao Du, Tianwei Lin, Wenhai Wang, Lewei Lu, Xiaosong Jia, Qiang Liu, Jifeng Dai, Yu Qiao, Hongyang Li (Author Q&A)
• 最佳论文提名: DynIBaR: Neural Dynamic Image-Based Rendering
• 作者: Zhengqi Li, Qianqian Wang, Forrester Cole, Richard Tucker, Noah Snavely
• 最佳学生论文: 3D Registration with Maximal Cliques
• 作者：Xiyu Zhang, Jiaqi Yang, Shikun Zhang, Yanning Zhang
• 最佳学生论文提名：DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation
• 作者：Nataniel Ruiz, Yuanzhen Li, Varun Jampani, Yael Pritch, Michael Rubinstein, Kfir Aberman

作为计算机视觉领域的顶级会议，今年的 CVPR 意义重要。回到线下第二年，大会恢复了数年前人山人海的盛况。

据数据统计，今年来自 75 个国家和地区的 8337 人报名参会。

在论文数据方面，在 9155 篇提交的论文中，最终有 2359 篇被接收，整体接收率为 25.78%。相比于 CVPR 2022 的 25.28% 接收率，今年的论文接收率基本持平，但总体投稿数量增加了约 12%。

大会的评审方式每年也在进步：由于今年的 CVPR 大会实行单轨制（Single Track），会议取消了 Oral 论文的评选，共评选出了 235 篇 Highlight 论文（接收论文的前 10%，提交论文的前 2.6%）。

在人们讨论的话题上，我们也看到了有趣的发展，最近一段时间科技领域不断创造突破的生成式 AI 成为了重要新方向。在获奖和入围的论文中，既有通用大模型，也有 AI 画图。

最佳论文

今年 CVPR 2023 总共评选出两篇最佳论文。

论文 1：《Planning-oriented Autonomous Driving》

第一篇最佳论文是上海人工智能实验室（上海 AI 实验室）、武汉大学及商汤科技联合提出的《Planning-oriented Autonomous Driving》。

上海 AI 实验室联合团队获 CVPR 2023 最佳论文奖。

• 论文链接：https://arxiv.org/abs/2212.10156
• 代码链接：https://github.com/OpenDriveLab/UniAD

论文介绍：在今年的 CVPR 最佳论文中，该论文提出的 UniAD 框架为业界首个感知决策一体化的自动驾驶通用大模型，开创了以全局任务为目标的自动驾驶架构先河，为自动驾驶大模型技术与产业的发展提出了新的指引方向。

UniAD：业界首个感知决策一体化的自动驾驶大模型。

在 UniAD 中，研究人员首次将感知、预测和规划等三大类主任务、六小类子任务（目标检测、目标跟踪、场景建图、轨迹预测、栅格预测和路径规划）整合到统一的基于 Transformer 的端到端网络框架下，实现了全栈关键任务驾驶通用模型。

以下案例展示了 UniAD 在数据集 nuScenes 上多个复杂场景下的优势。

在晴天直行场景中，UniAD 可以感知左前方等待的黑色车辆，预测其未来轨迹（即将左转驶入自车的车道），并立即减速以进行避让，待黑车驶离后再恢复正常速度直行。

在雨天转弯场景中，即便面对视野干扰较大且场景复杂的十字路口，UniAD 能通过分割模块生成十字路口的整体道路结构（如右侧 BEV 图中的绿色分割结果所示），并完成大幅度的左转。

在夜晚视野变暗的情况下，UniAD 能感知到前车并完成先静止，后左转的规划。

UniAD 首次将检测、跟踪、建图、轨迹预测，占据栅格预测以及规划，整合到一个基于 Transformer 的端到端网络框架下。在 nuScenes 真实场景数据集下，UniAD 的所有任务均达到领域最佳性能（State-of-the-art），尤其是预测和规划效果远超之前的最佳方案。其中，多目标跟踪准确率超越 SOTA 20%，车道线预测准确率提升 30%，预测运动位移和规划的误差则分别降低了 38% 和 28%。

作为首个实现感知决策一体化的端到端自动驾驶解决方案，UniAD 实现了对自动驾驶五大核心任务模块的有效融合，真正实现端到端的自动驾驶，能更好地协助进行行车规划，实现「多任务」和「高性能」，确保车辆行驶的可靠和安全。基于此，UniAD 具有极大的应用落地潜力和价值。

另外，除了这篇最佳论文，上海AI Lab和商汤科技还有一篇论文获得最佳论文候选，他们也共有54篇论文被接收。

论文 2：《Visual Programming: Compositional visual reasoning without training》

第二篇最佳论文颁给了由艾伦人工智能研究所发表的《Visual Programming: Compositional visual reasoning without training》。

• 论文地址：https://arxiv.org/pdf/2211.11559.pdf
• 论文主页：https://prior.allenai.org/projects/visprog#qualitative-results

论文介绍：该研究提出了一种新的神经符号方法 VISPROG，用于根据自然语言指令解决复杂且组合性的视觉任务。

VISPROG 无需对任何特定任务进行专门训练。相反，它利用大型语言模型的上下文学习能力生成类似 Python 的模块化程序，然后执行这些程序以获得解决方案和全面且可解释的理由。

生成的程序的每一行可以调用多个现成的计算机视觉模型、图像处理子程序或 Python 函数，以生成可能被程序的后续部分使用的中间输出。

如下图所示，在不观察图像及其内容的情况下，VISPROG 生成一个程序（图 3 底部），可以在输入图像上执行所述任务。

VISPROG 目前支持 20 个模块（见图 2），用于实现图像理解、图像操作（包括生成）、知识检索以及执行算术和逻辑操作等功能。

在 VISPROG 中，每个模块都被实现为一个 Python 类（见代码 1）：

最后，该研究在四个不同的任务上展示了 VISPROG 的灵活性，包括组合性视觉问答、图像对的零样本推理、事实知识对象标记和语言引导的图像编辑。

最佳学生论文

今年的最佳学生论文颁发给了西北工业大学（Northwestern Polytechnic University）的 Xiyu Zhang、张艳宁等人。他们的论文论文题目是《3D Registration with Maximal Cliques》。

论文链接：https://arxiv.org/pdf/2305.10854.pdf

论文介绍：三维点云配准 (PCR) 是计算机视觉中的一个基本问题，目的是寻找点云对对齐的最优姿态。

该研究提出了一种基于最大团（maximal cliques，MAC）的 3D 配准方法。关键创新是放宽了对先前最大团的约束，并在图中挖掘更多的局部一致性信息，以生成准确的位姿假设。

研究者在对 U3M、3DMatch、3DLoMatch 和 KITTI 进行了大量的实验后证明，MAC 有效地提高了配准的准确性，优于各种最先进的方法，并提升了深度学习（deep-learned）方法的性能。MAC 与深度学习方法的结合在 3DMatch 和 3DLoMatch 上实现了 95.7% / 78.9% 的配准召回率，达到了最先进的水平。

1）构建兼容性图以呈现初始对应关系之间的关联关系。

在一个低重叠的点云对上，最大团（ maximal ）和最大限度（maximum）团之间的比较

MAC 在技术上非常简单，Pipeline 如图所示。

最佳论文提名

最佳论文提名颁给了谷歌和康奈尔大学的《DynIBaR: Neural Dynamic Image-Based Rendering》。

• 论文地址：https://arxiv.org/pdf/2211.11082.pdf
• 论文主页：https://dynibar.github.io/

论文介绍：本文解决了从描述复杂动态场景的单目视频中合成新视图的问题。

此前，基于时间变化的神经辐射场（也称为动态 NeRF）在这个任务上表现较好。然而，对于具有复杂物体运动和不受控制的相机轨迹的长视频来说，这些方法会产生模糊或不准确的渲染结果。

该研究提出了一种新方法，通过采用基于图像体素的渲染框架，以一种场景运动感知的方式从附近的视角中聚合特征来合成新的视角。在动态场景数据集上，DynIBaR 比现有方法取得了显著的改进。

不同方法之间的比较效果：

‍

最佳学生论文提名

今年的最佳学生论文提名颁给了谷歌和波士顿大学的 Dreambooth。该技术在 AI 画图领域里已经很有名气，户只需提供 3~5 个样本加一句话，AI 算法就能定制照片级图像。

• 论文地址：https://arxiv.org/pdf/2208.12242.pdf
• 项目地址：https://github.com/XavierXiao/Dreambooth-Stable-Diffusion

论文介绍：来自谷歌和波士顿大学的研究者提出了一种「个性化」的文本到图像扩散模型 DreamBooth，能够适应用户特定的图像生成需求。

该研究的目标是扩展模型的语言 - 视觉字典，使其将新词汇与用户想要生成的特定主题绑定。一旦新字典嵌入到模型中，它就可以使用这些词来合成特定主题的新颖逼真的图像，同时在不同的场景中进行情境化，保留关键识别特征，效果如下图 1 所示。

其他奖项

除了论文奖之外，大会还颁布了 PAMITC 奖，其中包括三个重要奖项，即往年设立的 Longuet-Higgins 奖、青年研究者奖，以及在 CVPR 2020 设立的 Thomas S. Huang 纪念奖。

时间检验奖

Longuet-Higgins 奖是 IEEE 计算机协会模式分析与机器智能（PAMI）技术委员会在每年的 CVPR 颁发的「计算机视觉基础贡献奖」，表彰十年前对计算机视觉研究产生了重大影响的 CVPR 论文。该奖项以理论化学家和认知科学家 H. Christopher Longuet-Higgins 命名。

今年的获奖论文是 2013 年的研究《Online Object Tracking: A Benchmark》。

论文链接：https://ieeexplore.ieee.org/document/6619156

青年研究员奖

青年研究者奖（Young Researcher Awards）旨在表彰年轻的科学家，鼓励他们继续做出开创性的工作。评选标准是获奖者获得博士学位的年限少于 7 年。

今年获得该奖项的研究者是 Christoph Feichtenhofer 和 Judy Hoffman。

‍

Thomas Huang 纪念奖

为了纪念 Thomas S. Huang（黄煦涛）教授，PAMITC 奖励委员会批准设立 Thomas S. Huang 纪念奖，以表彰在 CV 研究、教育和服务方面被公认为楷模的研究人员。该奖项从 2021 年开始颁发。获奖者需要拿到博士学位至少 7 年，最好处于职业发展中期（不超过 25 年）。

今年的获奖人是 UC 伯克利的 Alyosha Efros 教授。

参考链接：

https://twitter.com/CVPR/status/1671545306838626306

https://cvpr2023.thecvf.com/