每日学术速递1.6

Subjects: cs.CV

1.Image Sculpting: Precise Object Editing with 3D Geometry Control

标题：图像雕刻：通过 3D 几何控制进行精确的对象编辑

作者：Jiraphon Yenphraphai, Xichen Pan, Sainan Liu, Daniele Panozzo, Saining Xie

文章链接：https://arxiv.org/abs/2401.01702

项目代码：https://image-sculpting.github.io/

摘要：

我们推出了图像雕刻，这是一种通过结合 3D 几何和图形工具来编辑 2D 图像的新框架。这种方法与现有方法明显不同，现有方法仅限于二维空间，并且通常依赖于文本指令，导致模糊性和有限的控制。图像雕刻将 2D 对象转换为 3D，从而能够与其 3D 几何体直接交互。后期编辑后，这些对象被重新渲染为 2D，合并到原始图像中，通过从粗到细的增强过程产生高保真结果。该框架支持精确、可量化且物理上合理的编辑选项，例如姿势编辑、旋转、平移、3D 合成、雕刻和串行添加。它标志着将生成模型的创意自由与图形管道的精度相结合的第一步。

2.Learning the 3D Fauna of the Web

标题：学习网络的 3D 动物群

作者：Zizhang Li, Dor Litvak, Ruining Li, Yunzhi Zhang, Tomas Jakab, Christian Rupprecht, Shangzhe Wu, Andrea Vedaldi, Jiajun Wu

文章链接：https://arxiv.org/abs/2401.02400

项目代码：https://kyleleey.github.io/3DFauna/

摘要：

学习地球上所有动物的 3D 模型需要大规模扩展现有解决方案。考虑到这一最终目标，我们开发了 3D-Fauna，这是一种联合学习 100 多种动物物种的泛类别可变形 3D 动物模型的方法。动物建模的一个关键瓶颈是训练数据的可用性有限，我们通过简单地从 2D 互联网图像中学习来克服这一瓶颈。我们表明，先前针对特定类别的尝试无法推广到训练图像有限的稀有物种。我们通过引入蒙皮模型语义库（SBSM）来解决这一挑战，该模型通过将几何归纳先验与现成的自监督特征提取器隐式捕获的语义知识相结合，自动发现一小组基本动物形状。为了训练这样的模型，我们还贡献了一个新的不同动物物种的大规模数据集。在推理时，给定任何四足动物的单个图像，我们的模型会在几秒钟内以前馈方式重建铰接的 3D 网格。

3.Efficient Hybrid Zoom using Camera Fusion on Mobile Phones(ACM TOG)

标题：在手机上使用相机融合实现高效混合变焦

作者：Xiaotong Wu, Wei-Sheng Lai, YiChang Shih, Charles Herrmann, Michael Krainin, Deqing Sun, Chia-Kai Liang

文章链接：https://arxiv.org/abs/2401.01461

项目代码：https://www.wslai.net/publications/fusion_zoom

摘要：

单反相机可以通过改变镜头距离或交换镜头类型来实现多个变焦级别。然而，由于空间限制，这些技术在智能手机设备上是不可能的。大多数智能手机制造商采用混合变焦系统：通常是低变焦级别的广角 (W) 相机和高变焦级别的长焦 (T) 相机。为了模拟 W 和 T 之间的缩放级别，这些系统对 W 图像进行裁剪和数字上采样，从而导致大量细节丢失。在本文中，我们提出了一种在移动设备上实现混合变焦超分辨率的高效系统，该系统捕获一对同步的 W 和 T 镜头，并利用机器学习模型来对齐和传输从 T 到 W 的细节。我们进一步开发了一种自适应混合一种考虑景深不匹配、场景遮挡、流动不确定性和对准误差的方法。为了最大限度地减少域差距，我们设计了一个双手机摄像头装置来捕获真实世界的输入和地面实况以进行监督训练。我们的方法可以在移动平台上在 500 毫秒内生成 12 兆像素的图像，并且在对现实场景的广泛评估下与最先进的方法相媲美。