每日学术速递10.3

CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理

1.Deep Geometrized Cartoon Line Inbetweening(ICCV 2023)

标题：深几何卡通线中间

作者：Li Siyao, Tianpei Gu, Weiye Xiao, Henghui Ding, Ziwei Liu, Chen Change Loy

文章链接：https://arxiv.org/abs/2309.16643

项目代码：https://github.com/lisiyao21/AnimeInbet

摘要：

我们的目标是解决动漫行业中一个重要但尚未得到充分研究的问题，即卡通线条图的中间问题。中间处理涉及在两个黑白线条图之间生成中间帧，这是一个耗时且昂贵的过程，可以从自动化中受益。然而，现有的依赖于匹配和扭曲整个光栅图像的帧插值方法不适合线中间，并且经常产生模糊伪影，从而损坏复杂的线结构。为了保持线条图的精度和细节，我们提出了一种新方法 AnimeInbet，它将光栅线条图几何化为端点图，并将中间任务重新构建为具有顶点重新定位的图融合问题。我们的方法可以有效地捕捉线条图的稀疏性和独特结构，同时保留中间的细节。这是通过我们的新颖模块实现的，即顶点几何嵌入、顶点对应变换器、顶点重新定位的有效机制和可见性预测器。为了训练我们的方法，我们引入了 MixamoLine240，这是一个具有地面实况矢量化和匹配标签的新线条图数据集。我们的实验表明，AnimeInbet 合成了高质量、干净且完整的中间线图，在数量和质量上都优于现有方法，特别是在大动作的情况下。数据和代码可从此 https URL 获取。

2.Bag All You Need: Learning a Generalizable Bagging Strategy for Heterogeneous Objects(IROS 2023)

标题：打包你需要的一切：学习异构对象的通用装袋策略

作者：Arpit Bahety, Shreeya Jain, Huy Ha, Nathalie Hager, Benjamin Burchfiel, Eric Cousineau, Siyuan Feng, Shuran Song

文章链接：https://arxiv.org/abs/2210.09997

项目代码：https://bag-all-you-need.cs.columbia.edu/

摘要：

我们为异构装袋任务引入了一种实用的机器人解决方案，需要将多个刚性且可变形的物体放入可变形的袋子中。这是一项艰巨的任务，因为它的特点是在有限的可观测性下多个高度变形的物体之间存在复杂的相互作用。为了应对这些挑战，我们提出了一个由两个学习策略组成的机器人系统：一个重新排列策略，学习放置多个刚性物体并折叠可变形物体，以实现理想的预装袋条件；以及一个提升策略，用于推断合适的抓取点双手提袋。我们在现实世界的三臂机器人平台上评估这些学习策略，该平台对新物体实现了 70% 的异构装袋成功率。为了便于未来的研究和比较，我们还开发了一种新颖的异构装袋模拟基准，该基准将公开发布。

3.RealFill: Reference-Driven Generation for Authentic Image Completion

标题：RealFill：参考驱动生成真实图像补全

作者：Luming Tang, Nataniel Ruiz, Qinghao Chu, Yuanzhen Li, Aleksander Holynski, David E. Jacobs, Bharath Hariharan, Yael Pritch, Neal Wadhwa, Kfir Aberman, Michael Rubinstein

文章链接：https://arxiv.org/abs/2309.16668

项目代码：https://realfill.github.io/

摘要：

生成图像的最新进展带来了修复和修复模型，这些模型可以在未知区域生成高质量、可信的图像内容，但这些模型幻觉的内容必然是不真实的，因为这些模型缺乏关于真实场景的足够背景。在这项工作中，我们提出了 RealFill，这是一种新颖的图像补全生成方法，可以用本应存在的内容填充图像的缺失区域。RealFill 是一种生成修复模型，仅使用场景的一些参考图像即可实现个性化。这些参考图像不必与目标图像对齐，并且可以使用截然不同的视点、照明条件、相机光圈或图像风格来拍摄。一旦个性化，RealFill 就能够完成具有视觉上引人注目的内容且忠实于原始场景的目标图像。我们在新的图像完成基准上评估 RealFill，该基准涵盖了一系列多样化且具有挑战性的场景，并发现它大幅优于现有方法。在我们的项目页面上查看更多结果：此 https URL