每日学术速递9.2

1.Is it an i or an l: Test-time Adaptation of Text Line Recognition Models

标题：是 i 还是 l：文本行识别模型的测试时适应

作者：Debapriya Tula, Sujoy Paul, Gagan Madan, Peter Garst, Reeve Ingle, Gaurav Aggarwal

文章链接：https://arxiv.org/abs/2308.15037

摘要：

从图像中识别文本行是一个具有挑战性的问题，特别是对于手写文档，因为书写风格差异很大。虽然文本行识别模型通常是在大量真实和合成数据上进行训练的，但如果笔迹难以理解或图像采集过程增加了损坏（例如噪声、模糊、压缩等），则此类模型仍然会频繁出错。对于个人来说通常非常一致，可以用来纠正此类模型所犯的错误。受此启发，我们引入了在测试期间调整文本行识别模型的问题。我们专注于具有挑战性和现实的设置，其中仅给出由多个文本行组成的单个测试图像，任务是调整模型，使其在没有任何标签的情况下在图像上表现更好。我们提出了一种迭代自我训练方法，该方法使用语言模型的反馈来更新光学模型，并在每次迭代中都有自信的自我标签。置信度度量基于增强机制，该机制评估局部区域中模型预测的分歧。我们对几个基准数据集及其损坏的版本对我们的方法进行了严格的评估。跨越多个脚本的多个数据集的实验结果表明，所提出的自适应方法只需在测试时进行几次自我训练迭代，就可以将字符错误率绝对提高高达 8%。

2.Reprogramming under constraints: Revisiting efficient and reliable transferability of lottery tickets

标题：约束下的重新编程：重新审视彩票的高效可靠的可转让性

作者：Diganta Misra, Agam Goyal, Bharat Runwal, Pin Yu Chen

文章链接：https://arxiv.org/abs/2308.14969v1

项目代码：https://github.com/landskape-ai/Reprogram_LT

摘要：

在具有巨额预训练预算的基础模型时代，下游任务已转移到高效快速适应的叙述上。对于计算机视觉领域基于分类的任务，两种最有效的方法是线性探测（LP）和视觉提示/重编程（VP）；前者的目的是在预训练模型提取的特征上学习线性头形式的分类器，而后者将输入数据映射到模型最初预训练的源数据的域。尽管广泛的研究已经证明了 LP 和 VP 在下游性能方面的差异，但我们通过稀疏性轴探索了上述两种方法的功能：（a）数据稀疏性：少样本适应的影响和（b）模型稀疏性：彩票（LT）的影响。我们证明 LT 不是通用重编程器，即对于某些目标数据集，重编程 LT 产生的性能明显低于重编程密集模型，尽管它们相应的上游性能相似。此外，我们证明，在 LP 和 VP 制度下，密集模型的校准始终优于彩票模型的校准。我们的实证研究为稀疏模型的 VP 研究开辟了一条新途径，并鼓励进一步了解 VP 在稀疏性约束下所达到的精度之外的性能。

3.Exploring Model Transferability through the Lens of Potential Energy(ICCV 2023)

标题：通过势能的视角探索模型的可转移性

作者：Xiaotong Li, Zixuan Hu, Yixiao Ge, Ying Shan, Ling-Yu Duan

文章链接：https://arxiv.org/abs/2308.15074v1

项目代码：https://github.com/lixiaotong97/PED

摘要：

由于预先训练的深度学习模型的大量可用性，迁移学习在计算机视觉任务中变得至关重要。然而，从不同的池中为特定的下游任务选择最佳的预训练模型仍然是一个挑战。现有的测量预训练模型可转移性的方法依赖于编码静态特征和任务标签之间的统计相关性，但它们忽略了微调过程中底层表示动态的影响，导致结果不可靠，特别是对于自监督模型。在本文中，我们提出了一种名为 PED 的富有洞察力的物理学启发方法来应对这些挑战。我们通过势能的视角重新定义模型选择的挑战，并直接对影响微调动力学的相互作用力进行建模。通过捕捉动态表示的运动以降低力驱动的物理模型中的势能，我们可以获得增强且更稳定的观察结果来估计可转移性。10个下游任务和12个自监督模型的实验结果表明，我们的方法可以无缝集成到现有的排序技术中并提高其性能，揭示了其对模型选择任务的有效性以及理解迁移学习机制的潜力。