使用DeepLabCut将深度学习应用于动作捕捉

隶属于德国和美国几家机构的研究团队开发了一种深度学习算法，可用于任何类型动物的动作捕捉。在他们发表在Nature Neuroscience期刊上的论文中，该小组描述了他们的跟踪工具DeepLabCut，它是如何工作的以及如何使用它。来自北京大学和宾夕法尼亚大学的Kunlin Wei和Konrad Kording分别就该小组在同一期刊上所做的工作提供了新闻和观点。

正如Wei和Kording指出的那样，科学家们已经尝试将动作捕捉应用于人类和动物一个多世纪 - 这个想法是捕捉所有微小运动的复杂性，这些运动共同组成一个更大，更明显的运动，例如单舞步骤。能够跟踪动物的这种运动提供了一些关于他们的生物力学和他们的大脑如何工作的线索。能够与人类这样做有助于物理治疗或改善运动表现。当前的过程涉及视频记录主题并执行逐帧标记图像的费力过程。在这项新的努力中，研究人员开发了一种计算机自动化技术来实现这一过程，使其更快更容易。

为了创建DeepLabCut，该小组使用来自名为Imagenet的数据库中的信息训练神经网络，该数据库包含大量图像和相关元数据。然后他们开发了一种优化姿势估计的算法。第三部分是运行算法的软件，与用户交互并提供结果输出。结果是一个工具，可用于对人类和几乎任何其他生物进行动作捕捉。用户所要做的就是上传他们所追求的样本，例如，松鼠的照片，标记的主要部分和一些视频演示它一般如何移动。然后，用户上传进行感兴趣活动的对象的视频 - 例如，松鼠开裂坚果。该软件完成剩下的工作，生成活动的动作捕捉。

使用DeepLabCut Credit自动跟踪在3D室中移动的果蝇：Mathis等，2018

该团队使任何希望将其用于任何目的的人都可以自由访问新工具。Wei和Kording建议该工具可以彻底改变动作捕捉，使其易于专业人士和新手使用。

使用DeepLabCut自动跟踪鼠标的手，轨迹显示未来（左）和过去（最右边）的移动

量化行为对于神经科学中的许多应用至关重要。视频摄影提供了在不同环境中观察和记录动物行为的简便方法，但是为了进一步分析而提取行为的特定方面可能非常耗时。在运动控制研究中，人或其他动物通常标有反射标记以辅助基于计算机的跟踪，但标记是侵入性的，并且标记的数量和位置必须先验地确定。在这里，我们提出了一种基于深度神经网络传递学习的无标记姿态估计的有效方法，该方法以最少的训练数据实现了优异的结果。我们通过在多种行为中跟踪多个物种的各种身体部位来展示该框架的多功能性。值得注意的是，