Facebook开源DensePose人体姿态估计框架

sefd

想象着当你在手机上打开一个服装应用程序，点击你喜欢的衣服，应用程序会显示你穿着这些衣服时的样子。 听起来是不是很神奇，现在人工智能让我们非常接近将这种技术变成现实生活中的应用。

目前，数据科学家能够对图像进行注释，并可以定位一组稀疏的关节，如手腕或肘部，这些关节通常用于手势或动作识别等应用。 Facebook的人工智能研究部门（FAIR）已将这项技术完全提升到另一个层次。

为了将2D图像中的所有人类像素映射到基于3D表面的身体模型，他们开创了一种名为DensePose的新方法。 人体姿势估计中的当前方法使用10或20个人体关节（例如手腕，肘部等），而DensePose在超过5000个节点中识别人体！如下图所示：

正如研究人员在犹他州的计算机视觉和模式识别会议（CVPR）2018年发表的DensePose：Dense Human Pose Estimation In The Wild论文中所提到的，DensePose项目包括：

DensePose-COCO：具有图像到表面对应关系的大型数据集。 该团队收集了50K人类的注释，收集了超过500万个手动注释的对应关系。 遵循与COCO挑战中完全相同的训练/验证/测试分组。 以下是验证集中注释可视化的示例。

DensePose-RCNN：这是Mask-RCNN的变体，具有特征金字塔网络和感兴趣区域池，然后是完全卷积处理（如下所示的架构）。 这样做是为了获得每个所选区域内的密集部分标签和坐标。

该团队共享了一个GitHub存储库，他们在该存储库中开源了用于训练和评估DensePose-RCNN的代码。 此外，还提供了用于可视化收集的DensePose-COCO数据集的笔记本。 这项技术已经使用Facebook自己的Detectron框架实现，并由Caffe2提供支持。

论文地址：https://research.fb.com/publications/densepose-dense-human-pose-estimation-in-the-wild/

github地址：https://github.com/facebookresearch/DensePose