计算机视觉与AI如何从照片测算体脂并生成3D模型

Halo Body功能背后的科学原理

借助某中心的Halo服务，个人可以测量自己的体脂百分比，并通过个性化的3D模型进行追踪。这种级别的扫描通常只有通过昂贵且精密的机器才能实现，但Halo的Body功能使其可以通过Halo应用程序在任何智能手机上使用。为了实现这一点，某中心的科学家们运用了计算机视觉、计算机图形学、人工智能和创造性解决问题的思想。

科学与工程团队在开发Body功能时需要应对两个挑战：首先，仅从智能手机照片估计体脂百分比，而无需任何其他直接测量；其次，创建用户身体的个性化3D模型。这两个问题的解决方案都结合了深度神经网络（能够通过识别大量数据中的模式来学习任务）以及计算机视觉和计算机图形学中的经典算法。

从图像估算体脂百分比

估算体脂百分比是一个复杂的过程。家用智能秤并不直接测量体脂，而是分析身体的电阻，并使用方程式将其转换为体脂百分比。根据一天中身体的水合程度，这种电阻可能会剧烈波动，导致体脂百分比估算出现高误差。

商业级测量工具，如水下称重舱和空气置换体积描记法，测量身体体积随后转换为体脂百分比，比家用智能秤更准确，但需要访问训练员或特殊设施，且每次扫描都需要费用。双能X射线吸收测定法被认为是身体成分的临床金标准并被广泛使用，但这些机器需要处方，每次扫描费用可能高达80美元。

“所有这些不同的方法都试图通过间接测量来估算体脂百分比，”某中心首席科学家Amit Agrawal说，他曾参与某中心Halo项目。“借鉴间接测量的想法，我们挑战自己构建一个计算机视觉系统，能够通过从图像中测量的视觉特征（如整体体型以及肌肉线条和脂肪褶皱等身体细节）来准确预测体脂百分比。”

解决方案是：开发一种利用卷积神经网络（CNN，一类常用于分析图像的深度神经网络）和半监督学习（一种利用有限真实标注数据训练模型的机器学习方法）的技术。机器学习模型的输入是从智能手机拍摄的照片，输出是告诉你体脂百分比的数字。要训练模型，通常需要收集许多用户在不同扫描条件下的照片及其实际体脂百分比数据。问题是：使用双能X射线吸收测定法会过于昂贵。

因此，团队预先训练了一个CNN来学习人体的表征，该网络可以从图像中提取有区分度的特征。该网络分析图像中的整体体型和身体细节，以提取与身体成分相关的视觉特征。然后，利用实际的DXA扫描数据，通过半监督学习来微调这个网络。

一项尚未公布结果的近期临床研究确定，以DXA为基准，Body功能在测量体脂百分比方面比智能秤准确近两倍。

从图像构建个性化3D化身

直到最近，如果你想拥有自己身体的虚拟模型，你必须站在一个房间大小的3D扫描仪中，周围环绕着多个同步的高端摄像头。这些昂贵的系统用于动画和游戏等应用，但通常不向消费者开放。

Halo团队的科学家们承担了一个雄心勃勃的目标：开发一种能够从一组简单的智能手机照片生成客户身体三维虚拟表示的工具。

为此，他们训练了一个深度神经网络，该网络可以从拍摄的照片中估计底层统计模型的形状和姿态参数。同样，关键的挑战在于获取训练模型所需的数据。

“你需要一个人的图像，以及在同一时间捕获的同一个人的3D模型来训练这个模型。这将非常昂贵，因为你必须在许多不同种族、年龄、性别以及所有其他变化维度的人身上捕获数据，”Agrawal说。

为了解决这个问题，他们决定不构建一个端到端的系统（直接从照片到3D化身），而是构建一个包含两个模块的系统。第一个模块从原始照片开始，通过将人物从背景中分割出来，获得用户的轮廓，生成身体形状的黑白二维图像。

第二个模块将轮廓图像转换为3D化身。在这个阶段，团队决定使用合成数据来代替昂贵的3D扫描。合成图像是使用图形渲染软件生成的，该软件利用3D模型生成相应的2D轮廓。然后，他们使用这些合成示例来训练系统从轮廓预测3D模型。

通过这个过程，Body功能可以创建客户的个性化3D身体模型，使他们能够在健康之旅中跟踪身体变化。他们还可以模拟在不同体脂水平下身体将如何变化。

“我们正在使3D扫描变得触手可及，特别是在人体成分及其与长期健康关系的背景下，”某中心应用科学高级经理Prakash Ramu说。拥有13年计算机视觉和图像处理经验的Ramu指出，虽然Body在肌肉线条等方面不具备传统3D扫描仪相同的保真度，但在与长期健康相关的整体形状和身体比例方面具有很高的准确性，为有兴趣测量和跟踪自身体型的人们提供了一种便捷且准确的家用工具。

Ramu还指出，隐私是Halo设计的基石。用于构建3D化身和测量体脂百分比的身体扫描图像在处理后会从云端自动删除，此后，除非用户明确选择云备份，否则它们只存在于用户的手机上。

Halo Body影响人们健康的潜力

Body功能最重要的突破之一是让人们轻松获得了一个比身体质量指数更有用的健康指标，Halo团队应用科学高级经理Antonio Criminisi指出。

“医生们已经知道，体脂百分比是一个比身体质量指数更好的指标，因为它能更好地预测心血管疾病甚至某些类型癌症的医疗风险，”他说。“这个问题在你变老时尤其重要。在那个阶段，体重减轻往往与肌肉质量减少有关，而这通常不是好消息。”

多年来一直从事应用于医学图像分析的计算机视觉和机器学习工作的Criminisi说，大多数人之所以不使用体脂百分比作为健康指标，通常是因为缺乏获取途径。

“我们所做的是弥合这一差距，使这项技术变得更便宜、更易于使用，”他说。

团队知道他们仍然面临挑战，但表示他们一直在寻求改进Halo。

“为健康应用构建面向客户的产品本质上是具有挑战性的，因为缺乏数据，并且在临床准确性和隐私方面有很高的标准，”Ramu说。“通过借鉴深度学习、经典计算机视觉和计算机图形学的思想，我们攻克了提供新产品的难题，该产品达到了比生物阻抗秤等替代方案更高的准确性。我们非常兴奋能与客户分享这项技术，并将继续不断改进，以用令人兴奋和有用的新功能持续取悦客户。”