同样是解决数据问题，为什么需要联邦学习？

近两年，联邦学习技术发展迅速。作为分布式的机器学习范式，联邦学习能够有效解决数据孤岛问题，让参与方在不共享数据的基础上联合建模，从技术上打破数据孤岛。但是，目前这一技术在很多企业落地遇到了困难，InfoQ 将通过选题的方式逐一介绍各大公司如何在金融领域落地实践该技术。

发展至今，联邦学习技术在众多领域均有落地，尤以金融领域居多，并且取得了不错的效果。但是，依旧有不少企业对是否要部署该技术存在疑问，有技术层面的原因，也有对效果的担忧。

根据康威定律，技术发展与其组织存在必然联系，联邦学习的技术推动是否也和组织有关系？同样是解决数据问题，联邦学习和数据中台的关系是什么？落地时要如何打通？针对这些问题，InfoQ采访了京东数字科技集团金融科技事业部技术部智能数据负责人王知博，深入了解京东数科联邦学习的发展过程，在金融领域的落地实践以及对企业落地的建议。

数据中台和联邦学习的关系是什么？

过去一年，中台相关话题甚嚣尘上，不仅是互联网企业，很多传统企业都参与到了数据中台的建设中，基于数据提高企业运营效率。从 Hadoop 集群的开发运维，到构建大数据平台，再到数据中台建设，这是很多大型互联网公司大数据的建设历程。

如今，联邦学习同样打着“解决数据孤岛”问题的旗号出现，不免让开发者心生疑虑：同样是为了解决数据问题，我真的需要这么多东西吗？

对此，王知博表示，数据中台和联邦学习是有本质区别的，联邦学习需要使用数据，而数据的治理和加工需要有数据中台的支持。如果企业中还没有建设好数据中台，那么只要把相关使用到的数据准备好，同样可以支持联邦学习技术应用。简言之，数据中台为联邦学习提供了良好的数据环境。

联邦学习是一种分布式机器学习框架。所谓“联邦学习“，是不同于机构之间拥有独立的数据和独立的模型，联邦学习通过技术手段将机构之间的建模过程联系在一起，同时又保持机构之间的数据独立，在数据不共享的情况下共同建模，提升模型效果，这样就解决了传统手段下数据安全防控的问题。 王知博补充道，具体来说，联邦学习通过密码学技术，在数据加密的情况下可以完成数据的安全计算，确保数据的隐私性。技术原理的示意图如下：

在技术细节上，主流的安全计算有PHE与Secure Share。对比PHE与Secure Share，PHE不需要将数据加密分片共享，减少信息的暴露，但是在训练阶段，PHE则需要更多的网络传输，不过在PHE安全计算协议中，也存在明显的缺点，即延展性攻击风险。

如果企业已经具备数据中台，那么在落地联邦学习的过程中，首先遇到的问题是如何与企业数据中台打通，这涉及数据安全、合规问题，需要确定联邦学习平台的数据范围、数据颗粒度、数据脱敏、加密等问题。其次是机器资源成本问题，企业应利用内外部云计算资源，部署联邦学习所需要的大数据计算资源（实时计算，离线计算），降低机器和维护成本。最后，技术门槛较高，涉及技术众多，例如：密码学、分布式网络与计算，机器学习等，这都增加了联邦学习探索应用的难度。实际应用过程中，也会遇到计算慢的问题，以GDBT模型为例，与传统xgboost对比，训练时间可以要多上数倍到数十倍，这需要学术上提出更好的解决方案。

联邦学习是“一把手”工程吗？

除了技术上的准备，联邦学习在企业内部的推进也会遇到组织问题。王知博表示，任何事物的产生发展都有其背景，人工智能时代，模型训练需要大量的数据，但现实却是数据独立存在于不同机构当中，因为隐私安全等问题难以聚合在一起，难以将数据价值最大化，这应该是一个源于具体业务问题“自底向上”的技术解决方案。但是目前联邦学习未形成行业标准，如：应该采取哪种加密方式，每个项目都是case by case，所以需要“一把手工程”从公司层面推进解决，做好顶层设计。 关于联邦学习的标准，王知博表示，预计还需要一至两年的行业探索与实践，才可以制定出相关的标准与规范。联邦学习大规模落地的核心还是对业务应用产生价值，以智能信贷风控为例，需要建立联邦安全联盟，通过合理的生态机制，引入更多的参与方，从而更全面的刻画用户，提升模型效果，有效识别信用风险，提升业务收益。

联邦学习在金融领域的应用

如上文言，联邦学习技术在金融领域有诸多落地案例，并且均取得了不错的效果。众所周知，在金融领域落地一项技术是非常谨慎的，尤其是和数据相关的技术。因为，金融领域属于强监管领域，对数据安全要求很高，数据一般都涉及隐私，并分布在不同的银行和机构中，监管对这类数据管理很严格。

采访中，王知博表示，目前，很多合作银行在联合建模的合作中担心数据安全的问题，但也希望引入外部数据源进行补充。通过联邦学习，可以在保证数据安全的同时，整合不同金融机构间强金融属性数据，形成对用户的较为完善动态的描述，这样可以在信贷风控建模、营销客户价值与偏好等领域提升模型效果，促进业务发展，实现降本增效。

在金融领域，联邦学习可以解决联邦迁移学习、数据安全查询、纵向联邦、横向联邦等问题。在应用层面，纵向联邦与数据安全查询是比较容易看到效果的。以信贷风控、营销联合建模为例，联邦学习可以在安全条件下，结合金融机构与外部数据源的数据，训练机器学习模型，对比传统联合建模方式，可以学到更多信息，在联邦学习联合建模探索中，模型效果往往可以提升20%以上。

京东数科联邦学习实践

在联邦学习的探索过程中，京东数科大致可分为如下两个阶段。

第一个阶段，搭建一站式联邦学习建模平台。

王知博表示，这个阶段需要统一管理数据源与模型全生命周期，降低联邦学习模型开发成本、提高开发效率。目前，京东数科已经完成一站式联邦学习建模平台的建设。

第二个阶段，服务业务落地。

目前，联邦学习在信贷风控、智能营销等方向均有一定应用，并在实践中逐步验证效果。在实践的过程中，京东数科也发现一些问题：一是在多机构方参与场景下，如何让各方理解并接受联邦学习的效果，如何保证各方参与积极性是目前需要探索的；二是当前阶段业内联邦学习的实现方式较多，缺少统一的标准。

经过探索，京东数科旗下数字金融版块有自有信贷类业务，实践中需要对用户的违约风险进行精准度量，因此积累了大量的数据建模经验，并且京东数科正在将这样的技术能力输出给一些合作银行，辅助其提升风控能力。对于银行内部不活跃、数据覆盖“薄”的弱识别用户，补充外部平台的消费和金融数据，利用纵向联邦GBDT算法进行训练。示意图如下：

银行拥有用户是否逾期的标识Y和客户少量信息，京东数科侧拥有关于用户的各类标签。双方通过加密ID对齐技术找到用户交集，在建模过程中传递的也是加密的梯度信息，训练完成后双方各持有一半模型，中间没有数据出库，真正做到数据可用不可见。因为补充了数据维度，同时，不同特征交叉提供更多信息增益，最终，联邦模型效果比各自建子模型再融合KS提升20%，这可以提高银行信贷审批通过率，有效降低不良水平。

未来规划

当前，联邦学习技术在工业界已开始有落地尝试和案例，各家企业的技术选型不同，联邦学习标准也尚未统一。近日，京东数科宣布成立京东数字科技产业AI中心。该中心集成了京东数科集团旗下AI实验室、数据智能实验室、智能风控实验室、AI机器人实验室等多个科技研发机构的AI研发力量。随着产业AI中心的成立，京东数科在联邦学习技术上将会进行更深维度的挖掘和拓展。有理由相信，京东数字科技产业AI中心将为业界带来联邦学习技术的研究成果，未来可期。在研发与应用方面，王知博认为需要重点解决研发和应用层面的问题，比如，在研发方面提升联邦学习平台的易用性、可用性、兼容性。在兼容性上，需要与企业数据中台体系打通、降低数据维护、开发成本。解决安全计算带来的消息通信膨胀、网络传输等问题。

在应用方面重点是深耕金融业务场景，以智能信贷风控为例，需要建立联邦安全联盟，通过合理的生态机制，引入更多的参与方，从而更全面的刻画用户，从而提升模型效果，有效识别信用风险，提升业务收益。

嘉宾介绍：

王知博，京东数字科技集团金融科技事业部技术部智能数据负责人，目前有10余年互联网分布式研发经验，2015年数科成立金融科技事业部后，带领团队开展数据智能相关工作，结合数科自身经验与机器学习技术帮助银行建设并拓展在线信贷风控能力，数字营销能力。