明略科技AI中台的技术应用与实践

AI闭环与AI中台

人工智能，按照智能化程度，可分为5级。第一级，识别能力，通过泛在多维感知，将高质量的数据连接起来。第二级，理解能力，基于可积累的行业符号体系的智能抽取技术，构建千亿知识网络的知识图谱数据库。第三级，分析能力，通过知识图谱、暴力挖掘对知识进行多维度分析推理，打造决策模型。第四级，决策能力，建立明确的行动计划，指导行动，实现智能决策。第五级，创新能力，也就是智能的终极本质。从识别感知，到理解分析，再到决策行动，循环反馈，形成AI闭环。相应地，需要建设感知应用基础设施，数据中台、AI中台、业务中台，行动系统，才能实现AI闭环的落地，其中数据中台、AI中台、业务中台，是核心，承担AI大脑的角色。

在技术实践中，明略科技采取的是数据中台、AI中台、业务中台微服务架构。底层是数据中台，包括数据接入、存储、处理和输出。中间层是AI中台，提供模型线上部署，包括推荐服务和识别相关的各类模型，以及自动参数优化等。上层是业务中台，通过算法统一打通，支持数据清洗、标签、实时数据分析服务、洞察服务。

AI中台，本质上是AI应用全生命周期的开发和管理平台，用于数据分析与处理、模型训练与评估、模型应用与监控。提供统一的数据存储系统，和基于容器的异构计算资源管理系统、机器学习库与模型训练实验管理系统以及模型部署与运行监控系统，采用分布式模型训练，大幅提升数据和模型的性能、效果、目标。

具体而言，AI中台具备六大能力。第一，统一的存储空间，支持多数据源导入。第二，Pipeline可视化工作流管理与执行，支持数据科学家从数据建模阶段开始的可视化管理，节省成本，快速体现数据科学家的价值。第三，基于容器的计算资源分配和软件库安装，支持TensorFlow、PyTorch等各种框架。第四，支持GPU、TPU、CPU框架和基于异构计算的模型管理。第五，模型管理，支持新手快速上手，无需通过自己实现原始算法，只需要理解算法原理就可以通过调参实现。第六，AI Serving，模型一键封装为API，一键部署。

AI中台，以实现业务智能为目标，为数据科学家团队提供服务，加速用户画像、推荐系统、图像识别、智能客服等智能应用开发。以此为基础快速迭代，扩大AI应用覆盖面，推动AI技术在其他行业领域的落地应用。

AI中台落地的技术挑战与实现路径

AI中台在实际落地过程中，却存在着不少挑战。首先，数据分散，以多种形式存储在多个系统中，需要统一存储。第二，流程复杂，相互依赖性强，需要统一流程。第三，存在Spark、TensorFlow、Pytorch、Lightgbm等多种多样的软件环境，需要统一协调。第四，模型训练时间长，需要管理大量模型训练实验。第五，模型影响因素多，需要管理大量模型版本。第六，AI模型难部署，需要专用软件环境，深度学习对算力要求高，资源管理难度大，需要多方面优化性能。

目前，国内外主流的AI平台架构，都在试图解决这些问题。

第一类是BATJ、网易、小米、讯飞的开放AI平台，这类AI平台通常采用Docker+Yarn或者Docker +K8s架构，提供图像、语音识别等应用能力，通过Restful API的方式，提供服务的使用，但数据必须要发给平台方。BAT以外的厂商，一般只能提供某一方面的能力，如需使用多个能力，则需使用多个平台的产品，管理和开发的复杂度较高。AI中台大部分部署在客户私有集群、私有机房。

第二类是Acumos AI，通过把 AI 学习中的各环节微服务化，以MarketPlace 的方式实现发布和共享，但文档缺失严重，部署和使用不方便，上手成本高。

第三类是MLflow，通过 Tracking、Project、Models 3 个层面的抽象，整合所有的机器学习和人工智能算法和模型，但对于全流程集成的支持尚欠缺，比如数据导入和管理，模型的部署，资源的管理等。

第四类是OpenPAI，通过K8s实现云、单机、集群的多环境，支持多种主流框架，具备资源管理的功能，但对于全流程集成尚欠缺。传统的集群，数据科学家实验室，没有实线上突破，模型到线上部署很难实现。

明略科技从三个层次来进行AI平台的架构设计。

第一层，基础设施，以满足数据、算法模型和过程性能要求。第二层，容器集群，以计算调度引擎为主。第三层，由三部分构成，一是数据处理模型，二是模型训练，涵盖目前最流行的Parameter Server等模型，三是模型Serving，满足Model Server、Model Converter相关的线上场景需求。

基于此，明略科技AI中台主要有以下特点。

第一，数据存储和计算任务分离，计算任务通过内部高速网络读写数据，避免数据再次“搬运”。

第二，ETL集成，拖拽式任务设计，支持定时任务和事件触发，内建Mysql、HDFS、Kafka等多种数据源，Spark、Flink等计算引擎。把已有的MySQL、Kafka与系统完美融合，以可视化方式看到各种统计，这个理念与数据中台的理念一致，单独的子系统可以实现可视化、监控、任务、管理。

第三，支持Notebook交互式开发，符合数据科学家习惯，促进业务价值。可实现Python based交互式场景，支持TensorFlow Pytorch等多使流行框架，CPU、GPU资源控制，单机集群计算资源。这是基于原生态的Jupyter notebook实现，数据科学家可以指定单机还是集成方式，快速解决实际问题，通过交互式数据开发环境，选择不同Kernel 可连接到不同计算资源。

第四，Pipeline的实现，Docker based可复用，运行状态可视化，比如，A数据科学家用的是Tensorflow，B数据科学家用的是Spark，保证兼容，每次运行结果存档，生成DAG图，快速看到逻辑和节点问题。

第五，弹性扩展的Model Serving，基于k8s和微服务技术，每个模型都部署一个微服务，同时支持 RESTFul 和 gRPC 协议访问，自动解决了负载均衡和FailedOver的问题，可自动按负载动态扩缩容 AutoScale，滚动升级和ABtest等多版本对比环境，支持Java、Pyhton、C++等多语言部署，灵活性高。

第六，语言和框架，支持TensorFlow、PyTorch、Spark、MPI、MXNet等框架，Python、R、Java等语言。

第七，提供图像识别、推荐系统、NLP三大类别的内置模型分析。

第八，提供AI中台监控，可全面监控集群多项基础指标以及各运行任务粒度资源使用情况，内置集成报警功能，可实现数据实时可视化。

总之，明略科技的AI中台最核心的三点优势是，可与现有数据大数据平台无缝对接，支持异构计算和扩展框架。

AI中台技术实践案例

在零售业，明略科技为行业领先的某新零售公司打造了AI中台，为客户带来了三方面的收益。首先，改变了探索方式和时间效率。原先类似拖拉式的方式，无法满足数据科学家的需求，因为数据科学家写代码是交互式的，明略科技的AI中台赋予了探索方式极大的灵活，并且探索时间从15天减到7天。第二，改变了模型发布方式和发布效率。原先的做法是，算法工程师写完一套，工程师重写一遍，然后再上线，使用AI中台后，可快速上线同时做AB测试、滚动升级、小流量测试等。平均发布时间也从15天大幅降低。第三，原先AB测试需要人工重度参与，且复用性差，现在则能轻松应对。

在银行业，明略科技为国内某大型国有银行打造了基于AI中台的从关键词到知识图谱相关的推荐系统。基于AI中台可以快速实现实时请求查询，线下场景离线与AI中台无缝切换，模型Serving与数据中台、业务中台无缝对接，通过管理系统实时看到策略、排序等。

在对话机器人领域，明略科技基于知识图谱和AI中台技术能力为客户打造了客服机器人。客户希望所有的流过程是可解释的，虽然深度学习、神经网络的算出的结果可能是准确的，但过程无法解释，而知识图谱是实体关系属性，组成网状结构，具有可解释性。在构建知识图谱时，将行业知识与客户企业内部知识相结合，实现隐性关系的挖掘，快速解决问题。AI中台把聊天客服机器人、算法、知识图谱进行有机融合，确保了基于领域知识图谱对话客服机器人的准确性和有效性。

作者介绍：

卢亿雷，明略科技集团副总裁兼推荐/推理系统负责人