以数据赋能，星环科技支撑上海市大数据资源平台建设｜案例研究

上海市大数据中心的核心业务体现在两方面，即整合管控全市数据资源以及推动全市“一网通办”建设。本质上，建设大数据资源平台，就是对全市数据的汇聚管理并服务于上层“一网通办”业务。上海市大数据中心建设平台的核心需求体现为以下几个方面：

1）对全市公共数据汇聚的需求：要建成全市统一的公共数据资源平台，实现全市各部门、各区政务数据的归集、整合、共享、开放与应用；

2）对全市公共数据进行治理的需求：实现有序、按需公共数据治理，统一数据技术、业务和管理标准，定期监管数据质量；

3）形成全市公共数据湖、基础库和主题库：汇集全市70+单位原始数据形成市级数据湖，通过业务治理形成四大基础库和相关行业应用主题库；

4）为各部门提供租户资源与开发环境的需求：后续跨部门融合应用开发将通过在大数据资源平台上申请租户资源完成，减少各部门自建平台；

5）为全市智慧城市应用提供数据和算力资源：大数据资源平台将为全市智慧城市应用提供数据、算力和算法的底层支撑，提供如一网通办查询、高考分数查询、健康码等高频访问的“互联网+政务服务”。

星环科技TDC数据云平台为大数据资源平台提供基础支撑能力

图 1：星环科技政务大数据云平台系统架构图

大数据资源平台主要由五部分组成，即大数据基础支撑平台、数据治理平台、数据分析平台、数据共享交换平台以及数据资源中心。

基于星环数据云平台（TDC）构建的大数据基础支撑平台是大数据资源平台的核心技术底座，为大数据资源平台的运行提供多架构联邦管理、多租户资源管理、多模型数据处理、多源异构数据存储和全技术场景支撑。大数据基础支撑平台为大数据资源平台中的数据归集提供技术支撑、为数据资源中心提供基础的运行支撑、为数据治理平台提供架构支撑。大数据基础支撑平台提供包括数据承载、共享交换管理、三清单、目录管理、数据质量管控、数据安全保障与数据服务等六大关键能力。

基于大数据基础支撑平台，数据归集子系统将各区、各委办局以及边缘侧物联感知设备的数据实时接入，将数据汇聚在数据资源中心的数据湖（低价值数据区）中，数据治理平台将数据湖中低价值数据治理、分类后，形成高价值的数据资产进行管理，构建数据资源中心的基础库/主题库，并形成资源目录提供给数据共享交换平台，服务于顶层应用。数据分析平台通过对资源中心内数据的AI分析挖掘以及形成数据分析展示服务于顶层应用。数据共享交换子系统是大数据资源平台的门户，与外部应用对接，实现数据资源的共享与申请审批、数据接口封装与下发等应用。

在建设上海市大数据资源平台的过程中，上海市大数据中心采取“以测代建”的方式，邀请多家大数据厂商参与平台的建设工作，最终经过实地PK测试，选择与星环科技等厂商合作搭建上海大数据资源平台。

在此项目中，星环科技主要负责大数据资源平台中的大数据基础支撑平台的搭建工作，提供大数据存储和计算能力的基础平台；按照门户集成规范要求，进行大数据支撑平台二次开发，实现用户、权限等统一管理，提供相关接口服务；配合公共数据归集实施，并开发领导驾驶舱功能，探索数据应用展现。

图 2：上海市大数据资源平台主要建设阶段

上海市大数据中心在建设大数据资源平台的过程可以看为两个阶段：

第一阶段：数据共享交换平台阶段。上海市市委办公厅、市政府办公厅颁布“上海市全面推进‘一网通办’加快建设智慧政府工作方案”，要求“建设统一的数据共享交换平台”。基于以上情况，上海市大数据中心积极推进共享交换平台建设工作。大数据共享交换平台主要实现的是各委办局数据通道的建设与打通，并将数据初步服务于“一网通办”建设。

数据共享交换平台阶段可以看做是大数据资源平台建设的前期准备阶段，项目主要实现上海大数据中心与部分委办局平台打通，形成数据通道，保证后续上海大数据中心与各委办局之间形成数据共享，服务于应用场景。

数据共享交换平台项目整包分为5个分包，即总集成及部分应用开发、数据治理子系统、数据共享交换子系统、数据质量监管及支撑子系统以及大数据支撑管理子系统。星环科技主要负责大数据支撑管理子系统的建设工作。

第二阶段：大数据资源平台阶段。在第一阶段通道建设成功后，平台进入数据接入与应用运营阶段。在此阶段内，平台将持续接入各委办局数据到最终的全面覆盖。

上海市大数据中心在大数据资源平台建设过程中，数据接入的顺序是优先考虑接入能够服务“一网通办”建设的公共数据。

上海市大数据中心与星环科技合作搭建的大数据基础支撑平台，为上海市大数据资源平台提供大数据存储和计算能力，其实际应用价值可以体现在以下几方面：

1）公共数据汇聚：上海市大数据中心依靠星环科技政务大数据云平台已实现对于74个公共管理与服务机构、16个区、四大库等各类政务数据资源，约百万张表的数据汇集；

2）公共数据治理：星环科技建立市、区两级的数据资源共享体系，包括相应的组织角色、平台工具、标准规范和管理制度，其中市级数据湖、数据资源池、数据交换子系统、数据集成子系统、数据服务子系统，由大数据中心统筹规划、建设与运维；各交换前置节点由各业务部门自行建设与运维；

3）形成全市公共数据湖、基础库和主题库：平台针对业务数据、物联数据、视频图片、地图数据以及华联数据形成数据湖，并逐步形成综合人口、综合法人、空间地理、城市信用、电子证照、宏观经济的基础库以及标准地址、家庭关系、房屋地址、一网通办、城市治理、经济运行的主题库；

4）大数据基础支撑平台基于多用户管理框架，为各委办局部门提供租户资源与开发环境；

5）全市的数据与算力资源：星环科技搭建的大数据基础支撑平台为上海大数据云平台提供大数据存储、查询和计算能力；

6）随申码的疫情应用：疫情期间，星环科技借助容器云技术，在3天内实现了从随申码应用快速研发、压力测试到最终上线，快速高效地保障了城市级应用的快速发布和无故障的运行，每秒可支持20w+并发查询。截止到2020年9月，“随申码”累计亮码超12.6亿次，用码人数超3400万；

7）其他上层应用支撑：星环科技为上海市“一网通办”、市民主页、2019及2020年的中高考成绩查询、上海随申办市民云提供了基础软件及技术支撑。