普元助力山东省国土资源建设高效易用的多级数据交换中心

摘要

山东省国土资源系统“一个平台、两个市场”建设，是山东省国土资源信息化建设的总称，是结合山东省实际情况，部署开展的山东省国土资源信息化建设项目。项目按照高点定位、顶层设计、统筹规划、分期建设的总体工作思路，规划部署了国土资源综合管理服务平台、“一张图”核心数据库、综合监管等十大建设任务，打造全领域、全业务、全流程的国土资源系统信息化平台。项目建设改变了传统的信息化建设“单一开发、独立运行”模式，为实现信息系统互联互通和资源共享，促进信息化建设可持续发展，构建了全新的技术框架。

综合管理服务平台是“一个平台、两个市场”的十大建设任务之一，是资源整合共享的管理中枢，设计分为1个门户和6个中心，1个门户是综合管理服务门户，6个中心分别是云环境监管中心、资源应用中心、资源管理中心、共享业务逻辑中心、协同开发中心和数据交换中心。

综合服务门户

面向工作人员，提供应用、服务、信息和数据的一站式服务入口。秉承“简单易用，高效办事”的主要原则，主要实现应用入口，信息获取和沟通交互。应用入口实现9类业务，25个应用统一集成和一站式访问。信息获取实现个人相关信息获取，包括我的待办、我的备忘、通知公告、领导行程和文件汇报，即时通信打通交互平台和综合服务门户的用户关联，实现基于服务门户的实时沟通与互动，促进业务发展。同时综合服务门户实现全网搜和管理驾驶舱功能，为领导者决策提供信息化支持。

云环境监管中心

通过软件定义计算、软件定义网络、软件定义存储、软件定义安全为主，秉承开放、服务和生态的理念，完成了开放、融合、智能、安全、业务驱动的政府行业云环境。实现虚拟控制中心、集群、主机、虚拟数据中心，虚拟网络管理、存储管理、卷空间管理、卷管理、模板镜像管理、资源同步、拓扑图（虚拟化的主机关联关系）、监控与设置、逻辑视图、组织视图等全面的管理功能，管理人员可将通过直观的操作面板，对云资源进行创建、分配、编辑等操作。

资源应用中心和资源管理中心

通过管理应用从开发到上线的全生命周期，实现了应用上云、资源共享、信息互通和业务协同。资源应用中心定位是应用的开发、构建、配置工厂，面向开发人员，以应用为视角，实现应用自动化部署、升级、上线、运维监控的全应用生命周期管理，通过对业务进行拆分和微服务化，实现微模块应用大规模部署；资源管理中心面向信息中心，针对平台管理者和资源运维者，以资源为视角，实现资源的注册、审核、分配、注销，构建开发、运维一体化。

共享业务逻辑中心

通过沉淀共性的规则和组件到知识仓库，实现了规则和组件在各类应用之间可复制、可复用。从业务、流程、数据和空间框架层面对各个业务系统进行深度分析梳理，并将各业务系统之间共性的部分抽取出来，进行分析、归纳、论证，明确各业务系统之间的共享功能和约束关系，建设了共享业务逻辑成果库，根据业务分类，制定统一的编码规则，对业务共享功能进行统一管理。通过对地政、矿政、测政业务的深度梳理和分析，建立科学合理的业务模型，理清各业务环节之间的约束关系，按照业务需求，支持可定制、可复用灵活配置的功能组件。

数据交换中心

实现了完整、高效、健壮、安全、易用的数据交换平台，建立了省、市、县三级数据交换体系，实现国土资源业务网数据的归集和互联网数据的共享，纵向实现省市县三级数据交换，横向实现厅机关及事业单位数据交换协同开发中心针对项目需求、项目计划、阶段工作产品实施有效管理，建立了协同开发体系，完成了软件开发部门和运维实施部门合作与协同。协调开发中心完成了从立项管理、招标管理、合同管理、资金管理、验收管理和运维管理的全生命周期管理，有效保障了应用协同开发。

项目

背景

数据交换中心作为山东省国土厅“一个平台、两个市场”建设项目中平台的一部分，完成数据交换的功能，基于普元DSP（数据交换平台解决方案）产品来支撑国土厅数据交换的业务需求。普元数据交换平台具备异构数据库数据交换、文件传输、接口服务代理、资源目录采集、手动边牧、数据资源主题管理等功能。

普元数据交换平台可以满足山东国土厅关于省市县三级交换、国土厅与二级单位之间的数据交换、国土资源业务网与互联网数据交换、国土厅与省政府职能单位数据交换、国土厅互联网数据交换的需求。

项目

目标

平台目标是设计一个完整、高效、健壮、安全、易用的数据交换平台，实现国土资源业务网数据的归集和互联网数据的共享。建设数据交换体系，目标是用于不同节点之间、不同安全级别的网络之间、不同系统之间进行安全采集、传输数据问题，并提供可审计、过程可视化、内容级安全过滤检查等功能保证数据交换安全性，同时提供多种数据库、文件的采集和交换，满足山东省国土资源数据交换应用场景需求。

数据交换体系纵向实现省市县三级数据交换，横向实现厅机关及事业单位数据交换。省市县三级数据交换体系支持从省市县三级各信息系统中将多种类型的数据采集到省级数据中心，同时支持实时（同步）和非实时（异步）两种交换模式。

该交换平台是一个基于标准、组件化、架构良好、具有很好扩展性的多层的开放的软件体系。通过建立统一的信息资源数据交换系统将达成以下目标：

通过使用统一的技术手段与标准，提高交换的效率，降低维护复杂度，而交换系统本身的灵活性、可扩展性得到了质的飞跃；

同步优化信息存储结构，采用松散耦合的方式，确保数据与应用适当隔离，保证数据的安全；

统一的公共信息资源数据交换系统使数据交换始终处于被有序管理的状态，避免了乱交换、重复交换等问题的出现，使系统的稳定性得到了保证。

项目

需求

基于全省数据交换体系及流程化管理，提供预审材料录入、报送、流转、部门会签等功能，实现部、省级审批权限的建设用地预审项目在省、市、县国土资源部门间的流程化管理和网络审查审批。

数据交换中心资源目录管理系统是数据梳理和元数据定义的管理平台，承载山东省国土行业信息资源各主题和专题库的数据和分类标准，本次建设将对基础信息元数据标准进行定义和固化，部门则通过目录管理维护发布各自的扩展元数据标准，供各部门编目、查询和发布。系统主要包括编目、审核、目录发现与共享信息查询等功能。编目功能主要实现国土信息资源核心元数据和交换服务信息资源核心元数据的编辑功能。按照主题分类、行业分类、服务分类和资源形态四种分类设置政务信息资源分类，至少设置一种分类码。也可依据实际的应用需要按部门进行政务信息资源分类。依法对编辑的信息资源目录和目录内容设置使用权限，分为依法私有、公开和共享三种级别。

内外网数据交换：按照国土资源部《“国土资源云”建设总体框架》跨网络安全域复杂应用部署模式要求，开发相应功能模块，实现互联网数据通过单向光闸向内网数据中心的导入，并实现生产数据通过相关审核过程和安全检查，通过光盘定期导出，实现内外网数据的导入导出功能。

省直相关部门间的共享服务系统：与综合管理服务平台（外网）、数据中心（外网）进行集成，整合已建成地政、矿政业务系统信息，开发省直部门间的共享服务功能，与省政府相关共享交换平台有效衔接，通过政务内网、政务外网和互联网，提供数据共享、交换、查询以及业务协同等服务，包括数据资源目录服务、数据共享服务、数据交换服务、数据查询服务与业务协同服务等。

实现与省市县三级各数据源单位信息的互联互通和实时数据交换。数据交换系统具备数据获取、数据队列管理、数据映射、数据整合、数据加工、交换中心端、交换客户端以、传输监控、动态数据增量监控等功能。

提供与主流数据库连接功能；提供对给定权限的数据库对象的识别和操作功能等。系统可支持多种异构数据库如主流的关系型数据库。数据转换时由于各种结构的数据字段可能存在字段名称、类型等的不一致，需要进行字段映射配置。映射配置采用自动匹配与人工判读相结合的方式，对于源数据与目标数据实现自动匹配，对于不能匹配的，提供拖拽的方式实现同名字段的自动匹配，不同名字段根据字段说明进行正确的匹配。

针对数据来源一般是多个业务系统，数据整合难度大，错误数据、不完整数据、重复数据等“脏数据”较多，数据量大，转换任务并发量大等问题，本系统提供了完善的分布式ETL数据转换工具与基于web的在线任务执行与监控系统，通过建立抽取模型将现有各个系统的数据进行整合、汇总、清洗、转换，并可以实时在线监控交换任务的数据输入量、输出量、成功个数、失败个数、失败原因等。

系统提供的ETL数据交换基于网络架构，可以弹性部署。针对高并发、大数据量的数据转换任务，可以将单个转换任务分配给多个子服务器并行执行，对于转换过程中的每一步操作都有相关的日志记录、转换明细等，并支持事务回滚、数据更新等操作。将源数据和目标数据统一存储方式，将不同的代码体系进行统一，如“男”，“女”等代码存储方式不一样，则需要进行转换。可按照系统提供的代码表进行转换或根据数据源值直接定义转换的对比代码。对源数据和目标数据的单位不一致的数据项进行转换。源数据项与目标数据项的数据类型不一致进行转换，包括字符转换日期类型、日期类型转换字符类型、字符类型转换数值类型。

对交换日志信息按照各政务部门进行分类统计分析，得到各政务部门使用共享交换平台的综合情况，如数据交换的次数和数据量、基础信息资源共享次数和数据量、点击量等，实现对平台交换业务访问情况的总体了解。实现资源交换总量的统计，接入机构的统计，按交换次数、数据量、条目等标尺进行排名的统计与排序，提供不同角度组合统计与分析。

解决方案

数据交换总体架构

资源目录

管理

普元数据交换平台集成了元数据自动采集管理系统，可以定时自动采集各个业务系统下的元数据信息，并对元数据进行手动编目。元数据采集系统支持多种数据库类型的元数据采集，包括Oracle、sqlserver、MySQL、DB2等。

省市县

三级交换

国土三级交换场景是整个数据交换体系中一个比较典型的应用场景，包括以下两个典型应用场景：

（1）各个省市两级部署以及省市县三级部署的业务系统，系统数据交互。

（2）省、市、县各级业务系统的数据朝数据中心有机集中，实现数据综合展现分析、数据共享等功能。

省市县三级交换目前只进行了省市数据两级交换。数据交换通过文件的方式进行。

①业务系统将数据移动到数据文件发送目录

②将业务系统数据发送到中心前置机

③将中心前置机发送到地市前置机

④地市业务系统在地市前置机接收目录获取数据文件

⑤使用数据文件

三级数据交换拓扑图

国土厅与二级单位之间的

数据交换

国土厅与二级单位之间的数据交换主要是个业务系统间的数据交换，包括数据中心和综合监管的数据交换、数据中心与土地利用动态监测系统的交换等业务系统间的数据共享交换。业务系统间的数据交换通过数据文件和ETL的方式进行交换。

国土资源业务网与互联网

数据交换

内外网之间有一道单向网闸，数据可以通过单向网闸的自动摆渡功能由外网流向内网，而不能从内网流向外网，数据要从内网交换到外网需要通过人工拷贝或者光盘拷贝的方式进行交换。因此需要在内网安装部署一套普元数据交换产品，完成内网各个节点间的数据交换，同时也需要在外网部署一套普元的数据交换产品完成外网间各个节点的数据交换。

普元数据交换平台中的数据文件传输通过在各个业务系统前置机安装文件传输节点，根据数据交换平台的传输策略进行数据的传输。

外网数据交换到内网

1、外网数据通过普元的数据交换平台将各个业务系统的数据以文件的方式交换到外网数据交换的前置机。

2、通过内外网的网闸摆渡功能，将外网前置机的数据自动摆渡到内网前置机。

3、内网数据交换平台将内网前置机接收的数据文件，根据数据交换平台中文件传输策略的配置，进行数据文件在内网间的分发。

内网数据交换到外网

1、 内网数据文件通过内网数据交换平台交换到内网前置机

2、 通过人工或者光盘拷贝的方式将内网前置机的数据文件拷贝到外网前置机

3、 外网数据交换平台根据数据交换平台配置的文件传输策略将数据文件下发给各个业务系统。

内外网数据交换结构图

实施

效果

在国土厅内网和外网分别部署了一套数据交换平台（DSP）产品，并部署前置机，已经完成内外网数据交换和业务系统间的数据交换功能。

卫片执法系统完成内外网的数据交换。

完成综合监管和数据中心的ETL作业部署运行。

综合监管与平台门户驾驶舱数据同步。

集成到平台门户

用户登录首页

资源目录

数据清洗

文件传输