00:03
嗯,好啊,大家下午好。然后呃,非常欢迎和感谢,然后大家来参加今天的分享啊,我这边呢,是腾讯云大数据平台的产品经理,负责大数据平台产品的设计和落地啊,在政务领域呢,也参与了很多大数据平台,然后数据共享交换平台啊,或者数据中台的建设,那今天呢也非常荣幸。有机会和我们的客户啊,合作伙伴,然后一起做个分享交流。然后分享过程中,大家如果有疑问呢,可以在评论区提出,然后分享完成后会统一的进行解答。啊,今天分享的主题是。腾讯大数据平台那简称的是TDS啊,后面也会提到相关的这个简称,那代指的就是我们的大数据平台,然后助力政府大数据中心的建设啊,OK,那今天的分享的话就正式开始。
01:01
啊,分享的主要内容的话是分成了四部分,第一就是对大数据的呃,简单的进行一个背景介绍,那第二呢,就是腾讯大数据平台在内部的实践啊,相关的组件啊,或者是应用,然后具体在业务上的一个使用情况,那第三呢,就是呃今天呃最重点的内容就是腾讯大数据平台TS的一个介绍,那也是分成了呃三部分,从产品的架构,然后核心的优势和政务应用的场景进行说明。那第四个呢,就是政务行业案例分享,然后对疫情和市区大数据平台的建设啊,两个项目进行一个分享。好,首先呢,我们看呃第一部分的内容,那在介绍大数据平台之前呢,还是先简单的,然后对大数据的啊定义和特性进行一个说明,那简单说呢,大数据是呃,通过啊获取啊处理分析,然后从中提取价值的海量数据,那从数据维度上来讲,其实就是规模很大,再获取呢,存储管理分析等方面,呃,其实大大超过了我们传统数据库软件的一个啊能处理能力的一个数据合那从业务啊维度来讲。
02:17
那大数据呢,其实就是帮助企业利用海量的数据资产,实时精确的,然后洞察未知领域的一个动态变化啊,快速的重塑业务流程的一个数据管理技术。然后大数据的一个四个关键的特性,那第一个呢,其实就是海量啊,之前就是可能我们的数据量只有GB级别,咱们目前的啊PB甚至是PB,那我们有些项目上最多可能达到了500PB这个量级。再往上呢,还有EB啊,不同的级别,第二呢,就是比如说数据的这个数据的类,然后数据之间的关联性强啊这几方面,那第三个其实就是价值,然后价值密密度低,但是总体的价值的,呃,总体价值会更大,第四个呢,其实就是高速,那也是指数据的一个增长速度,还有数据的处理速度。
03:12
所以我们先从这四个特性,然后有个简单的了解,呃,因为大数据的一些存储啊,或者计算等技术呢,其实很多呃,或者架构的升级,都是围绕着某一方面的能力,或者是多方面能力的一个增强来进行演进的。然后呢,我们也从的角度啊理解一下,就是大数据发展的来龙去脉,他之前呢,是怎么发展啊,到目前这个阶段的,以及后续要怎么演进,那最早大数据的这个概念是在1974年,然后首次被提出,这个也是能查到最早的呃一个关于大数据的概念了,然后呃,直到九一年,然后并出版了建立数据仓库,呃才出现了在大数据领域被广泛使用和接受的这个概念,数据仓库。那随后呢,经过十多年的发展,到了零三年啊,谷歌开期内部的海量数据的啊处理技术,那啊,其实也是我们就是经常听到的谷歌这个三马车,三篇论文就是分布式的呃文件系统,GFS,分布式的计算框架,还有是no数据库啊,Big table啊,随后呢,在几年经过这三篇论文的一个呃基础上,然后进行的一个演进,到零八年的时候,然后出现了啊大家都熟知的哈杜的框架,所以说呢,其实啊,从这点来看,它也不是突然出现的,其实它也是这个数据技术。
04:37
包括软硬件啊,或者是网络呀,或者是客户的业务场景啊等等因素啊,共同作用的结果,那从零八年到呃目前其实大数据的发展呢,可能更加的突飞猛进,那技术上也产生了呃,更多的这种组件啊,比如说Spark,弗Li IG等等组建,那新的组件呢,其实在新的业务场景上啊,其实性能会更好,或者是更适合一些新的业务场景啊,那业务上呢,也其实出现了关于这种数据中台,然后大数据平台数据或者是仓一体啊等等概念。
05:12
然后呃,从这个二零年到目前或者到后续呢,他们呃大概的一个后续的一个演进的方向,就是也从呃这个几点进行说明,比如说第一是在这个技术上,那我们会从这个云原生的方向,然后进行演进,然后云数一体化,第二呢,就是从方案上,然后经过行业的沉淀积累,然后形成标准化的方案。啊第三呢,其实就是业务上,然后对客户来说,他们可能更注重这个数据的时效性,或者是安全可控啊,啊或者是这个业务的啊,一个变现或者是资产的使用等等方面。好,然后我们看一下大数据行业的发展趋势和这个市场的规模。然后呃,从这个发展趋势上来看,其实目前随着我们的这个新的技术,就说五啊,或者是物联网互联网等等啊。
06:05
这个社会化网络的快速发展呢,其实全球的大数据的储备是呃迅速增长的,这个其实是成为了大数据发展的最重要的一个基础,那目前呢,其实数据每年都会以40%左右的速度在增长,预计到今年底202年底数据会突破80B啊这个规模,那在这个里面呢,中国和美国的占比是最多的,都超过20%以上,中国目前的呃数据的储量是居世界第一的。然后第二呢,其实从政策方面,其实全球呃,包括中国其实每年都会有很多关于大数据呃领域相关的政策,那比如在二一年发布的十四五规划啊,完善大数据的标准体系,那所以在整个的这个呃政策背景下,那其实政府和企业也都更就是意识到了这个数据的这个重要性,那政府也是出现了这个就是成新成立的政数局,然后各省市区呢,委办局也都开始建设,然后自己的数据中心啊,更好的发挥政府数据的价值。
07:10
OK,这个呢是大数据行业的市场规模,其实从左上这边的图也能啊看得出来,其实每年大概会以10%的左右的一个增速,然后再增长,那全球来看的话,呃,数据的规模也会在今年超过700亿美元。然后中国这边大数据相关的产业,那二二年的会突破万亿,这个呃,只是说统计口径的话是会有区别啊,那大数据相关的产业。就是软硬件,然后专业服务,那今年呢,也会在700亿到1000亿这个区间,然后整体来看,其实软件的占比是最最高的,40%啊以上,然后是服务30%左右,剩下的是硬件,那今天其实我们后续讲的内容呢,更多的是围绕软件啊这个维度进行讲解。那行业来看,其实金融啊,或者政务啊,这些都属于第一梯队,对大数据的诉求也是最高的。
08:10
OK,然后这边再讲一下就是呃,数据技术的一个演进的趋势,这边其实主要呢,是对数据库,还有数据仓库,还有大数据体系,他们之间的区别和联系进行一个说明。那首先呢,其实数据库啊,它的架构呢,是以获取数据为主,这个也是最早我们呃出现的这个就是呃数据的一个技术,那的数据如财啊,数据工具实传统的这个啊关系库,比如说MY啊,Oracle啊等等,然后在业务应用上,更多的是应用在这种交易系统,CRP这些系统。第二个呢,其实就是数据仓库,它的架构呢,是以啊数据分析为主,然后数据特征呢,其实在啊也都是结构化数据,但是呢,它更增加了更多的这种历史数据啊,或者是明细数据啊,啊聚合维度数据等等。
09:11
在工具的使用上,其实它可以使用之前提到的这个这个关系啊,就是这些,那也可以使用呢,基于这种M架构,就大规模并行处理架构的数据库啊,这些都是可以的,那这边的一个业务应用上,更多的是用于这种报表啊,或者是息查询啊这些业务。然后第三个呢,就是我们的大数据体系,它的架构主要是面向海量数据的一个流处理,它的数据特征呢,其实除了结构化,包含了更多的呃半结构非结构数据,比如说这种网页,图形视频,然后日志文档,然后时空数据,或者是物联网数据等等。那它的工具更多的还是以这个的啊生态为主,然后结合更多的大数据的组啊,或者是数据库啊等等,然后业务上呢,应用于海量数据的一个算分析,然后复杂分析科计算。
10:07
那啊,这个其实更多讲的是三者之间的一个区别啊。然后联系上来看的话,其实就是呃,这个数据技术的发展,其实不同的数据呢,它也是解决不同场景的问题,那在具体的项目上,其实我们更多的是三种技术呢,是一起来使用,然后解决项目上的啊,普通场景的问题。好,那然后呃,介绍完了我们的这个行业的演进,还有就是一个技术的演进,那么到底啊,政务大数据平台在具体项目上是如何落地的,那中呢,其实这个房子,呃,这个这个其实就是在政务领域比较经典的架构了。那首先其实在大数据平台的建设中,其实要明确那总体目标,比如说呃,到底是建设这种智慧城城市啊,啊智慧城市的一个大数据平台,还是说以这种应用为驱动,然后强化一些数据治理,或者是一些啊应用等等,那先明确总体目标。
11:06
啊,然后啊,再嗯,根据这个目标,然后来确定到底需要的一些工具或者平台,需要哪些平台做支撑啊,可能需要的其实它是一个呃,完整的这种啊大数据平台,或者呢,需要就是以这种数据为主的平台啊,以这种共享交换为主的平台或者数据等等,那这个呢,其实还是根据实际的一个啊建设目标和业务诉求来确定。那按照历史项目的一个经验来看呢,其实有些呢,就是做这种数据汇聚的,然后对类的系统啊,对这些数据导,然后进行一个汇聚,汇聚之后直接对内提供服务,或者是对外部进行一个数据的上报啊,对这个很多政府这个单位来说。那有些呢,其实是以这个啊治理为主,提升数据的时效性,或者是啊数据的准确性。
12:00
OK,那然后呢,其实还有一些场景的话,它是以这个交换为主,比如说它以数据啊,或者文件啊,或者接口啊等等方式,那打通省市区各单位的一个交换通道。那那那还有一些呢,其实可能他会以这个分析为主,然后呃分析挖掘,然后其实目标不同,对应的一个底层的平台工具其实也是不同的。然后平台确定好之后。相应的其实就是对应的一个服务实施了,这个也是非常重要的,那其实如果是呃,单纯的汇聚,其实服务实施的难度可能会相对低一些啊,比如说我根据这个啊普查普查系统,或者是根据这个调研的情况,然后直接进行数据的一个录入,或者是这个数据的抽取,其实就达成目标了,那如果是这个呃,做数据治理,或者是进行数据中心啊,数据的建设呢,它其实要构建这种基础库,主题库啊,专题库或者是标准库等等,那这种情况下,其实它的复杂程度就会高很多,他需要对这些指标体系啊进行梳理啊,预先建设。
13:05
然后根据这些标准的指标呢,再对我们的数据或者数据进行清洗啊,进行处理融合,对,那这一步其实是需要投入比较多的人力成本的啊。而且其实如果想把这个实际的一个治理做得好,其实也是需要业务单位和呃,我们的就是建设方呢,其实共同来配合这样子啊,然后平台和这个服务实施这边啊,其实做完之后也是需要相应的一个管理制度,才能更好的让我们的这个平台运转起来,那比如说数据啊,目录的编制指南啊,或者数据共享的实施细则啊,数据负面清单的一些管理办法啊,分级分类的管理办法等等。OK,那以上呢,其实就是我们大数据平台的啊,最精的一个架构。那我们呃,上一趴呢,简单介绍了大数据的背景,还有具体在落地的一个架构的情况啊,第二部分呢,就是我们也讲一下腾讯大数据啊,大数据平台内部的一些实践。
14:10
好,那这边呢,其实就是呃,内部呢,大数据平台也经过了到目前为止有四代的一个演进,那从零九年开始,然后基于这个哈多伯体系。啊,建立了腾讯第一代的大数据平台,然后建设这种离线计算的平台,主打这个发展的规模化,那从2012年到啊一四年,然后也是随着移动互联网时代,应对数据的这个统计的及时性啊,或者是这个呃快速性的一些需求,那腾讯大数据呢,也开展了这种就是Spark STEM这种啊专项,在吸收开源的基础上呢,结合腾讯自身的一些业务,然后对呃进行架构进行重写。然后探索呢,主要也是以这个流失的计算啊,或者是秒级采集系统的建设为主,对,这是我们第二阶段的一个,呃建设情况。
15:02
那一五年开始呢,其实呃,腾讯这边更多的是像这种机器学习啊,或者容器化或者智能化这个方向去演进啊,构建新一代的平台去满足集团的这个业务。然后从啊零啊,从那个一九年啊开始,其实目前呢,相当于是第四代,那随着这些新技术,我们的这些5G云计算等技术的发展,那呃开始迈进了,就是这个第四个阶段,那主要是采用这种啊流融合,然后数据融合等模式,对数据呢进行融合分析。然后架构上呢,其实也采用这种原生的呃架构,然后打造实时数据的方案,支持呢,公司有然后混合部署的模式,然后支持这种测算一体啊分啊等等能力的一个啊结合,还有就是融合计算这些能力支持团的那个业务,那以上是腾讯这边的大概的一个演进的一个历程。那腾讯大数据平台在具体的演进过程中呢,其实也支持了腾讯大部分的就是内部的业务,比如说QQ音乐啊,这是QQ音乐这边的数据的建设,然后微信日志的分析,游戏数据的一个仓的一个建设等等。
16:14
那腾讯内部的,呃,就是就是这个大数据平台呢,其实定位的是海量数据全生命周期的一键式开发管理平台,涵盖了从数据的集成、处理,治理,融合啊,分享到全流程啊,支持了内部的比如说CGG啊,所有的这个事业的数百个产品,目前呢,也有很多这个开发工程师,然后在使用。啊,所以很多功能性能啊,以及这个能力啊,其实也都经过了内部产品的一个实践。OK,这个呢是呃TPS能力的一个结构啊,内部呢,其实各个条线的数据源,包括这种实时的,然后离线的,然后经过数据的接入,数据传输呢,到统一的一个存储层,然后经过计算提供给上层的应用或产品,那在存储层这边呢,其实呃包含了这种大数据的文件系统HS,还有这种呃呃KV存储的h base,然后价格呢更低,然后更适合海量这个小文件存储的啊O或者是cos等等。
17:20
啊,然后计算这边的,除了我们的传统的大数据的计算组件,其实也还有腾讯这边自研的,比如说姆斯多维分析啊,对于这个日志进行检索分析的啊斯平台,然后呢,还包括这种融合计算,对统一的计算引擎呢,进行路由进行分析。那在内部的实践的同时呢,其实这些所有的能力,然后也会,呃,就是相当于是对外进行一个能力的输出,就是以这个TS,就是现在我们的大数据平的方式,然后对外各个行业进行输出,面向的这种政务政法或金融等领域务领域呢,其实也有专门的这个行业线做支撑啊,从售前到呃具体的架构,到产研到交付,那还有全链路的这个能力,然后为政务行业进行赋能。
18:15
啊OK,然后这个是呃腾讯音乐库,然后是数据方案的一个实践,啊在之前呢,呃,数据库库这边采用的是这种就是收藏栏的架构,然后呃进行数据的一个分析处理,那也是由于呢,就是这种架构其实要维护实时和离线,然后两套逻辑,第二呢,就是在实时和离线场景中也有各自的一个一些痛点,比如说在离线的时候,当时是啊去为了去解决这种复杂数据的一个分析问题,然后引入了这个clean house去做做分析,但是也带来了这个时效性的问题。呃,然后在那个实时的这个条件也是一样的,就是啊,在实时指标的这个。变动就是进行变更的时候,也会带来这个实时的应用的一些调整啊,所以结合以上的问题呢,也对构进行了升级,采用了这种啊卡加上那个stream有的方式来构建。
19:13
那方案简单说呢,他分成了这个三部分,首先呢,就是呃采集这个同呃同步到我们的这个卡,生成这个CC的数据RK,技术上来讲的话,就是通过这种CC的方案,然后结合啊S,然后实现海量数据的一个实时的增量入库。啊,P加零准时的进行数据分析,性能和稳定性在这个大数据量的这个基础上就是也得到了保障。那业务价值呢,其实就通过这种实时分析啊,可以提供个性化的,更个性化的客户的服务啊,或者是增加客户的粘性,然后提高转化率等等。
20:04
OK,那呃,第二个呢,就是小案例呢,就是呃。基于啊TPDS的的一个微信日志的一个检索。嗯,那自从呃赫姆斯介入以来呢,日志量的话也是持续增长的,就是单机群的规模,呃,也达到了万亿,单机群的存储达到了最多达到了8PB啊,然后日志的接入量呢,每天有1.6万亿,就这边也有写啊,然后单日入库的存储量呢,都能达到1TB以上PB以上,每天的检并发啊在6000以上,然后这边呢,也包含了一些这种它的一些技术特性。啊,比如说啊存算分离,那数据呢,它的存储其实是在HS上面。然后可支持这种10PB以及更多数据量的检索的能力,那对比呃,E的话,其实在数据量级上,然后提升了大概呃也有十倍以上,然后还包括一些啊,比如说历史分区的啊,副本降级啊,就是根据数据的热度来进行啊本副本数的一个调整。
21:09
啊,还有其他的一些功能啊,功能点后面呢,对也会进行更详细的一个介绍。那第二部分呢,对呃,我们的一个演进的路线啊,还有就是我们的一些呃应用的案例进行了介绍,那呃,然后我们再看第三部分,就是腾讯大数据平台TS的,呃,一个产品的介绍啊,分成了主要的就是三分,我们先看第一个啊定位。啊OK啊,其实这边也是做了做了区分啊,就是每个行业的呃定位呢,可能多少会有些不同,因为各个行业的特征或者是解决的问题,以及呃要实现的目标,其实都会有些区别,那这边呢也会,呃主要是重点说一下在政务领域的一个定位啊,那主要呢,是构建数据完整的啊生命周期的闭环方案啊,从数据资源的整合治理到服务的共享,然后运营和应用。
22:07
啊,那全全流程里面,其实每个环节呢,也都提供了相应的工具,然后和对应的一个实施服务,它搭配平台整体的管理办法啊,或者或者是实施细则,然后实现政务大平台的最终的目标。目可可是未来城市的2.0啊的升级就是呃之前的升级,那政务大数据平台呢,也作为中,然后数字平台中的一部分啊,协同AI平台,还有就是应用平台啊,相当于是用腾讯的模式呢,加啊加速政府数据的一个资源流转,实现数据资产价值的最大化。OK,那这个呢,是在政务领域的一个定位,那这个呢,是我的一个基础架构。
23:01
啊,私有化场景其实主要呢,是以图中上半部分就是蓝色区域的啊内容为主啊,包含了我们的底座和我们的一站式的开发治理能力这两个主要的内容,那底座这块呢,其实包含了我们的啊实数据的底座,还有我们的呃MP呃,就是那个仓引擎底座这两两大主要的部分,还有刚才提到的就是这些,呃,对稍后也进会进行一个更详细的介绍。那第二块呢,其实就是塔开发工具这块,它包含了是从数据的规划集成到开发治理,然后服务生成在内的全套的工具。啊,也包含了,呃,我们的一些就是这个数据建模工具啊,还有探索工具。嗯,这个工具的话,它私有化和有很多功能是一致的,可能在有化场景里的功能会更富对个性化一些大。如果可以的进使。
24:06
啊,OK,然后其实整体的我们的大数据平台的方案,那在项目中更完整的方案呢,其实应该包括这些可视化或者是数据应用的部分,那只是说呃,应用层啊,不是今天分享的一个重点所说啊,这次呢,还是以更多的聚焦在我们的底座引擎,还有就是工具链,然后这个维度上面。啊,然后呢,我们呃介绍一下我们的两个重要的一个就是引擎底座,第一个呢,就是实时数据啊这边提到数据呢,也也大概做个就是呃简单的介绍就是数据,它更多的是存储的数据的呃原始格式,不管它之前是什么样的,先存一份呃原始的数据进来,其实这样子其实它的成本啊是更高,但是为什么大家还呃还要去这样做呢?其实主要的也是在目前的这个大数据的时代,其实有些时候我们目前可能还不太能明确呃出来这个数据的价值到底在哪里,或者是目前其实还不知道这个数据呢,到底以什么样的一个存储格式会更合适。
25:11
嗯,所以这种情况下最好的方还成本的方,然后一份后呢,慢业务的发掘的价实,第一个就是数据的入,第二内的管理,以及呃,这个数据的计算动数据的计算加速啊三部分,那在数据入这块是重点,呃关注的就是数据的一个接入的全面性和实时性,全面性其实也刚才提到了,他要做所有数据的一个呃全量原始格式的备份,那么全全面性那这个肯定是很重要的,那第二个呢,其实就是这个事实性。通过CC方式,然后对数进行量增量。
26:05
嗯,然第二呢,其实就是呃湖内管理,然后主要呢,其实就是我们的这个,呃,然后表格的数据组织方式,然对湖内数据进行理和,然后内的的话可以使用SS,或者现在我们方有这个对。啊对,其实这个呃简单说一下,因为呃目前这个在在推O呢,它对VS相对来说还是有很大的一个优势的啊,它能解决现在VS遇到的这些,比如说呃,这个数据存在内存的也带来的这个内存瓶颈的问题啊,还有就是这个三副本带来的成本增加的问题啊,因为六份的这个月底呢,这个我们也会呃发布这个欧的ec就是旧码的模式啊,可能会以1.5副本啊,或者两副本的方式啊,代替这个原始的这个三副本来减少存储的成本。
27:02
啊,所以这个欧对海量这种小文件的存储的优势还是比较明显,这个在呢,也其实是能找找到很多这种应用的场景,嗯,OK,然后第三块呢,其实就是在计算加速这啊这一块呃呢,也是围绕着一些组件,然后来进行展开的,比如说我们的这个,呃,它它是作为一个虚拟啊数据库的加速,或者把它理解为一个这种HS的一个内存版。它会对下层的呃存储就是HS或者O做一层这种统一,然后进行缓存来提升上层计算的一个效率,那第二呢,其实就是那个我们的S,根据这个呃,数据啊,网络啊等等情况来智能的选择的一个引擎进行这个具体的计算啊,来实现这种D就中的计算。嗯,OK,上层的工具主要是以这种为或者是那个实时计算,然后来进行打通全部的一个流程的。
28:09
那以上呢,就是我们的实时数据的方案。对,第二个呢,就是我们的仓仓啊,这呢,其实重介绍部分的能力是据库啊这方面的能力,第二呢,就是在这个数据库基础上,那我们做的一些增强。那在数据库这个维度的话,呃,我们的这个引擎呢,其实或者数据嘛,采用的这种的架构啊,就是说我们的这个节点节点间啊,节点内还有算子间,全部采用的是并行处理的技术啊,可实现这种万亿级数据关联数据的一个秒分析。然后在入仓维度呢,提供这种快速入仓的能力,就是搭配我们的工具呢,可以实现这种全量数据或者增量数据,或者是转库迁移啊等等这个数据同步的方式。
29:02
然后在数据的存储啊,比如说支持这种自适应的一个压缩比例,然后行列存啊,适配这种这个业务上的,就是呃分A,就是那个op场景,或者是这个op场景啊,然后在数据处理上呢,也支持这种数据的啊,就是那个分级,然后以及多种分区策略,或者是呃灵活的扩缩容。啊,目前在呃5530呢,也是上个月底呢,也刚发布了这个最新的版本,就是支持了这种资源队列啊,对数据库的计算资源呢,也能进行隔离啊OK,然后第二点呢,就是我们在这个数据之上进行的一些能力的增强啊第一点呢,比如说这个算分离,除本身的啊数据库的分析能力之外呢,我们也可以搭配就是刚才讲的TPDS本身提供的这些分析组件啊,啊Spark等等,然后这些啊分析引擎进行一个加速啊查询加速。第二呢,就是在呃,基于我们TPDS,它本身呢,是这种多多租户,然后基于租户项目进行一个呃离线离线实时任务开发的,那么呢,这个租的能力,数据本身的资源列的能力其实也有打通,那么相当于可以对数据的资源进行这种多,就是租户级别,项目级别的一个离实现更细度的权限管控,这个呢也相当于是我们的一个优势所在。
30:28
啊OK,然后第三个优势呢,其实就是我们这个在收藏构建的效率提升上面,我们搭配呃收藏就是那个呃model,还有就是这个北开发工具,然后快速的构建仓,可以自顶向下呢,进行提前进行仓的分层设计,还有模型设计啊,提升这个储藏构建的构建的效率和使用效率。OK,然后讲完我们的底座引擎呢,然后也说一下,就是我们上层的工具套件,就是啊,那从从从下往上来说的话,它其实是构建在我们刚才讲的啊数据还有MP收藏之上啊,当然它其实也可以构建在这个关系数据库之上,因为呃并不是所有的,比如说政务这边啊,像所有的政府单位,它其实都采用了这种呃哈的体系,或者是这个MP这种呃收藏引擎啊,其实随呃有些。
31:25
有些其实比如说信息化程度相对低一些的这个单位啊,他在建数据中心的时候,其实更多的使用这种关心数据啊,或者是他都没有在数据同步的情况下,直接把这个数据纳为整个数据中心的一部分,其实各种情况可能都有啊,当然其实随着数据量的增长,或者业务的复杂性的增加呢,其实呃,进行一个技术的升级也是必然的。嗯,OK,那整体呢,我们,呃,就是这边呢,采用的是S的这个理念,就是从数据的规划啊,集成到开发服务,然后治理,然后包括这个上层的运营,就是各个阶段啊。
32:05
包括了这个所有的阶段,那么在数据规划的这个这个维度上,其实呃,更多是以数仓的这个规范定义啊,然后数仓指标模型的设计啊和管理模型设计和管理为主,然后集成这块的话,更多的是呃离线同步,然后实施同步,还有一些我们针对集成的一些方案,比如说整库迁移啊这些方式,然后来进行。啊,第三呢,就是开发这块啊,包含了这个代码的开发调试,然后开发任务的编排,还有任务的发布管理,然后三大核心的模块,满足政务行业,其实大家对这个大数据开发的一些这种代码啊,简单易手啊,轻运这些比较心的诉求。然后服务这块呢,更多的是以这种服务自动生成啊,就是说服务生管理,还有服务发布,然后全链路的一个管理能力。
33:02
然后治理这块包含了我们的质量管理,然后数据安全,还有成本优化这三部分开发呢是呃,这里是可以和我们的前面讲的这个开发任务去做关联映射的,那呃,这种方式就是可以在实际我们在治理任务里面查看我们治理任务的具体的开发的一个任务调度的情况啊,更新力度的进行监控。啊,然后运营这块的话,其实啊是分成了以这个资产统计为主的数据地图,然后以数据分析建模为主的数据洞察啊,然后以这个呃,就是数据应用,然后为主的数据共享三分内容。那除此之外呢,其实我们还有一些这个统一的调度啊,统一源数据啊,统一安全,然后这三块的内容,再结合我们的一个服务管理体系,这些其实属于适配层的能力,其实也是更好的,可以结合不同的啊引擎底座,或者是呢,对接不同的上层应用。
34:05
那以上呢,其实我们的工具套件,然后这边的具体的一个能力的介绍。好,然后我们再看一下第二点,就是这边的一个核心的优势啊,其实相当于呃,是对之前讲的所有内容的一个能力的抽象,那第一点呢,其实就是我们的政务的云平台的一些基础能力来抽象出啊三种不同的引擎来适配不同的场景。那第二呢,就是极致的性能和扩展性,它主要是结合我们的一些呃组件的先进性,然后P6一体的计算框架,还有就是这个云原生的一些能力,然后实现我们的这个及时性能和可扩展性的。第三呢,其实就是这个完善的工具链,那我们的本身的引擎加上工具,工具件呢,然后呢,也可以通过适配层,然后去对接客户已有的,或者是伙伴已有的工具。那么通过这个底座引擎和工具,其实构建完整的这个端到端的数据的一个平台方案。
35:05
第四呢,其实就是国产化的支持,目前其实也对接了呃十多国产的这个服务啊,芯片操作系统等等都完成了兼容适配,然再结合我们的4A的安全体系啊,多租户数据隔离,然后容灾的能力啊,构建我们的一个国产化安全可信的平台。那第五点呢,其实就是增强运维的能力啊,对这个底座来说,其实它的稳定性,它的全局指标的监控,以及预警告警,那这些方面呢,都是非常重要的,那我们其实在这个基础之上也去完善了这个,比如说服务健康度啊,或者资源地图啊这些能力,那在这个实际的一个,呃,事前就是问题事前事中后都有更好的一个呃解决方案,可以提前对问题进行定位,以及发现问题之后呢,也可以通过这个系统去查看到底如何去解决一些问题解决的策略。
36:03
OK,那第六个呢,其实就是我们的开放融合的能力,我们的底座啊集啊,其他的比如说伙伴的工具啊,包括这个形成政务行业的完整的方案啊,赋能政府行业的具体的业务。那以上呢,其实就是TDS平台的一些优势的介绍。那然后呢,这边再对一些核心的能力,然后进行一些展开的介绍,这个也是呃今年或者是呃的一些新的能力的一些呃体现,就相当于对外输出,因为这些工具在内的话,经过了多年的一个验证,第一个呢,其实就是我们的一个实时计算工具ocean,然后第二个呢,Super circle计算中间键,还有就是这个高性能实时分析的引擎her。首先啊看第一个呢,其实就是我们的那个,它是基于一个呃Li框架,然后开发调试部署和运一体的一个啊,可视化的实时大数据的一个计算处理平台啊,它也具备一些关键的特性,比如说简单易上手,然后实时可视化这种优越的啊性能秒秒级毫秒级的一个响应,包括呢问题自动恢复啊等等这种轻松运维方面的能力。
37:21
啊,目前呢欧呢是在呃腾讯内部呢,也服务了包括腾讯游戏啊啊腾讯视频在内的是200多个业务峰值呢处理的呃消息数量每秒呢也有几条数据呢,每日的一个接量达到了呃3.5PB以上,所以性能各方面的指标其实还是比较有竞争力的。然后它这边的主要的优势的话,也就啊下面罗列的几点就是第一呢,还是画布啊架三种方式的一个应用搭建啊,应用呢,其实就是实时任实时任务的应用啊,第二呢,其实就是可以进行算力度的调优啊,自动调试啊,也就是说其实它的本身的一个功的完整度度啊是非常OK的,第三呢,其实它它已经和刚才讲的我们的大数据平台做了更深层次的啊融合,可以进行这种租户项目及更新力度的权限的管控,进行应用的开发。
38:22
嗯,OK,然后具体的在内部的案例呢,就是我们的微信支付,然后通过我们的平台啊,建立这种恶意流量的监测体系,然后实时的对啊上报的数据呢,进行扫描和解析,然判断恶意的IP,然后拦截恶意的流量,对为各个就是呃,商户呢,这边去保驾护航那那。具体的比如说在政务行业,对这种呃,在指挥或者是这个监管啊,比如说互联网+监管业务,那其实他可能对这些实时计算其实还是有很大的一个诉求的,那这种场景上其实就可以采用我们的这个工具。
39:07
啊第二个呢,就是啊,也是腾讯自研的统一计算引擎,计算中间可以实现这种D,然后计算组的啊大数大数据引擎啊,它的一个逻辑呢,就是啊,它在上层会对具体应用的呢,进行一个啊解析啊,根据它本身的一些策略生成不同的呃呃子S,然后推下推到不同的数据源来进行计算啊计算完成呢,通过最终的一个统一的S来进行啊S汇总。嗯,OK,那它的一些特性,比如说统一的啊,编程适应的感知计算的能力,根据实际的我们的A的模型,然后对数啊,或者是这个具体的啊,或是算的情况,然后自动最优。
40:00
啊,第三个呢,其实就是兼容多种数据源,因为对这种跨源的工具来说,它每增加啊增加一种数据源,其实它都会增啊多很多这种就是边界处理的场景,那目前呢,其实我们在内部也支持了十多种数据源的一个呃的分析的能力。啊OK,那这边的,呃,所有的应用场景其实还是还是蛮多的,比如说这种O数据分析,然后查询。然后联邦查询等等啊,比如说联邦查询,其实他可以在数据不进行这个迁移啊,不搬家的情况下进行分析,其实是能节省很多这种在啊数据迁移或者ETL中的成本。啊,还有包括对历史数据啊,或者是这个啊机群进行查询的能力,那除此之外呢,其实也适用啊,用户使用多种计算引擎组的时候啊,比如说Spark或者这些都有,那其实他如果想要一个统一的入口,然后屏呢,不同的计算引擎的或者是的这种情况下也是比较适用的,所以其实在务场景上,然后DC的能力,或者计算组的一个一上啊,还是会有很大的一个就是应用场景。
41:17
好OK,那第三个就是我们的多维实时检索啊,分析平台斯啊,然后这边主要呢,我们就先看一下它这些关键的特性啊,第一个呢,就是海量的的能力啊,其实目前也能达到呃B啊或更多的这个数据量的一个检索的能力啊,那第二块呢,就是多维分析,多维分析的能力,进行任意维度的组合呀,或者下啊,或者是这个啊多维分析等等方面。啊,然后啊,包括这种呃,大宽表,就是它支持这种超过万亿啊,数万亿列这种规模的大宽表的建设啊,然后实性上支持这种百亿或者千亿数据的秒。
42:02
分终级的秒级分钟级的一个分析结果的查呃的查询,还有就是它的一个实时检索啊,精确检索,模糊检索这方面的能力,然后下面呢,是我们具体在某一个项目上的一个呃验证的一个结果,那姆斯150台机器啊,这边的配置是是呃一般的一般的配置,然后最大的宽表呢,有7000行啊数据量的话有600TB,那在数百亿行数据的这个查询检索中呢,其实四到十秒前一行呢是八到60秒,那更简单的呃一些查询,比如说啊或者什么之类的一些可能会呃更快,其实都是在呃200毫秒或者100毫秒,这个呃是是响应时间的。然后在内部的实践呢,也支持了,就是呃,微信支付啊,或者是腾讯游戏啊,腾讯广告等业务,对,然后内部的群总规模也达到了几千台以上。
43:00
嗯,OK啊,其实在比如说政务行业,我们也可以在一些这种比如说企业画像啊,或者是这种重点人员的一些分析画像等等场景啊,来使用我们的赫尔姆斯工具。那以上呢,其实啊,对我们的呃,具体的一些优势,还有核心的能力进行了介绍,然后我们再看一下在政务应用的具体的一些场景啊,有哪些。啊,其实啊,从核心的场景来看啊,业务场景来看,其实很多很多种,但是每种场景呢,那从数据的这个处理处理或者是治理环节来看啊,大概率都包含了这个数据的汇聚啊,或者是这个资产的管理啊,或者是数据中台的,呃,这个统一服务啊这几方面对,那比如说我们在数据的汇的场景,其实数据呢,可能是啊多元啊,多元易构的啊,或者是它经要经过这种网络啊,跨层级才能完成汇聚,比如说之前在有些项目上,我们在一些数据的汇聚,其实它这个系统呢,其实是由国家或者是省来进行建设的。
44:12
那部分的数据呢,其实要先进行啊,申请下发到下一级的省市,然后呢,再进行通过这个啊市区的交平台,然后再进行汇聚,对,然后在资产的一个沉淀这块啊。这边主要呢,也是包含了我们对实时数据啊,或者是仓的一个建设,那么刚通过刚才的讲解呢,我们也提供相关的一个工具进行一个建设和理第啊是啊理服务的建管理共享的能力,那针对这三个场景,然后也在做一个简单的介绍。啊OK,那这个第一个呢,就是我们的呃,数据共享汇聚的场景,这个也是其实啊对政府来说最最初或者最刚需的一个需求,那它的实际的客户痛点,其实就是目前可能业务系统它数据是比较分散的,存在数据的,呃存在数据的或者是这个现象比较严重,那需要呢,对内部的数据进行部门啊网络系统的这个具体的整合,然后呢,再对外提供服务。
45:27
那我们这边的实际的解决方案呢,就是我们会基于啊总线对数据进行汇聚,包括我们的这个离线和实时啊不同的场景,那这边其实在汇报啊,就是在汇聚方案上来说,呃,不同的数据或者类型呢,有不同的一个一个策略,比如说小规模数据场景,可能我们直接就库啊进行大规模场景呢,要把数据啊从库里面传到我们的这个啊,或者是这个这个啊等等。同时呢,其实也包含了一些这种日志啊,或者是非结构啊,数据的一些集成。
46:02
啊,这边的也涉及到的,比如说我们的集成工具啊,针对这种大数据的集成的,或者针对这个日志啊,或者是等等这些组件。那汇聚之后呢,其实它可可能会经呃会使用到我们的,然后进行一个数据的或者融合,然后在引擎层面呢,啊,我们有这个两种刚才讲过的两种引擎,然后进行选择。最终呢,数据再通过我们的呃服务总线,其实服务平台,然后对外进行分发啊,这个其实是呃,刚才讲的是一个流程,但实际的场景里面,其实它可以进行不同的一个呃流程的组,呃就是那个灵活的组合,比如说我汇完成之后,那我数据量好,其实我就直接可以对外共享,我也不需要进行一个啊开发治理,或者呢,我可以进行先行,然后呢,再经过开发治理,对外提供服务,其实都是可以的。OK,那第二个呢,就是我们数仓的一个建设,这个相当于是在我们刚才讲的就是汇聚共享这个场景上面的一个升级啊,客户的需求呢,可能会从开始然去啊这个仓,那也可能呢,是在已有的仓上面,他想进行升级啊,比如说升级成刚才我们讲的就是大并行处理的这个M的这个架构的仓啊,或者是用我们大数据的组件啊,或者是这个SG啊等等这些能力来构建收藏。
47:32
这边的解决方案呢,除了图上的流程啊重呢可能也是对一些核心的工具,然后进行一个介绍,比如说我们这个model的捷工具,通过它呢,我们先进行这个啊仓的分层设计,然后每层上的指标模型呢,先构建出来之后,然后再进行呃,这个任务的调度。啊,然后在引擎层面,然后可以采用我们一的仓的工具仓,在应用层面呢,其实我们也和腾讯很多这种应用产品啊,可视化产品,然后呃,BI产品等等进行了打通,然后也和很多我们的伙伴做了这个能力的集成啊,更好的完就是打造完整的藏方案。
48:19
OK,那第三个场景呢,其实就是我们的这个中台啊,或者数据的这个中台建设方案,那啊总其实总体来看,在数字化转型的这个阶段,其实我们的政府客户呢,也是希望数据呢,以资产的方式来进行呃运营,然后并且这个资产要对实际的业务场景发挥出啊具体的价值。那这边的其实整个仲裁的方案呢,也是分成了很多部分啊,比如说我们啊通过啊这个数据集成工具,然后去解决多元构数据啊汇聚的问题,然后通过呢,大数据的这个组件,然后解决我们海量数据的算的问题啊通过数据治理呢,解决我们的一个质量和标准的问题。
49:03
通过我们的目录服务去解决我们的资产啊管理资产使用的问题,所以上所有的这些啊产品的能力一个结合,其实就是我们整个的中台的构建方案了,对应到的也是我们的引擎底座,还有就我们的的那相当于通过这两部分呢,提供完整的端端的啊中台的一个解决方案。好,那以上呢,其实就是我们的腾讯大数据平台的完整的介绍了,从定位和优势,还有实际的一些能力啊,还有场景啊,进行了一个分享。然后我们再看一下,就是最后一部分啊,在政务行业,然后我们这边的呃,案例情况啊,简单做一个分享。第一个呢,其实就是疫情防控啊,疫情大数据平台的建设啊,针对疫情大数据平台建设呢,其实。啊在在比如说啊,中国这边呢,更多的是在啊建啊建或者是这个啊,或者是应急这些部门,然后开展,或者是方呢联合进行开展。
50:08
它疫情的呃,数据其实涉及的范围还是还是比较广的,比如说他会用到我们啊卫健委的疫情相关的数据啊,核酸的数据,然后公安的呢,人口的数据,住建的楼宇啊,或者是网格办等等的数据,包括也包括了这个发改的一些什么企业的一些情况,比如说进行复工啊,企业复工复产的一些分析啊,这些数据其实都是需要的,那主要的我们的啊在项目中的建设内容呢,包含了。呃,疫情相关的,然后十大主题就是比如说这个确诊疑似啊发烧。啊,等等。然后呢,我们啊针对这些主题库,然后再结合我们已有的技术库或者是其他主题库来进行联合统计分析啊,分析的啊,具体的内容呢,也包含了就是两个方面,第一呢,就是从我们的啊,就是统计这方面来说,比如说对疫情的啊确诊,然后一次密接疫情区域的一个流入治啊,隔离情况啊,然后进行统计,那第二呢,其实就是数据间的融合,对疫情的啊发展的这个态势啊,或者是复工复产的情况啊,人口流动的情况啊。
51:19
啊等等进行一个综合分析啊,那其实实际的一个疫情分析的策略或者方法呢,也不限于就是中,然后大家看到的这些,那实际呢,还是要结合我们的具体的业务,还有数据的情况来进行确定到底什么样的一个呃分析方法啊更合适。嗯,OK,然最终呢,其实这些主题啊,或者专题,那么呃,都是要对实际的一些情的应用来去提供具体的炮弹的啊,比如说对这个疫情的统计情况啊,疫情的发展进行分析,然后疫情的就是预警能力,还有就是辅助政府做一些这个指挥决策等等。
52:04
啊,这个呢,是从我们的这个业务场景啊进行的一个说明,然后具体的呃,就是这边的一个架构情况,那就呃基于图上就是看到的啊大概看一下就是这边的从汇聚到这里开发,然后工作是具体是怎么展开的,首先是在数据的这个汇聚这个维度,它其实是分成了呃,就是离线和实时同步啊两种。离线如核检测数据啊,通过这个市区享平台,然后进行一条链,就会增加这个线的一个啊这边啊,其实这个也还好,其实对这种交换说也都是分中的啊,然后在实时的这个场景来说,主要是对这些场所的数据啊进行实时的上报。
53:02
啊具体啊,如果说他离线了,其实也是可以的。嗯,OK。那肯定是能实时的,尽量实,不能离线调度啊。然后完成的数据呢,其实统一是我们的数据中的啊,然后这边呢,其就要用到我们的数据进行一个啊治理啊,或者是这个数据的融合,那有些其实也是一样,质量好的,我就直接可能会生成这种服务目录,直接对外部来提供了,那有些其实就要对数据进行融合处理啊,或者是生成各种主题专题库啊,就像上啊刚才我们介绍的啊,然后具体涉及到的一些开发的任务啊,或者编排啊,计算呢啊,这块的内容呢,就跟我们刚才讲的实时数据的一个架构逻辑其实是差不多的啊,这边也不详细的进行介绍了。的。
54:04
啊OK,然后这个呢,是我们在实际项目中的啊效果图,然后会对呃多个维度的指标进行分析,比如说人口的流入流出,然后疫情的发展态势,然后物资的保障啊等等情况来进行分析,啊在这个过程中呢,其实数据呢,也会通过我们的啊开放门户啊,开放给公众去使用,那比如说通过啊各地市的数据开放平台,然后以数据啊,文件啊接口的方式,然后给到我们的开发者或者是企业去使用,通过这种政啊政企数据的融合,然后呢,其实可能能发挥出更多的价值。所以在实际的一些呃,疫情大数据平台建设中,除了用到我们的大数据平台,或者是政府的数据,还有很多啊,其实也会用得到,比如说腾讯的地图数据,然后的数据啊,企业轨迹数据等,通过这些数据做一些这种场景的一些分析场景啊,还是非常有必要的。
55:06
啊,第二个呢,就是我们的市区级的数据中台的一个案例。啊,首先其实也是一样,其实要明确我们的一个啊建设目标,运用这些呃新型的技术,然后进行智慧城市的一个顶层设计,然后结合之前建设的一些系统啊,要遵循一些集约建设啊,信息共享的原则。那这个呢,是整体的目标,然后基于目标呢,也会啊,细化到具体在落地中,我们要遵循哪些原则,有了这原则之后,然后进行工作的具体的开展,下面呢,其实就是实际的我们的一些啊项目上具体的里程碑了啊,最开始完成我们的五大主题,还有九大啊五大基础和九大主题库的建设,然后经过一年多的时间啊,一年半的时间,然后对五大基础库呢和九大主题库,然后进行升级和和系统的迁移,然后提升了海量数据的,主要是提升海量数据的分析处理能力,还有就是数据之间提升他们的。
56:05
互联互通和共享的能力。然后在去年年底啊,完成了整个数字中台的建设。OK,那这个呢,其实就是标准的中台建设了啊,包括了底座工具链,然后包括了一些应用层的具体的应用啊,其实大部分的市区的中台啊也都比较类似,只是说我们各个项目上,它建设的过程或者是建设的深度或者成效区别比较大,那这边呢,其实呃,每一块它都有。具体的一些到底建设的一些思路或者是方法,这边可能重点我们针对这个仓的建设,然后来再进行一个稍微详细点的说明。啊OK,那这个呢,就是我们在仓这块采用的是啊离线实时仓的方案,那数据呢,其实这块啊,更多的是来自于呃,比如说社区数据中心啊,这个同步过来的数据,比如说这种办事数据啊,或者信用啊,或者去教育数据等等,当然也有一些来自于市区的共享交换平台交换过来的数据,或者是通过这个啊镜的速度会会一些,基本都是T加一进行全量的同步,对啊,所以其可能量增量同步方式。
57:24
然后其中呢,流的数据,然后我们是通过这个卡卡接入到我们的实时仓里面,然后其他的数据呢,就入到数仓的不同的分层啊,这个过程其实也用到了之前我们提到的一些关键的技术。啊OK,然后在这个整体的建设过程中,然后也生成了我们的这个指标,还有还有标签库啊,还有主题,然后以及呢,实时服务啊这些。一起呢,结合这些实施服务,一起能上层的业务,比如说区级的这个治理中心啊,指挥中心啊,或者是市区级的一些疫情防控业务等等。
58:04
OK,那以上呢是呃,这个数据中台具体的呃,一个建设的成果啊,打造新一代的云数融合的技术底座啊,结合为data的开发的套件啊,完成大数据平台啊,资源池标准,还有通用服务的建设。整体呢,我们也汇聚了49个办的数据提供了啊,300多,现在其实更多的,呃,数据服务也支了啊,十多个,在整个建设过程中,新的应用系统的开发和使用。啊,那以上呢,其实就是社区数据中台的一个案例。啊OK,那今天的分享和交流的内容呢?啊,就是上面这些,然后大家可以添加我们直播小助手的微信啊,加入腾讯数字政务的交流群啊。OK,然后大家有问题的话,可以在评论区,然后这边我也会进行一个解答。
59:04
嗯,T,呃可以接入哪些类型的数据?呃这边其实接入的类型数据目前还是呃基本上能覆盖了所有,就不关整这边的,就所有行业的数据链基本都支持了啊这种结构的非结构的,或者是这种比如说呃日志啊等等啊这种传统的关系库或者是呃一些呃大数据的类型目前都是支持的啊,数量的话大概是有近40种的数据源。对,所以在实际我们在政务项目中,数据这一类型方面是不用担心的,然后这里面其实呃,所有的数据里面,然后能做到CDC实时同步的也有呃十多种数据库。啊,OK。啊,目前有支持哪些民生服务的场景,然后在抗疫方面的案例啊,其实刚才最后呢,也针对就是疫情的一个案例进行了一个分享啊,这方面还是还是挺多的,就是呃,比如说这个深圳这边的啊宁的项目,还有这个广啊数字广东的一些这个疫情相关的就是啊项目其实都有,那具体的呢啊也可以和我们的行业中国行业这边的一些架构师来进行交流。
60:27
OK。呃,然后可以分享下政务的一些典型的业务场景,其实这个在后面针对这些案例呢,也进行了一个交流。然后还有就是可以解决公安局数据不愿共享的问题嘛,呃,这个公安这边的数据其实在两年前呢,其实它是可以数据这个数据传输的方式给到各个委办局的。比如说呃,这个这个其实什么人口的数据都可以给,所以这个也是像一些发改啊,或者是呃一些什么什么经信啊,他们会构建自己的大数据中心,那么随着数据安全的这个这个问题出来,所以可能是在应该是二零年还是应该是二零年吧,或者一九年底了,所以公安局这边就不会把数据以这种方式来再对外提供了,都是以接口的方式,所以公安局这边不愿意共享的问题,呃,我们其实可以以这个接口,就是它数据也不用落地,就是服务可用不可见的方式来来使用,那那第二点呢,其实公安局的数据呢,我们也可以采用其他的一些方式,比如说通过啊市的啊市区的共享交换平台,然后通过对我们具体的业务提诉求,提到这个啊,因为它本身就是对数据进行统一管理嘛。
61:47
所以他也能帮我们在中间做一些,呃,这个协调工作,所以主要我们有业务场景,那确实需要这个数据,其实也可以由政局去推动,公安局这边去解决。啊,当然这个其实更多的还是要结合各地的情况啊,有些地方其实就完全没有这方面的顾虑,那有些可能通过这种方式还是拿不到。
62:09
所以呃,如果这种方式不行,后面可以再看一下,通过这种比如说什么数据箱啊等方式,看能不能拿到相关的这个核心的一些数据。啊,然后大数据平台具备可视化挖掘智慧图谱的能力嘛,啊,这个整体政务方案来说,这些能力都是都是有的,就是对腾讯整体方案来说,只是今天我们重点讲解的是呃,底座和。啊,图这边也是有的,包括可视化的分析工具啊这块呢,具体的比如说对这块感兴趣呢,还是和我们的一些呃行业的架构师进行交流,图谱呢,其实内部也有在在我们内部应用的呃,图谱工具也可以对外进行能力的输出。
63:01
呃,还有一个是啊,我们这边有一个县区要做数据中台,目前各委办局的数据存储在自己那里啊,咱们在案例中是怎么能引导他们进行数据共享的,这个如果要是做建设整个区的实中台,因为这个。规模并不是特别大啊,而且其实对县区来说,各个委他们的数据量也是非常有限的啊,这边其实还是重要的,他们怎么样提高他们的一个共享交换的一个意愿。啊,其实我们啊,我们在之前的这个案例里呢,其实在这种情况下啊,第一步是要进行呃摸底,就是调研到底在市啊,县区级或者其实市级也是一样的啊,有多少个业务系统,就是有几大清单嘛,就数据清单啊,然后系统清单和这种需求清单,然后把这三个清楚之后啊,然后啊再看一下就是各各各个单位呢,不就是他不但会用到别人的数据。
64:05
啊,其实相当是他不但会提供数据嘛,还会用到别人的数据,所以我们在调研的时候也会把他们的需求收集过来,比如说发改,那我们以相当于站在发改的这个角度说,我可以帮助你去拿到哪些数据过来,那同时呢,其实呃,你这边的数据哪些单位也会去使用,其实这个也都是就是双赢嘛,就是。呃,我们能拿到他的数据,我们也能帮他去解决到具体的这些数据,这个是在实际的一个业务使用场景上啊,我们也可以通过这种方式能完成一些数据的汇聚,那第二呢,其实对这些县区,他们的息化程度相对低一些的很多系统呢,都不是他们自己来进行建设的,那其实我们在这个具体的技术上就要提供一些支撑了,我们作为牵头单位啊,所有的ET的工具以及服务这方面,其实我们可能要主动的去提供出去。那呃,因为其实在实际的项目中,这块涉及到一些成本,这个成本应该是由多方来来提供,你把这个成本如果说交给每一方,大家可能意愿会更低。
65:08
对,这个呢,相当于是从工具的维度,然后我们帮他们去做一些这种E也好,或者口开发也好啊,这方面的一个人力。对,那第三呢,其实啊,关于这种呃,中台的比如说建设更多的很多也都是这种一把手工程,那从下面往上来推,其实肯定会遇到很多的问题,所以呃,从这点来看的话,我们也要借助这种政数或者是这个呃,想要牵头做数据仲台这部分的这个力量,然后来从上往下来推动啊,这样子其实在很多在实际的不同委办局的调研,或者是在数据的一个汇聚的过程中啊,会配合程度会更高。所以这个呢,也是在呃,具体的数据的建设案例中,我们到底是如何去对他们做引导的一个案例的一个分享。呃,大家有问题呢,其实也可以进行扫码,然后加入我们的这个交流群啊,后面关于一些项目商机啊,或者是合作交流啊,或者具体的问题呢,也都可以讨论。
66:12
行。OK,那今天的分享和交流呢,就先到这样,然后也再次感谢大啊,感谢大家的参与。好,谢谢大家。
我来说两句