开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大数据实时入湖

大数据实时入湖是指将大量的数据实时地传输到数据湖中，以便进行实时分析和处理。

大数据实时入湖的优势在于能够快速地处理和分析大量的数据，从而更好地理解数据的情况和趋势。这对于各行各业都非常有用，例如金融、医疗、电信等行业。

大数据实时入湖的应用场景包括实时交易数据处理、实时异常检测、实时市场分析等。

腾讯云提供了多种产品和服务来支持大数据实时入湖，例如 TKE RegisterNode，TKE Anywhere，TKE Connector，以及云上数据库等。这些产品和服务都可以帮助用户快速地构建和部署大数据实时入湖的解决方案。

推荐的腾讯云相关产品和产品介绍链接地址：

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

Flink Forward Asia 2021 实时数据湖合集

Building The Real-time Datalake at ByteDance （00:00:00-00:22:47）

03

实时数仓：Iceberg

作者：代来，腾讯 CSIG 工程师背景互联网技术高速发展的背景下，数据已经成为各大公司的最宝贵资源之一。大数据领域经过近十年的高速发展，无论是离线计算还是实时计算、不管是数据仓库还是数据中台都已深入各大公司的各个业务。在复杂业务的背景下，迫切需要一套高效的大数据架构。以数据仓库为例，经过了几次架构升级。其中，首先诞生的一个比较成熟的流批一体架构就是 Lambda 架构，然后就是升级版的 Kappa 架构。对于传统的 Lambda 架构，流与批是两条割裂的链路，维护成本高且容易出现数据不一致的情况。新

01

Apache Hudi在华米科技的应用-湖仓一体化改造

华米科技是一家基于云的健康服务提供商，拥有全球领先的智能可穿戴技术。在华米科技，数据建设主要围绕两类数据：设备数据和APP数据，这些数据存在延迟上传、更新频率高且广、可删除等特性，基于这些特性，前期数仓ETL主要采取历史全量+增量模式来每日更新数据。随着业务的持续发展，现有数仓基础架构已经难以较好适应数据量的不断增长，带来的显著问题就是成本的不断增长和产出效率的降低。

01

OPPO数仓与数据湖融合架构升级的实践与思考

作者｜蔡芳芳过去几年，数据仓库和数据湖方案在快速演进和弥补自身缺陷的同时，二者之间的边界也逐渐淡化。云原生的新一代数据架构不再遵循数据湖或数据仓库的单一经典架构，而是在一定程度上结合二者的优势重新构建。在云厂商和开源技术方案的共同推动之下，2021 年我们将会看到更多“湖仓一体”的实际落地案例。InfoQ 希望通过选题的方式对数据湖和数仓融合架构在不同企业的落地情况、实践过程、改进优化方案等内容进行呈现。本文，InfoQ 采访了 OPPO 云数架构部部长鲍永成，请他与我们分享 OPPO 引入数据湖和数

02

实时数仓-Iceberg

互联网技术高速发展的背景下，数据已经成为各大公司的最宝贵资源之一。大数据领域经过近十年的高速发展，无论是离线计算还是实时计算、不管是数据仓库还是数据中台都已深入各大公司的各个业务。在复杂业务的背景下，迫切需要一套高效的大数据架构。以数据仓库为例，经过了几次架构升级。其中，首先诞生的一个比较成熟的流批一体架构就是Lambda架构，然后就是升级版的 Kappa 架构。

03

Forrester发布云数据仓库报告：腾讯云大数据强势迈入竞争者行列

刚刚获悉，在全球研究机构Forrester最新发布了2023年第二季度《The Forrester Wave™: Cloud Data Warehouses》报告，吸引众多国际顶尖云数据仓库厂商参与其中，腾讯云以全栈云原生数据仓库解决方案成功入选 “竞争者”阵营，成为国内唯二入选的云厂商。

03

重新定义OLAP！新型多维分析架构全揭秘！

2022年6月11日，DataFun将举办第二届线上DataFunSummit2022：多维分析架构峰会。本次峰会共设置9大主题论坛，并邀请目前工作在大数据多维分析领域的负责人、架构师、数据工程师和开源多维分析项目的核心成员分享，内容既涵盖了开源多维分析、新一代MPP数据库架构、数据湖分析型架构、实时多维分析等核心技术，也包含金融、互联网、交通、物流、工业、画像、营销等多个应用场景的实践经验。非常期待这次峰会的到来，同时也希望各位能从中收获更多的知识，结识更多的朋友，让大数据的多维分析能力达到新的高度！ ▌

01

湖仓才是数据智能的未来？那你必须了解下国产唯一开源湖仓了

机器之心发布机器之心编辑部国产唯一的开源数据湖存储框架 LakeSoul 近期发布了 2.0 升级版本，让数据智能触手可及。湖仓一体作为新一代大数据技术架构，将逐渐取代单一数据湖和数仓架构，成为大数据架构的演进方向。当前已有 DeltaLake、Iceberg、Hudi 等国外开源的数据湖存储框架。LakeSoul 是数元灵科技研发的，国产唯一的开源数据湖存储框架，并于近期发布了 2.0 升级版本。本文将结合大数据架构的演变历史及业务需求，深度剖析国产唯一开源湖仓一体框架 LakeSoul 带来的现

03

大数据架构系列：如何理解湖仓一体？

导语 | 本文推选自腾讯云开发者社区-【技思广益 · 腾讯技术人原创集】专栏。该专栏是腾讯云开发者社区为腾讯技术人与广泛开发者打造的分享交流窗口。栏目邀约腾讯技术人分享原创的技术积淀，与广泛开发者互启迪共成长。本文作者是腾讯后台开发工程师叶强盛。引言这十多年大数据技术蓬勃发展，从市场的表现来看基于大数据的数据存储和计算是非常有价值的，其中以云数据仓库为主打业务的公司Snowflake市值最高（截止当前449亿美元），另一家以湖仓一体为方向公司Databricks估值或达380亿美元；各大伺机而动的云厂

02

滴普科技冯森：FastData DLink实时湖仓引擎架构设计与落地实践

本文根据冯森在【第十三届中国数据库技术大会（DTCC2022）】线上演讲内容整理而成。

03

【金猿信创展】数元灵科技——数元灵国产化，让数据智能触手可及

数元灵科技专注于一站式湖仓智能平台新基建，公司基于国产唯一开源湖仓框架 LakeSoul，打造了集处理、分析、智能于一体的现代湖仓数据智能架构，服务于烟草、航空、机场、金融等多个社会基础行业，提供低成本实时数据中台、实时BI分析、智能推荐、智能文本生成等多种解决方案，致力于为企业最大程度挖掘数据价值赋能业务，服务新基建，让数据智能触手可及。目前数元灵已通过工信部国产信创认证、海光国产生态认证、信息安全管理认证、CMMI等认证，荣获中关村高新技术企业、国家高新技术企业等政府荣誉。数元灵目前人员30人左右，年营收近千万。

01

大数据架构系列：如何理解湖仓一体

这十多年大数据技术蓬勃发展，从市场的表现来看基于大数据的数据存储和计算是非常有价值的，其中以云数据仓库为主打业务的公司Snowflake市值最高（截止当前449亿美元），另一家以湖仓一体为方向公司Databricks估值或达380亿美元；各大伺机而动的云厂商也纷纷推出自己的数据湖、云数据仓库、湖仓一体产品。

数据湖架构落地实战

与传统的数据架构要求整合、面向主题、固定分层等特点不同，数据湖为企业全员独立参与数据运营和应用创新提供了极大的灵活性，并可优先确保数据的低时延、高质量和高可用，给运营商数据架构优化提供了很好的参考思路。

02

Flink在中原银行的实践

在构建实时场景的过程中，如何快速、正确的实时同步业务数据是最先面临的问题，本文主要讨论一下如何使用实时处理引擎Apache Flink和数据湖两种技术，来解决业务数据实时入湖的相关问题。两者的结合能良好的支持实时数据落地存储，借助Apache Flink出色的流批一体能力，可以为用户构建一个准实时数仓，满足用户准实时业务探索。

04

农业银行湖仓一体实时数仓建设探索实践

在数字化转型驱动下，实时化需求日益成为金融业数据应用新常态。传统离线数仓“T+N”数据供给模式，难于满足“T+0”等高时效场景需求；依托Storm、Spark Streaming、Flink等实时计算框架提供“端到端”的实时加工模式，无法沉淀实时数据资产，存在实时数据复用性低、烟囱式垂直建设等不足。

04

数栈在湖仓一体上的探索与实践

大数据技术的发展历程中，继数据仓库、数据湖之后，大数据平台的又一革新技术——湖仓一体近年来开始引起业内关注。市场发展催生的数据管理需求一直是数据技术革新的动力。比如数据仓库如何存储不同结构的数据？数据湖又如何避免因为缺乏治理导致的数据杂乱现象？今天的文章想跟大家具体聊聊我们的数栈如何解决这些问题。

02

腾讯云发布国内首个云原生智能数据湖产品图谱，构建一体化数据湖服务

腾讯云大数据产品中心副总经理雷小平表示：“伴随着企业对于数据洞察敏捷度要求的不断提升，腾讯云正在不断探索更智能、更灵活、更高性价比的大数据工具。我们看到，数据湖架构已经成为在数据智能时代的新趋势，而云是数据湖最佳的实践场所。腾讯云原生智能数据湖将助力各行各业解决多元化数据分析场景的新需求，更好地激发大数据在企业数字化升级过程中的价值。”

05

基于Flink CDC打通数据实时入湖

在构建实时数仓的过程中，如何快速、正确的同步业务数据是最先面临的问题，本文主要讨论一下如何使用实时处理引擎Flink和数据湖Apache Iceberg两种技术，来解决业务数据实时入湖相关的问题。

02

惊！腾讯挖了一个湖

企业数据量越来越大；数据类型越来越复杂；数据管理越来越吃力；现有的数据仓库技术无法满足海量、多样的数据处理需求 …… 为了帮助企业解决这些苦恼，今天，腾讯云正式发布国内首个云原生智能数据湖产品图谱简单来说，数据湖就是一个能够把“各种数据”进行集中存储并进行处理分析的系统。无论是结构化、半结构化、非结构化的数据，对它来说，来者不拒！来，先上一张图数据湖在赋予客户更高的数据敏捷度、更优的数据存储分析成本以及更极致的资源弹性能力方面，“超能打”。数据湖存储：以对象存储COS服务为核心，

03

最佳实践 | 通过Apache Hudi和Alluxio建设高性能数据湖

T3出行的杨华和张永旭描述了他们数据湖架构的发展。该架构使用了众多开源技术，包括Apache Hudi和Alluxio。在本文中，您将看到我们如何使用Hudi和Alluxio将数据摄取时间缩短一半。此外，数据分析人员如何使用Presto、Hudi和Alluxio让查询速度提高了10倍。我们基于数据编排为数据管道的多个阶段（包括提取和分析）构建了数据湖。

02

李卓豪：网易数帆数据中台逻辑数据湖的实践

导读：本文将介绍过去15年中，网易大数据团队在应对不断涌现的新需求、新痛点的过程中，逐渐形成的一套逻辑数据湖落地方法。内容分为五部分：

01

宜信数据中台全揭秘（一）数据中台整体介绍|分享实录

传统数仓定制化报表，排期周期长，响应需求慢，重复开发工作比较多。T+1的数据失效也满足不了现在互联网业务场景下对数据实时处理能力的需求。对中台平台自主化开发，可以提升数据加工能力沉淀，以及实时数据处理能力。

03

云端数智新引擎，腾讯云原生数据湖计算重磅发布

引言是否遇到过，一个简单的业务统计需求却让数据工程师们抓耳挠腮？是否遇到过，业务峰值周期明显，要么资源大量闲置，要么线上疯狂告警？是否遇到过，大数据集群运维复杂，需要投入大量技术工程师？针对以上痛点，腾讯云发布云原生数据湖计算服务，协同腾讯云端数据湖体系，帮助企业高效构建云端数据湖架构、降低数据计算成本，提升数据分析敏捷性、激发数据应用价值，助力企业数字化决策。本文作者：ericshhxie 一、数据湖的前世今生 2010年 Pentaho 公司的创始人兼首席技术官詹姆斯·狄克逊（Jame

03

宜信数据中台全揭秘（一）数据中台整体介绍|分享实录

传统数仓定制化报表，排期周期长，响应需求慢，重复开发工作比较多。T+1的数据失效也满足不了现在互联网业务场景下对数据实时处理能力的需求。对中台平台自主化开发，可以提升数据加工能力沉淀，以及实时数据处理能力。

02

云端数智新引擎，腾讯云原生数据湖计算重磅发布

2010年 Pentaho 公司的创始人兼首席技术官詹姆斯·狄克逊（James Dixon）首次提出数据湖的概念。把数据湖中的数据比作原生态的水——它是未经处理的，原汁原味的。数据湖中的水从源头流入湖中，各种用户都可以来湖里获取、蒸馏提纯这些水（数据）。此时，大家对于数据湖的理解主要是当作一个集中式的存储系统，允许存储任意规模的结构化和非结构化数据。

02

干货|流批一体Hudi近实时数仓实践

传统意义上的数据集市主要处理T+1的数据。随着互联网的发展，当前越来越多的业务场景对于数据时效性提出了更高的要求，以便及时快速地进行数据分析和业务决策，比如依托实时数据情况开展实时推荐、实时风控、实时营销等。特别是各种新技术的出现、发展和日趋成熟，实时数据分析和处理也成为可能。实时的大规模数据处理成为企业数字化转型过程中需要破解的难题，也是企业当前面临的一个普遍需求。

02

云端数智新引擎，腾讯云原生数据湖计算重磅发布

引言是否遇到过，一个简单的业务统计需求却让数据工程师们抓耳挠腮？是否遇到过，业务峰值周期明显，要么资源大量闲置，要么线上疯狂告警？是否遇到过，大数据集群运维复杂，需要投入大量技术工程师？针对以上痛点，腾讯云发布云原生数据湖计算服务，协同腾讯云端数据湖体系，帮助企业高效构建云端数据湖架构、降低数据计算成本，提升数据分析敏捷性、激发数据应用价值，助力企业数字化决策。本文作者：ericshhxie 一、数据湖的前世今生 2010年 Pentaho 公司的创始人兼首席技术官詹姆斯·狄克逊（James

02

云端数智新引擎，腾讯云原生数据湖计算重磅发布

针对以上痛点，腾讯云发布云原生数据湖计算服务，协同腾讯云端数据湖体系，帮助企业高效构建云端数据湖架构、降低数据计算成本，提升数据分析敏捷性、激发数据应用价值，助力企业数字化决策。

02

云端数智新引擎，腾讯云原生数据湖计算重磅发布

针对以上痛点，腾讯云发布云原生数据湖计算服务，协同腾讯云端数据湖体系，帮助企业高效构建云端数据湖架构、降低数据计算成本，提升数据分析敏捷性、激发数据应用价值，助力企业数字化决策。

05

袋鼠云思枢：数驹DTengine，助力企业构建高效的流批一体数据湖计算平台

7月28日，以“数智进化，现在即未来”为主题的袋鼠云2022产品发布会于线上正式开幕。发布会上，袋鼠云宣布将集团进行全新升级：从“数字化基础设施供应商”，升级为“全链路数字化技术与服务提供商”，并由袋鼠云产研负责人思枢对外正式发布了全新的四大产品体系：数据智能分析与洞察平台“数雁EasyDigit”、低代码数字孪生平台EasyV、一站式大数据开发与治理平台“数栈DTinsight”和极速湖仓引擎“数驹DTengine”。

03

袋鼠云数据湖平台「DataLake」，存储全量数据，打造数字底座

数据湖的起源，应该追溯到 2010 年 10 月。基于对半结构化、非结构化存储的需求，同时为了推广自家的 Pentaho 产品以及 Hadoop，2010 年 Pentaho 的创始人兼 CTO James Dixon 首次提出了数据湖的概念。

02

当 TiDB 遇上 Flink：TiDB 高效入湖“新玩法” | TiLaker 团队访谈

数据湖是大数据领域近年来非常火热的技术，传统数仓无法实现增量数据的实时更新，也无法支持灵活的元数据格式，数据湖技术便在这一背景下诞生了。数据库的增量变更是数据湖中增量数据的主要来源，但目前 TiDB 的入湖路径还比较割裂，全量变更用 Dumpling 组件，增量变更用 TiCDC 组件。两者处于割裂的链路， TiDB 也无法通过实时物化视图完成数据入湖的实时清洗和加工。

03

袋鼠云思枢：数驹DTengine，助力企业构建高效的流批一体数据湖计算平台

7月28日，以“数智进化，现在即未来”为主题的袋鼠云2022产品发布会于线上正式开幕。发布会上，袋鼠云宣布将集团进行全新升级：从“数字化基础设施供应商”，升级为“全链路数字化技术与服务提供商”，并由袋鼠云产研负责人思枢对外正式发布了全新的四大产品体系：数据智能分析与洞察平台“数雁EasyDigit”、低代码数字孪生平台EasyV、一站式大数据开发与治理平台“数栈DTinsight”和极速湖仓引擎“数驹DTengine”。

02

数据中台与湖仓一体能碰出怎样的火花？网易数帆实时数据湖Arctic的新探索

数据从离线到实时是当前一个很大的趋势，但要建设实时数据、应用实时数据还面临两个难题。首先是实时和离线的技术栈不统一，导致系统和研发重复投入，在这之上的数据模型、代码也不能统一；其次是缺少数据治理，实时数据通常没有纳入数据中台管理，没有建模规范、数据质量差。针对这两个问题，网易数帆近日推出了实时数据湖引擎 Arctic。据介绍，Arctic 具备实时数据更新和导入的能力，能够无缝对接数据中台，将数据治理带入实时领域，同时支持批量查询和增量消费，可以做到流表和批表的一体。

02

开源共建 | 中国移动冯江涛：ChunJun（原FlinkX）在数据入湖中的应用

ChunJun（原 FlinkX）是一个基于 Flink 提供易用、稳定、高效的批流统一的数据集成工具。2018 年 4 月，秉承着开源共享的理念，数栈技术团队在 github 上开源了 FlinkX，承蒙各位开发者的合作共建，FlinkX 得到了快速发展。

05

Paimon新版本核心特性和生产实践解读

最近Apche Paimon发布了最新版本0.7.0，在这个版本中，Paimon对一些新特性进行了增强。

01

开源共建 | 中国移动冯江涛：ChunJun（原FlinkX）在数据入湖中的应用

ChunJun（原FlinkX）是一个基于 Flink 提供易用、稳定、高效的批流统一的数据集成工具。2018年4月，秉承着开源共享的理念，数栈技术团队在github上开源了FlinkX，承蒙各位开发者的合作共建，FlinkX得到了快速发展。

03

实时湖仓一体规模化实践：腾讯广告日志平台

本文为从大数据到人工智能博主「bajiebajie2333」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。

01

鱼和熊掌可以兼得，云原生开启“数据库大数据一体化”新时代

允中发自凹非寺量子位编辑 | 公众号 QbitAI 10月23日数据湖高峰论坛上，阿里巴巴集团副总裁、阿里云智能数据库产品事业部负责人、达摩院数据库与存储实验室负责人李飞飞表示:“云原生作为云计算领域的关键技术与基础创新，正在加速数据分析全面进入数据库大数据一体化时代”。 △ 阿里巴巴集团副总裁、阿里云智能数据库产品事业部负责人李飞飞他表示，随着数字化转型进程深入推进，企业的数据存储、处理、增长速度发生了巨大的变化，传统数据分析系统在成本、规模、数据多样性等方面面临很大的挑战。云计算的发展正在加

02

构建企业现代化数据平台，从“智能湖仓”开始｜Q推荐

2021 年初，在 InfoQ 全年技术趋势展望中，数据湖与数据仓库的融合，成为大数据领域的趋势重点。直至年末，关于二者的讨论依然热烈，行业内的主要分歧点在于数据湖、数据仓库对存储系统访问、权限管理等方面的把控；行业内的主要共识点则是二者结合必能降低大数据分析的成本，提高易用性。

03

QCon大会实录：PB级数据秒级分析-腾讯云原生湖仓DLC架构揭秘

导语 ‍‍‍‍文章整理了全球软件开发大会QCon《PB级数据秒级分析-腾讯云原生湖仓DLC架构揭秘》。大数据基于海量数据的分析，硬件、存储、计算资源尽量都可以用廉价的资源完成，如何在廉价资源上进行性能优化尤为重要。大数据是一种IO密集型负载，性能优化也首先着眼于IO优化。 ‍‍‍‍ 开篇：云提供了便利的按需使用方式，最佳实践非常重要主持人：过去几年，数据湖能力已经在腾讯内部包括微信视频号、小程序等多个业务大规模落地，数据规模达到 PB 至 EB 级别，在此基础上，腾讯自研业务也启动了云原生湖仓能力建设

02

直播｜分析型湖仓论坛

随着湖仓技术的持续演进，数据仓库和数据湖方案在快速演进和弥补自身缺陷的同时，二者之间的边界也逐渐淡化，湖上建仓、仓中数据降冷到湖、物化视图、冷热融合查询等方案也越来越多的成为各个公司的标配，各大厂商也陆续提出了自己的湖仓融合方案，通过湖仓融合技术来提升业务使用体验的同时也降低了业务的使用成本。

02

一份数据满足所有数据场景？腾讯云数据湖解决方案及DLC内核技术介绍

摘要 OLAP数据库/引擎日新月异，不断推陈出新，在各种场景下有不同引擎的价值：flink擅长于实时数据集成/实时计算；spark批处理、tb级以上、hive生态、复杂join的数据分析、以及机器学习；presto联邦分析、较简单join、tb级以下hive生态udf数据分析；clickhouse 大宽表聚合操作、无数据更新、尽量无join、没有复杂udf的亚秒级分析，tensorflow深度学习等等即使相同的引擎，考虑资源隔离、成本分摊、数仓研发/使用周期（test，adhoc，prod，backfil

03

别说你懂湖仓一体

数据库行业正走向分水岭。过去几年，全球数据库行业发展迅猛。2020年，Gartner首次把数据库领域的魔力象限重新定义为Cloud DBMS，把云数据库作为唯一的评价方向；2021年，Gartner魔力象限又发生了两个关键的变化： 1、Snowflake和Databricks两个云端数据仓库进入领导者象限； 2、放开了魔力象限的收入门槛限制，SingleStore、Exasol、MariaDB、Couchbase等数据库新势力首次进入榜单。某种程度上，这种变化的背后，暗示着全球数据库已经进入发展的黄金时

03

直播预约中！9.26腾讯大数据XStarRocks技术专题探讨

随着数据爆炸式增长，如何高效处理和分析海量数据已经成为关键挑战，结合传统数仓与数据湖优势的湖仓一体（Lakehouse）架构崭露头角，成为大数据领域势不可挡的趋势。

02

大数据技术的发展趋势

英国牛津大学教授维克托·迈尔-舍恩伯格在其所撰写的《大数据时代》中表述，大数据时代是“已经发生的未来”，而在这个已经发生的未来里，没有旁观者。

03

oushudb丨案例分析丨湖仓一体助力保险企业数据战略转型升级

当下，海量数据结合前沿技术架构正在为保险业带来根本性的变革。本文以某知名保险机构为例，结合偶数行业实践经验，介绍保险企业如何利用湖仓一体技术推动数据战略转型升级。背景介绍在对该客户需求进行深度挖掘并横向比较行业现状后，我们发现：(1) 包括该客户在内的多数保险企业的数据分析场景较为单一，直接产生业务价值的数据挖掘不够丰富；(2) 该客户现有数据分析场景的效率、性能、用户体验都亟待提升。下文我们详细展开分析。业务场景分析客户现有的数据分析应用集中在经营分析、监管报送和风险管控等几个传统场景，其实不止该客户，目前大多数保险企业的大数据业务应用价值挖掘都还不够丰富。1.风险管控仅以目前多数保险企业都非常关注的风控环节为例，该客户仍以风险部门固定报表分析为主，而通过风险数据建模，应用在投保前风险排查、承保中风险管控及理赔时风险识别和反欺诈等全业务链条还非常有限。在投保环节，可以利用数据搭建风险评估模型，筛查高风险客户，对大概率产生负价值的客户采用拒保或者提高保费的方式以减少损失。以互联网场景下的意外险和健康险为例，由于投保手续较为简单，很多产品免体检，只需要填写投保人基本信息即可，这些业务中，很容易出现投保人隐瞒病情、造假家庭收入的情况，逆向选择甚至欺诈的可能性非常大。因此在投保场景下可以利用数据进行多维分析，及时发现高风险投保客户，避免欺诈行为的发生。在承保运营环节，相比较传统风控，大数据风控让保险机构对保险用户的动态跟踪反馈，定期对承保中用户信息进行维护，更新用户风险指数。此外，在加强用户信息安全管理和隐私方面，保险公司借助大数据和人工智能（如设备指纹、IP 画像、机器行为识别等工具）加以防范，在回访环节，根据用户情况及其手机在网状态选择拨打方式及话术，更有利于提高回访效率，提升客户体验。在理赔环节，大数据风控先通过构建模型的方式筛查出疑似欺诈的高风险案件，然后再人工重点审核和调查，减少现场查勘误差，提高查勘效率。除了风险管控，通过数据赋能业务还可以落地在其他几个重点保险场景中，包括产品创新、风险定价、精准获客。接下来我们展开说明下数据赋能这些场景的形式和实现逻辑。

01

Flink在汽车之家实时计算场景中的落地实践

Apache Flink 功能强大，支持开发和运行多种不同种类的应用程序，是业界公认的性能优异的大数据实时计算引擎之一。事实证明，Flink 已经可以扩展到数千核心，其状态可以达到 TB 级别，且仍能保持高吞吐、低延迟的特性。在全球范围内，越来越多的公司开始使用 Flink，在国内比较知名的互联网公司如阿里巴巴、字节跳动、京东、美团等，都在大规模使用 Flink 作为企业的分布式大数据处理引擎。

03

字节跳动基于 Apache Hudi 构建实时数仓的实践

导读：今天很高兴能与大家分享字节数据平台在实时数仓中的一些实践。目前在数据湖和Hudi相关的一些基本技术原理方面社区已有较多的介绍，所以我们今天的分享主要聚焦于实践部分的内容。

04

数据湖真的能取代数据仓库吗？【SNP SAP数据转型】

数据湖是近两年中比较新的技术在大数据领域中，对于一个真正的数据湖应该是什么样子，现在对数据湖认知还是处在探索的阶段，像现在代表的开源产品有iceberg、hudi、Delta Lake。

04

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭