文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布

腾讯云TBDS在海量Iceberg的治理之路

本文共计6044字 预计阅读时长19分钟 TBDS（Tencent Big Data Suite）是腾讯基于多年大数据实践构建的一站式、高性能、企业级大数据存储计算分析平台。...TBDS Lakehouse 作为 TBDS 产品的重要组成部分，目前已服务国内众多头部券商、大型能源国企、头部银行等大中小型客户。...基于此，TBDS也将 Iceberg作为了TBDS数据湖组件主要的表格式。...TBDS LakeKeeper：TBDS Lakehouse治理平台 LakeKeeper 是TBDS 针对TBDS-Lakehouse治理推出的自研平台，目前在海量Iceberg表治理场景，通过 “主从架构...因此，TBDS产品中TI(TBDS Insight)提供了一套实现方案，来主动检测和发现客户在TBDS中使用不合理或者存在使用优化空间的问题，针对这些现象给出优化建议。

1K10

深入腾讯云TBDS：大规模HDFS集群优化实战

腾讯云TBDS是腾讯大数据能力的私有云产品化，结合内部实践和典型客户的具体情况，对HDFS做了系统的优化。...为了进一步优化Router本身性能，在腾讯云TBDS产品中将Router的响应请求异步化，解耦同步等待时间以提升Router的吞吐量。...而我们在腾讯云TBDS产品中采用了树型锁，不仅针对写、也对读操作进行了更细粒度的锁拆分，可以更有效地提升读写性能。 自研拆锁的设计原则 锁用来保护数据，而非保护流程。...，详细参考： 图七 例如路径锁分配（蓝色为读锁，红色为写锁）： 图八 若每个INode都一个INode lock，10亿INode（每个锁100B），预计占用90GB堆内存，易引发内存膨胀，因此我们在腾讯云...05、未来展望 腾讯云TBDS集群拓展性上支持Router按业务扩容，在确保提升集群整体的规模基础上且不损失性能。性能上可进一步优化HDFS NameNode的元数据存储，将元数据分解下沉至外部存储。

2K32
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    腾讯云TBDS：实现大数据平台自主创新与CDH平滑替换

    构建全栈自主创新的大数据平台能力 腾讯云TBDS（Tencent Big Data Suite）提供一站式大数据存储、计算、分析平台，核心方案包括： 湖仓统一存算底座引擎：融合TBDS与TCHouse，...量化提升平台运维效率与业务连续性 运维效率提升：通过TBDS-Manager实现全场景管控，问题工单数量下降超过50%（来源：腾讯云内部运维数据）。...采用腾讯云TBDS后： 平台规模：部署1200个节点，承载四大平台数据实时入湖（来源：项目部署记录）。...腾讯云的技术领先性与行业认可 资质认证：获得40+项专利、30+项软件著作权、20+项行业奖项（来源：腾讯云资质文件）。...TBDS入选工信部“2020年度信息技术融合创新解决方案”典型案例，并收录于《信息技术融合创新技术图谱》。

    19000

    腾讯云TBDS斩获两大奖项！

    腾讯云大数据处理套件TBDS凭借其卓越的创新能力和实践案例，荣获两大奖项： 新一代信息技术创新产品：TBDS以其湖仓一体、存算分离的新一代云原生大数据架构，以及强大的性能、国产化生态和安全体系，获得了业界的高度认可...图一 腾讯云TBDS： 新一代信息技术创新产品 腾讯云TBDS是面向数据全生命周期的、一站式的大数据统一存储、计算、分析平台，融合了数据仓库的高性能及管理能力与数据湖的灵活性，支持多种数据类型并存，实现数据间的相互共享...全面国产化生态：TBDS涵盖国产化芯片、操作系统、服务器、数据库等领域，支持对常见的鲲鹏、海光、飞腾、申威、兆芯、中标麒麟、银河麒麟、中科红旗、统信UOS、腾讯云TDSQL等产品的适配，拥有20+软著和...该平台为金融行业安全可控迈向新水平提供了重要范例，具有以下特点： 全栈国产化：该平台基于腾讯云TBDS构建，从基础设施到应用层均采用国产化软硬件，实现了全面的自主可控，保障金融数据安全。...腾讯云TBDS的获奖，充分彰显了其在创新能力和实践案例方面的领先优势。

    68410

    重构云原生湖仓架构：腾讯云TBDS释放企业数据资产生产力

    徐晓敏 | 腾讯云大数据总经理 突围传统大数据架构的资源耗损与运维困境 在数据复杂化、应用多元化与需求敏捷化的趋势下，企业在构建和管理大数据平台时普遍面临四大战略困境，严重制约了数据价值的转化效率： 计算存储资源冗余...部署新一代全栈国产化云原生湖仓平台 为解决上述瓶颈，腾讯云提供以 新一代大数据平台TBDS、一站式大数据开发治理平台WeData 及 腾讯云BI 为核心的全景式数据架构解决方案： 升级云原生Lakehouse...支持国密算法（WeData数据分级分类；TBDS存储SM4透明加密，KMS商密证书）。...落地金融与政务超大规模复杂场景验证 腾讯云大数据方案已在多个极高稳定性要求的行业标杆客户中完成工程化验证： 太平人寿（准实时湖仓实践）： 应用场景： 构建全公司级统一数据平台，改造原有基于Hive/Flink...沉淀底层算力调度经验与权威合规资质 腾讯云TBDS的底层能力源于腾讯内部千万核算力规模、日接入85万亿条数据及日150万亿次实时计算的大规模运营技术沉淀。

    25710

    腾讯云大数据TBDS数据湖荣获IDC金融领域最佳实践案例

    针对这些难题，腾讯云TBDS为该银行量身定制了存算分离数据湖解决方案，助力其成功克服挑战，实现数据管理效能的提升。...落地成果斐然，打造金融行业数据管理标杆 得益于腾讯云大数据TBDS存算分离数据湖方案的强大实力，该股份制银行取得了显著的成效： ● 核心场景查询性能提升：得益于TBDS的存算分离架构和弹性扩缩容能力，该银行核心场景查询性能提升了...该案例充分展现了腾讯云大数据TBDS在金融领域数据管理领域的领先优势，为金融机构构建安全、高效、可扩展的数据管理平台提供了最佳实践范本。...“我们非常荣幸获得IDC的认可，此次入选是对腾讯云大数据TBDS数据湖方案实力的肯定。我们将继续深耕金融行业，为金融机构提供更优质的数据管理解决方案，助力金融机构数字化转型升级。”...腾讯云副总裁黄世飞表示。

    1K10

    深入腾讯云TBDS: 湖仓架构下存储自动化治理实践

    数据湖底层文件治理成本也随之增高，一方面是用户在湖仓架构上使用的便利与高效，另一方面是湖仓架构下万亿级文件治理带来的运维成本，目前业界在数据湖存储治理方面开源且易用的方案并不多，我们基于项目中的实战经验，分享腾讯云...基于腾讯云TBDS 在客户侧丰富的实践经验，我们开始在 Amoro 的基础上通过改造，赋能 TBDS 上一个功能全面易用的数据湖优化组件，简单描述我们的预期为： 用户只需要在工作台编辑配置表的属性配置，...，主要基于以下出发点： ● TBDS目前提供面向云原生的计算集群，但是考虑到大量的客户主要计算资源依旧为yarn, 所以云原生场景下依旧需要完整的支持 Yarn 作为主要的计算资源。...// Call Luoshu again when got an unexpected error return false; } 4、总结与展望 4.1 业务使用效果 目前我们已经在腾讯云...腾讯云大数据始终致力于为各行业客户提供轻快、易用，智能的大数据平台。 关注腾讯云大数据公众号 邀您探索数据的无限可能

    94720

    腾讯云 TBDS 新一代数据湖仓产品与商业实践概要

    数据来源说明： 本概要基于2024腾讯全球数字生态大会主讲人 莫亦寒 的《TBDS新一代数据湖仓助力企业数据架构升级》主题报告内容提炼。...一、 产品定位与核心亮点 技术定义 TBDS 是一套基于“云原生+大数据+AI技术生态”构建的新一代数据湖仓平台。...极致计算与存算解耦： 摆脱传统大数据平台资源无法准确估算的高成本困境，利用 K8S 原生能力实现计算无限伸缩，且不锁定私有云设施。...二、 产品应用场景 TBDS 主要面向存在数据孤岛、对数据时效性要求极高，且面临大规模资源调度瓶颈的政企客户（如金融银行、保险机构等）。...生态集成： 向上无缝对接 WeData、腾讯云 BI、探索分析及 TI-ONE（AI平台）；底层集成全场景数据集成工具 DataInLong。 2.

    29700

    腾讯云大数据 TBDS 在私有化场景万节点集群的实践

    在 腾讯云基础软件创新实践专场，来自腾讯云的 TBDS 大数据引擎研发负责人杨鹏程带来了主题为《腾讯云⼤数据 TBDS 在私有化场景万节点集群的实践》的演讲，以下为主要内容。...本次分享主要分为三个部分展开：第一部分是 Hadoop 体系下存算⼀体存在的问题；第二部分是 TBDS 存算分离架构和三层优化；第三部分是云原⽣环境下计算引擎优化和最佳实践，最后是对本次分享内容的总结。...像云数仓这种服务越来越火，存算分离也借助与云原生和缓存加速真正实现大规模生产实践的落地。...TBDS 存算分离架构和三层优化 通过前面存算一体提出的问题以及存算分离的简单的介绍，我们从三个核心点设计和考虑我们的存算分离架构，主要是核心扩展性、海量存储计算速度和云原生。...我们整体是往云原生方面发展，计算引擎也越来越多的往云原生上开发适配。

    2K20

    腾讯云TBDS面向AI时代的多模态智算平台，助力企业AI转型

    本文共计5625字 预计阅读时长17分钟 // TBDS · 多模智算平台系列 // 01 腾讯云TBDS面向AI时代的多模态智算平台，助力企业AI转型 02 ...... 03 .........腾讯云TBDS基于腾讯TCS云原生套件构建多模态数据智算平台，CPU和GPU在一个集群里面混合调度，数据在共享内存Object Memory Store里面高效传输，打通数据预处理，模型训练和推理服务上线全部流程...腾讯云TBDS智算平台 TBDS智算平台基于构建的多模态数据智算引擎，通过分层架构设计将异构资源管理、分布式计算、模型服务有机整合，实现了从数据接入、特征工程、模型训练到推理部署的全链路闭环，为企业提供一站式...目前已经支持如下常用的SQL AI Function : 统一推理服务平台 TBDS基于腾讯 TCS 云原生架构，构建 TBDS 统一推理平台，为企业提供从模型接入到业务落地的全链路推理能力，解决了传统推理架构中芯片锁定...关注腾讯云大数据╳探索数据的无限可能 往期精彩

    26910

    腾讯云大数据平台 TBDS全面升级，加速构建安全可控的大数据生态

    8月22日，腾讯云大数据首届“智理无数，心中有数”伙伴交流会在深圳滨海大厦举办。本次会议主要围绕腾讯云大数据平台TBDS产品的全新升级，以及在渠道伙伴中的推广策略及应用实践展开。...腾讯云副总裁刘煜宏 此次升级，腾讯云TBDS在三大核心引擎上更加注重底层自研能力提升，通过领先的自研技术和前沿的技术理念持续强化安全可控水平。...针对伙伴比较关心的售卖环节，腾讯云产业生态合作部总经理张大捷提到，“腾讯云大数据平台TBDS具备全面自主国产化和平台开放的优势，适配各行业客户需求，提供灵活的场景适配方案。...作为腾讯云大数据平台TBDS首个完成产品集成的合作伙伴，国泰新点生态合作部总经理殷利明先生介绍了腾讯TBDS产品给自身产品带来的技术性能提升和全链路开箱即用工具链的支持，快速赋能到国泰新点政务大数据项目的数据平台建设和项目落地...通过国泰新点跟腾讯云大数据TBDS的合作案例，也为其他伙伴深度合作开拓了新的思路和机会。

    2.4K20

    腾讯云TBDS+WeData企业级数据中台荣获IDC工业领域最佳实践案例

    基于腾讯云 TBDS+WeData 打造的新一代数据中台，企业完成中国数字化营销平台和数字化服务平台构建，助力精准营销、售后服务增长和供应链库存优化，实现数据分析支持企业决策。...腾讯云 TBDS+WeData 数据中台解决方案，通过构建统一、高效、安全的数据管理平台，帮助工业企业实现数据的有序组织、治理和呈现，助力企业降本增效。...腾讯云 TBDS+WeData 数据 中台方案优势 ●全栈自主创新：TBDS+WeData已全面适配项目国产芯片、操作系统，从硬件到软件，全链路自主创新； ●CDH 迁移：提供了 CDH 平滑迁移方案、...该企业面临着数据分散、质量低、难以利用等挑战，腾讯云为客户提供大数据产品 TBDS+Wedata 来构建企业级数据中台，助力精准营销、售后服务增长和供应链库存优化。...该方案整合了腾讯云 TBDS 和 WeData 的优势，提供了丰富易用的数据开发和治理功能，显著降低了数据开发和运维难度，大幅提升了数据开发效率。

    1.3K10

    腾讯云TBDS：新一代数据湖仓实践，助力企业数据架构升级

    企业数据架构升级实践案例 01、TBDS 新一代数据湖仓架构 腾讯云大数据 TBDS 是一款依托腾讯多年海量数据处理经验，基于云原生技术，泛 Hadoop 生态和最前沿的湖仓技术打造的可靠、安全、易用的大数据平台...在新一代产品中，TBDS 灵活地为用户提供了两种架构下的大数据计算服务，在现有的传统架构大数据集群之外，用户可以无缝弹性扩展计算到新一代架构的湖仓计算服务当中，享受 TBDS 基于云延伸+大数据+AI...并且我们通过腾讯自研的 KonaJDK 在大数据领域的专项优化，以及 TBDS 多年以来在信创大数据领域的经验沉淀，TBDS 实现了对于国产软硬件性能的极致优化，可以最大化地发挥硬件性能潜力，充分保证业务的信创升级...其中一个重要的升级是基于 TCE 平台，新一代 TBDS 升级了完整的云数一体能力，统一对接 TCE 云平台的资源和用户体系，支持一键部署 TBDS 大数据服务，免去了复杂的前期准备。...在未来，我们将继续完善 TBDS 湖仓大数据平台。在更多大数据场景的能力支撑和使用体验优化，并且探索更多新场景和性能优化的方向，腾讯云大数据始终致力于为各行业客户提供轻快、易用的智能化大数据平台。

    2K20

    腾讯云TBDS大数据套件助力金融核心系统信创改造，性能提升71%

    采用国产化技术栈的集成解决方案 本方案提供了一条明确的技术路径：采用海光芯片、麒麟操作系统、深信服虚拟化/云平台与腾讯云TBDS大数据套件进行集成部署。...客户通过部署腾讯云TBDS大数据套件，成功完成了营销数据中心数据库的信创改造。...腾讯云的技术实力与生态认证 腾讯云TBDS大数据套件作为方案的核心，其价值已获得行业权威认可。...方案所依托的国产化技术生态（海光、麒麟、深信服）与腾讯云自身的大数据能力，共同构成了其在金融信创领域提供确定性技术输出的坚实基础。...数据来源：腾讯云计算（北京）有限责任公司《金融大数据解决方案》技术文档。

    13410

    腾讯云大数据TBDS 助力国有大行一表通业务性能翻三倍！

    1.腾讯云 TBDS 大数据平台介绍 腾讯云 TBDS 是腾讯经过多年的大数据实践，面向数据全生命周期，对外提供安全、可靠、易用的一站式、高性能、企业级大数据存储计算分析平台，腾讯云TBDS 已落地金融...、政务、能源、工业等多个行业，交付了 1000+ 的私有云大数据项目，腾讯云 TBDS 从 2017 年开始支持某国有大行的大数据平台建设，在大规模集群支持、核心业务性能优化、金融级数据安全、国产化创新...●目前腾讯云 TBDS 在此项目的一表通业务涉及的数据量级单表百亿级，整体任务量在数百个左右，并且任务中有多层依赖关系，所以一表通涉及到监管报送的月批业务需要腾讯云 TBDS 跑 2 ～ 3 天左右。...落地效果 一表通业务在腾讯云 TBDS 落地的架构如下： ●CBO 实际优化后，一表通中存款、贷款、投融资中的跑批作业任务，腾讯云TBDS 版 Hive CBO优化后的性能综合提升 15%； ●向量化优化后...未来随着客户业务的升级与腾讯云 TBDS 版本升级演化，通过架构改造，从而进一步整体降低计算资源成本，提升运行效率。

    2K10

    腾讯云TBDS与WeData：以全栈国产化大数据平台应对海量数据挑战

    提供一体化湖仓架构与智能开发治理方案 腾讯云推出全新一代大数据处理套件TBDS与一站式数据开发治理平台WeData。...TBDS采用云原生Lakehouse架构，集成Iceberg、StarRocks等引擎，支持存算分离与多源异构数据分析。...腾讯大数据的技术权威与行业认可 腾讯大数据平台的技术领先性源于自身海量业务锤炼： 技术实力：拥有1000万核算力规模，日处理离线作业数1800万，机器学习作业数50万。...权威认证：TBDS荣获2023-2024年度新一代信息技术创新产品；国有银行金融大数据解决方案入选工信部“年度信创解决方案典型案例”；并获2023中国大数据应用突破产品。

    28010

    海光+麒麟+腾讯云TBDS技术路线：实现金融核心系统71%性能提升与平滑迁移

    数据来源： 金融信创生态实验室（北京金安信息技术有限责任公司）《2023年度金融信创优秀解决方案——腾讯云金融大数据解决方案》（编号:Y-CY202303057） 1....构建基于信创底座的大数据技术栈 本方案采用确定的技术路线完成企业内部核心系统改造：海光芯片 + 麒麟操作系统 + 深信服虚拟化/云平台 + 腾讯云数据库。...资源扩展： 采用本地部署模式，TBDS大数据集群配置 30个数据节点，节点数较原CDH集群增加 58%。 4. 某金融客户核心系统数据库改造实践 客户背景： 某需要进行核心系统信创改造的金融机构。...实施内容： 采用腾讯云TBDS大数据套件，替换原有的低版本CDH组件。 实施结果： 通过本地部署30个节点的TBDS集群，成功实现了资源扩容。

    13510

    鹏华基金核心系统完成国产化升级，腾讯云大数据TBDS再拓应用新场景

    5月8日，腾讯云联合鹏华基金共同对外宣布，通过双方技术团队以及战略合作伙伴华云中盛共同努力，腾讯云大数据套件TBDS日前已经正式在鹏华基金大数据核心系统落地应用，实现对原有大数据TA（Transfer...出于技术领先性、安全性、易用性、性能、售后服务等方面的综合考量，鹏华基金在对比多个国内产品后，最终选择了在金融行业有丰富案例积累的腾讯云大数据处理套件TBDS作为替换平台。...在新系统建设过程中，腾讯云对鹏华基金大数据TA进行了数据迁移和应用关联改造，成功将原有数据迁移到腾讯云大数据处理套件TBDS平台并提升了TA清算性能，其交易清算耗时相对于旧生产环境节省三分之一，降低了系统清算风险...目前，腾讯云大数据TBDS已持续为超1000家中大型客户构建国产化大数据方案。 腾讯云TBDS现已在金融行业成功打造了多个突破性案例，在中金财富、中国银行、兴业银行等多家头部金融机构落地。...2022年，腾讯云TBDS还助力中信建投打造了证券行业首个国产化大数据平台，进一步实现了大数据处理系统的全面自主可控。

    85420

    大数据平台深度分析与对比

    本文将对腾讯云大数据套件、TBDS、Tencent Big Data Suite、大数据平台、数据中台等产品进行深度分析和对比。...腾讯云大数据套件 大数据组件 腾讯云大数据套件提供了全面的大数据组件支持，包括但不限于HDFS, Spark, Hive等，以满足不同数据处理需求。...Hbase Hbase在腾讯云大数据套件中用于提供高性能、可扩展的NoSQL数据库解决方案。 多租户 腾讯云大数据套件支持多租户架构，确保不同用户间的数据隔离和安全性。...集群联邦能力 腾讯云大数据套件支持集群联邦，允许跨多个集群进行资源管理和数据访问。 TBDS 大数据组件 TBDS提供了包括HDFS, Spark在内的大数据组件，以支持复杂的数据处理任务。...腾讯云大数据套件、TBDS和数据中台都提供了这些核心能力，以支持企业在数据存储、处理、分析和治理方面的需求。

    45810
    点击加载更多

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 粤公网安备44030502008569号

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号

      领券