Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >面向大模型,腾讯云大数据重磅发布ES及数据湖产品新版本

面向大模型,腾讯云大数据重磅发布ES及数据湖产品新版本

作者头像
腾讯QQ大数据
发布于 2023-09-15 05:50:16
发布于 2023-09-15 05:50:16
5500
举报

导读

在2023腾讯全球数字生态大会大数据专场上,腾讯云大数据正式发布云数据仓库全新品牌TCHouse,全面构建性能与易用性兼具的企业级云数仓体系。同时,还针对大模型场景,率先在国内发布具备云端AI增强与向量检索能力的ES 全新版本,以及代表下一代Lakehouse湖仓架构的数据湖计算产品DLC,免运维、轻量化、低门槛等新特性,助力客户轻松构筑面向AIGC的企业大数据基座。

腾讯云副总裁黄世飞表示:“针对AI大模型在全球范围内引爆新一轮数据变革,作为国内云原生大数据的先行者,腾讯云大数据一方面为客户带来弹性易用的云原生大数据产品,另一方面则为客户提供能与大模型集成的端到端的搜索与分析体验,加速推进大数据与AI的融合进程。”

据了解,近年来腾讯云大数据在产品能力和市场规模上发展迅猛。在全球权威研究机构Forrester发布的最新的《The Forrester Wave: Cloud Data Warehouses, Q2 2023》重磅报告中,腾讯云大数据与国际顶尖厂商同台竞技,成为国内唯二的入选厂商;在国内市场,腾讯云大数据同时入选沙利文的《2023年中国数据管理解决方案市场报告》与赛迪的《2022-2023年中国大数据市场研究年度报告》,成为双料领导者。

《大数据自主创新应用白皮书》正式启

动,深度剖析国内大数技术总体态势

自主创新能力是一个国家的核心竞争力。其中,大数据作为激活数据要素潜能的关键支撑,加速自主创新,更是成为各类数字经济应用的重要引擎。最近一年来,我国的大数据发展迎来了全新阶段,政策、法律不断完善,技术不断创新,产业规模持续增长,新产品、新服务、新模式不断涌现,大数据生态日益完善。

为了更好地发挥大数据的价值,在专场上,黄世飞与中国信通院云计算与大数据研究所副所长魏凯共同启动了《大数据自主创新应用白皮书》的编写工作。魏凯表示,《大数据自主创新应用白皮书》由腾讯云和中国信通院共同编写,将深度剖析我国大数据自主创新技术发展的总体态势,并重点针对核心领域,逐一分析、探讨其发展现状、特征、问题和趋势,从而推动我国大数据产业高质量发展。

黄世飞则指出,本次白皮书的联合撰写是双方共同进行技术创新、加强紧密合作的重要契机。“通过这次联合发布,希望让业界看到我们双方对大数据技术系统化发展的思考。未来我们也有更多机会进行合作交流,充分发挥在金融科技、信息技术创新方面的优势,共同加速大数据在行业内的创新及落地。”

重磅发布多款大数据新产品、新版本

,云数据仓库新品牌全新升级

基于在大数据领域的产品能力积累与创新,结合自身海量业务在AI与大数据交叉应用的实践经验,腾讯云大数据发布了部分产品的新版本与新能力,并实现了腾讯云大数据·云数据仓库TCHouse的全新品牌升级。

专场上,腾讯云ES率先在国内首发 8.8.1版本。腾讯云大数据商业化负责人张昆介绍,该版本提供强大的云端AI增强与向量检索能力,10亿级向量检索平均响应延迟控制在毫秒级,可助力客户实现由AI驱动的高级搜索能力,为搜索与分析带来全新的前沿体验。同时,还发布了腾讯云ES 存算分离版,通过物理复制和混合存储技术,去除计算和存储冗余,同时计算与存储资源解耦,带来秒级弹性优势,使得集群整体拥有成本下降50-80%。

随后,腾讯云大数据发布了DLC – AIGC大数据基座 & 下一代Lakehouse湖仓架构。张昆表示,在新兴的AIGC场景中,DLC依托其Serverless形态下免运维、轻量化、低门槛的特性,以及像内置了对Pyspark支持与优化、对Jupyter良好的集成性,能够很好的成为AIGC的大数据基座。而下一代Lakehouse湖仓架构,可以实现数据资产统一建设,帮助用户敏捷、低成本地管理和分析海量数据,解决了传统单一的数据架构下无法满足多变的数据分析需求的难题。

最后,腾讯云大数据·云数据仓库TCHouse实现了品牌全新升级。作为新一代云原生的数据仓库品牌,TCHouse共分三大产品系列,分别是云数据仓库 TCHouse-C、云数据仓库 TCHouse-D、云数据仓库 TCHouse-P,共同构成性能与易用性兼具的企业级云数仓体系,可有效满足用户在不同业务场景中的方案选型,提升用户数据分析效率、赋能用户快速决策。另外,TCHouse-C 还在现有的标准版基础之上,正式发布云原生弹性版本,进一步提升弹性效率,助力各行业客户降本增效。

支持百万级QPS、十亿级向量,腾讯

云ES国内率先发布全新版本

面对腾讯云ES发布的全新版本,腾讯云大数据ES产品负责人任翔,全方位总结了该产品在向量检索和AI增强搜索上的优势。他指出,首先,腾讯云ES是一个原生的向量搜索引擎,具有独有的混合搜索能力,使用已有的Search API,结合全文检索,可轻松实现多路召回、混合打分、Faceting聚合分析能力,提升搜索准确性。其次,腾讯云ES是一个端到端一站式的向量检索方案,可大幅度降低企业算法工程的接入成本。再次,腾讯云ES可以和丰富的第三方工具集成。最后,腾讯云ES拥有简单易用、成熟稳定的高可用架构,可支持支持百万级QPS、十亿级向量规模。

对于未来,任翔表示,腾讯云ES将在技术架构、用户体验、商业价值等方面进一步洞察企业的需求,并以持续创新为企业创造更多的价值,赋能商业革新。

实时分析性能提升20倍,深挖半结构

化数据价值

面对数据来源广泛、数据价值潜力巨大的半结构化数据,全新升级的腾讯云数据仓库 TCHouse-C基于Schema-less无与伦比的灵活性与扩展性,大幅提升ClickHouse实时处理/分析大规模半结构化数据的能力,在大数据实时分析领域构建了更加强大的竞争力。

腾讯云数据仓库高级产品经理表示,Schema-less不需要预先定义数据的结构和模式,而是可以根据需要动态地创建和修改数据的结构。这种方式可以使数据存储和处理更加灵活和适应性强,可以适应不同类型和格式的数据,同时也可以减少数据处理的复杂性和成本。据实践结果显示,在日志检索以及APM场景下,TCHouse-C对半结构化数据实时分析性能提升20倍;同时为公有云客户节约了大量硬件成本,做到秒级返回查询结果。

支持百万级实时更新写入,为业务升

级保驾护航

作为云原生Serverless化的大数据分析服务,腾讯云数据湖计算 DLC兼具数据湖与数据仓库的优势,全场景覆盖大数据存储与分析;同时还具备云原生、实时性强、简单易用扩展性强等特征,能够高效、稳定地支持大规模的数据预处理,让大模型企业客户可以极大释放对大数据底层基础设施建设投入的精力与成本,为客户的AI业务护航。

腾讯云大数据DLC专家工程师陈万东为与会嘉宾介绍了数据湖计算 DLC在百万级实时Upsert场景的成功实践。在某头部金融券商,腾讯云基于 DLC + Flink + Wedata 搭建湖仓一体近实时数据分析平台,数据从业务数据库流入kafka,所有数据通过Flink实时写入DLC,大幅简化架构,节约资源。实测Upsert达到120万/s,结合Smart Optimizer服务,数据分钟级可见;同时全链路作业时间从6h缩短到4h,效率提升约20%,使用的资源成本减低20%。

未来,腾讯云大数据将继续推动大数据产品、方案与服务的广泛落地,把先进的大数据云服务能力输出给全球各地区客户,加速更多企业实现数字化升级与业务创新。

关注腾讯云大数据公众号

邀您探索数据的无限可能

点击阅读原文,了解更多产品资讯

↓↓↓

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2023-09-14 18:16,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 腾讯云大数据 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
腾讯云PaaS:感谢认可,再接再厉!
国际权威行业研究机构IDC发布《中国公有云市场份额报告,2023H1》。报告显示:
小腾资讯君
2023/11/06
2930
腾讯云PaaS:感谢认可,再接再厉!
腾讯云首发大数据高性能计算引擎Meson,支持三大产品线性能升级
目前, Meson 已登陆腾讯云数据湖、检索分析服务、云数据仓库三大业务线,为企业在湖仓一体分析、向量检索、海量数据离线计算等业务场景带来卓越的性能表现。
腾讯QQ大数据
2024/07/01
6520
腾讯云首发大数据高性能计算引擎Meson,支持三大产品线性能升级
大满贯!原来你是这样的腾讯云大数据
在国际四大权威机构IDC、Gartner、Forrester和Frost & Sullivan的报告中,腾讯云大数据获得了多项第一,以及领导者称号!
腾讯QQ大数据
2024/11/18
1750
大满贯!原来你是这样的腾讯云大数据
腾讯云位居 IDC MarketScape 中国实时湖仓市场“领导者”类别
IDC MarketScape 厂商评估模型旨在为特定市场中信息和通信技术(ICT)厂商的竞争力提供一个概述。研究方法采用严格的定性和定量的标准的评分方法,以单一的图形说明每个厂商在特定市场中的位置。IDC MarketScape 提供了一个清晰的框架,在其中可以对 IT 和信息通信技术厂商的产品、服务、能力和策略以及当前和未来的市场成功因素进行有意义的比较。该框架还为技术买家提供了针对当前或潜在厂商的 360 度优劣势评估,为技术买家提供参考。
腾讯QQ大数据
2024/08/05
2140
腾讯云位居 IDC MarketScape 中国实时湖仓市场“领导者”类别
腾讯云放大招!重磅发布全新大数据计算引擎,性能提升6倍
在刚过去的618购物节,某大型电商企业的订单量在几小时内激增至平时的几十倍。如果该企业的大数据计算引擎无法及时处理这些数据,订单处理、库存管理和客户服务将面临严重滞后,导致客户体验下降和销售机会流失,甚至损害品牌声誉。这一场景,展示了高性能大数据计算引擎对企业运营的重要性。
数据猿
2024/07/05
2830
腾讯云放大招!重磅发布全新大数据计算引擎,性能提升6倍
腾讯云副总裁黄世飞:持续投入“AI for data”,打造轻快易用智能大数据平台
数据不仅是企业数字化转型的基石,更是企业创新发展的源泉。过去,企业的数据管理方案彼此割裂,价值挖掘难度大、成本高、产出低,特别在面对以大模型为代表的AGI浪潮,企业需要从全局视角出发,用系统性思维来统筹整个数据管理,发挥自身的数据价值。
腾讯QQ大数据
2024/05/27
6220
腾讯云副总裁黄世飞:持续投入“AI for data”,打造轻快易用智能大数据平台
算力规模突破千万核,腾讯云大数据产品全景图长啥样?
腾讯云大数据技术已经从第一代的离线计算,第二代的实时计算,第三代的机器学习,发展到如今以隐私计算、数智融合以及云原生为代表的第四代。 腾讯云今天在首届大数据峰会上公布,其大数据平台算力规模已经突破千万核,日实时计算量达百万亿级、日运行容器数超亿级,日计算数据量数百 PB,服务的企业客户数超 2 万家,开源社区代码贡献量超 800 万行,进一步呈现了自身在大数据领域的顶级实力。 腾讯云副总裁黄世飞表示,基于全新的技术架构、数据治理理念以及产品能力,从底层的大数据基础引擎、中层的一站式大数据开发治理平台, 再到
腾讯云大数据
2022/08/26
2K0
算力规模突破千万核,腾讯云大数据产品全景图长啥样?
腾讯云大数据海外市场规模3年增长超400%
9月5日,腾讯云在腾讯全球数字生态大会上披露AI、国际化、融合创新等多个业务模块的最新动态。其中,腾讯云大数据业务在海外市场发展势头强劲,三年营收规模增长超400%,已成功助力游戏、社交、电商、制造、金融等众多行业客户,在海外构建高效、安全、稳定的大数据基础设施。
小腾资讯君
2024/09/12
1470
重塑数据价值,赋能企业创新
在信息化和数字化迅猛发展的今天,人工智能和大数据已成为推动社会变革和技术进步的两大支柱。AI 技术通过自动化和智能化,为各行业提供了更高效、更精准的解决方案。而大数据则通过对大量数据的深入分析,揭示了隐藏的模式和趋势,帮助企业和组织做出更科学的决策。
腾讯QQ大数据
2024/12/29
2130
重塑数据价值,赋能企业创新
中国唯一云厂商!腾讯云大数据入选Gartner®亚太区云数据库管理系统客户之声“客户之选”
Gartner® Peer Insights™ 是一个面向全球、专门针对企业级软件的客户评审和评级平台。
腾讯QQ大数据
2024/06/11
4340
中国唯一云厂商!腾讯云大数据入选Gartner®亚太区云数据库管理系统客户之声“客户之选”
腾讯云加速构建云原生数据仓库,助力企业数字化转型
在企业数字化转型的当下,数据仓库的云端构建成为主流趋势,Gartner 预测,到2023年全球3/4的数据库都会跑在云上。 12月20日,腾讯2020 Techo Park开发者大会大数据分论坛在北京召开。腾讯数据平台部数据中心技术总监于洋、腾讯云大数据首席产品架构师高廉墀以及腾讯云大数据团队 Ozone 项目技术负责人陈怡等嘉宾出席大会,并探讨了数据仓库的多元技术,聚焦云端数据仓库的热潮,展现腾讯数据仓库技术架构演进与未来发展。 云原生数据仓库成为风口,助力解决企业数据仓库转型升级 从企业数字化转型看,
腾讯云大数据
2020/12/24
1.9K0
大数据,领导者阵营!
「腾讯云大数据通过全新升级的云原生湖仓方案与免运维轻量化的大数据Serverless服务,深度融合腾讯云AI产品与能力,为客户提供了端到端的一体化、智能化的企业级大数据平台。同时,凭借对前沿技术的不断探索突破和对产品的持续优化迭代,提供了高创新性、高成长性的数据管理解决方案。」
腾讯QQ大数据
2023/07/27
2000
大数据,领导者阵营!
腾讯云大数据公有云市场份额大幅提升,成为唯一实现增长厂商
2023年中国大数据市场规模达179.3亿元人民币,相比2022年增长24.6%。大模型以及生成式AI的应用,带动了对更轻松、更精确的数据管理的需求;此外,实时数据处理、流数据处理类工作负载的增长,也是这个市场增长的关键驱动力。
腾讯QQ大数据
2024/09/20
1950
腾讯云大数据公有云市场份额大幅提升,成为唯一实现增长厂商
腾讯云数仓 TCHouse:基于 zero ETL,实现事务
导读 腾讯云官网上有上百款在售的产品,面向海量数据处理和分析场景,从大数据基础引擎、数据开发与治理平台、到数据应用服务,腾讯云提供了全栈的大数据产品服务及解决方案。针对不同的真实业务场景,用户往往会搭配使用多款产品,如何让多产品丝滑地联动起来、为用户提供高效易用和高性价比的大数据分析体验,是我们长期努力的目标。本次分享将为大家介绍近半年我们在多款大数据产品联动使用体验方向上的主要进展。
腾讯QQ大数据
2024/11/11
2480
腾讯云数仓 TCHouse:基于 zero ETL,实现事务
云端数智新引擎,腾讯云原生数据湖计算重磅发布
引言 是否遇到过,一个简单的业务统计需求却让数据工程师们抓耳挠腮? 是否遇到过,业务峰值周期明显,要么资源大量闲置, 要么线上疯狂告警? 是否遇到过,大数据集群运维复杂,需要投入大量技术工程师? 针对以上痛点, 腾讯云发布云原生数据湖计算服务,协同腾讯云端数据湖体系,帮助企业高效构建云端数据湖架构、降低数据计算成本,提升数据分析敏捷性、激发数据应用价值,助力企业数字化决策。 本文作者:ericshhxie 一、数据湖的前世今生 2010年 Pentaho 公司的创始人兼首席技术官詹姆斯·狄克逊(Jame
腾讯云大数据
2021/03/25
1.1K0
腾讯云大数据:赋能千行百业,引领数据驱动增长
在金融保险行业,长城人寿依托腾讯云TBDS,构建了湖仓一体的大数据基座,成功实现了多源数据的实时汇聚和并发存储计算。通过腾讯云WeData平台,长城人寿搭建了高效的数据开发运营平台和数据治理体系,实现了从数据采集到分析的全生命周期管理。特别是在推动八大关键业务场景的1400多个数据分析模型建设中,数据复用价值提升了8倍。这不仅提升了业务的运营效率,还为长城人寿在数据驱动的决策上提供了强有力的支持。
腾讯QQ大数据
2024/09/26
5350
腾讯云大数据:赋能千行百业,引领数据驱动增长
腾讯云大数据连续三年蝉联中国大数据市场领导者象限
报告显示, 2023 年,人工智能、边缘计算、云和混合计算、湖仓一体等技术取得较大发展,持续推动组织处理数据的方式发生变化,带动了数据治理、数据智能分析、湖仓一体等市场快速发展。中国大数据市场整体规模达到 6482.2 亿元,同比增长 15.1% 。其中,数据分析软件市场呈现较快增长趋势,占比为 36.2% ,相比全球市场的 43.1% 仍有较大增长空间。未来三年,中国大数据市场仍将保持稳定增长,预计到 2026 年,中国大数据市场规模将超过 9000 亿元。
腾讯QQ大数据
2024/07/08
3860
腾讯云大数据连续三年蝉联中国大数据市场领导者象限
成本直降50%!为了做好leader,这位同学拼了!
TCHouse(腾讯云数据仓库) 和 DLC (腾讯云数据湖计算)在元数据层面实现互通互访,让大数据更快跑完业务应用的“最后一公里”。
小腾资讯君
2024/08/16
1330
沙利文:腾讯云大数据客户价值全球第一,引领数据管理方案市场
腾讯云在客户价值维度的表现尤为突出,充分体现了其致力于为企业提供简易、便捷且高效的解决方案的决心。通过一系列创新的产品与服务,腾讯云帮助企业在复杂的AI与大数据应用场景中,释放数据的最大潜能。
腾讯QQ大数据
2024/10/25
1350
沙利文:腾讯云大数据客户价值全球第一,引领数据管理方案市场
查收一份来自南极的Iceberg数据治理指南
Apache Iceberg 作为面向超大型湖存储的新一代表格式,由于在元数据管理、数据时效性以及解决传统Hive在海量分区操作耗时方面具备显著优势,目前正在被越来越多的企业用户认可。如腾讯云的新一代Lakehouse产品数据湖计算 DLC,其底层存储同样基于Iceberg深度优化。
腾讯QQ大数据
2024/05/21
5290
查收一份来自南极的Iceberg数据治理指南
推荐阅读
相关推荐
腾讯云PaaS:感谢认可,再接再厉!
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档