在刚过去的618购物节，某大型电商企业的订单量在几小时内激增至平时的几十倍。如果该企业的大数据计算引擎无法及时处理这些数据，订单处理、库存管理和客户服务将面临严重滞后，导致客户体验下降和销售机会流失，甚至损害品牌声誉。这一场景，展示了高性能大数据计算引擎对企业运营的重要性。
导语：得益于调度单元是通用的SQL语句，SuperSQL能够做到与特定计算引擎解耦，也正因为此原因，SuperSQL只需专注在最优执行计划生成，并根据SQL具体类型选择最佳的计算引擎。 天穹SuperSQL是腾讯自研的跨数据源、跨数据中心、跨计算引擎的大数据SQL引擎，能够满足位于不同数据中心、不同类型数据源的数据联合分析/即时查询的需求。在腾讯整个天穹大数据图谱中，负责连接端与存储。 数据源无论是关系型数据库、NoSQL还是大数据系统；数据存储无论是跨集群还是跨数据中心；数据计算无论是报表生成、分析挖掘
目前， Meson 已登陆腾讯云数据湖、检索分析服务、云数据仓库三大业务线，为企业在湖仓一体分析、向量检索、海量数据离线计算等业务场景带来卓越的性能表现。
本文根据唐彦在【第十三届中国数据库技术大会（DTCC2022）】线上演讲内容整理而成。
引言 随着大数据技术架构的演进，存储与计算分离的架构能更好的满足用户对降低数据存储成本，按需调度计算资源的诉求，正在成为越来越多人的选择。相较 HDFS，数据存储在对象存储上可以节约存储成本，但与此同时，对象存储对海量文件的写性能也会差很多。 腾讯云弹性 MapReduce(EMR) 是腾讯云的一个云端托管的弹性开源泛 Hadoop 服务，支持 Spark、Hbase、Presto、Flink、Druid 等大数据框架。 近期，在支持一位 EMR 客户时，遇到典型的存储计算分离应用场景。客户使用了 EMR
随着大数据技术架构的演进，存储与计算分离的架构能更好的满足用户对降低数据存储成本，按需调度计算资源的诉求，正在成为越来越多人的选择。相较 HDFS，数据存储在对象存储上可以节约存储成本，但与此同时，对象存储对海量文件的写性能也会差很多。
11月4日，在2021腾讯数字生态大会上，腾讯宣布开源自主研发的分布式远程Shuffle服务Firestorm。该服务的开源不但可以助推分布式计算的云原生部署，还能解决大数据分布式计算过程中的痛点，提升计算资源的利用率。 图片来源：pixabay 在分布式计算领域，Shuffle过程由于存在着磁盘IO随机读写问题，一直是分布式计算任务的性能瓶颈，除了降低计算任务的运行效率，还降低硬件资源的利用率。同时，由于Shuffle过程对于本地磁盘有容量需求(如Spark计算引擎)，对于计算引擎的云原生化也制造了
11月4日，在2021腾讯数字生态大会上，腾讯宣布开源自主研发的分布式远程Shuffle服务Firestorm。该服务的开源不但可以助推分布式计算的云原生部署，还能解决大数据分布式计算过程中的痛点，提升计算资源的利用率。 图片来源：pixabay 在分布式计算领域，Shuffle过程由于存在着磁盘IO随机读写问题，一直是分布式计算任务的性能瓶颈，除了降低计算任务的运行效率，还降低硬件资源的利用率。同时，由于Shuffle过程对于本地磁盘有容量需求(如Spark计算引擎)，对于计算引擎的云原生化也制
受访者 | 邵宗文，腾讯云图数据库产品经理 记者| 夕颜 出品 | CSDN（ID:CSDNnews） 近日，又一国产数据库诞生！这次是腾讯家推出的分布式图数据库产品——腾讯云数图 TGDB（Tencent Graph Database）。 据称，这款数据库能够实现万亿级关联关系数据实时查询，高效处理异构数据，支持实时图计算。从理论上说，该图数据库的集群节点规模可以达到万台以上，在不同的公开数据集下查询速度比世界市场占有率最高的 Neo4j 快 20-150 倍！ 在近年，图数据库逐渐火爆起来，据 G
作者 | yikonchen，腾讯大数据计算平台负责人 专家工程师 SuperSQL 是腾讯自研的下一代大数据自适应智能计算平台。通过开放融合的架构，实现一套代码高效解决公有云、私有云、内网的任何大数据计算场景问题。我们通过将异构计算引擎 / 异构存储服务、计算的智能化 / 自动化、SQL 流批一体纳入内部自适应闭环，给用户提供极简统一的大数据计算体验。用户能够从繁杂的底层技术细节中解脱出来，专注于业务逻辑的实现，像使用“数据库”一样使用“大数据”，实现业务逻辑与底层大数据技术的解耦。 SuperSQL
导语 SuperSQL是腾讯天穹自研的下一代大数据自适应计算平台。通过开放融合的架构，实现一套代码高效解决公有云、私有云、内网的任何大数据计算场景问题。我们通过将异构计算引擎/异构存储服务、计算引擎的智能化/自动化、SQL的流批一体、算力感知的智能化调度纳入内部系统闭环，给用户提供极简统一的大数据计算体验。用户能够从繁杂的底层技术细节中解脱出来，专注于业务逻辑的实现，像使用“数据库”一样使用“大数据”，实现业务逻辑与底层大数据技术的解耦。 背景 在大数据生态里，不同计算引擎适合不同的计算场景，Spark适合
Firestorm介绍 Firestorm是一个通用的分布式shuffle服务，满足大数据框架在云原生、离线混合等场景的需求，同时解决MR style shuffle在大规模场景下遇到的稳定新和性能问题。 项目采用了Coordinator和Shuffle Server结合的多主多从的分布式架构，对于Shuffle数据能预聚合，降低shuffle过程对于磁盘IO的开销，以此提升Shuffle任务的稳定性。目前支持的存储模式有Local，HDFS，Ozone，以及 Local + HDFS/Ozone混
上面我们讲了 大数据的数据查询方法 ，使用Hive或者 Impala，但是这些只能查询固定历史的数据，如果要实时计算可能就不是那么合适了。
导语 | 在庞大的数据系统中，往往会有大量的计算需求。传统的方式便是直接在代码写各种计算逻辑判断，这导致了代码非常臃肿，计算维护的成本变大。所以想着编写一套DSL，定义专用的语法去实现对数据的计算，并将其独立成为底层基础服务。 一、DSL 设计 （一）何为 DSL 领域特定语言（英语：domain-specific language、DSL）指的是专注于某个应用程序领域的计算机语言。不同于普通的跨领域通用计算机语言(GPL)，领域特定语言只用在某些特定的领域。 简单来说，就是利用DSL，通过抽象构建
引言 是否遇到过，一个简单的业务统计需求却让数据工程师们抓耳挠腮？ 是否遇到过，业务峰值周期明显，要么资源大量闲置， 要么线上疯狂告警？ 是否遇到过，大数据集群运维复杂，需要投入大量技术工程师？ 针对以上痛点， 腾讯云发布云原生数据湖计算服务，协同腾讯云端数据湖体系，帮助企业高效构建云端数据湖架构、降低数据计算成本，提升数据分析敏捷性、激发数据应用价值，助力企业数字化决策。 本文作者：ericshhxie 一、数据湖的前世今生 2010年 Pentaho 公司的创始人兼首席技术官詹姆斯·狄克逊（Jame
针对以上痛点， 腾讯云发布云原生数据湖计算服务，协同腾讯云端数据湖体系，帮助企业高效构建云端数据湖架构、降低数据计算成本，提升数据分析敏捷性、激发数据应用价值，助力企业数字化决策。
引言 是否遇到过，一个简单的业务统计需求却让数据工程师们抓耳挠腮？ 是否遇到过，业务峰值周期明显，要么资源大量闲置， 要么线上疯狂告警？ 是否遇到过，大数据集群运维复杂，需要投入大量技术工程师？ 针对以上痛点， 腾讯云发布云原生数据湖计算服务，协同腾讯云端数据湖体系，帮助企业高效构建云端数据湖架构、降低数据计算成本，提升数据分析敏捷性、激发数据应用价值，助力企业数字化决策。 本文作者：ericshhxie 一、数据湖的前世今生 2010年 Pentaho 公司的创始人兼首席技术官詹姆斯·狄克逊（James
导语 SuperSQL是腾讯自研的下一代大数据自适应计算平台。通过开放融合的架构，实现一套代码高效解决公有云、私有云、内网的任何大数据计算场景问题。我们通过将异构计算引擎/异构存储服务、计算引擎的智能化/自动化、SQL的流批一体、算力感知的智能调度纳入内部系统闭环，给用户提供极简统一的大数据计算体验。用户能够从繁杂的底层技术细节中解脱出来，专注于业务逻辑的实现，像使用“数据库”一样使用“大数据”，实现业务逻辑与底层大数据技术的解耦。 SuperSQL作为腾讯大数据智能计算平台的入口和决策中心，整合不同的大数
2010年 Pentaho 公司的创始人兼首席技术官詹姆斯·狄克逊（James Dixon）首次提出数据湖的概念。把数据湖中的数据比作原生态的水——它是未经处理的，原汁原味的。数据湖中的水从源头流入湖中，各种用户都可以来湖里获取、蒸馏提纯这些水（数据）。此时， 大家对于数据湖的理解主要是当作一个集中式的存储系统，允许存储任意规模的结构化和非结构化数据。
CynosDB产品简介。CynosDB，又称NewCDB，是由腾讯云和TEG基础架构部数据库技术团队联合打造的面向云计算2.0时代的新一代企业级分布式云数据库。在兼容开源数据库MySQL的生态体系下，它重新定义了MySQL分布式架构，从而在单实例极致性能、事务响应延时、存储扩展性以及可用性等关键技术指标上，达到商用级数据库级别；与此同时，它是面向通用硬件进行的软件极致优化，相比商用级数据库，它的性价比非常高，能把云计算共享经济普惠给万千腾讯云用户。
作者 | 蔡芳芳 采访嘉宾 | 陈龙 2020 年 9 月，主打云数据仓库产品的硅谷独角兽 Snowflake 正式登陆纳斯达克，首日 IPO 筹资高达 33.6 亿美元，是有记录以来金额最大的软件 IPO，突破了 Uber 2019 年 5 月上市创下的最大规模纪录。 如今，大数据技术早已进入普及期，数据仓库 / 分析领域更是巨头林立，既有传统厂商 Oracle、Teradata，也有开源软件 Hadoop，还有云厂商 AWS Redshift、Google Bigquery，在这样一个竞争环境下
徐蓓，腾讯云容器专家工程师，10年研发经验，7年云计算领域经验。负责腾讯云 TKE 大数据云原生、离在线混部、Serverless 架构与研发。 1 方案介绍 大数据处理技术现今已广泛应用于各个行业，为业务解决海量存储和海量分析的需求。但数据量的爆发式增长，对数据处理能力提出了更大的挑战，同时对时效性也提出了更高的要求。实时分析已成为企业大数据分析中最关键的术语，这意味企业可将所有数据用于大数据实时分析，实现在数据接受同时即刻为企业生成分析报告，从而在第一时间作出市场判断与决策。 典型的场景如电商大促和金
CynosDB产品简介 CynosDB，又称NewCDB，是由腾讯云和TEG基础架构部数据库技术团队联合打造的面向云计算2.0时代的新一代企业级分布式云数据库。在兼容开源数据库MySQL的生态体系下，它重新定义了MySQL分布式架构，从而在单实例极致性能、事务响应延时、存储扩展性以及可用性等关键技术指标上，达到商用级数据库级别；与此同时，它是面向通用硬件进行的软件极致优化，相比商用级数据库，它的性价比非常高，能把云计算共享经济普惠给万千腾讯云用户。 CynosDB名称来源 Cynos源于拉丁语中的Cy
近日，中国计算机学会青年计算机科技论坛（CCF YOCSEF）与腾讯公司合作主办“数据云图”犀牛鸟峰会，YOCSEF 主席胡春明、副主席韩银河、祝烈煌、芦东昕、荣誉委员袁晓如、腾讯数据平台部负责人蒋杰、高校合作总监管刚、YOCSEF全国分论坛主席、副主席、企业代表等100多位学者、专家相聚昆明，共同探讨基于大数据、人工智能等领域的创新、研发、应用、实践的产学研合作及高端人才培养之道。 CCF大数据专家委员会委员、CCF-腾讯犀牛鸟基金特邀专家、腾讯数据平台部负责人蒋杰和CCF理事、语音及语言信息处理国家
CynosDB产品简介。CynosDB，又称NewCDB，是由腾讯云和TEG基础架构部数据库技术团队联合打造的面向云计算2.0时代的新一代企业级分布式云数据库。在兼容开源数据库MySQL的生态体系下，它重新定义了MySQL分布式架构，从而在单实例极致性能、事务响应延时、存储扩展性以及可用性等关键技术指标上，达到商用级数据库级别；与此同时，它是面向通用硬件进行的软件极致优化，相比商用级数据库，它的性价比非常高，能把云计算共享经济普惠给万千腾讯云用户。 CynosDB名称来源。Cynos源于拉丁
2020 年 9 月，主打云数据仓库产品的硅谷独角兽 Snowflake 正式登陆纳斯达克，首日 IPO 筹资高达 33.6 亿美元，是有记录以来金额最大的软件 IPO，突破了 Uber 2019 年 5 月上市创下的最大规模纪录。 如今，大数据技术早已进入普及期，数据仓库 / 分析领域更是巨头林立，既有传统厂商 Oracle、Teradata，也有开源软件 Hadoop，还有云厂商 AWS Redshift、Google Bigquery，在这样一个竞争环境下，成立于 2012 年的 Snowflake 能脱颖而出实属不易。那么，Snowflake 在数仓技术方面有哪些独到之处？其成功的背后又有哪些技术原因和趋势值得关注？
NewCDB是在CDB十年技术和产品沉淀的基础上诞生的，腾讯云数据库产品在继承中不断完成突破。
1. 数据孤岛：由于历史原因以及不同数据中心的业务差异性，众多异构数据源形成了数据孤岛，导致大量且繁重的人工数据搬迁。与此同时，由于不同国家的数据安全法限制，很多数据无法搬迁，数据安全和查询效率都难以保证
CynosDB是腾讯云自研的新一代高性能高可用的企业级分布式云数据库。融合了传统数据库、云计算与新硬件的优势，100%兼容开源数据库，百万级QPS的高吞吐，不限存储，价格仅为商用数据库的1/10。
作者 | 杨鹏程 策划 | 凌敏 4 月 15 日 -16 日，由 InfoQ 主办的 DIVE 全球基础软件创新大会 通过云上展厅的形式成功召开。在 腾讯云基础软件创新实践专场，来自腾讯云的 TBDS 大数据引擎研发负责人杨鹏程带来了主题为《腾讯云⼤数据 TBDS 在私有化场景万节点集群的实践》的演讲，以下为主要内容。 本次分享主要分为三个部分展开：第一部分是 Hadoop 体系下存算⼀体存在的问题；第二部分是 TBDS 存算分离架构和三层优化；第三部分是云原⽣环境下计算引擎优化和最佳实践，最后是对本次分
2022年1月13日，第十四届中国系统架构师大会（SACC2022）将在线召开，各位小伙伴足不出户就可以参会啦！ 本次大会以“数字转型 架构重塑”核心主题，特设腾讯云数据库专场，多位腾讯云数据库技术大咖将带来腾讯云MySQL数据库产品架构、腾讯云图数据库KonisGraph与DBbridge产品演进的精彩分享，并深入解读TDSQL开源版的最新升级，包括从自主研发的HTAP分布式数据库引擎到TDSQL PG版执行器优化、内存管理优化、异地多活、分区表功能升级、可用性工具增强等多方面更新，力争为广大技术爱好者奉
Flink Forward Asia 2022最近在开，有关Flink的讨论，又开始在国内热闹起来。从技术上来说，Flink当然已经是streaming processing的一个标杆了。
近年来，随着深度学习技术的发展，越来越多的科技巨头开发自己的机器学习平台。昨日，华为宣布将与明年第一季度开源自家的 AI 框架 MindSpore，引起极大关注。
前言 TDW 是腾讯内部最大的离线处理平台，也是国内最大的 HADOOP 集群之一。在运营这么大集群的时候，运营面临各种各样的难题，在解决这些难题的过程中，团队提炼出来的一个运营理念，用两句话去描述。
流图计算，一个基础软件领域攻坚难度极高的分支。行业首个工业级流式图计算引擎 TuGraph-Analytics，与目前世界范围内有记录的、最快的图数据库开源项目 TuGraph DB 来自于一家中国企业，这不仅仅解决了国产基础软件领域的一大难题，健全了开源生态，更重要的是向全球展示了中国的开源力量。
点击蓝字 关注我们更多咨询 天穹SuperSQL是腾讯自研、基于统一SQL语言模型、面向机器学习智能调优、提供虚拟化数据和开放式计算引擎的大数据智能融合平台。在开放融合的Data Cloud上，业务方可以消费完整的数据生命周期（采集-存储-计算-分析-洞察），还能够满足位于不同数据中心、不同类型数据源的数据联合分析/即时查询的需求。 目前，SuperSQL已经迈入智能计算时代，SuperSQL能够基于规则匹配(RBO)与代价估算(CBO)，利用不同算法智能地为不同用户SQL挑选最合适的执行引擎，极大地优化S
大数据时代这个词被提出已有10年了吧，越来越多的企业已经完成了大数据平台的搭建。随着移动互联网和物联网的爆发，大数据价值在越来越多的场景中被挖掘，随着大家都在使用欧冠大数据，大数据平台的搭建门槛也越来越低。借助开源的力量，任何有基础研发能力的组织完全可以搭建自己的大数据平台。但是对于没有了解过大数据平台、数据仓库、数据挖掘概念的同学可能还是无法顺利完成搭建，因为你去百度查的时候会发现太多的东西，不知道如何去选择。今天给大家分享下大数据平台是怎么玩的。
最近腾讯云推出了【玩转腾讯云】征文活动，为响应号召，皮皮兴致满满的来参加活动。点开腾讯云产品网页，被里边的产品惊艳到了，只要是你实名认证通过后，就可以免费试用腾讯云产品，过过“云”瘾。这里给大家盘点23款热门的腾讯云产品，一起来看看吧~
要说2019年首个全球瞩目的新晋头牌网红，非下面这颗妖娆多姿风头无两的“甜甜圈”莫属了。 黑洞人生首张写真可谓来之不易。选中成像的这颗黑洞是M87星系中心的黑洞，它的质量是太阳的65亿倍，距离地球5500万光年。科学家使用位于四大洲的8台亚毫米射电望远镜同时对黑洞展开观测，北至西班牙，南至南极，连接起来相当于一台和地球大小相当的望远镜。 事实上，亚毫米波段和我们非常熟悉的可见光有着天壤之别。这个波段我们是无法直接看到的，所以，利用亚毫米波段给黑洞拍照，其实就是得到黑洞周围辐射的空间分布图。
本文作者：腾讯新闻商业化数据高级工程师 罗强 摘要 随着社会消费模式以及经济形态的发展变化，将催生新的商业模式。腾讯新闻作为一款集游戏、教育、电商等一体的新闻资讯平台、服务亿万用户，业务应用多、数据量大。加之业务增长、场景更加复杂，业务对实时计算高可靠、可监控、低延时、数据可回溯的要求也越来越迫切。比如新闻广告投放、停单、在线推荐、电商搜索中，更快的响应用户需求、精准计费停单，意味着着更好的用户体验和更多的收入。 接下来我们将介绍基于腾讯云流计算 Oceanus Flink 平台、PipeLine 设
摘要 随着社会消费模式以及经济形态的发展变化，将催生新的商业模式。腾讯新闻作为一款集游戏、教育、电商等一体的新闻资讯平台、服务亿万用户，业务应用多、数据量大。加之业务增长、场景更加复杂，业务对实时计算高可靠、可监控、低延时、数据可回溯的要求也越来越迫切。比如新闻广告投放、停单、在线推荐、电商搜索中，更快的响应用户需求、精准计费停单，意味着着更好的用户体验和更多的收入。 接下来我们将介绍基于腾讯云流计算 Oceanus Flink 平台、PipeLine 设计模式搭建的实时数据仓库思想。该方案已经落地内
数据湖是一种存储系统，底层包括不同的文件格式及湖表格式，可存储大量非结构化和半结构化的原始数据。
与其他图计算框架相比，将算法计算时间从天级缩短到分钟级，而且性能也全面领先，原本动辄需要数百台服务器的计算，现在最少只需要十台服务器。
数据猿导读 从发展趋势来看，后Hadoop时代又回到了解决大数据的4个V上。另外，分布式计算已经被证明比传统技术更加高效、更具有性价比的方案，逐渐成为了主流的计算方式。 作者 | 孙元浩 本文长度为2
接下来我们将介绍基于腾讯云流计算 Oceanus Flink 平台、PipeLine 设计模式搭建的实时数据仓库思想。该方案已经落地内容商业化新闻如广告实时广告停单、实时报表、实时特征计算、游戏联运行为分析、数据异常检测等场景。
[ 导语 ] 2022年3月22日，JDK18正式对外发布。据Oracle官方公告[1]，腾讯Kona 蝉联JDK18中国企业贡献排名第一，连续四次对OpenJDK贡献全国排名第一（JDK15~18）[1][2][3][4]。本文将介绍Kona在高性能计算引擎方面对OpenJDK社区的贡献。 ▍Kona：连续四次全国冠军，综合贡献全国第一 Kona是腾讯基于OpenJDK研发的JDK产品，Kona JDK完全免费，并提供长期支持，所发版本均通过腾讯内部和云上超大规模应用验证，欢迎下载使用。 2019年：首次
Apache Flink 是大数据领域非常流行的流批统一的计算引擎，数据湖是顺应云时代发展潮流的新型技术架构。那么当 Apache Flink 遇见数据湖时，会碰撞出什么样的火花呢？本次分享主要包括以下核心内容：
作者颜卫，腾讯高级后台开发工程师，专注于Kubernetes大规模集群管理和资源调度，有过万级集群的管理运维经验。目前负责腾讯云TKE大规模Kubernetes集群的大数据应用托管服务。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
