最近几年,云数据库市场日趋繁荣,进入百花齐放、百家争鸣的时代,头部云计算厂商相继推出了自己的数据库产品,特别是亚马逊的Aurora、阿里云的PolarDB、华为云的GaussDB等等。
这边厢PingCAP刚刚发布面向企业级核心场景、具备完整 HTAP 能力的分布式数据库TiDB 5.0 版本;那边厢OceanBase也紧跟着推出3.0版本,主攻方向亦是HTAP分布式数据库,在GitHub Oceanbase标注自己为“ The leading Scalable HTAP Database” , 并且又玩了一把TPC-H打榜第一的套路(后续:其成绩很快被超过)。
HTAP是什么HTAP(Hybrid Transaction and Analytical Processing)数据库,也称混合型关系数据库,是能同时提供OLTP和OLAP的混合关系型数据库。在互联网浪潮出现之前,企业的数据量普遍不大,特别是核心的业务数据,通常一个单机的数据库就可以保存。那时候的存储并不需要复杂的架构,所有的线上请求OLTP和后台分析OLAP都跑在同一个数据库实例上。随着互联网的发展,企业的业务数据量不断增多,单机数据库的容量限制制约了其在海量数据场景下的使用。
前段时间,测试了国内主要云原生数据库PolarDB、TDSQL-C、GaussDB的性能,参考:《再测云原生数据库性能》。在上次测试结果中,由于地域版本差异,腾讯云的TDSQL-C并没有表现出“重磅升级”的效果,现在两个月过去了,我们再来重测TDSQL-C。先说结论:
数据库领域同样如此。过去五十余年,数据库经历OLTP和OLAP两种需求漫长的融合-分离-再融合的过程。究其原因,数据库的发展始终与用户场景需求变迁紧密相关。如今,随着云计算和大数据的兴起,业务场景正在经历前所未有的变革,数据库领域也掀起了一股HTAP浪潮。
MySQL性能压测或者基准测试看起来很简单,使用sysbench,tpcc工具跑跑拿到数据就好,其实压测是一个技术活儿,尤其是涉及到性能对比的测试,因为不同场景/不同厂商的产品的参数设置不同,测试的结果也不一样。如果不阐明具体的参数配置差异,直接给出压测结果可能给其他人带来误导。
OLTP 和 OLAP 技术栈曾因大数据系统规模问题分道扬镳。但是随数字化技术落地到千行百业,复杂的业务场景产生海量数据,即使是相对成熟的 OLTP 产品也无法满足业务对于实时分析的需求,于是 OLAP 技术快速发展,至 Gartner 正式提出了 HTAP 这一概念,到如今呈现出 HTAP 理念大火的局面。 虽然 HTAP 概念已经普及很长时间,但是业内对于 HTAP 的理解不同,国内几款代表性的 HTAP 数据库技术路线也不尽相同。开发者应该如何理解 HTAP?什么才是开发者友好的 HTAP?想要了解什
登录轻量数据库DMC,可以通过这里管理数据库的用户和库表,这里我新建了一个test-db
近日,腾讯云MySQL发布新架构,在基础硬件能力、自研内核及外部网络延迟等方面进行了全面升级。 在探究新版本实际性能的过程中,测试人员通过基准测试工具SysBench以及全仿真业务生产环境,分别针对只写、只读以及混合读写场景进行性能测试。其结果显示,新架构下的云数据库MySQL在性能上比原有架构提升20%。此外,通过TXSQL内核的更新,也为企业提供了更多实用的能力。 本次发布的云数据库MySQL新架构搭载最新的腾讯自研数据库内核TXSQL,不仅提供了如Parallel DDL、缓存快照主从同步等性能增强
本文根据王义成在【第十三届中国数据库技术大会(DTCC2022)】线上演讲内容整理而成。
本文介绍了目前云原生环境下,支持有状态应用的几种典型存储方案的特点,并对市场主流的云原生存储产品实际测试性能进行对比。
大家知道 2022 年我又创业了,加入以虎哥 Startup 的 Databend 这个公司担任联创,我也从传统的 OLTP 转战到 OLAP,今年也接触了更多大数据用户。趁着元旦假期整理一下思路,从数据角度和大家聊一下 2022 年数据库发展,这里首先声明这篇文章更多只代表个人观点,大家看看就好,有兴趣后面找机会再交流。
很多小伙伴在日常接触中接触国产数据库很少,大部分在开发应用上使用的是由甲骨文,微软等公司提供了MySQL,SQLserver。普通程序员很少能用到newSQl数据库,TiDB就是一种newSQL数据库,在大趋势下,向国际对接是避免不了的,但也存在一个问题,近期看到新闻国外某知名数据库厂商宣布称“暂停在俄罗斯的所有业务”,相信很多国内小伙伴的心情,绝不是隔岸观火,而是细思恐极。数据库产品一直都是国内人员的焦点话题,面对现如今全球的“非常时期”,国产数据库到底能不能支棱起来呢?今天呢我就带领大家认识国产数据库TiDB数据库。为什么要介绍TiDB呢,看图说话。
简单来说,Oracle的Sharding技术就是通过分区(Partioning)技术的扩展来实现的。以前一个表的分区可以存在于不同的表空间,现在可以存在于不同的数据库。不同分区存在于不同数据库,这就将
之前介绍了数据库的两种最常见的存储模型:NSM 和 DSM (列式存储的起源:DSM),今天介绍这两种存储模型和 HTAP 的联系。
编者: 本文中报告,关注 “数据和云” 回复:下载。可以找到下载链接。 2021年12月,墨天轮社区发布了由CCF数据库专委会、清华大学和墨天轮社区共同撰写的《数据库系统的分类和评测研究》,这个报告的初衷是希望通过对数据库产品的分类、评测、发展等方向的研究,为行业提供参考和促进。 感谢执笔人李国良,李战怀,彭智勇,盖国强,感谢清华大学、西北工业大学、武汉大学、云和恩墨、华为、阿里云、腾讯云、京东云、 虚谷伟业、PingCAP、巨杉、建设银行、民生银行、哈尔滨银行、浙江移动等企业和单位的专家的共同参与和支持。
作为数据仓库实施的核心组件,OLAP 为商业智能 (BI) 和决策支持应用程序提供快速、灵活的多维数据分析。 什么是 OLAP? OLAP(用于在线分析处理)是一种软件,用于对来自数据仓库、数据集市或其他一些统一的集中式数据存储的大量数据进行高速多维分析。 大多数业务数据都有多个维度——数据被分解为多个类别以进行展示、跟踪或分析。例如,销售数据可能具有与位置(地区、国家、州/省、商店)、时间(年、月、周、日)、产品(服装、男/女/童、品牌、类型)相关的多个维度,和更多。 但在数据仓库中,数据集存储在表中,
编者: 本系列分析行业动态,关注“数据和云( OraNews )”回复:下载。可以找到文档链接。 公告:云和恩墨大讲堂 + openGauss 成都站,将于2022-08-25 举行,欢迎成都朋友关注。 ---- 近日,墨天轮社区发布了《2022年8月中国数据库行业分析报告-融会贯通,并行不悖》,该报告对中国数据库市场的发展进行了分析。以下从报告中摘录部分描述作为分享。 1. 数据库流行度排行 TiDB、openGauss、达梦 位列三甲 报告首先发布了8月中国数据库流行度排行,在榜单中,TiDB 以59
作者 | 吴炳锡 中国数据库行业随着 2021 年 7 月 PingCAP 完成 3.4 亿美元融资,估值达到 30 亿美金,把中国数据库行业引爆了。2022 年 12 月 23 日达梦数据库 IPO 顺利过会,如果上市成功预计估值在 500 亿人民币,不出意外的话,这将是科创板最大的 IPO 之一。 那么你知道中国的数据公司有多少吗?据不完全的统计已经超过 300 多家,那 2023 年数据库市场又会是什么变化呢?我这里抛出来 5 个问题借本文与大家讨论一下。 Q1. 中国和海外数据库的差距还有多远?
对大多数开发人员而言,SQL 以及 MySQL、PostgreSQL 等关系数据库管理系统(即 RDBMS)并不陌生。RDBMS 的基本架构原则已历经了数十年的发展。而 MongoDB、Cassandra 等 NoSQL 解决方案,则是在本世纪初为满足数据分布可扩展的需求而提出的。
12月16日,在刚刚发布的 Gartner® 2022年度《云数据库管理系统魔力象限》研究报告中,腾讯云数据库进入特定领域者(Niche Players)象限。同时,据Gartner云数据库管理系统运行用例关键功能报告,腾讯云数据库在OLTP(TDSQL/TDSQL-C)及轻量级TP能力(KeeWiDB)得分均为国内第一。 根据Gartner云数据库管理系统运行用例关键功能报告,腾讯云数据库TDSQL在OLTP事务、轻量级事务和增强事务三个用例中得分均高于3.0(总分5分,3分以上代表满足要求),其中O
本文作者为 PingCAP 联合创始人兼 CTO 黄东旭,将分享分布式数据库的发展趋势以及云原生数据库设计的新思路。
HTAP系统诞生的初衷,是要打破事务处理和分析处理的界限,使企业能通过HTAP系统更好地发现市场反馈,获得更好的创新。但如何让OLTP和OLAP在系统运行的过程中相互干扰最小,却成了HTAP系统面临的难题。 总体来看,HTAP系统架构的实践可以分成两类:一类是改革,另一类是改良。前者采用One size fits all的策略,用一个大而全的系统同时满足OLTP和OLAP的需求,后者采用One size doesn’t fit all模型,将OLTP和OLAP两种系统组合起来,通过CDC的方式把OLTP上
数据库国产化浪潮从泛互联网行业兴起,随后部分传统行业逐渐开始在新兴业务上抛弃束缚,进行国产化尝试,如今,国产化已经发展到了替换传统核心的时刻,一方面许多行业的数字化转型如火如荼,另一方面业务对数据库的需求也不仅仅局限于OLAP或OLTP,要求更加全面的数据库。同时,年初的疫情爆发、新基建的兴起,企业业务寻求转型……面对各种因素综合之下错综复杂的时代局势,腾讯云数据库将如何发力,帮助用户一起打赢这场去O大战?一起来听腾讯大咖为你分享: 12月11日,Gdevops全球敏捷运维峰会即将在北京新世纪日航酒店举办
TiDB是 PingCAP公司自主设计、研发的开源分布式关系型数据库,是一款同时支持在线事务处理与在线分析处理 (Hybrid Transactional and Analytical Processing, HTAP)的融合型分布式数据库产品,具备水平扩容或者缩容、金融级高可用、实时 HTAP、云原生的分布式数据库、兼容 MySQL 5.7 协议和 MySQL 生态等重要特性。
它融合了传统数据库、云计算和新硬件技术的优势,100%兼容 MySQL,为用户提供具有极致弹性、高性能、高可用性、高可靠性和安全性的数据库服务。
李云鹏,天数科技创始人兼CEO;曾任美国甲骨文公司全球研发总监,从事甲骨文数据库10g至12c的研发工作。日前,笔者采访了李云鹏,请他分享国内外数据库发展的差异性,以及如管理一支优秀的技术团队。他认为
近日,第12届中国数据库技术大会(DTCC 2021)在北京国际会议中心召开。作为全球领先的云计算、数据库产品服务商,腾讯云数据库集结多位顶级技术大咖亮相本次大会,围绕当前比较热门的数据库技术主题,共同探讨最前沿的技术趋势与实践。 本期为大家带来腾讯专家工程师朱阅岸老师在本次大会上的分享,主题为“HTAP系统的问题与主义之争”。以下是分享实录: 问题与主义之争其实是上世纪初胡适与李大钊之间的一场论战。胡适主张改良,提倡解决一个个问题,也就是少谈些主义,多研究些问题;而李大钊则主张改革,认为只有解决了这个根
数据库是计算机行业的基础核心软件,所有应用软件的运行和数据处理都要与其进行数据交互。2008年阿里提出“去IOE”,而10年之后,我们现在来看,发现Oracle的数据库是最难替换的。不仅是因为Oracle的数据库沉淀了大量的企业客户数据,更是因为数据库产品开发难度确实比较大。数据库的开发难度不亚于操作系统,属于整个IT架构的基础软件(数据库软件在操作系统之上,我们可以将其称为类中间层的基础软件)。而且数据库的开发需要与底层计算架构高度相关和耦合,是适配X86架构,还是适配ARM架构等等。
陈现麟,伴鱼技术中台负责人,从 0 到 1 搭建伴鱼技术中台,对分布式架构、服务治理、稳定性建设、高并发高 QPS 系统和中台化的组织架构搭建有一定的经验,崇尚简单优雅的设计,关注云原生和分布式数据库。
TiDB 是一个分布式 NewSQL 数据库。它支持水平弹性扩展、ACID 事务、标准 SQL、MySQL 语法和 MySQL 协议,具有数据强一致的高可用特性,是一个不仅适合 OLTP 场景还适合 OLAP 场景的混合数据库。
在讲新的思路之前,先为过去没有关注过数据库技术的朋友们做一个简单的历史回顾,接下来会谈谈未来的数据库领域,在云原生数据库设计方面的新趋势和前沿思考。首先来看看一些主流数据库的设计模式。
腾讯云上有许多种数据库产品,本文简单介绍每种产品的介绍,特性,应用场景等,帮助各位根据业务需要选择最适合的数据库。
腾讯云PostgreSQL-XZ(PGXZ)经过公司内部多年业务的打磨,在2017年改名为TBase后,正式对外推出,目前已在政务、医疗、公安、消防、电信、金融等行业等行业的解决方案中大量应用。TBase以其功能强大,运行稳定,高性能高可靠性,以及强大的互联网基因得到客户的普遍认可。
云计算时代,数据库上云已成为产业数字化转型的重要动力。近期,在2022腾讯全球数字生态大会云原生数据库技术探索专场上,腾讯云分享了在云原生数据库领域的技术演进与探索,并就其在不同行业场景中的最佳实践进行了详细讲解,为广大企业运用云原生数据库实现业务创新提供了有效借鉴。 腾讯云数据库高级工程师潘怡飞在致辞中表示:“作为基础软件的‘三驾马车’之一,国内数据库的发展正呈现三大趋势:行业客户的多元化,对数据库性能与成本的平衡提出了更多样的需求;应用场景的不断丰富,要求数据库具备更高的弹性和灵活性;数据库已成为数字社
“我自己的电脑终于可以直接装ob了啊~随时随地都能玩了,已买桂花同载酒,亦是少年游。”这是OceanBase开源社区的“划水一级运动员五月”几天前发出的帖子。
数据库界最近的一个趋势是将数据库拆解成它的组成部分。每个组件都是单独提供的,因此基础设施工程师可以将它们集成到数据库中。
「 第一部分 概述 」 数据库中存在两种典型的业务访问场景,一种以在线事务处理为主,称为OLTP(On-Line Transaction Processing);另一种以在线分析处理为主,称为OLAP(On-Line Analytical Processing)。下面具体介绍他们的区别。 1.1 OLTP OLTP业务的主要特点是有较多的增删改查操作,并且在大部分业务中,写相对于读的比例还很高。并发的事务数较多,而且事务的响应时间要求比较高。此外,每个增删改语句通常只操作少数几行数据;每个查询语句通常也只
2012 年开始,由腾讯内部业务适配而衍生的自研分布式数据库 TDSQL 正式诞生。2020年12月,腾讯云数据库三大产品线统一升级,将 TDSQL、CynosDB(现为TDSQL-C)、TBase (现为TDSQL PG版)统一至全新的 TDSQL 系列中。砥砺前行十余载,这家互联网厂商在数据库领域立下一座座丰碑,腾讯云TDSQL 每次都能精准踩点的秘诀是什么? 1 腾讯云 TDSQL 的前世今生 要想真正的了解腾讯云 TDSQL,首先要了解其发展历程。TDSQL 发展经历了四个发展阶段: 第一阶段:2
TiDB 是 PingCAP 公司自主设计、研发的开源分布式关系型数据库,是一款同时支持在线事务处理与在线分析处理 (Hybrid Transactional and Analytical Processing, HTAP)的融合型分布式数据库产品,具备水平扩容或者缩容、金融级高可用、实时 HTAP、云原生的分布式数据库、兼容 MySQL 5.7 协议和 MySQL 生态等重要特性。目标是为用户提供一站式 OLTP (Online Transactional Processing)、OLAP (Online Analytical Processing)、HTAP 解决方案。TiDB 适合高可用、强一致要求较高、数据规模较大等各种应用场景。
最近在学习数据库相关知识,经常跟一个在某金融公司做DBA的大学朋友交流问题。听说他们公司最近在使用云数据库,我立马来了兴趣,以前只听说过云主机,没想到数据库这种产品也可以在云上买。正好最近在学习使用sysbench,索性我就买了腾讯云数据库(因为他们家的可以按量付费,用完了就释放掉哈哈),配合自己购买的腾讯云主机进行一个对比测试。下面就贴出测试过程和结果,仅供大家参考。
转眼进入9月,2018年已经过去了 2/3 ,在 DB-Engines 的排行榜上,9月数据出炉。
OceanBase Cloud是OceanBase做的跨云SaaS的HTAP数据库服务。之前我写了一篇文章:OceanBase Cloud大战PolarDB,好戏上演。。。,主要分析了OceanBase Cloud面对公有云厂商自己的云SaaS HTAP服务的时候,需要面临什么样的竞争和战斗。
编辑手记:Sharding技术我们谈了好久,想必大家并不陌生,该功能12.2最新版本中,也将变得越来越完善,今天我们一起来学习。 注:文章内容来自官方文档翻译。若需要了解更多,请查阅官方文档。 1、a
导读:日前,华为公司在京面向全球发布了人工智能原生(AI-Native)数据库GaussDB和业界性能的分布式存储FusionStorage 8.0,将多年的AI技术和能力以及数据库经验融入到新品,实现很多创新性突破,比如人工智能技术融入分布式数据库的全生命周期、一套存储可同时支持块、文件、对象、HDFS协议等。
导读:TDSQL腾讯金融级分布式数据库,是由腾讯技术工程事业群计费平台部针对OLTP场景开发的高一致性数据库产品。ICDE,即International Conference on DataEngineering,由美国电气及电子工程师学会IEEE发起并组织,是与SIGMOD,VLDB并列的三大数据库领域的顶级会议之一。由腾讯技术工程事业群计费与高校关系的TDSQL在Salle des Textiles大厅设立的展台,吸引了包括图灵奖获得者Michael StoneBraker教授在内的行业人士驻足围观,获
领取专属 10元无门槛券
手把手带您无忧上云