Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >ACMUG年会,腾讯云揭秘TXSQL内核建设之路

ACMUG年会,腾讯云揭秘TXSQL内核建设之路

原创
作者头像
腾讯云开发者社区
修改于 2017-12-11 12:14:15
修改于 2017-12-11 12:14:15
1.7K0
举报

2017年12月9日至10日,腾讯云受邀参加国内MySQL技术领域影响力最大的技术盛筵—ACMUG年会。

腾讯云数据库专家张青林在会上分享了腾讯自研 MySQL 分支 - TXSQL 的经验。张青林一直专注于MySQL内核开发和相关架构工作,服务于腾讯公司自研产品业务和腾讯云业务。本次分享主要从性能优化、企业级特性和线上稳定性等多个维度进行详细的介绍,并且对 TXSQL 在未来的发力点进行了阐述。

作为腾讯规模最大的 MySQL 数据库服务,CDB 在腾讯云上也是最受欢迎的关系型数据库产品。CDB 不仅具备备份回档、监控、快速扩容等数据库运维的全套解决方案,而且拥有深度定制的内核版本 Tencent MySQL,简称TXSQL。

TXSQL内核版本拥有更高的性能、更强的稳定性,同时提供 Oracle MySQL 企业级版本才拥有的特性,对内支持集团内部业务的发展,对外提供强有力的竟争力,助力腾讯云的快速奔跑。

TXSQL 在腾讯云 CDB 中所处的模块和作用以及 TXSQL的 发展,既是为了解决腾讯云日益增长的规模以及各行各业对数据库不断增长的高要求,也是为了解决用户在日常运维中遇到的问题,提升用户产品体验。

虽然TXSQL最近才对外露面,其实早在腾讯云尚未开始对外服务的时候,TXSQL就已经作为腾讯内部的MySQL分支再开发维护,一路从5.1,5.5,5.6,5.7至今,并且正在整合研究8.0的新特性。刚开仅仅针对TXSQL做一些bug fix,并提交到社区,以及做一些和内部OSS系统整合的能力。随着集群规模的逐渐扩大,一些优化逐渐被整合,同时,也吸收了MariaDB以及Percona的版本特性。

随后,云业务迅速发展,对TXSQL提出了更高的要求,在账号体系,秒级监控,系统调优,以及锁优化,结合大内存、PCIE卡的优化等大量出现。

TXSQL 在性能、企业级特性、稳定性方面做了大量的研究,特别是在 Innodb Redo、Replicaion 性能优化、强一致等方面。

例如,众所周知,Redo log是MySQL几个重要的日志之一,所有对引擎的提交,都会涉及到该文件的操作。腾讯云TXSQL团队优化了这里的并发读写能力,并以双缓冲buffer来加速,同时配以并行复制优化,让引擎能力得以最大限度发挥。在云条件下,数据库大都有主从配置,半同步网络访问优化,以及大锁拆分也提高了整体系统的性能。

另外,不同于大多商业数据库,MySQL的引擎层是单独出来的,虽然层次更加清晰但同时这里层次之间的交互却容易影响性能。因此,腾讯云做了计算下推的工作,把一些查询需要计算的地方,放到引擎层做,减少了引擎和SQL层的交互,降低RT的同时提升性能。

TXSQL 在复制方面的优化同样达到了很好的优化效果,其中io重构,table map log event 的缓存等特性得到了官方的肯定和认可。

本次分享中,腾讯云还分享了TXSQL 最新的一些技术点和以后的发展及发力点,如批量计算、执行计划缓存、AI+Query、RocksDB 支持等。作为MariaDB Foundation的白金会员,腾讯云将会把一些原创的内核特性集成到社区版的MariaDB上去,相信很快就会与大家见面。

同时在本次年会上,腾讯云还透露了后续TXSQL内核的部分规划,比如基于数据库内核的审计、数据加密等往常企业级数据库才有的功能,即将上线和大家见面。

想了解更多详细内容,欢迎访问腾讯云数据库内核专栏

https://cloud.tencent.com/developer/column/1551

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
腾讯云数据库内核揭秘 TXSQL Internals @2018
2018年10月13日ACMUG南京站,来自腾讯技术工程事业群TEG基础架构部数据库内核团队专家工程师王少华,做了主题为「TXSQL Internals@2018」的分享。
腾讯云数据库 TencentDB
2018/10/19
1.4K0
MySQL之父直播公开课来了!与腾讯云CDB专家天团联袂分享
在各行业爆发式增长的云时代,传统IT架构已无法满足企业需求。相比较于传统数据库,国产数据库技术取得了长足进步,也更适用于企业的生产环境和IT系统。 作为腾讯云最早的 MySQL 生态的云数据库,CDB (TencentDB for MySQL) 不仅是腾讯云上规模最大、最受欢迎的数据库产品,同时在腾讯集团内部也承担了微信红包、微信广告、QQ 空间等重量级业务的数据库访问服务。为了保证数据库服务质量,解决原生数据库内核存在的性能、功能、稳定性等方面的问题,CDB 维护了自己的 MySQL 内核分支 TXSQ
腾讯数据库技术
2020/05/28
5210
MySQL之父直播公开课来了!与腾讯云CDB专家天团联袂分享
在各行业爆发式增长的云时代,传统IT架构已无法满足企业需求。相比较于传统数据库,国产数据库技术取得了长足进步,也更适用于企业的生产环境和IT系统。 作为腾讯云最早的 MySQL 生态的云数据库,CDB (TencentDB for MySQL) 不仅是腾讯云上规模最大、最受欢迎的数据库产品,同时在腾讯集团内部也承担了微信红包、微信广告、QQ 空间等重量级业务的数据库访问服务。为了保证数据库服务质量,解决原生数据库内核存在的性能、功能、稳定性等方面的问题,CDB 维护了自己的 MySQL 内核分支 TX
腾讯技术工程官方号
2020/06/01
4960
服务了百万用户的腾讯云MySQL内核揭秘
腾讯云数据库国产数据库专题线上技术沙龙已圆满结束,本期带来赖铮分享的《庖丁解牛:腾讯云CDB内核架构及亮点功能解密》直播视频和文字回顾。 关注“腾讯云数据库”公众号,回复“0530赖铮”,即可下载直播分享PPT。 大家下午好。非常高兴今天下午有这个机会和大家做一个分享。首先做一个简单的自我介绍,我叫赖铮,现在是腾讯云CDB/CynosDB内核的架构师,我之前一直都是从事于数据库内核的研发工作,差不多20年。之前在达梦,Teradata和Oracle都工作过。在Oracle的时候是在MySQL InnoDB
腾讯云数据库 TencentDB
2020/08/31
1.1K0
TXSQL Internals @2018
腾讯云资深架构师王少华日前在 2018 开源数据库论坛(ODF)暨首届MariaDB中国用户者 大会上做了主题为“TXSQL Internals @2018”的主题演讲,本次分享从五个方面介绍TXSQL。
腾讯云数据库 TencentDB
2018/09/10
7710
张青林:TXSQL是什么?云计算时代数据库核弹头
腾讯MySQL内核研发专家张青林在腾讯“云+未来”峰会的「开发者专场」做了主题为“TXSQL:云计算时代数据库核弹头”的技术内容分享,本次分享从五个方面介绍TXSQL:
腾讯云开发者社区
2018/05/25
2.7K2
张青林:TXSQL是什么?云计算时代数据库核弹头
腾讯数据库内核团队资深架构师:TXSQL Internals @2018
在ODF2018开源数据库论坛暨首届MariaDB中国用户者大会上,来自腾讯技术工程事业群TEG基础架构部数据库内核团队资深架构师王少华,做了主题为「TXSQL Internals@2018」的分享。 我们同步了嘉宾现场沙龙分享视频,请点击下方「腾讯技术课小程序」卡片即可查看: 同时附上整理好的演讲稿: CDB作为公司规模最大的关系型数据库服务平台,为公司内部业务和腾讯云提供native MySQL服务。从最初重点支持社交、游戏等场景业务,到今天覆盖了游戏、移动互联网和金融等全场景业务,CDB在
腾讯技术工程官方号
2018/10/09
8990
腾讯数据库内核团队资深架构师:TXSQL Internals @2018
MySQL内核大牛解密腾讯数据库关键技术点
本文嘉宾:赖铮,腾讯TEG基础架构部数据库团队专家工程师,负责腾讯TXSQL数据库内核的研发,数据库系统开发老将,专注数据库内核开发十余年,先后就职于达梦、Teradata、北大方正以及MySQL InnoDB存储引擎团队,是达梦数据库内核、方正XML数据库以及InnoDB的GIS支持,加密功能的主要开发者,并获得多项数据库领域的专利。 本文是腾讯TEG基础架构部数据库团队专家工程师赖铮在腾讯云与3306π联合举办的数据库技术沙龙上的演讲实录。 ---- 今天分享时长四十分钟左右,详细解释腾讯云数据库内
腾讯云数据库 TencentDB
2019/10/30
1.9K0
MySQL内核大牛解密腾讯数据库关键技术点
腾讯云捐赠TXSQL内核,共筑开源新篇章
9月6日,在2024腾讯全球数字生态大会数据库技术与实践专场上,腾讯云数据库研发总经理潘安群宣布——腾讯云向开放原子开源基金会OpenTenBase社区捐赠腾讯数据库TXSQL内核,通过开源共创的方式,与上下游产业链及开发者共同打造繁荣的数据库开源生态。
小腾资讯君
2024/09/10
2380
腾讯研发专家:TXSQL如何成为云计算时代数据库核弹头?
背景:5月23-24日,以“焕启”为主题的腾讯“云+未来”峰会在广州召开,广东省各级政府机构领导、海内外业内学术专家、行业大咖及技术大牛等在现场共议云计算与数字化产业创新发展。 腾讯MySQL内核研发
腾讯技术工程官方号
2018/05/30
1.2K3
专家访谈 | 腾讯云数据库新特性揭秘
本文为「3306π」成都站系列专访,本期专访嘉宾为腾讯云TXSQL数据库研发工程师赖铮。 赖铮-腾讯 TXSQL数据库研发工程师 在即将举办的10月26日「3306π」成都站活动中,赖铮将分享腾讯云数据库TXSQL的内核新特性,诸如:异步删除大表,GTID复制功能扩展,隐藏列解决无主键表的复制延迟,新的事务调度算法等等,并详细介绍这些新特性的实现原理和使用方法。这些新特性极大的增强了腾讯云数据库的性能、稳定性和易用性,从而为腾讯云数据库的用户提供了更为完善的数据库服务。 以下是会前专访实录。 1、
腾讯云数据库 TencentDB
2019/10/24
1.7K0
专家访谈 | 腾讯云数据库新特性揭秘
腾讯黑科技:删大表不抖动,自动补充虚拟隐藏主键
☆  点击▲关注 腾讯云数据库 ☆ ---- 2019年9月,腾讯云数据库正式按地域发布TXSQL 5.7-201908版本,该版本主要实现写性能提升,新增功能特性和内核参数,为MySQL提供更稳定、高效的性能和服务能力。其中,新增特性包括DROP大表操作异步化、GTID复制功能扩展、隐藏主键功能、非 Super 权限用户 Kill 链接的功能等。另外,在最新的TXSQL内核版本中,可以通过内核参数来指定事务调度算法。下面将为大家详细解读。 TXSQL的演进之路 相信大家对腾讯云数据库Tence
腾讯云数据库 TencentDB
2019/09/10
1.6K0
腾讯黑科技:删大表不抖动,自动补充虚拟隐藏主键
腾讯关系型数据库达成“双百”里程碑——6大企业级MySQL特性全面解析
腾讯关系型数据库-企业级MySQL(原CDB,腾讯云TencentDB for MySQL)达成了 百万核 和 百PB 的“双百”里程碑!存储规模同比增速高达 80% ,连续两年在全球 TOP5 公有云厂商中增速位列第一!作为腾讯云规模最大的数据库产品,在11月携手腾讯云数据库入选Gartner云数据库管理系统魔力象限,意味着腾讯云数据库进入全球顶级序列!截止目前,已经为Bilibili、水滴筹、小红书、微盟、富途证券、云集、畅游等多家大客户提供服务,支撑了618、双11等大型活动的突发保障,实现了1
腾讯技术工程官方号
2020/12/10
1.2K0
MySQL之父直播公开课来了!与腾讯云CDB专家天团联袂分享
在各行业爆发式增长的云时代,传统IT架构已无法满足企业需求。相比较于传统数据库,国产数据库技术取得了长足进步,也更适用于企业的生产环境和IT系统。
腾讯云数据库 TencentDB
2020/05/20
4850
腾讯云与MariaDB 基金会签署战略合作,共建全球开源生态圈
腾讯云日前与MariaDB基金会正式签署战略合作协议,2019年,腾讯云将继续以白金会员身份为基金会的发展提供强有力的资源支持,与MariaDB全球用户和开发者一道,共建开放共赢的全球开源生态圈。
腾讯云数据库 TencentDB
2018/12/11
14.7K2
腾讯云与MariaDB 基金会签署战略合作,共建全球开源生态圈
【 腾讯云的1001种玩法 】腾讯云数据库优化最佳实战:以 TXSQL 为例
本文介绍了TXSQL项目,主要关注于解决金融、运营商等行业的核心系统对分布式数据库的依赖问题,以及满足业务对数据库的高可用、高弹性、高安全等需求。TXSQL在数据一致性、高可用、高性能等方面具有优势,能够有效地支持分布式数据库的部署要求。同时,TXSQL还提供了丰富的数据复制和数据迁移工具,以及数据恢复和故障转移功能,以满足高安全业务场景的需求。此外,TXSQL还提供了基于云平台的运维管控和运维工具,以实现对分布式数据库的高效运维。
musazhang
2017/09/06
4K2
载誉而归 | 腾讯云原生数据库 TDSQL-C荣获“云原生卓越技术提供商”奖项
TDSQL-C再创佳绩 9月16日,Distributed Cloud|2021全球分布式云大会在上海召开,腾讯云原生数据库TDSQL-C荣获“云原生卓越技术提供商”奖项,TDSQL-C 是腾讯自研的云原生分布式数据库(原CynosDB), 基于共享存储,实现了强大的扩展能力和超百万级QPS的高吞吐性能,深度定制的数据库内核TXSQL是支撑关键业务平稳运行的基石。 (云原生卓越技术提供商奖项) TDSQL-C的总体架构是基于共享存储,存储和计算分离的架构。 (传统的MySQL主备架构和TDSQL
腾讯云数据库 TencentDB
2021/09/28
9320
腾讯云数据库携手ACMUG分享最新技术
9月24日下午,ACMUG(全称China MySQL User Group,中国MySQL用户组)来腾讯云啦。 ACMUG是一个中国MySQL及相关技术爱好者的交流社区,是得到Oracle User Group Community和MariaDB Foundation双重认可的官方交流社区,由ACMUG举办的走进企业的系列直播活动,是面向开发者和数据库从业者分享技术干货,而本周四,ACMUG将联合腾讯云,邀请腾讯云的四位技术大咖给大家带来其精心准备的技术干货,一起为各位技术爱好者带来精彩的技术分享。下面
腾讯云数据库 TencentDB
2020/09/22
9600
腾讯新一代企业级云数据库CynosDB(NewCDB)
NewCDB是在CDB十年技术和产品沉淀的基础上诞生的,腾讯云数据库产品在继承中不断完成突破。
腾讯数据库技术
2018/06/12
11.8K1
MySQL之父与企鹅的故事
近日,MySQL 之父、MariaDB 公司创始人兼 CTO Michael Widenius(又名Monty)、MariaDB 基金会主席 Kaj 来到中国,针对MariaDB与腾讯云的技术合作进行回访。去年底,腾讯云与MariaDB基金会达成战略合作,腾讯云承诺为基金会的发展提供强有力的资源支持,共建全球开源生态圈。
腾讯云数据库 TencentDB
2019/03/26
1.5K0
MySQL之父与企鹅的故事
推荐阅读
相关推荐
腾讯云数据库内核揭秘 TXSQL Internals @2018
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档