00:00
课程还有还有更多腾讯精彩资讯等着大家,快来扫码进群吧各位各位同学们晚上好,欢迎欢迎大家来到开空优高校公开课高校公开课是腾讯开设的系列直播课程,每周四晚我们都会邀请不同的腾讯技术专家准时与大家一起分享,分享技术热点与实践,共共同探讨技术学习与成长,欢迎欢迎大家继续关注今天的天的直播马上就要开始了,在直在直播中我们我们会给大家不定时送出奖品福利与参与抽奖就有机会获得精美周边。另外另外直播中还疑老师答疑互动环节,大家大家在观看直播的过程中,如如果有任何疑问都欢迎在您家社区直播页面的互动评论区或者或者视频号直播间进行提问,老师会获取问题进行回答哦,现在扫描屏幕上的二维码,添加小助手进行交流。可以领取免费培。
01:00
培训课程还有更多腾讯云精彩资讯等着大家,快来扫码进群吧,各位同学们晚上好,欢迎大家来到Taco use高校公开课,Taco use高校公开课是腾讯云开设的系列直播课程,每周四晚我们都会邀请不同的腾讯技术专家,准时与大家一起分享技术热点与实践,共同探讨技术学习与成长,欢迎大家持续关注,今天的直播马上就要开始了,在直播中我们会给大家不定时送出奖品福利,参与抽奖就有机会获得精美周边。另外,直播中还有老师答疑互动环节,大家在观看直播的过程中如果有任何疑问,都欢迎在云家社区直播页面的互动评论区或者视频号直播间进行提问,老师会抽取问题进行回答哦,现在扫描屏幕上的二维码,添加小助手进行交流。可以。
02:00
领取免费培训课程,还有更多腾讯云精彩资讯等着大家,快来扫码进群吧,各位同学们晚上好,欢迎大家来到Taco use高校公开课Taco news高校公开课是腾讯云开设的系列直播课程,每周四晚我们都会邀请不同的腾讯技术专家准时与大家一起分享技术热点与实践,共同探讨技术学习与成长,欢迎大家持续关注,今天的直播马上就要开始了,在直播中我们会给大家不定时送出奖品福利,参与抽奖就有机会获得精美周边。另外直播中还有老师答疑互动环节,大家在观看直播的过程中如果有任何疑问,都欢迎在云家社区直播页面的互动评论区或者视频号直播间进行提问,老师会抽取问题进行回答哦,现在扫描屏幕上的二维码,添加小助手进行交。
03:00
六可以领取免费培训课程,还有更多腾讯云精彩资讯等着大家,快来扫码进群吧,各位同学们晚上好,欢迎大家来到Taco use高校公开课Taco use高校公开课是腾讯云开设的系列直播课程,每周四晚我们都会邀请不同的腾讯技术专家准时与大家一起分享技术热点与实践,共同探讨技术学习与成长,欢迎大家持续关注,今天的直播马上就要开始了,在直播中我们会给大家不定时送出奖品福利,参与抽奖就有机会获得精美周边。另外直播中还有老师答疑互动环节,大家在观看直播的过程中如果有任何疑问,都欢迎在云家社区直播页面的互动评论区或者视频号直播间进行提问,老师会抽取问题进行回答哦,现在扫描屏幕上的二维码。添加小。
04:00
助手进群交流可以领取免费培训课程,还有更多腾讯云精彩资讯等着大家,快来扫码进群吧,各位同学们晚上好,欢迎大家来到Taco use高校公开课Taco news高校公开课是腾讯云开设的系列直播课程,每周四晚我们都会邀请不同的腾讯技术专家准时与大家一起分享技术热点与实践,共同探讨技术学习与成长,欢迎大家持续关注,今天的直播马上就要开始了,在直播中我们会给大家不定时送出奖品福利,参与抽奖就有机会获得精美周边。另外,直播中还有老师答疑互动环节,大家在观看直播的过程中如果有任何疑问,都欢迎在云家社区直播页面的互动评论区或者视频号直播间进行提问,老师会抽取问题进行回答哦,现在扫描屏幕上的二维码。
05:00
添加小助手进群交流可以领取免费培训课程,还有更多腾讯云精彩资讯等着大家,快来扫码进群吧,各位同学们晚上好,欢迎大家来到Taco use高校公开课tale news高校公开课是腾讯云开设的系列直播课程,每周四晚我们都会邀请不同的腾讯技术专家准时与大家一起分享技术热点与实践,共同探讨技术学习与成长,欢迎大家持续关注,今天的直播马上就要开始了,在直播中我们会给大家不定时送出奖品福利,参与抽奖就有机会获得精美周边。另外,直播中还有老师答疑互动环节,大家在观看直播的过程中如果有任何疑问,都欢迎在云家社区直播页面的互动评论区或者视频号直播间进行提问,老师会抽取问题进行回答哦。现在扫描屏幕上。
06:00
的二维码添加小助手进群交流可以领取免费培训课程,还有更多腾讯云精彩资讯等着大家,快来扫码进群吧,各位腾学们晚上好,欢迎大家来到tale news高校公开课。tale news高校公开课是腾讯云开设的系列直播课程,每周四晚我们都会邀请不同的腾讯技术专家准时与大家一起分享技术热点与实践,共同探讨技术学习与成长,欢迎大家持续关注,今天的直播马上就要开始了,在直播中我们会给大家不定时送出奖品福利,参与抽奖就有机会获得精美周边。另外,直播中还有老师答疑互动环节,大家在观看直播的过程中如果有任何疑问,都欢迎在云家社区直播页面的互动评论区或者视频号直播间进行提问,老师会抽取问题进行回答哦,现在。
07:00
扫描屏幕上的二维码添加小助手进群交流,可以领取免费培训课程,还有更多腾讯云精彩资讯等着大家,快来扫码进群吧,各位同学们晚上好,欢迎大家来到Taco高校公开课tale news高校公开课是腾讯云开设的系列直播课程,每周四晚我们都会邀请不同的腾讯技术专家准时与大家一起分享技术热点与实践,共同探讨技术学习与成长,欢迎大家持续关注,今天的直播马上就要开始了,在直播中我们会给大家不定时送出奖品福利,参与抽奖就有机会获得精美周边。另外,直播中还有老师答疑互动环节,大家在观看直播的过程中如果有任何疑问,都欢迎在云家社区直播页面的互动评论区或者视频号直播间进行提问,老师会抽取问题进行回答哦。
08:00
现在扫描屏幕上的二维码,添加小助手进群交流,可以领取免费培训课程,还有更多腾讯云精彩资讯等着大家,快来扫码进群吧,各位腾学们晚上好,欢迎大家来到Taco use高效公开课Taco news高校公开课是腾讯云开设的系列直播课程,每周四晚我们都会邀请不同的腾讯技术专家准时与大家一起分享技术热点与实践,共同探讨技术学习与成长,欢迎大家持续关注,今天的直播马上就要开始了,在直播中我们会给大家不定时送出奖品福利,参与抽奖就有机会获得精美周边。另外直播中还有老师答疑互动环节,大家在观看直播的过程中如果有任何疑问,都欢迎在云家社区直播页面的互动评论区或者视频号直播间进行提问。老师会抽取问题。
09:00
进行回答哦,现在扫描屏幕上的二维码添加小助手进群交流,可以领取免费培训课程,还有更多腾讯云精彩资讯等着大家,快来扫码进群吧,各位腾学们晚上好,欢迎大家来到tale news高效公开课tale news高效公开课是腾讯云开设的系列直播课程,每周四晚我们都会邀请不同的腾讯技术专家准时与大家一起分享技术热点与实践,共同探讨技术学习与成长,欢迎大家持续关注,今天的直播马上就要开始了,在直播中我们会给大家不定时送出奖品福利,参与抽奖就有机会获得精美周边。另外直播中还有老师答疑互动环节,大家在观看直播的过程中如果有任何疑问,都欢迎在云家社区直播页面的互动评论区或者视频号直播间进行提问。老师会。
10:00
抽取问题进行回答哦,现在扫描屏幕上的二维码添加小助手进行交流,可以领取免费培训课程,还有更多腾讯云精彩资讯等着大家,快来扫码进群吧,各位同学们晚上好,欢迎大家来到Taco news高校公开课tale news高校公开课是腾讯云开设的系列直播课程,每周四晚我们都会邀请不同的腾讯技术专家准时与大家一起分享技术热点与实践,共同探讨技术学习与成长,欢迎大家持续关注,今天的直播马上就要开始了,在直播中我们会给大家不定时送出奖品福利,参与抽奖就有机会获得精美周边。另外直播中还有老师答疑互动环节,大家在观看直播的过程中如果有任何疑问,都欢迎在云家社区直播页面的互动评论区或者视频号直播间进行提问。
11:00
老师会抽取问题进行回答哦,现在扫描屏幕上的二维码添加小助手进行交流,可以领取免费培训课程,还有更多腾讯云精彩资讯等着大家,快来扫码进群吧,各位同学们晚上好,欢迎大家来到Taco use高效公开Taco use高校公开课是腾讯云开设的系列直播课程,每周四晚我们都会邀请不同的腾讯技术专家准时与大家一起分享技术热点与实践,共同探讨技术学习与成长,欢迎大家持续关注,今天的直播马上就要开始了,在直播中我们会给大家不定时送出奖品福利,参与抽奖就有机会获得精美周边。另外直播中还有老师答疑互动环节,大家在观看直播的过程中如果有任何疑问,都欢迎在云家社区直播页面的互动评论区或者视频号直播间。
12:00
进行提问,老师会抽取问题进行回答哦,现在扫描屏幕上的二维码添加小助手进行交流,可以领取免费培训课程,还有更多腾讯云精彩资讯等着大家,快来扫码进群吧,各位同学们晚上好,欢迎大家来到Taco news高校公开课Taco use高校公开课是腾讯云开设的系列直播课程,每周四晚我们都会邀请不同的腾讯技术专家,准时与大家一起分享技术热点与实践,共同探讨技术学习与成长,欢迎大家持续关注,今天的直播马上就要开始了,在直播中我们会给大家不定时送出奖品福利,参与抽奖就有机会获得精美周边。另外,直播中还有老师答疑互动环节,大家在观看直播的过程中如果有任何疑问,都欢迎在云家社区直播页面的互动评论区,或者是。
13:00
频号直播间进行提问,老师会抽取问题进行回答哦,现在扫描屏幕上的二维码添加小助手进行交流,可以领取免费培训课程,还有更多腾讯云精彩资讯等着大家,快来扫码进群吧,各位同学们晚上好,欢迎大家来到Taco use高校公开课Taco news高校公开课是腾讯云开设的系列直播课程,每周四晚我们都会邀请不同的腾讯技术专家,准时与大家一起分享技术热点与实践,共同探讨技术学习与成长,欢迎大家持续关注,今天的直播马上就要开始了,在直播中我们会给大家不定时送出奖品福利,参与抽奖就有机会获得精美周边。另外直播中还有老师答疑互动环节,大家在观看直播的过程中,如果有任何疑问,都欢迎在云家社区直播页面的互动评论区。
14:00
或者视频号直播间进行提问,老师会抽取问题进行回答哦,现在扫描屏幕上的二维码,添加小助手进行交流,可以领取免费培训课程,还有更多腾讯云精彩资讯等着大家,快来扫码进群吧,各位同学们晚上好,欢迎大家来到Taco use高校公开课Taco news高校公开课是腾讯云开设的系列直播课程,每周四晚我们都会邀请不同的腾讯技术专家,准时与大家一起分享技术热点与实践,共同探讨技术学习与成长,欢迎大家持续关注,今天的直播马上就要开始了,在直播中我们会给大家不定时送出奖品福利,参与抽奖就有机会获得精美周边。另外直播中还有老师答疑互动环节,大家在观看直播的过程中,如果有任何疑问,都欢迎在云家社区直播页面的互动。
15:00
评论区。Hello,大家好,欢迎大家收看ta高校公开课,呃,本期公开课呢,我们依旧邀请到了腾讯高级数据架构师。那前两期课程呢,我们了解了数据库的学习径,发展前景,还有应用。今天。了解。产品。为大家。与功能,并且为大家演示如何上,那在直播的最后呢,老师还准备了答疑互动环节,大家有任何想和老师交流的问题都欢迎发送在评论区。那另外也要提醒大家,直播中啊,我们还准备了不定时的抽奖,来自腾讯云的精美礼品等着大家哦,那接下来的时间呢,我们就交给老师,老师哈,请开始今天的课程吧。
16:07
哎,好的好的。呃,大家晚上好,然后呃,我共享的屏幕大家可以看到吧。呃,如果没有问题啊,我就继续往下讲了啊。然后今天我们来介绍一下腾讯云的数据,数据库t circle my版的产品以及架构的一个介绍。呃,首先我们是也是分了这么四个板块吧,第一第一部,呃,第一部分呢,我们先介绍一下产品的一个简介,然后第二部分我们介绍一下t circle的呃,架构啊,以及它里边各个模块的一个作用,后面我们会介绍一下T的一些主要功能,还有它的一些特性,然后最后呢,我们会做一下总结。呃,T是分布数据库,那腾讯云呢,我们除了有这个分布式的数据库,我们还有一些其他的数据,呃,腾讯腾讯的数据产品服务,那这里我们就大大致的去给大家介绍一下。
17:09
那腾讯云的话,我们是有这个呃数据库呃,属于帕层的这个产品,是有这个关系型的,还有非关系型的,然后再就是有分布式的,然后还有一体机,那这这是我们整个数据库的产品组。像惯型的,我们有这个my circle circlel server post circle啊,Me DB,呃,这是都是关,呃,常用的这些关型的数据库,像非惯型的,像有red啊,内存性数据库啊,Ma catch的啊,这个也是内存性数据库,还有mango DB啊,这是文档型数据库,还有CTSDB,这个是实序数据库啊,然后再就t plus DB,那这个就是游戏数据库,像王者荣耀就使用的这款数据库。呃,然后再就是分布式的,然后分布式的我们有TD circle啊,TD circle下边有两个两个引擎啊,一个是买circle引擎的,一个是post引擎的啊是两两个不同的引擎。
18:01
然后再就是t t circle-A那t circle-A的话,它也是呃t circle的呃,Post引擎的啊,跟上面我们t circle t circle下面那个引擎啊,他们底层架构原理是一样的啊,那这里是杠A的话,它主要是在分析功能上做了增强啊,它只是列势存储,现代化执行引擎等等啊。然后再就是T4和杠C,那T4-C的话是云原生数据库,那主要是在公有云上的我们存储节点和计算节点啊分离的这样一款数据库产品,我们可以去快速的去弹出我们的计算节点。包括我们的存储节点,我们也是可以进行这个一键式的扩容的。然后再由一体机啊,一体机的一个好处就是我们呃,把软硬件相结合的这种啊,一站式的解决方案啊,就是插电机用啊,我们不需要去再做安装部署,我们只需要把这个接上电,接上网,我们就可以直接去使用这样一款数据库产品。然后跟数据库呃相配合的,我们还有一些调度管理系统啊,比方说比方说我们这个满足我们高可用的啊,来实现这个故障迁移的,还有一些备份恢复,然后还有一些数据的订阅等等啊,还有高呃告警监控。
19:14
呃,然后再就是呃,跟数据库相配合的还有P产品啊,像DB bridge啊,来来实现这个异构的数据库迁移的还有云图啊,云图的话就是一个大屏展示。像一些关键性的一些数据,还有性能指标,我们就可以投屏到我们一个大的显示,大的一个显示器上面,那这个我们都可以呃,进行可定制化的这种输出的。然后再就是DB,不,那这个就是呃,智能管家主要是解决数据库的一些故障啊,故障分析啊,然后再就是性能优化等方面的问题啊,然后再就数据库管理平台啊,数据库管理平台的话就是我们啊,如果是分布式的数据库的话,我们会有一个统一的一个管理平台来,就是管理我们这些数据库的,呃后台所在的服务器,那分布式数据库的话,后台服务器呃数量啊相对来说是比较多的,那我们如果说有一个统一的一个管理平台,那这样的话可以大大减轻我们运营人员的呃这样一个工作负担。
20:13
像目前的话,我们数据库在各行各业啊,都是有进行输出的,呃,就是各各行各业我们也可以有这种定制化的这种方案啊,处理各行各业的一个发展。那接下来我们就看一下t circle啊T买版它的一个介绍,那TMYS版啊,是腾讯自研的这样一款兼容买S协议的这样一个国产分布式数据库,那它适合的场景是这种超大并发,超高性能,还有超大容量的OLTP类的场景啊,OLTP类就是交易类型的这种场景。呃,超大并发啊,超大并发就是并发数比较高的啊,比方说我们在购物节,大家啊都都去抢购啊,就是呃抢购某一个呃商品啊,呃这个商品限时,呃是限时抢购的这种,那这种情况下都是这种高并发的这种场景。
21:05
还有超高性能啊,数据库里面我们要满足很高的一个TPS啊,这是呃,就是能每秒钟能够可以执行多少多少多少个事物啊,那这个是对于性能的一个要求,然后再就是超大容量,那超大容量的话,主要是对于数据存储的啊,这样一个来说的,那分布数据库我们可以解决呃海量数据存储的问题,那这个就是TC啊,我们可以存储海量的数据。然后它也是t circle口采用的是主从高可用的架构,呃,就是说我们TSO分布式的啊,它内它呃内在的数据节点都是有这个高可用架构的啊,都会有一主多层的啊,就是主节点故障之后啊,是是对我们的数据库的业务的影响是很小的啊,我们可以进行秒级的这个主备切换,呃并且呢,提供了这个弹性的扩展,还有备份恢复监控啊等全全套的这个解决方案,也就是说我们日常运维的这些呃有工作啊,我们TS这个产品呢,都考虑到了,呃把这些我们的管控平台上,像这个扩展,还有备份恢复监控,那这这这些我们日常运维的这些工作,我们都可以通过我们的管控平台去实现,那这种情况下就减轻了我们运维人员的这个负担啊,也就是有效解决的业务在快速发展的时候,数据库面临的各种问题,各种挑战,我们都可以通过这个广播平台啊,去解决他的这些问题。
22:26
那接下来我们大致的去介绍一下T1发展历程啊呃目前的话是呃2022年啊,那t circle的话,最初是在2022002年啊呃数据库团呃团队啊成立的,然后呃最一开始的话,它也是在腾讯的一个计费部门,然后在开源的这个买还有post都有都有使用过,但是呢,这个呃随着业务量的一个发展,像开源的数据库上面渐渐不能够满足这样一个需求了啊也是腾讯呢就开始了啊分布式数据库字研像在202008年,呃,就在腾讯的充值计费部门就使用了分布数据库的一个产品。
23:06
然后在2010年,像财付通啊,就是也是腾讯的一个金融业。呃,也是使用了我们的分布式数据库啊体circle考,然后到2012年,我们的产品就是正正式命名为t circle啊,并且对外进行输出,那前期呢,这些年啊,基本上都是对于产品的一个打磨啊,在产产品成熟之后啊,我们啊就是可以进行对外输出了。然后到2014年,呃,我们这个t circle的话,呃,首先这个成功的应用到了这个微众银行的这个核心系统啊,微众银行就是互联网银行的这个合计系统上面,然后到2015年在公有云上我们进行了发布啊,也就是说在公有云上我们可以去呃购买我们的TC产品啊,一键购买。然后到2016年,我们的专业云啊,也也集成了这个T的一个版本啊,就是在专专业云上我们可以进行部署。
24:02
然后,然后再到了2019年,那这个也是具有里程碑意义的一年,也就是说T赛后分布式数据库啊,第一次成功的替换了传统的呃,商业银行的核心系统啊,这个是张家港农农商行的这样一个案例啊,啊也是一个传统银行的核心系统。然后到2020年啊,我们的这个呃,像一些大型机的下移的这些啊,啊这些方案啊,我们也是有的,然后再就是全国第七次人口普查的,呃,也是使用的这个T啊,分布式的,分布式的数据库。好,那对于这个发展历程,我们就大致的去介绍一下啊,那接下来我们就看一下TC的它一个核心特性,像t circle啊呃,因为它是主要是适合用于这种交易,交易类型的场景啊,像它的一些啊适用场景在一些金融领域啊,使用的是比较多的,一般情况下在金融领域我们首先要求这个数据啊,它是能够不不能够丢,也不能够乱的。
25:01
那我们T思口啊,通过通过数据强一致性啊进行进行保证的,呃,通过我们的高可能架构啊,主从之间它可以做到这个数据的一个强一致,就是主节点啊,接落盘的时候,我们的被节点啊,也要至少有一个被节点去接收到了主库传过来的这个,传过来的这个b logg啊,也就是日志呃,接收到这个他会反馈给主库一个确认消息,那这个时候主节点他会认为是提交成功的啊,并且向客户端去反馈这样一个成功的一个消息,那这个时候就保证了我们的主备节点,主备节点服务器上啊都是有最新数据的,那即使主节点故障之后,我们的备节点啊,它也是有最新数据的啊,这这个是不会对我们的业务造成影响啊,造成很大的一个影响的啊,我们的数据它是没有丢的啊,也也没有乱。呃,然后再就是高性能低成本,那高性能,高性能的话,我们前面也说了啊,它是适合用于那种高并发的这种场景,那高并发的场景就要求一个很高的一个性能,呃,它的高性能就是就是通过它的一个分布式的这样一个架构啊去实现的,呃,我们可以有多个节点啊,当我们这几个节点呃都出现这个性能瓶颈的时候,我们可以进行这个线性的一个扩容,去增加我们的数据节点,然后去去分担啊其他高负载的这些节点呢,呃,去分担他们的负担。
26:24
啊。这个是高性能的一个体现,然后再就是低成本,像t t circle啊,分布式的数据库,呃,它本身是有这个高品架构的啊,所以说我们就是不需要这种昂贵的存储设备啊,像传统的这个数据库啊,都是使用的这个昂贵的一些大型机,小型机啊,或者一些存储设备,那TC口啊,它就可以使用啊,就是廉价的啊,叉八六服务器啊,PPC机就可以啊,就可以构建一套这样一个机群。然后再就是线性的一个水平扩展,线性的水平扩展啊,就是分布式的数据库啊,它这个可以就是呃,随着性能或者海量数据的一个增长啊,我们的这个节点数啊,是可以在线性水平增加的,那增加过程当中呢,我们对于业务层来说是透明的啊,业务层它不敢知。
27:18
啊,这个是线性的一个水平扩容啊,也就是无缝扩容。呃,药层不感知的话啊,我们可以称之为无缝扩容啊。然后可以满足金融级的这个高可用啊,金融级的高可用,也就是说全年99.999%以上的这个高可用啊,就是五个九,那这个也就是说全年当季的时间啊,不超过五分钟。啊,它是按这样的啊,它是按这样来计算的啊。呃,然后TC的话啊,可以去呃灵活进行灵活的部署,像一些跨区容灾,同中双活啊,或者故故障的话自动恢复啊,这都是可以的,呃,然后呢啊,能够满足我们的企业机的安全性。
28:03
啊,像TS它本身带带有了数据库防火墙的这个功能啊,并且呢,可以实现透明加密啊,并且我们可以去通过管控平台去做备份啊,可以实现啊,通过通过备份可以实现这种备份恢复,然后减少用户啊误操作,还有黑客入侵啊带来的这种安全风险。呃,最后一个特点就是便捷的运维,那便捷的运维的话,就是通过我们的管控平台啊,我们有一个可视化的啊,通过web浏览器就可以打开这样一个管控平台,那我们可以在这上面去做我们的运维性的工作啊,非常的方便,非常的快捷。啊,那这个就是我们T的啊,六个的核心特性啊。那t circle口啊,我们目前兼容的版本,像t circle口最新的版本啊,已经到了10.3.20这个版本了,它里边有啊两个MYSQL的分支啊,一个是8.0.18的,一个是买SQ5.7.17的啊,它是这两个版本。
29:03
好,那接下来我们看一下T,它分布式数据库啊,它的一个具体的一个架构啊,以及它里面都有哪些模块,我们来看一下。那这个的话是我们T的一个产品架构图。呃,我们可以从中间啊,我们可以分开,上面这个是我们的管控链,然后下面是我们的数据链路,呃,数据链路啊,我们先看起来数据,数据链路那首先通过客户端啊,它访问我们的数据库,它会经过一个负载均衡层。那负载均衡可以是硬硬件的F5啊,F5负载均衡也可以是就是软的啊,负载均衡LS啊,腾讯腾讯数据库自带的,呃,这个LS。通过负载均衡啊,把这些请求去转化到我们的一个SQ引擎,那这个我们叫SQ引擎啊,也叫网关,呃也叫pro啊,就是它三个名称那都是呃不同的功能啊,不同的一个叫法,那SQ引擎的话,它会把这些它呃客户端的这个SQ请求再转化到我们后台的数据库的节点,那后台数据库我们这里最小单元是fat。
30:15
呃,每一个set就是我们的一个数据单元,然后在每一个set里边,我们都是有一组多重的这样一个高可用架构啊,比方说SET1里边一组啊,呃,从从库可以有多个啊,从一从二从三啊。然后赛里边也是啊,一个主库啊,一个从两个从,那这个时我们的数据积累,那这个时候真正存储业务数据的地方,那前面SQ引擎啊,它并不存储我们的业务数据。呃,SQL引擎啊,它是无状态的啊,没有主谓之分啊,我们可以看到这里可以有多个pro啊,SQL引擎啊,也叫pro啊,呃,它本身无状态啊,可以有多个,我们访问任何一个SQ引擎啊,都是可以访问到我们后台的数据库实例的啊,他们访问的结果都是一样的。
31:04
那么我们后台的数据是怎样分布的啊,也就是每一个节点啊分布,呃,存储一部分的数据,我们从业务层看到的一张表啊,它是一张完整的逻辑的表,那在后台其实它是为多个服务器,多个实例里边的啊。比方这个主里边啊,这个MYSQL主库里边存出一部分的数据啊,下面这个MYSQ里边啊,存出一部分的数据,那他们所有的节点加到一起啊,它是一份全量的数据啊。那这个数据是如何分布的啊,SQL引擎里面它是有记录的啊,通过SQL引擎它进行路由转发啊,当我们的呃,SQL语句里面带有我们的分布键的情况下,它会转发到我们指定的啊,这个数据库的这个节点啊,不会发到所有的节点。那这个是数据链,那上面是我们的管控链啊,管控链管管控链的一些组件,呃,像运营管理平台赤兔,那这个就是一个管控平台啊,通过外部浏览器我就可以打开,然后oss组件啊,提供操作接口的啊,HTTP协议的操作接口,然后scheduler和manager啊,这两个是我们调度组件,像我们啊去创建实例啊,它会调度资源,然后如果是发生了故障啊,它可以进行主备切换,那这个它就主要起这个,呃,资源调度还有这个。
32:27
啊,这个高可用切换的这样一个功能。然后同时呢,我们也有采集组件,像这些组件的话,他都会向主K呃去汇报他们一个节点的一个状态,健康状态信息。啊,都会呃,汇报到这个组keepper上面来,然后采集组件,再通过to keepper啊,再进行信息采集,像我们通过。呃,这个管控平台,我们看到的这些数据信息啊,看到的这些监控告警,还有这些磁盘,还有内存的CPU啊,他们的使用率,那我们都是通过我们的这个监控组件啊,监控采集组件啊,在keep里面进行采集之后入到一个监控库里边。
33:10
那入到监控库里面之后呢,我们通过这个管控平台啊,我们就可以进行啊查看了啊。那这一部分是我们的管控,像组K里边啊,它会记录一些整个集群的一些啊配置信息,还有一些呃,啊路由信息啊,我们说S考引擎啊,它是有路由信息的,那它的路由信息就是从keep里边来的。像这边路由信息变更之后啊,它这个也会进行更新的。呃,那这个就是T的整体的这样一个架构图啊呃,有数据链部分,然后有管控链路部分啊。然后我们来看一下这个核心组件色Q引擎啊,它的一些功能,那前面我们讲它可以做SQ的一些转发啊,它本身是无状态的啊,没有主备之分,那他啊,除此之外呢,它还有一些其他的功能啊,比方说权限校验啊,我们通过客户端啊去访问后台数据库实例,那这个用户啊,连上来的这个用户他有没有权限,那我们SQ引擎呢,他会做这个权限的校验啊,并且呢,可以做这个读写分离,像我们set里边啊,都是一种多同的这个高可用架构。
34:22
那我们,呃,读写的这个请求啊,我们是可以就是发放的主节点,像只读的请求啊,我们就我们就可以发放的被节点啊,来实现这个读写分离。然后呃磁后引擎也会做词法语法的分析啊,就是来判断一下这个呃就是呃词法呃语法是否正确啊。然后再就是路由选择,路由选择的话,就是说我们的数据啊,它要访问到哪一个set啊,这个SQ引擎啊,SQ引擎它是知道的啊,是发放到其中的一个set,还是发放到其中两个set,还是发放到所有的set啊,那他的是他是知道的啊。
35:02
那这个是核引,呃引擎啊,计算节点啊。因因为他呃转发SQL引擎呃SQL语句之后啊,这个set里边处理完每一个set都会向它返回一个结果,然后SQL引擎再把它们各自返回来的结果啊,再做一个聚合性的运算啊,所以说它它也是呃属于CPU密集型的这样一个服务组件。啊,它会它也会做大量的计算啊,就是聚,它有一些聚合函数啊,会做一些聚合性的运算,呃,并且呢,它也是参与分布式事物的。像分布式集群啊,分分布式数据库啊,它必须啊是有这个支持这个分布式受的啊,也就是满足我们分布式数数据库的一个a cid特性啊,就是保证我们的呃原子性啊,一数据的一致性啊,就是隔离级别,还有这个持久性啊,这个它都都能满足的。
36:00
然后再就是全局自增自段啊,全局自增自增的话也是通过S引擎实现的啊,比方说我们的表啊,我们有个自段是自增的,那自增的数据从哪里来呢?啊,它就是通过我们的SQ引擎啊,去往里面去插入我们自增的这个数据。然后再就是统计信息,然后通过搜索引擎啊,我们可以看到后台呃表的一些统计的一些信息。比方说索引信息啊,表的一些表结构啊,我们都是可以通过SQ引擎直接查看到后台的这些,呃,这些信息的。然后再就是我们的数据节点啊set,那set里边,我们前面讲它是有一种多重的高可用架构。我们可以看到这个set里边啊,它是有一组啊两个slave,那在每一个呃,在每一台机器上啊,每一个实例节点啊,主节点还备节点,它们都会对应一个组件啊叫agent。那这个agent的话是我们的一个庞模块,它主要是负责啊这个实例的一个健康状态信息采集的,它会把这些信息采集之后呢,会上报给组keepper啊,像我们前面讲的这个采集组件啊,它会通过do keepper进行一些相关信息的一些采集,然后再入到我们的监控库里边,然后我们通过赤兔啊,我们的广告平台就可以查看到这些信息了。
37:24
那这个是我们agent啊,它的一个组件的一些具体的作用啊,啊除了呃,除了我们的一些健康状态信息采集啊,资源一些啊,信息的一些上报的情况,它会一些扩容的,它会执行一些扩容的任务啊,备份恢复的任务啊,还有一些数据的校验,还有一些备份啊,都是通过agent啊,都是通过agent去做的啊,这是这个组件的一个作用。然后再就是oss啊,这是提供一个操作接口的这样一个工具。像他提供的操作接口啊,都是at TP的啊,这种操作接口啊,下面的话,这个就是我们来调用这样一个操作接口的这样一个事例啊啊inter name啊,它这个是调用的这这个接口啊。
38:13
呃呃,我们在通过管控平台做的所有的操作啊,都会通过操作接口啊,进行息的啊,息把这些任务去息到我们keep上面。然后这个schedule啊,还有manager,这是我们的一个调度组件,像前面啊啊这这些任务啊,通过OS,通过oss放到主K上面之后,然后再由schedule啊,还有manager他们去做下发处理。呃,比方说我们去创建一个实例啊,或者是删除一个set。嗯,然后再就是一些,呃,监控这个数据节点的一些存货状态啊,如果说啊,这个主节点故障之后啊,有这有这个schedule啊,这些组件去发起这个已助清啊,这个主备切换。
39:01
呃,然后再就是呃,数据库里边啊,这个强一致性的话啊,如果是说呃,它有这个呃有延迟的话啊,我们可以满足可可退化的这种情况,那可退化啊也是由段他们去做的啊,完成这种退化啊,以及退化之后啊,如果说状态已经恢复了啊,再可以把这个啊分步再恢复过来。然后包括啊扩容还有回档,那回档这里我们指的是恢复,扩容和恢复我们也是通过SKY和manager去做的啊。然后再就是schedule自身啊,它也是有这个冗余的啊,通过ZK,像这个schedule啊,一个故障之后啊,另外一个schedule啊,会进行接管,那这个就是通过CK进行选举啊。那这里就是大概组件一个介绍,就是我们前面提到的这些啊,那这里我们呃,就大致看一下就可以了啊,这是对前面各个组件一个功能的一个汇总。
40:08
好,那接下来我们就看一下这个它它的一个流程啊,有这么多个组件,它呃创建一个实例啊,它是怎样的一个流程呢?那首先我们通过客户端啊,也就是我们的赤图管理平台,我们去呃发起我们创建实例的这个任务。那这个任呃,我们填写的这些信息啊,比方说我们创建一组几倍啊,创建一组一倍还是一组两倍啊多大资源,那这些信息呢,我们都要进行填写,那填写之后那这些信息啊会。会通过啊呃,因为我们创建实例,我们是调用的oss的这个接口啊,调用这个接口之后,它会弹出一个对话框来,那我们在这个对话框上啊,我们填写我们我们想配置的这些信息,那填写完之后啊,这个oss会把这个任务啊去放在组keep上面啊,也就是我们填写完的这些数据啊,这些数据呢,是以接数据的格式啊,放在读keepper上面的。
41:07
然后我们的manager啊,再去感知到这个任务,然后他再去做这个下。啊,下发这个安装命令。然后再到服务器上,然后进行这个实例的一个安装,呃,当这个安装完之后啊,它会向主keep啊里边去写入一个信息啊,就是说这个实例啊创建成功了。啊,会会把这个信息啊,再重新写到这个组keep上面来,然后这个时候呢,Manager啊,这个组件啊,他会感知到这个任务的状态已经完成了,那这个他做下一步的处理啊,他会去更新这个节点,就是把这个呃,这个任务的一个处理结果啊,他去更新一下。然后更新完之后,我们再我们通过赤兔啊,通过这个oos啊,我们就能够看到这样一个结果。啊,这个是我们具体的一个流程,也也就是说通过这些组件啊,这些管控的这些组件,我们就能够把这些我们运维的啊,这些日常的这些操作啊,把这些工作流程串起来。
42:13
嗯,好,谢谢老师的分享,那现在我们要给同学们送上今天的第一波福利了,那请正在云家社区直播间的同学们在评论区发送关键词ta you前三位成功发送关键词的同学呢,将获得我们的腾讯短公一份,那视频号直播间的同学们呢,也不要着急,我们的小助手正在开启福袋中,同学们点击福袋发送关键词就可以参加抽奖,那我们在视频号直播间呢,也会随机的抽取三位同学,同样的是获得腾讯短额公仔一份,福袋开启的时间呢,是三分钟中奖的同学呃,我们会在视频号的后台去主动的联系你,那也请大家注意,一定要点击开口视频号进入私信来查收小助手给大家发送的信息哦。那云家社区直播间的同学们呢?请大家截图现在屏幕上的二维码。在直播结束后呢,小助手会。
43:13
统一的在评论区发送本次直播云家社区全部获奖用户的ID名单,那云家社区获奖的同学们,请你们扫码添加小助手来领取你们的奖品,没有获奖的同学呢,也没有关系,大家也可以截图咱们现在屏幕上的二维码,添加小助手进入ta高效开发者交流社群来做更多的技术交流,那进群交流呢,也有机会领取我们免费的培训课程。呃,在接下来的时间里呢,老师也会,呃给大家展示咱们啊数据库使用的真正的流程,呃,会给大家做一个演示,那也请大家期待,那我们接下来的时间交回给老师,老师请继续咱们今天的讲解吧。嗯,好的。好,那接下来我们来看一下我们的T的这些功能,还有特性啊,它都有哪些啊,以及如何实现的。
44:07
好,那我们前面讲,我们提色是支持水平扩容的,那水平扩容它是怎样一个过程呢?呃,那首先的话,我们在一开始有可能说只有一个fat啊,就是只有一个数据积累,那这一个set的话是一组多倍的,那我们扩容的话,就是把这一个set啊去拆分为啊呃,多个set,那最终的话。啊,我们可以拆分到256个set啊,也就是说T取circle,我们目前呃,最大的上限啊,我们是可以扩容到256个节点。啊,就是把这一个赛啊,最开始我们可能从一个节点扩,扩容到两个节点啊,有两个节点扩容到四个节点,但是最终呢,我们可以扩容到256个节点啊。那扩容的过程是怎样的呢?我们可以看一下这个图啊,比如说我们这呃一开始有三个set,那扩容了,我们扩容过程我们是呃一个set一个set进行拆分的啊,比方说我们停价了一个服务器啊,SET4啊,我们可以理解为这是一组啊,就是一个set里边有有呃呃所有set都一样啊,如果是有一主一从,那所有set都是一主一从啊,一主两从的话,都是一主两从,那这里我们这这里内部啊是一组多层的这个高可能架构。
45:25
那在set里边我们的这个数据啊,Set,比方说SET1里面的数据,我们会通过extra backup啊这个备份工具,把这个全量的数据啊去拷贝到我们三四里边来,那这个时候我们会有四个节点,呃,那3S4里面和31里面的数据是完全一样的,那这个时候呢,我们会呃会做一个删除,那这个删除的话啊,并不是一次性全部删除啊,我们是一个渐进式的一个删除过程啊,就是为了避免对业务层啊造成一个很大的一个影响,我们会一部分的数据啊,一部分的数据去删除。
46:02
呃,那删除的话,我们会SET1啊,它会删删除一部分啊,一部分的数据,SET4删除一部分的数据,那他们两个保留着下来的数据啊,就是原来SAT1啊,整个全量的数据。那这这个过程当中呢啊,对业务的影响只是一个短暂的,我们在切换路由的这样一个影响,那一开始的话,我们是访问的SET1啊,这一部分的数据我们都是访问到SET1,那我们切换路由之后,我们呃一部分数据是访问到SET1,然后另外一部分数据我们要访问到SET4啊所以说这个路由啊,它是有切换的啊啊从一从转换到三,从三一啊来转换到三四啊这是有一个啊路由的一个转换,那这个过程呢,是一个呃秒级的一个短暂的一个只读影响。呃,那接下来我们再说一下啊,T circle里边的主备复制啊,它的一个方式像t circle啊,它是呃,主备复制方式是完全和原生的这个MYSQL的复制方式完全一样的啊,是通过blog啊,通主通过主库传到备备库啊,然后再进行日志的一个回放,那在这里我们是可以是支持这个强通报机制的。
47:16
啊强同部的机制,就是说在主库落盘的时候,至少要求备节点啊至啊当我们有两个备点的时候啊,至少要要求其中的一个啊,要给主库有一个应答,那这个时候我们的数据是有两份的啊,在主库上一份,在备库上一份,那即使主库库障之后备库啊还是有最新数据的。啊,所以说这这个的话,就是我们强同步啊,强同步机制的一个保证,也就是说至少有一台备机啊,也进行落盘。啊,这个是啊,数据强同步的啊,这样一个复制方式,那在T里边除了强同步啊,也是可以支持异步的,那这个都是我们可以进行配置的。那这个是我们一个切换的这样一个过程,那切换的话,我们总共有这样的六个步骤,呃,首先的话,如果DB啊,它是呃服务还在,但是不可用的话,我们第一步的话会把它先降级为从机,呃降级为从机的意思就是说啊,我们能在任何时刻啊,只有一个主机呢,对外进行提供服务啊,因为我们要进行切换了嘛,啊切换的话我们就要想出一个新主来,那原来的主节点啊,我们就不能够让它从还作为一个主节点了,那第一步我们就让它变为从基,那如果是说啊,它已经彻底不存在了,那这个时候我们就可以直接跳到第二步,那第二步的话。
48:38
啊,就是我们从呃备机里面去找到一个最新的这样一个节点啊,也就是说它的数据啊,是呃最新的数据啊,那这个时候我们需要对比他们的呃文件的偏移量啊,就看哪一个是数据是最新的啊,哪一个是接收到的数据是最新的啊,并且回放了啊回回放到回放到了这个最新的一个状态啊,那这个时候我们把它提升为新的主机点。
49:05
呃,提升新的主机点之后啊,我们会创会重建这个主备关系,呃,也就是说我们原来的备库啊,我们看这个图啊,呃,原来备库两个分类我是都是同步这个主节点的,那我们在选为新的主之后啊,我们中间这个节点变为了新的主节点。那这个时候其他的被节点啊,都要和它建立一个主备关系啊,都会去同步它,那这个是重建主备关系,那主备关系重建好之后啊,我们会去更新CK里边的啊,这个路由表啊,读K里边的这个路由信息,那更新完之后我们的pro啊,就可以转换到新的这个主节点来了啊,所以开始它访问到原先的主节点,那现在的话,路由转发之后啊,路路由切换之后啊,它会转换到我们新的这个主节点,那这个就是我们整个完整的这个容载过程。那这个过程的话是不需要人为干预的啊,是完全自动化的啊,一旦故障啊,就会触发它这个主备切换,呃,那我们人为的去切换可不可以呢?啊也是可以的啊,我们通过我们的管控平台,我们去啊去点一点啊,我们进行操作一下啊,就可以做这个主备切换了。
50:18
那这个就是呃,主备切换的一个一个场景啊,这个我们大致的去介绍一下吧,呃,首先啊,这个ABC是我们三台服务器啊,A是主节点,B和C是同节点啊,一开始的话,它是往A里面去写数据,那当写了A加一,A加二,再写A加三这条数据的时候,A库啊A服务器宕机了,那这个时候B啊它同了A加一,然后C它是同步到A加一和A加二。呃,这个时候它会触发这个主备切换,那它会优先啊,去选择我们把我们的非节点啊,取回拉拉为这个主节点。因为它的数据啊是最新的啊,并且同步的是最快的啊,所以说C这个节点同步啊,会拉拉升为主节点,然后B的话啊,会继续同步C节点的这个数据啊,比如说C加三啊,C加四啊,它都会继续同步,然后如果说原来的这个A啊,如果说还能存活啊,还能加进来,那这个时候呢,他会和CC这个服务器啊进行数据的一个对比啊,就看一下啊,前面他写这个A加三的时候,这条数据啊,有没有在C这个新的图上啊,有没有生成。
51:30
啊,如果生成的话,它会继续和这个C啊进行同步,那如果说没有生成,那这个时候他要回退这个事物啊,要把一加三这套数据进行回退。那如果是A啊,彻底不能用了,那这个时候我们需要加一台新的机器进来,那这个时候我们需要重建这个主啊备机,呃,重建备机的话,我们是通过啊,呃物理备份啊,在这个备节点上去拉取一份备份啊,然后再重重新啊建立这个备机啊,它是这样一个过程。
52:05
好,然后再就是t circle的读写分离的功能,那读写分离的话,我们有三种模式啊,一种呢,一种是只读账号啊,我们可以创建账号是只读的啊,只要是这个账号发过来的啊,我们就给它发完的备机,呃然后再就是然后在另外一种方式就是通过pro啊开启语法解析,呃,就说语法里边啊思考L语句啊,我们呃,通过这个select啊,我们能判出它读的啊读的请求,那么我们也可以把它放到背机。呃,然后再就是加slave注释的啊,我在SQL语句里面,我们加入一个slave注释,那这个情况下它也是可以发放到备机的啊。那是这是这三种模式,一般情况下我们建议就是采用这种只读账号啊,只读账号的话啊,比较灵活啊呃,有的账号可以啊,可以实现读写分离,有的账号我们就是读写的。像通过这个语法解析的话,它是对所有的用户啊,对所有的账号,呃,统一的这样一个,呃,这样的一个规划啊,所以说这个相对来说不够灵活。
53:09
好,那下面的这个就是我们读写分类的这个方式啊,加注释的话,就是在我们SQ命令前面啊加一个四六注释,然后只读账号的话,就是通过我们的广告平台啊去创建的这样一个账号。然后在T啊,我们的分布式数据库里边,我们除了分表啊,我们还是还有其他的表,也就是说我们数据啊,这个表的数据可以是分啊,也可以是不分的。那这那这个就是啊,我们有不同的表的类型。那单表啊,就是不做拆分的表啊,它的数据只位于第一个set里面。啊,我们创建了一个表啊,就这个语法是和原生百最语法是完全一样的,那这种表我们是只在第一个set里边,呃,所以说呃,如果说单表数量过多啊,它会对第一个分片啊的负载啊,会造成比较高的一个负担,然后再和其他的表去做照啊,去做关联查询的时候,它是需要跨数据节点的啊,所以说这种情况下效率可能比较低一点,呃,所以说啊,它比较适合用于这种存储相对独立的啊,访问量比较小的这种这种业务数据表。
54:23
呃,然后第二个表就是广播表,那广播表的话,它是用于啊存也是存储这种小数的去量的表,但是它和单表的一个区别就是它的它的表是在所有的物理节点都有,而且每一个物理节点里面都是全量的数据啊,和单表的一个区别,像单表它只是在第一个set里边,像广播表它是为所有的set里边。呃,像巩固表和其他其他的表去做照的话,也是不需要跨fat的啊,因为他们在每一个fat里边都有这个巩固表的全量数据啊,所以说它也是不需要跨fat的。
55:00
呃,然后再就是分表,那分表就是水平拆分的表啊,它这个表里面存放的数据是拆分到不同的啊,这个节点不同的节点啊,不同的分片里面的,那这个拆分的方式啊,我们总共有三种啊,三种这种算法啊,一个是一种是哈希的啊,一种是range啊,就按范围,还有一种是按list啊,这是啊这三种范围分区的,然后我们这三种啊,我们都需要指定一个字段啊,作为我们的一个啊分部件。呃,像哈希的,我们指定的这个沙拉K像的啊,我们也需要指定一个字段啊,作为一个范围分区的这样一个依据。然后再就是list啊。呃,如果我们在呃数据库里面,我们查询或者更改的时候啊,我们必须啊,我们最好带上沙K啊,呃,像INO1句,如果不带SK的话啊,直接会返回报错啊,如果不带SK这个字段,它没有办法确认啊这个呃这条数据要发文到哪一个site。
56:04
然后select语句如果不带有沙K啊,它会转发到所有的that里边去,呃,去查找数据,那如果说带上SK啊,它就会通过计算之后啊,他知道这个数据是位于哪一个set的啊,他就只会直接会到对应的set里面去找,那这种效率是比较高的。呃,如果涉及到分分表之间的这个查询的情况下啊,我们可以依据这种啊沙拉K啊进行等值关联啊,这种情况下它的效率也是比较高的啊,因为它它可可以做下推啊呃,分片之间是没有数据交互的,那这种效率是比较高的啊,如果是没有办法根据这个沙拉可以进行等值关联的情况下。它这个数据节点之间啊,是有这个数据交互的啊,所以说它这种情况下可能啊,有些网络上的损耗啊,所以说这种情况下啊,这个效,这个效率是比较低的。啊啊,同时分表的话,我们是支持水平扩容的。
57:02
啊,当增加了节点之后啊,这个分表的数据就会拆拆出一部分来啊,到我们的这个新的节点里边。呃,那除了我们支持前面的这三种分区,我们还支持二级分区,二级分区啊,就是在一级分区的基础上啊再做分区。那目前二级分区我们支持啊,还有啊这两种分区的算法。呃,那这里能列出来的都是他们支持的,支持的这种数据类型啊,那这里我们就简单看一下就好了。嗯,啊,接下来我们介绍一下这个分表啊,前面我们讲它是需要指定一个字段作为我们的一个拆分键,那这个字段的话啊,像哈希的这种算法呢,我们可以称之为沙的K啊,就是分不见,那这个就是我们的一个见表语法啊,像这个语法前部前半啊,前面这一部分是和原生的这个语法是完全一样的,呃,那只不过是在后边啊,我们加了一个沙的K,等于什么啊,等于啊这个ID字段。
58:04
那这个是我们分表的一个啊,建表建表语句啊,见表的一个语法,那这种情况下,我们会根据ID的这个字段啊做哈希算法,然后把这个数据呢,去拆分到我们啊对应的这个set里边。呃,然后还有一些润的,还有类啊,不同的算法,那他们的语法呢,和它是不一样的啊,呃,他们都会有对应的一个语法。呃,像分布式事物的话啊,呃,因为我们在分布式数据库里边,我们执行的事物啊,有可能是只涉及到一个啊,一个数据节点,那这种这种情况下是单节点的事物啊,是由由由这个引动DB引擎啊来保障的啊,因为它不涉及到其他的,呃数据节点啊,只在这一个节点,就和原生的啊单机版的买磁口啊是完全一样的。呃,如果是涉及到涉及到多个节点的这个分布事务啊,这个是采用两阶段提交的这种方式啊去实现的啊,两阶段提交就是啊先进行啊啊。
59:08
提交的一个询问啊,由这个proxy去询问我们各个各个数据节点啊,是否可以提交,那各个节点返回啊,都是确认的啊,没有问题,那这个时候我们再进一步提交啊,总共是分了两个阶段。那我们呃使用啊数据库我们执行事务啊,呃需呃需要关心哪些啊,我们不需要关心它是否是两阶段提交的啊,呃是先进行prepare,然后再进行commit啊,这些我们必须要关心,我们需要啊,像单击一样去使用就OK了,我们直接执行begin啊,开启一个事物,然后再去执行个in语句啊DML操作,然后再最后呢,再啊是和原生的这个post啊是完全,呃呃和原生的这个MY啊是完全一样的。呃,然后呢,这个架构上面啊,我们是支持这个呃建中的异常处理的啊,也是完全去中心化的,就是数据节点,它并没有在一个服务器上面啊,但是在呃多个多个服务器上面啊,并且呢,每一个节点的话,它都会有主存的这个高层架构啊,都是可以满足这个异常处理的。
60:19
啊,并且有这个全局思索的这个检测机制啊,当一旦发生思索,我们就会,呃,就对这个思索进行处理啊,避免对后来的事物进行阻塞。呃,那这个的话就是我们,呃,集中式和分布式的一个区别啊。呃,那集中式的话啊,我们在右层看见的一个表,是一张逻辑的表,那在物理层啊,其实它位于啊,它对于呃,只有一个物理节点,那对于分分布式来说啊,我们从业务层看见的一个表,它是一张逻辑的表,那它对应的物理节点啊,它是有多个的啊,每一个节点存储这个表的一部分的数据。
61:00
啊,这是他们结构上的一些不同啊。呃,然后再就是这两种模式啊,他们的一个对比啊,呃,对于这个高一致性,也就是说主啊,因为no模式和分布式模式,它都是有主备的啊,他们的主备之间啊,都是这个高一致性的,然后并且呢,可以做到这个自动容灾啊,就是主库故障,我们备库自动接管。呃,然后啊,这个no模式它是完全兼容啊,这个原生的post circle。而这个上模式对SQ能力啊,它是有一些约束的啊,比方说有一些呃,我们需要指定的分布件啊,啊分布键呢,有一些限制条件啊,那这这些的话,呃,它是有一些限制的啊,这是跟原跟原生的啊,它的一个相比啊。呃,那么什么时候选择集中式,什么时候选择分布式,那这个情况下就根据我们的一些,呃,那这里是我们一个经验值啊,就是呃,首先根据它的数据量啊,首先数据量小于两个T的啊,我们可以考虑集中式,那大于两个T的啊,我们可以可以考虑分布式,然后再就是考虑它的一个未来的一个伸缩性啊,就是说未来数据量的增长,呃,如果说未来预计啊会很大的,会有很大的一个数据量,那我们可以提前啊规划为分布式啊,如果说未来数据量就呃一直不会有太大的变化啊,数据量一直是小于两个T的啊,我们就可以选择这种no的模式啊,就是未来也不需要进行扩容的啊。
62:34
嗯,那这个是它们两个的一个区别啊。喂,主持人在吗?嗯,感谢老师的分享。好,那我们这里就进入到今天的第二波抽奖,那请正在云家社区直播间的同学们,你们在评论区发送关键词,轻手轻松上手数据库,那前三位成功发送关键词的同学呢,将获得腾讯短额公仔,将获得我们腾讯云定制的移动电源一份那呃视频号直播间的同学们呢,你们也不要着急,我们的小助手正在开启福袋中,同学们呢,点击福袋发送关键词就可以参加抽奖了,那我们在呃视频号直播间这次同样也会随机的抽取三份三份呃腾讯云定制移动电源,那我们福袋开启的时间呢,是三分钟,中奖的同学请注意,我们会在视频号后台主动的联系你,那也请大家注意,一定要点击开视频号进入私信来查收小助手给大家发送的信息哦那呃,云家社区直播间的同学们请大家同样是截图现在。
63:53
屏幕上的二维码,在直播结束后呢,小助手会统一的在评论区发送本次直播云家社区全部获奖用户的ID名单,那云家社区获奖的同学们,请你们扫描屏幕上的二维码来添加小助手去领取你们的奖品,那没有获奖的同学呢,同样也可以截图屏幕上的二维码来添加小助手进入高校开发者的交流社群,去进行更多的技术交流,那进群交流呢,就有机会领取免费的培训课程。
64:24
好,那我们接下来的时间还是交回给老师,继续咱们今天的讲解。嗯,好的好,那接下来我们就做一下总结啊呃,我们今天主呃主要讲的是T的它的一些架构啊,还有它的功能特性,那架构上面我们是有这个管控链啊,还有我们的数据链。呃,管控链路啊,我们是负责这个资源的一些调度,还有主备切换的,然后再就数据链路,就是对于数据库的一些数据访问的情况啊,那这个是我们的一个整体的一个架构啊,里边不同的模块啊,有不同的这个功能,还有作用,那TC的一些主要功能特性呢啊,就是做一些啊水平扩容啊,就是线性的一个扩展,去增加我们的数据节点啊,然后再就是读写分离啊一些呃去呃读写的请求我们发送到主机,然后只读的请求我们发送到被机,然后再就是数据的强同步啊,呃,强同步的话,可以保证主备的这个强一致性。
65:26
那这这这是他们这几个的一个关键特性啊,然后再就是企业级的啊,这个容灾,然后呃,备份恢复等等啊,那这都是T啊,这个全套的解决方案里边的啊,这个管控的一些功能啊。呃,那接下来我就呃,结合我的平台给大家做一个演示啊,让大家可以看一下这个T,它的这个数据库的一些能力啊。呃,那首先呢,这个的话啊,是我们的一个图管理平台,那就是通过外部浏览器啊,我们就可以去访问我们的数据库,那登录上来之后啊,我们可以看到这有这样一个集群同览,那这里的话我们只有这样一个集群,那在集群里边啊们有两个实例啊,一个是非非分布式的啊,非分布式也就是集中式的,然后再就是分布式的,那么我们怎么来创建实例呢?啊,我们就可以在这个啊菜单里边去找到这个创建非分布式实例。
66:23
那这个我们可以选择数据库的版本啊,买5.17和8.0.18,然后再就是选择部署的机型啊呃,部署的机型我们可以就是提前啊定义好。然后选择它的这个资源啊,比方说呃,那这里相对于整机的这个资源啊,按百分比来算的啊,比方说1/18。那这个是对于整机的这样一个资源啊来划分的,那么我们也可以选择自定义啊,比方写上我们内存CPU啊磁盘,那么我们就可以点击下一步啊啊,然后选择我们的容灾模式啊,一组一倍还是一组两倍,一组三倍啊可以进行选择,然后选择完之后呢,我们啊可以选择这个机房机房的信息啊。
67:05
啊,比如说一个礼拜一个啊,那这个是一种一倍。啊,那么我们就可以点击下一步啊,那这个就是我们创建分布式的这样一个过程。那创建分布式的话啊,其实和非分布式啊大致差不多的,那只不过是呢,我们这里又多了一个set啊,也就是说我们是呃分布式实例,我们有多个的啊,多个数据节点。那这个和集中式的一个不呃不同啊,我们可以啊打开啊这个实例啊,我们可以看到它是一组一倍的。呃,然后呢,我们这个分布式实例的话,我们可以看到啊,它是有两个数据节点的啊,两个啊,一组一倍,一组一倍啊,这是两个的数据节点。那这个是分布式的实例,那它的一个创建的话啊,我们就可以点击这个创建分布实例啊,我们选择一个子塞的数,那这个就是说我们创建啊,它会有几个set啊,我们可以默认是两个,那这里有个分片数,那这个就是说我们最大啊,最终可以扩容到多少个fat啊,那最终呢,我们可以扩容到256,那如果说我们设置16,那最终可以扩容到16个。
68:19
那这个是我们创建实例啊,呃,我们对于这个实例啊,我们呃可以去做很多的操作啊,比如说做这个呃主备切换,我们进入到set管理里边,我们可以做主备切换啊,可以做重做备机,删除备机啊,添加备机,那这些啊,我们对于这些我们都可以来做的啊,并且呢,我们可以去呃进行扩容啊,扩容呢,我们添加set,比如说一开始我们有两个set,那我们再添加一个set啊呃添加一个set,我们把其中的一个set作为拆分。啊,它只是八到15啊,我们可以拆分到呃,12到15啊,拆拆出来一个分片,那这样的话我们就会多一个分片啊,这是呃扩容的这样一个过程。
69:04
然后同时呢,我们对于每台服务器我们都有监控啊,对于这个磁盘的使用率,然后日志,日志磁盘的使用率,还有Q的一些请求量,呃,慢查询,然后CPU的使用率啊,这些我们都都有都有监控,呃,并且呢,我们点击一下啊,我们对于啊,可以看到它的一个曲线图啊,比如最大IO利用率,最大CPU利用率啊。那这里呢,其实有一个曲线图的啊,因为这个环境我很长时间没有维护了啊,这里这个曲线图啊没有显示出来,那我们点击这个这里这个指标啊,我们是可以查看到它的一些性能指标的。那这个的话啊,是我们的监控啊,包括我们的一些啊绘画的一些处理,还有备份恢复。然后再就是性能分析啊,包括SQ优化啊,我们可以把SQL语句粘到粘到这里啊,进行SQL诊断啊,我们来判断一下它的性能啊,如果不好的话,它会给出我们相关的一些建议来。
70:03
我们可以在这个数据库里边,我们去创建一个用户啊,啊,那这个我们也可以通过管控平台来来做啊。呃,比方说我们创建一个test用户。那这个权限啊,这是授权啊,我们可以点击一个全选啊,我们也可以选择单个的单个权限进行授权啊,那这里我就先选择一个全选。那创完创建完这个用户啊,我们就可以使用这个用户在后台啊,或者是说呃,使用我们的客户端工具啊,像啊navi cat呀,或者是一些呃呃这种啊,这个开发工具啊,我们都可以去连接到我们数据库上面来。呃,比方说啊这个。啊,我们就使用啊,这个它的一个端口啊,再就是我们的用户名啊,我们进行这个的一个访问啊。那我们登录到我们后台后台的服务器上面,那我们需要呃,通过MYQ的客户端命令啊,通过MY啊杠U,比如说test-p test。
71:08
然后杠H-H的话,就是我们刚才的这个呃,IP和端口啊,我们连接任何一个都可以啊。来连接任何一个,连接任何一个都可以啊,我们连接一下。啊15004。好,我们可以看一下,那这个我们就连接上来了啊,我们可以执行MY的命令啊收啊。然后呢,我们可以去创建一个数据库。然后我们可以在这个数据库里面去创建表。那这里呢,我给大家演示一个创建,呃,创建分表。
72:00
呃,这里的话,我这里有一个学生表啊,我们可以。我们可以来创建一个学生表。那这个语法的话啊,我们来看一下啊,那这个表我们创建成功了,呃,这个语法前面是和原生的MY啊完全一样,那这里我们加一个。呃,加一个沙的K等于这个,呃呃,学生号啊,ID。那我们往里面去插入一些数据。我们来插入一些数据。好,我们来查询一下。呃。查询一下这个学生表,我们可以看到是八条数据,那这八条数据的话啊,我们是看它是怎么来分布的啊,那我们怎么来看呢?我们可以使用这样一条命令。
73:03
杠啊,然后。来看一下这个集群的一个状态。那这个就是我们对应的数据的一个节点名称。然后我们只在这一个数据点里面去查。我们还是查询这个student表。啊,我们一下这个数据库。那同样在库下,我们来查询一下。啊,这个表。我们可以看到这个赛下啊是四条数据。我们再来看另外一个fat。
74:00
啊,另外一个我们可以看到啊,它是另外四条数据啊,那这个的话。呃,我们通过我们不通不通过这个加不加这个注释的话啊,我们这查询的是全量的数据,所以说啊,这是分表。呃,他这个表的话,我们从这边客户端啊查看的话,它是全量的数据,那其实的话呃。它在后台啊,其实是位于多个节点的啊,那每个节点呢,只是存放了一部分的数据,那这个就是呃,分布式的数据库啊,它的一个数据存储的这样一个特点。呃,由于时间关系啊,我这里不再创建单表和复制表了,那单表的话只是在第一个set啊。那SET3里边就会没有,然后只在SET1里边,然后如果是创建复制表的话,然后每个set里面都有,而且并且都是全量的数据啊,就不会做拆分了啊,就复制表每一个节点都是全量的数据。
75:01
好,然后啊,我们的这个管控平台上,我们还有很多功能啊,比如说一些呃规划检查,然后故障诊断,然后历史赛分析,还有一些呃日志慢查询,还有主备,呃我们如果做主备切换的话啊,我们是在这个set里边做的这个主备切换,那这里是呃,如果是自动发生了这个主备切换啊,我们可以在这里看到主备切换的一个原因。呃,然后呢,数据库管理里边啊,我们可以创建用户啊,可以实现在线DDL,在线DDL,我们可以就是对于表进行变更啊,去增加字段,或者是创建索引啊,并且呢,可以是呃,执行在线思考啊,比如说我们可以在这里啊去查询。呃,这个表。我们来执行一下。嗯。是吧?
76:01
没错呀啊,那这个数据就出来了啊,那这边呢,如果是我们做了变更啊,呃不是查询的语句,我们做了delete或者update啊这些语句的话,呃,我们是呃在这里会有记录的,呃包括数据库的参数的修改,我们可以选中就可以进行修改,呃可以进行呃只改主库啊,也可以直接改备库啊,或者主备同改。我们看一下后边啊,后边是我们可以看啊,主备通改只改只改只改备库只改主库啊。好,那对于这个数据库,我们的管控平台,还有我们后台这个表的一些,呃操作啊,我们就先简单介绍到这里。好,那看一下大家啊,对于今天讲的内容有没有什么问题啊,如果有问题的话,我们可以呃提一下,提一下我们给大家做一个解答。
77:10
嗯,好的,谢谢老师,那在刚刚课程其实同学们也提出了一些问题啊,那也请老师看一看小助手为大家整理的一个问题的list。嗯,好的,嗯,我先来看一下第一个问题啊,T买分版与传统买语法之间区别有哪些,呃。呃,T口MY版我们是分为集中式和分布式的,那集中式的话和传统的MYS口的语法是完全一样的啊,我们使用传统的MYS口啊,原生的MYS口,那呃,使用T口集中式的话啊,我们的语法呃,就是一模一样啊,完全兼容,呃如果是使用分布式的话,我们的一些键表的时候啊,可能需要指定分键,那这个时候我们需要在SQ语句啊,建表语句后面加上一个SK等于什么一个字段啊,去去来指定一个分布键啊,会有这样的一个不同。
78:05
呃,另外呢,就是分布式实例,我们刚才介绍支持单表支持,呃,广播表只支持分表,那它们都有对应的这个语法啊,这是和原生的mysle的一个区别。那程序,呃,第二个问题啊,程序员所需要掌握的数据库知识,以及数据库工程师所需要掌握的知识差别在哪啊,有哪些?呃,程序员的话。呃,程序员的话,我们可能呃更重要的是就是呃内核,内核层的一些开发吧,就是呃数据库的啊,就是会写一些大量的一些代码。呃,像数据库的工程师的话,我们呃数据库工工程师呃有不同的岗位啊,有有这个啊DBA岗的啊,然后还有这个啊架构师啊,或者一些售前工程师等等啊啊这是不同的,像DBA我们就可以呃可能是做一些大量的运维性的工作,比方处理数据库的性能问题啊,故障优化呃故障处理啊性能优化等等啊,然后架构师的话,呃,呃就是跟呃客户啊去介绍我们产品的方案啊,比方说我们去帮客户去制定啊高可用的方案啊,或者是呃这个同城双活啊这样的一些方案的一些制定啊,比方说去选择去配置资源,我们选择什么样资源合适啊,那这个可能是架构师的啊呃,它的一个数据库架构师的这样一个呃。
79:29
呃,岗位的一些,呃,岗位的一些职责啊,然后第三个问题,数据库是怎么在一个产品里发挥作用的啊,比如呃,用我们的微信啊和QQ,呃,那这样的话,呃,微信和QQ啊,其实他在后台都对应的啊,会有这些数据啊,那他们都会有一个应用的啊,应用的一个服务啊,服务啊去调用后台的这些数据啊。呃呃,应用的话,那比方说我们通过这个微信啊。
80:03
啊,通过这个微信我们打开的呃,这个界面,然后去操作的这些信息,然后这些就是对于数据库的一些调用啊,比方说他联系了谁啊,那数据库里的这这这些啊,用户啊,都是在数据库里面存放的啊,然后这这个微信的话啊,呃,还有还有些还有些其他的啊,比方说我们一些呃,学校里的学校里的阅阅卷系统啊,我们阅完卷他会在数据库里边啊,会一些成绩啊排名啊表啊,就是刚才我们创建的这些啊,我们会有一个啊就是应用平台啊,我们就可以查询它的成绩啊,那这里是在数据库里面查的,那我们通过web浏览器啊啊类似类似于这样的啊,比说我们这啊点一下啊,某一个学生的成绩就出来了,那这个就是调用的数据库里面的这些功能啊,方说一些使用数据库里的那函数啊,进或者一些排序的功能啊,进行一次排序或者分组等等啊。
81:02
嗯,好的,那。呃,我们还有没有其他的问题,如果没有的话,我们今天就先介绍到这里,嗯,好,谢谢老师的解答,那如果同学们现在没有问题也没有关系,那大家可以扫描屏幕左侧的二维码进入的高效开发者交流群,有任何技术问题大家都可以在群里去做交流,那也感谢大家今天的观看,我们的今天今天的直播就到这里结束了,那大家也不要忘记每周四晚上七点,他会用高校公开课呢,都会在腾讯云官网的瑜伽社区以及是开口的视频号来准时的与大家见面,我们每期呢都会邀请一位腾讯的技术专家来为大家分享技术热点与实践,来共同探讨技术学习与成长,也欢迎大家持续的关注,那谢谢老师的分享,也感谢大家今天的观看,我们下周四再见。
82:00
好的,拜拜,嗯。
我来说两句