腾讯数据库技术-腾讯云开发者社区

开发者社区

文档建议反馈控制台

腾讯云架构师技术同盟

文章/答案/技术大牛

发布

腾讯数据库技术

专栏成员

105

文章

236244

阅读量

400

订阅数

MySQL之到底该查哪个分区？

mysql 函数连接搜索索引

MySQL 在5.1以后的版本支持了分区表，从物理的角度上来看分区是将一个表分解成多个独立不相交的子表，但从逻辑的角度来看所有的分区共同组成一个独立的表。MySQL目前只支持水平分区（表的不同行分布在不同的子表中）并不支持垂直分区（表的不同列分布在不同的子表）。分区可以更方便的管理数据，比如：可以通过删除分区来快速的删除某部分数据；可以只扫描少量的几个分区来查询符合条件的结果；不同的分区可以使用不同的物理设备，更高效的利用查询物理设备；避免ext3文件系统中inode锁竞争等等。

腾讯数据库技术

2023-09-02

3260

TDSQL-C Serverless 如何弹的更稳?

serverless 遍历内存数据优化

云原生数据库 TDSQL-C 使用计算存储分离的架构，计算资源和存储资源解耦，可以提供PB级的存储容量供用户按需使用。而 Serverless 架构是将计算资源做到极致弹性，和购买的实例规格解耦，根据用户数据库实际的负载，自动启停，自动扩缩容，用户按使用计费。其中计算资源主要是 CCU（CPU+内存），CPU 可以由 cgroup 或者 docker 等技术限制，内存分配给数据库进程，大部分由 Buffer Pool 模块使用，目的是缓存用户数据，Buffer Pool 内存的分配与释放过程涉及用户数据的分布，搬迁，还有内核中全局资源的互斥等等。本文将详细介绍 TDSQL-C Serverless 在内核做的一系列优化，让数据库弹的更稳。

腾讯数据库技术

2023-08-11

3120

MySQL网络写超时分析

mysql 函数数据网络异常

某客户使用TDSQL MySQL8.0版本，在跑批场景下出现连接中断现象。业务反馈的错误信息如下：

腾讯数据库技术

2023-08-03

9790

X侦探所事件簿 | MySQL的字符集实现

mysql 变量对象函数源码

#MySQL# 字符集实现 DATABASE MANAGEMENT X侦探所事件簿在前面的文章《X侦探所事件簿系列二 —— 关于字符集的秘密》中我们探索了MySQL字符集在CentOS系统下字符集变量作用和意义。这次，我们以5.7.36版本作为演示版本，探索一下MySQL内部字符集的实现，以此来从内部的视角来看看神秘的MySQL字符集是如何实现的，为源码爱好者提供一个简单的入门级接触。 #字符集相关系统表# 首先我们要了解MySQL的两个系统表，这两个表是在information_schema下，保存着

腾讯数据库技术

2023-06-05

3060

深度解析auto-increment自增列"Duliplicate key"问题

数据库 auto increment key 内核

提示：公众号展示代码会自动折行，建议横屏阅读问题描述近期，线上有个重要Mysql客户的表在从5.6升级到5.7后master上插入过程中出现"Duplicate key"的错误，而且是在主备及RO实例上都出现。以其中一个表为例，迁移前通过“show create table” 命令查看的auto increment id为1758609，迁移后变成了1758598,实际对迁移生成的新表的自增列用max求最大值为1758609。用户采用的是Innodb引擎，而且据运维同学介绍，之前碰到过类似问题，重启即

腾讯数据库技术

2023-04-25

1.1K0

TXSQL Parallel DDL功能建设

ddl 排序数据算法索引

TXSQL Parallel DDL 功能建设 DDL（Data Definition Language）是用来修改数据库和表结构的一类操作，是数据库所有操作中最高危也是最重要的一类操作，常见的DDL操作包括：加减列、修改列类型、加减索引等。由于DDL操作涉及到数据库表结构、表数据的重构，尤其是在云数据库场景下，表的数据量急速上涨，DDL操作的效率受到了极大的挑战，一条慢速的DDL操作甚至需要花费几天的时间来完成，在这期间DDL操作持续持有锁，意味着业务可能会面临长时间等待锁的情况，几天的等待对于业务来说是

腾讯数据库技术

2023-04-25

6840

MySQL 外部XA事务怎么安全恢复？

安全 mysql 函数事务协议

PART 01 背景 InnoDB中undo段的状态 InnoDB如何安全地崩溃恢复主要通过undo log机制来保证。事务的undo日志存放在undo段中，一个事务可能拥有多个undo段，事务prepare时会将所有undo段头部的TRX_UNDO_STATE字段修改为TRX_UNDO_PREPARED，这个操作完成后（完成的标准是修改undo段状态的所有redo日志都已落盘），事务所有的修改都已经持久化，即使程序崩溃也不会丢失（不考虑硬件损坏等特殊情况）。崩溃恢复的时候会将根据undo段的状态来决定事

腾讯数据库技术

2023-04-03

1.7K0

TDSQL-C OOM 优化

tdsql-c linux jquery 缓存存储

OOM是实例使用内存超过实例规格内存上限导致进程被kill，实例存在秒级的不可用。MySQL的内存管理比较复杂，内存监控需要开启performance schema查询(默认关闭)，会带来额外的内存消耗和性能损失，在不开启performance schema情况下排查内存使用情况又比较困难。本文将基于TDSQL-C（基于MySQL5.7）总结一下在线上经常出现的一些OOM的场景、排查手段及相应的优化方案。 ---- 一、MySQL线上常见OOM问题 1.1 表数量较多导致innodb数据字典内存占用多查

腾讯数据库技术

2023-02-03

1.7K0

MySQL 8.0 Atomic DDL

存储 sql 云数据库 SQL Server 数据库

背景 MySQL 8.0 DDL 是一个复杂的过程，涉及比较多的模块，例如：MDL 锁，表定义缓存，行格式，Row Log，DDL Log，online 属性，表空间物理文件操作等。本文主要通过与5.

腾讯数据库技术

2023-01-30

1.2K0

Innodb Buffer Pool详解

云数据库 SQL Server 文件存储编程算法 jquery vr 视频解决方案

导读数据库为了高效读取和存储物理数据，通常都会采用缓存的方式来弥补磁盘IO与CPU运算速度差。InnoDB 作为一个具有高可靠性和高性能的通用存储引擎也不例外，Buffer Pool就是其用来在内存中缓存数据页面的结构。本文将基于MySQL-8.0.22源码，从buffer pool结构、buffer pool初始化、buffer pool管理、页面读取过程、页面淘汰过程、buffer pool加速等方面介绍buffer pool的实现原理。第一部分、Buffer pool结构 Buffer pool不

腾讯数据库技术

2023-01-30

1.4K0

TDSQL-C 并行查询探索 | DTCC 2022

数据库 https 云数据库 SQL Server 网络安全 sql

按：本文是 DTCC 2022 云原生专场《TDSQL-C 并行查询探索》文字稿整理。在演示稿中有一些资料引用，这里单独抽出来便于参考。 TDSQL-C 产品介绍 https://cloud.ten

腾讯数据库技术

2022-12-20

8430

原创 | InnoDB 的 Change Buffer

介绍 change buffer（在 MySQL 5.6 之前叫 insert buffer，简称 ibuf ）是 InnoDB 5.5 引入的一种优化策略，若二级索引页不在 buffer pool 中，则将针对二级索引页的操作暂时缓存起来，等到该页从磁盘读到 buffer pool 中时再批量的（batch）apply 这些操作，从而达到减少磁盘 I/O 的目的。具体一点就是：事务 1 执行写操作（e.g update），但针对的二级索引页 P1 并不在 buffer pool 中于是 client

腾讯数据库技术

2022-11-28

6190

原创｜MySQL一个非预期锁等待分析

云数据库 SQL Server

提示：公众号展示代码会自动折行，建议横屏阅读背景客户发现一个非预期内的锁等待现象，线上频繁出现锁告警，出现问题的case可以简化成以下SQL： # 表结构和表数据CREATE TABLE `tab1` ( `id` bigint unsigned NOT NULL AUTO_INCREMENT, `value` int NOT NULL, `status` tinyint unsigned NOT NULL DEFAULT '1', PRIMARY KEY

腾讯数据库技术

2022-10-28

7500

原创｜MySQL performance_schema之内存监控

云数据库 SQL Server 数据库 sql

提示：公众号展示代码会自动折行，建议横屏阅读背景无论从使用、研发还是运维的角度，内存监控一直是MySQL的重点之一。完善的内存监控手段有很多作用，包括但不限于：发现内存泄漏，避免MySQL实例内存耗尽对实例的运行状态进行定量分析资源管控和优化但内存监控想要“完善”并不是那么简单的事。 PFS内存监控介绍在PFS中，一共有五张内存相关的监控表，每张表会从不同维度收集和聚合内存事件。 memory_summary_by_account_by_event_name: 从用户和连接host的角度统

腾讯数据库技术

2022-10-08

2K0

原创｜MySQL binlog时间异常分析

linux 数据库 sql

提示：公众号展示代码会自动折行，建议横屏阅读「第一部分引言」在日常运维MySQL的过程中，不知大家是否有留意到，有时会发现binlog中的时间并不是有序的，如果对这种情况感到疑惑，那么本文将能解答你的问题。「第二部分时间来源」每一个event实例都继承自Log_event类，在Log_event的构造函数中会设置event头部的时间： Log_event::Log_event(THD *thd_arg, uint16 flags_arg,

腾讯数据库技术

2022-08-26

1.3K0

原创｜如何在Innodb层维护GTID？

linux html 云数据库 SQL Server sql

提示：公众号展示代码会自动折行，建议横屏阅读「第一部分背景」在之前的公众号文章《GTID实践和分析》中介绍了GTID的基本原理，MySQL主要通过Server引擎的binlog文件和Innodb的mysql.gtid_executed表来持久化GTID集合信息。在提交时会将分配给事务的GTID刷到binlog文件中，在事务成功提交后会将GTID加入内存的executed_gtids集合中，并周期性持久化到mysql.gtid_executed表中。在实例恢复时可以从mysql.gtid_execute

腾讯数据库技术

2022-08-26

6760

原创｜这个死锁你会解吗？

node.js 数据库 sql

提示：公众号展示代码会自动折行，建议横屏阅读「第一部分背景」最近我们发现在Read Committed隔离级别下出现了S类型的Gap锁参与的死锁告警。本身RC隔离级别上出现Gap锁就很诡异了，更诡异的是两条看起来完全不相干的SQL发生了死锁。让我们一起来分析一下吧。 1.1 事务逻辑简化来看是一个文件移动功能，目的是将文件从source目录移动到dest目录，逻辑如下： 1）查询 source 的父目录（select lock in share mode） 2）查询 dest 的父目录（selec

腾讯数据库技术

2022-06-08

8250

原创｜InnoDB数据页详解

存储文件存储网站

提示：公众号展示代码会自动折行，建议横屏阅读「前言」 InnoDB层的文件除日志文件外，都具有较为统一的物理结构。所有物理文件由页（page 或 block）构成，在未被压缩情况下，一个页的大小为UNIV_PAGE_SIZE（16384，16K）。不同用途的页具有相同格式的文件头和文件尾，其中记录了页面校验值、页面编号、表空间编号、LSN等通用信息。根据不同的应用场景和功能可以将页面分为多种类型，比如：每隔一定数量的页面后会使用extern描述页来记录每页空闲与否；Inode页面用于存储segment信息

腾讯数据库技术

2022-05-13

1.3K0

原创｜X侦探所事件簿｜内存到哪里去了

云数据库 SQL Server 数据库 sql c++

提示：公众号展示代码会自动折行，建议横屏阅读「第一部分前言」我们都知道，程序的运行离不开内存。很多人都有这种直接朴素的想法，内存越大程序的运行速度越快。对于数据库来说，如果数据都能加载到内存中，不需要从磁盘读取，那速度肯定是杠杠的。但是，对于现在的应用来说，几十GB乃至TB级别的数据，都是常见的情况，但内存多是十几GB。所以，内存就是就是珍贵的资源，要精打细算的使用，那么这次我们就探究一下和内存相关的知识。这些知识将从两个方面着手，一是操作系统方面，从该方面我们讲述内存在这个层面是怎么分布的；二是M

腾讯数据库技术

2022-03-30

5900

原创｜slave crash unsafe常见问题分析·续

sql 数据库云数据库 SQL Server linux

提示：公众号展示代码会自动折行，建议横屏阅读「第一部分背景」在之前的公众号文章《 slave crash unsafe常见问题分析》中提到slave的master_info_repository和relay_log_info_repository参数的某些配置可能导致crash unsafe，同时在该文章的末尾提到设置relay_log_recovery = on可以避免slave crash unsafe，参考文献[1]、参考文献[2]、参考文献[3]。因此本文继续之前的思路，首先着重分析GTID

腾讯数据库技术

2022-02-23

6310

点击加载更多

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态