MySQL实例主从配置，可以实现数据同步、备份、读写分离、容灾:可以在主库挂掉后从备用从库中选举新Master进行数据恢复动作。
最近线上突然发现一张表每天会产生500w条的数据，一个月下来发现已经接近8000w条的数据，达到90G之大的数据，之前在系统没有升级之前一年才产生100w左右的记录，估计开发的程序或者逻辑出现问题了，不管怎么样，作为运维发生问题，第一时间先以解决问题为第一位，所以这里总结一下删除大表数据的经验。
在之前，我分享过一次 pt-online-schema-change 在线 DDL 的工具实践记录，在实际使用过程中，发现部门的很多老系统大量使用了触发器，从而无法使用这个工具，非常遗憾！导致很多 DDL 变更都必须压到空闲时候做，比如凌晨，非常苦逼。 咨询了做 DBA 的老同事，他将 gh-ost 推荐给我，基于 golang 语言，是 github 开源的一个 DDL 工具，gh-ost 是 gitHub,s Online Schema Transmogrifier/Transfigurator/Tra
本人接触互联网也有差不多10个年头，从个人的博客、商城、电商、教育、淘宝客等，手里大大小小的项目也不在少数，接触过的技术栈也是比较多，从.net、php、java、go、python等都有涉猎，接触的规模也是逐渐由小到大，从简单的单机应用部署到SOA架构，再到目前公司业务的K8S集群，助力企业降本增效是每个公司都在倡导的，公司专门还发起了“提案改善”的降本增效活动，号召大家一起助力企业降本增效。
前面学完了JDBC，接下来带大家感受一下MySQL集群！其实什么是MySQL集群？简单的说就是一群机器（服务器）的集合，它们连在一起来工作。 其实各种数据库都有自己的集群，常常的多： 我们要学习的
上个文章，我们成功搭建了某个库的主从同步了，但是在正常的使用中，可能多少会有问题，遇到这些问题后需要如何快速恢复呢，下面就讲一些我自己遇到和客户这里遇到的一些问题，供大佬们参考
日常工作中，我们经常会和主从复制架构打交道，现在一般的公司线上很少出现单点实例的裸奔情况，因为单点实例极易出现故障，而在实例运行的过程中，我们很难做到一直对实例进行备份。主从复制完美的解决了上面这个问题，而在主从复制的过程中，最常见的事情就是需要统计从库落后主库的时间，一般情况下，我们是需要主从的落后时间越小越好，因为小的数字意味着从库的数据和主库的数据基本保持一致。当然，在某些情况下，我们也会人为的设置这个延迟时间，举例子就是在一些高危操作之前，我们害怕出现一些误操作，这个时候我们往往设置主从的延迟时间，这样即使主库上进行了误操作，例如删除了表，由于主从库之间延迟时间的存在，我们的从库可以避免这个问题，从而保障数据的安全性。
MySQL主从复制时可能由于各种原因导致数据不能及时同步，对用对造成影响，所以我们需要对一致性做检测，并在出现不一致的时候及时修复。
爱可生 DBA 团队成员，负责公司 DMP 产品的运维和客户 MySQL 问题的处理。对数据库技术有着浓厚的兴趣。你见过凌晨四点 MySQL 的 error 吗？
(1) 速度快，因为数据存在内存中，类似于HashMap，HashMap的优势就是查找和操作的时间复杂度都是O(1)
在当今云计算时代，不同类型的业务对高弹性、高可用性和可扩展性的需求越来越强烈，按需使用资源成为企业所需要的关键功能。为了满足这些需求，云原生数据库的Serverless化已经成为云数据库发展的重要方向之一。
云原生数据库TDSQL-C作为腾讯云架构平台部核心数据库产品之一，致力于为云上ToB用户和公司自研业务提供集高性能、低成本、大存储、低延迟、秒级扩缩容、极速回档、Serverless化七大特性于一体的企业级数据库服务。本文将给大家分享《TDSQL-C （原CynosDB）容灾的实践和探索》，主要内容有以下三个方面：
好雨社区原创翻译 MySQL在线更改schema的工具很多，如Percona的pt-online-schema-change、 Facebook的 OSC和 LHM等，但这些都是基于触发器（Trigg
我们在平时工作中，使用最多的数据库就是 MySQL 了，随着业务的增加，如果单单靠一台服务器的话，负载过重，就容易造成宕机。
业务有两个 MySQL 集群是通过 MQ 进行同步的，昨晚 MQ 出现异常，报了很多主键冲突，想请 dba 帮忙校验一下两个集群的数据是否一致。
gh-ost基于 golang 语言，是 github 开源的一个 DDL 工具，是 GitHub's Online Schema Transmogrifier/Transfigurator/Transformer/Thingy 的缩写，意思是 GitHub 的在线表定义转换器。
以下文章来源于鹅厂架构师 ，作者TDSQL-C 云原生数据库TDSQL-C作为腾讯云架构平台部核心数据库产品之一，致力于为云上ToB用户和公司自研业务提供集高性能、低成本、大存储、低延迟、秒级扩缩容、极速回档、Serverless化七大特性于一体的企业级数据库服务。本文将给大家分享《TDSQL-C （原CynosDB）容灾的实践和探索》，主要内容有以下三个方面： 1 云原生数据库和传统数据库的架构对比 2 MySQL数据库的容灾部署模型 3 TDSQL-C 异地容灾系统的实践 云原生数据库和传统数据
资深数据库专家，专研 MySQL 十余年。擅长 MySQL、PostgreSQL、MongoDB 等开源数据库相关的备份恢复、SQL 调优、监控运维、高可用架构设计等。目前任职于爱可生，为各大运营商及银行金融企业提供 MySQL 相关技术支持、MySQL 相关课程培训等工作。
DDL 一向是业务的痛点，尤其是对大型表的 DDL 操作，具有操作时间久，对性能影响大，可能影响业务正常使用等问题。
gh-ost是针对MySQL对主库影响很小，无trigger的online schema change解决方案。采用消费binlog的方式来代替trigger方式，并将同步信息存储到临时表中。
摘 要 在线DDL修改生产环境的大表一直是运维、DBA一个很头痛的问题，本文分享一些相关经验，希望对还在头痛的同学能有所帮助，当然更希望路过的大神，如果有更靠谱的方案能够指点一二，不吝赐教。 一、故障背景 内部故障群反馈：XX 系统卡住不可用了，请帮忙看看； 排查发现是有一个 alter 修改数据库的表结构的变更，出现了大量的 MDL 锁，导致服务不可用，最后通过 kill 掉这个 alter 恢复了服务。当然， 这个 alter 需求也就暂时搁置了。 业务需求的变更肯定还是要继续执行的，因此就有了各种
一、mysql主从介绍： MySQL主从又叫做Replication、AB复制。简单讲就是A和B两台机器做主从后，在A上写数据，另外一台B也会跟着写数据，两者数据实时同步的。也就是说，当你在A机器写入一个表，再次查看B机器也会同步一个表。 1.1 MySQL主从是基于binlog的，主上须开启binlog才能进行主从。 主从过程大致有3个步骤： 主将更改操作记录到binlog里。 从将主的binlog事件(sql语句)同步到从本机上并记录在relaylog里。 从根据relaylog里面的sql语句按顺序执
前提Mysql服务已经搭建好主从复制，Mysql搭建主从复制可参考：Mysql8实现主从复制
使用云上的MySQL时，会遇到很多人询问CDB的 为了更好的了解云上的MySQL，本文将介绍一些重要的知识点。
MySQL中给一张千万甚至更大量级的表添加字段一直是比较头疼的问题，遇到此情况通常该如果处理？本文通过常见的三种场景进行案例说明。
复制功能作为MySQL/MariaDB实现高可用性的核心，几十年来一直扮演着至关重要的角色。然而，在复制过程中，DBA们经常会遇到一个令人头疼的问题——错误号1236。
AdminAPI包含对InnoDB ReplicaSet的支持，使您能够以类似于管理InnoDB cluster的方式构建与管理基于异步GTID的复制的一组MySQL实例。InnoDB ReplicaSet由一个主节点和多个从节点构成。您可以使用ReplicaSet对象和AdminAPI操作管理复制集，例如检查InnoDB复制集的状态，并在发生故障时手动故障转移到新的主服务器。与InnoDB cluster类似，MySQL Router支持针对InnoDB replicset的引导，这意味着您可以自动配置MySQL Router以使用InnoDB replicset，而无需手动配置文件。这使得InnoDB ReplicaSet成为一种快速简便的方法，可以启动和运行MySQL复制和MySQL Router，非常适合扩展读取，并在不需要InnoDB集群提供高可用性的用例中提供手动故障转移功能。
MySQL数据库归档历史数据主要可以分为三种方式：一.创建编写SP、设置Event；二.通过dump导入导出；三.通过pt-archiver工具进行归档。第一种方式往往受限于同实例要求，往往被大家舍弃。第二种，性能相对较好，但是归档表较多时运维也是比较头疼的事。所以很多DBA往往采用第三种方式--pt-archiver。
主从数据不一致对DBA来说是一个比较头疼的事情，刚接触MySQL时，遇到这种问题我一般采用重新还原备库的方式恢复数据，这对我来说是个很痛苦的过程。今天就来介绍两款pt工具，通过这两款工具可以针对数据不一致的情况进行快速检测和修复。
今天上班的时候接收到了一个业务方的反馈，说是一个数据库在删除表的时候报错了，我让他截给我日志看看，日志中的内容如下：
CentOs7.3 搭建 MySQL 5.7.19 主从复制，以及复制实现细节分析 概念 主从复制可以使MySQL数据库主服务器的主数据库，复制到一个或多个MySQL从服务器从数据库，默认情况下，复制异步; 根据配置，可以复制数据库中的所有数据库，选定的数据库或甚至选定的表。 MySQL中主从复制的优点 横向扩展解决方案 在多个从库之间扩展负载以提高性能。在这种环境中，所有写入和更新在主库上进行。但是，读取可能发生在一个或多个从库上。该模型可以提高写入的性能（由于主库专用于更新），同时在多个从库上读取，可以
Q：为啥要引入主从同步机制？ A：防止业务数据库突然宕掉，不能快速的恢复业务正常运行，有利于数据库架构的健壮性，提升访问速度，方便运维保证的数据物理安全(容灾备份)；
MySQL的复制功能是其高可用性和可扩展性的基石，它允许数据从一个数据库服务器（主服务器）复制到一个或多个数据库服务器（从服务器）。然而，在实际操作中，复制系统可能会遭遇外键约束带来的挑战。本文旨在深入探讨外键对MySQL复制系统的影响，并提供一些应对策略，以确保数据库的稳定运行和数据的完整性。
Mycat是一款基于阿里开源产品Cobar而研发的开源数据库分库分表中间件（基于Java语言开发）。官网所言：Mycat国内最活跃的、性能最好的开源数据库中间件！
洪嘉铭，就职于世纪证券信息技术部，目前负责运维、监控系统的相关架构设计、开发工作。对操作系统、网络编程、服务器后台架构有丰富实践经验。
在分布式系统中，我们知道CAP定理和BASE理论，数据的安全和性能是负相关的，数据的安全性提高了，那他的性能就会下降，相关，他的性能提高了，数据的安全性就会下降。我们从几个中间件来讨论这个问题。
原文：http://www.enmotech.com/web/detail/1/728/1.html （复制链接，打开浏览器即可查看）
MySQL主从同步是在MySQL主从复制(Master-Slave Replication)基础上实现的，通过设置在Master MySQL上的binlog(使其处于打开状态)，Slave MySQL上通过一个I/O线程从Master MySQL上读取binlog，然后传输到Slave MySQL的中继日志中，然后Slave MySQL的SQL线程从中继日志中读取中继日志，然后应用到Slave MySQL的数据库中。这样实现了主从数据同步功能。
首先下载Mycat的压缩包，Mycat1官网：http://www.mycat.org.cn/mycat1.html Mycat1.6.7.6官网下载地址：http://dl.mycat.org.cn/1.6.7.6/ 找到最新日期的下载即可
一、mysqldumpslow工具使用 1.1、修改配置文件开启慢查询 mysql 开启慢查询 systemctl stop mysqld echo -e "# 开启慢查询\nslow_query_log = 1\nslow_query_log_file = /var/lib/mysql/slow-query.log\nlong_query_time = 1\nlog_queries_not_using_indexes = 1" >>/etc/my.cnf # 重启mysql systemctl rest
参考博客《CentOS系统MySQL双机热备配置》。 参考官方文档https://dev.mysql.com/doc/refman/5.6/en/replication.html。
前段时间第一次接触大流量并发,而那时候我还没有相关经验,所以代码写的很渣,导致服务器死了又死
# NOTE connect_timeout: A largevalue of this setting can create a denial of service vulnerability.
墨墨导读：根据加锁的范围，MySQL里面的锁大致可以分成全局锁，表级锁，行锁。本文主要讲述MySQL全局锁和表锁。
从字面意思理解，所谓秒杀，就是在极短时间内，大量的请求涌入，处理不当时容易出现服务崩溃或数据不一致等问题的高并发场景。
1.Master写内存快照，save命令调度rdbSave函数，会阻塞主线程的工作，当快照比较大时对性能影响是非常大的，会间断性暂停服务，所以Master最好不要写内存快照。
在Redis中，与Sentinel（哨兵）实现的高可用相比，集群（cluster）更多的是强调数据的分片或者是节点的伸缩性，如果在集群的主节点上加入对应的从节点，集群还可以自动故障转移，因此相比Sentinel（哨兵）还是有不少优势的。 以下简单测试Redis的集群（单机多实例的模式），来体验一下集群的自动故障转移功能，同时结合Python，来观察自动故障转移过程中应用程序端的表现。
pt工具可以随机抽取主从的数据进行对比，用于测试主从数据一致性。也可以对不一致数据进行修复。这个工具在主或者从上安装均可
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
云直播
