MySQL的服务实现通过后台多个线程、内存池、文件交互来实现对外服务的，不同线程实现不同的资源操作，各个线程相互协助，共同来完成数据库的服务。MySQL常用的后台线程概括如下，分为Master Thread，IO Thread，Purge Thread，Page Cleaner Thread
centos是一个基于Red Hat Linux提供的可自由使用源代码的企业级Linux发行版本，它是来自于Red Hat Enterprise Linux依照开放源代码规定释出的源代码所编译而成。
在MySQL中，日志非常重要的一个组成部分，它记录了数据库运行状态的各种信息，包括错误信息、查询信息、事务信息等等，是进行异常排查、性能优化、数据恢复和备份的关键基础。
这几天要折腾mysql服务器，所以在网上搜罗了一些维护策略，然后自己总结实验，下面是我的总结经验和别人的一些建议。
原子性是数据库事务的核心特性之一，它要求事务中的所有操作要么全部完成，要么全部不完成。这种“全或无”的特性确保了数据库在事务处理过程中的一致性。在MySQL中，原子性的实现主要依赖于事务日志，特别是redo log（重做日志）和undo log（撤销日志）。
MySQL作为蓝鲸平台存取数据的主要数据库，其稳定性关系到蓝鲸平台的使用体验，而其数据安全性则可能关系到企业IT资产相关信息，在安装和维护蓝鲸平台的过程中应引起足够重视。本文将对如下几个出现过的问题进行分析和提供处理建议。这几个问题分别为：升级，配置日志自动清理，binlog手动清理维护，表清空，备份。
◆ 一、开源项目简介 滴滴LogiAM来源于滴滴多年来大量的运维实践经验。经历过多方考验，对于大规模Agent日志采集治理管控及巡检诊断已经沉淀出一套完善的解决方案。在云原生时代背景下，LogiAM以“应用/服务”为采集粒度，满足了从业务层面创建采集任务的需求。 ◆ 二、开源协议 使用Apache-2.0开源协议 ◆ 三、界面展示 ◆ 四、功能概述 ◆ 用户体验地图 主机/容器管理：用于维护主机、容器信息至系统(含:容器-主机关系) 服务管理：用于维护服务信息至系统(含:服务-主机、服务-容器关系)
GIthub上有两个Druid。其中一个是阿里的数据库连接池，另一个是列式存储的分布式数据存储系统。我曾经一度认为是一个东西，本文介绍后一种Druid。
一个6亿的表a，一个3亿的表b，通过外间tid关联，你如何最快的查询出满足条件的第50000到第50200中的这200条数据记录。
MySQL 一般是安装在服务器上的，我们在客户端可以进行连接，然后可以进行一些增删改查操作。下面我们分服务器端和客户端来讲解一下 MySQL 的实用工具集。
在现代数据库系统中，MySQL的InnoDB存储引擎通过精巧的数据结构设计和高效的索引算法，为海量数据提供了稳定、快速且持久化的存储服务。
在删除sql语句中，写法如下：DELETE FROM ueb_logistics_rule_logs WHERE type=0 LIMIT 100; 凡是这样，delete带有where条件的，都不是真删除，只是MySQL给记录加了个删除标识，自然这样操作后表数据占有空间也不会变小了
日志的存在，为数据库的很多功能提供了保障。像用于回滚数据的 undo log，用于恢复数据的 redo log， 以及用于主从备份的 binlog。本文将会大致介绍下数据库里的日志类别，以及重点分析下事务日志的相关知识点。
MySQL 为我们提供了分布式事务解决方案，在前面的内容中 聊一聊分布式事务的解决方案 提到过 binlog 的同步，其实是 MySQL XA 规范的一个应用，那么 XA 规范是如何定义的，具体又是如何应用的呢？
主要介绍：复制功能介绍、mysql二进制日志、mysql复制拓扑、高可用框架、单点故障、读写分离和负载均衡介绍等 mysql复制功能介绍 mysql复制功能提供分担读负载 复制解决的问题 实现在不同服务器上的数据分布 利用二进制日志增量进行 不需要太多的带宽 但是使用基于行的复制在进行大批量的更改时会对带宽带来一定得压力，特别是跨IDC环境下进行复制 实现在不同服务器上的数据分布 实现数据读取的负载均衡 需要其他组件配合完成 利用DNS轮询的方式把程序的读连接到不同的备份数据库， 使用LVS，haproxy
主要介绍：复制功能介绍，mysql二进制日志，mysql复制拓扑，高可用框架，单点故障，读写分离和负载均衡
1、MySQL的复制原理以及流程 基本原理流程，3个线程以及之间的关联； 主：binlog线程——记录下所有改变了数据库数据的语句，放进master上的binlog中； 从：io线程——在使用start slave 之后，负责从master上拉取 binlog 内容，放进 自己的relay log中； 从：sql执行线程——执行relay log中的语句； 2、MySQL中myisam与innodb的区别，至少5点 (1)、问5点不同； 1>.InnoDB支持事物，而MyISAM不支持事物 2>.InnoD
rsyslog是一个快速的日志处理系统，具有卓越的性能和出色的安全性，采用模块化设计，他可以从各种数据源中接收输入、转换数据再将结果输出到指定的位置。他不仅适用于企业，也适用于小型系统。
关于数据同步的方式有很多种，现在有一个场景需要将mysql数据库的数据主动同步到我们的工程中，并且能再mysql数据库客户端更改某一行的数据也能将数据同步到另一个数据库或者工程中，对于这种场景的使用我们应该怎么去实现呢？
3月16日在北京举行的腾讯云自研数据库CynosDB交流会圆满落下帷幕。现将技术团队分享的内容整理如下。
一、前言 在互联网时代，业务规模常常出现爆发式的增长。快速的实例交付，数据库优化以及备份管理等任务都对DBA产生了更高的要求，单纯的凭借记忆力去管理那几十套DB已经不再适用。那么如何去批量管理这些实例的备份、元数据、定时脚本和快速实例交付就成了急需解决的的问题。 二、数据库的标准化 在实现MySQL的自动化运维的过程中，最痛苦的无非是目录的不统一，配置文件的混乱以及DB主机的不标准，而这些不标准的环境会让自动化运维的路途荆棘重重。所以首先我们将相应的DB主机以及目录做了标准化，将以前不符合的标准的主机和实例
在MySQL的日常维护中，我们总会遇到这样或那样的问题，对于那些经常发生且有处理经验的事故，不论是新手还是老司机都能在故障规定的容错时间内解决。而对于那些不常见、比较棘手的问题，新手上路可能就显得举足无措了，这个时候新手和老司机的差距就体现出来了。从知识储备还是工作经验，可能老司机比新手强一点，但如果一个新司机没有日志排错的意识，不具备日志排错的经验，那怎么能学会弯道超车、漂移的快感。我们知道数据库中有很多重要的日志，如错误日志error log、慢日志slow log、二进制日志binary log、查询日志general log等等其他日志，错误日志error log是我们分析问题参考的依据，它记录数据库的启动/运行/停止的过程，包含了info、warning、error三个级别，分析error log也有助于我们了解数据库的运行机制。
有赞作为"新零售"的软件服务供应商，随着业务的不断发展，从第一批几十家商户到现在300万商家，涉及零售，美业，餐饮，自媒体等众多商家，业务规模以及访问量爆发式增长。一方面给后端数据库带来的影响是服务器数量和DB实例的数据量出现成倍增加。各种业务需求:快速交付实例，慢查询优化以及备份恢复管理等都给DBA的日常运维支持带来更高的要求。另一方面最开始以excel作为CMDB管理数据库实例的纯人肉运维又给高效的数据库运维带来阻碍。
安全高效的使用数据库，在现在的IT环境里显得尤为重要，审计功能可以对数据库的操作进行评估，以满足安全生产和法律法规的要求。MySQL的企业版里，提供了一项审计功能——MySQL Enterprise Audit。MySQL的审计功能以插件来实现，支持在特定的MySQL服务器上执行标准审计、基于规则的监视、日志记录以及阻挡连接和查询活动。MySQL Enterprise Audit使用了公开的MySQL Audit API，如果你想使用这个API去自己开发一个审计插件，可以参考手册链接。
慢查询日志主要用来记录执行时间超过设置的某个时长的SQL语句，能够帮助数据库维护人员找出执行时间比较长、执行效率比较低的SQL语句，并对这些SQL语句进行针对性优化。
在 MySQL架构（二）SQL 更新语句是如何执行的？中说到了 redo log 和 binlog 日志文件，在事务执行过程中，会分两个阶段写入这两份日志文件中，这也是为了保证两份日志之间的一致性，即维护 mysql 的数据一致性。
日志就跟人们写的日记一样，记录着过往的事情。但是人的日记是主观的（记自己想记的内容），而数据库的日志是客观的，根据记录内容分为以下好几种日志：
主：binlog线程——记录下所有改变了数据库数据的语句，放进master上的binlog中；
在执行之前最好在slave上，使用master上创建的账户尝试连接master mysql，如果连接正常，则可继续执行，要注意binlog文件名和pos点位必须配置正确。
前一段时间客户反馈复制报错 1236 ，根据报错提示该报错为从库读取到了主库不存在的 binlog 日志，导致复制中断，报错截图如下，需要帮忙分析为什么会报错 Could not open log file 原因。
MySQL的二进制日志（binary log），通常被称为binlog，是MySQL数据库中的一种日志文件，它记录了所有的DDL（Data Definition Language）和DML（Data Manipulation Language）语句事件，这些语句会导致MySQL数据的改变。binlog是MySQL复制的基础，也是进行数据恢复的重要手段。
保证主服务器（Master）和从服务器（Slave）的数据是一致性的，向Master插入数据后，Slave会自动从Master把修改的数据同步过来（有一定的延迟），通过这种方式来保证数据的一致性，就是Mysql复制
导读：Elasticsearch是一个分布式的搜索和分析引擎，可以用于全文检索、结构化检索和分析，并能将这三者结合起来。Elasticsearch基于Lucene开发，现在是使用最广的开源搜索引擎之一。Elasticsearch可以应用于在/离线日志流水、用户标签画像、数据库二级缓存、安全风控行为数据、图数据库索引、监控数据、Wiki文档检索等应用场景。58同城有自己的主搜，而一些内部创新搜索业务和大规模的数据实时OLAP ( On-Line Analytical Processing，联机分析处理 ) 则是使用Elasticsearch。
本文是个人在各种地方收集过来，包括自己总结的问题，都参杂在内，适合中级或者中上级开发面试的难度。
随着互联网技术的不断发展， MySQL 相关生态也越来越完善，越来越多的工具涌现出来。一些公司或个人纷纷开源出一些不错的工具，本篇文章主要介绍几款 MySQL 相关实用工具。提醒下，这里并不介绍 Navicat 等这类图形化操作工具哦。
MySQL的使用非常普遍，跟MySQL有关的话题也非常多，如性能优化、高可用性、强一致性、安全、备份、集群、横向扩展、纵向扩展、负载均衡、读写分离等。要想掌握其中的精髓，可得花费不少功力，虽然目前流行的MySQL替代方案有很多，可是从最小成本最容易维护的角度而言，MySQL还是首选。下面从应用场景的角度切入，对MySQL的技术点进行组织，写一份知识图谱，方便进行更深入的学习和总结。
一个 “好的” 数据驱动框架，需要从“时间”、“人力”、“收益”这三个方面出发，做好“取舍”。
点击上方蓝字关注每天学习数据库 作者简介：尚博，腾讯云数据库高级工程师，多年数据库内核研发经验，在事务、日志、存储、性能调优、SQL兼容性等方面有较深的研究和开发经验。 腾讯云数据库高级工程师尚博 3月16日，由腾讯云云+社区主办的腾讯云自研数据库 CynosDB 交流会在北京圆满落幕，本次交流会全方位解读了CynosDB，揭秘技术内幕，解读兼容两大主流开源数据库的一主多读架构、高可用架构及快速恢复实现、可计算智能存储和分布式存储。 本文为尚博分享的《CynosDB for MySQL 计算存储分离架
插入缓冲（insert buffer),二次写(double write),自适应哈希索引(ahi),预读(read ahead)
通用查询日志（General Query Log） 用来记录用户的所有操作，包括启动和关闭MySQL服务、所有用户的连接开始时间和截止时间、发给 MySQL 数据库服务器的所有 SQL 指令等。当我们的数据发生异常时， 查看通用查询日志，还原操作时的具体场景 ，可以帮助我们准确定位问题。
MASTER_LOG_FILE='二进制文件', MASTER_LOG_POS=154;
在写文章的时候，我一直在纠结，这个到底能不能算增量备份，因为使用binlog的这种方式，按照官方文档的说话，应该叫做 point-in-time ，而非正经的增量模式，但是也聊胜于无。
这段时间团队在梳理mysql使用上的一些痛点（分库分表、读写分离、权限控制、监控告警、日志审计等），也调研了业内一些mysql中间件的实现，这里把对问题域的思考，以及常见中间件整理沉淀一下
物理备份是指直接复制包含数据的文件夹和文件。这种类型的备份适用于大数据量且非常重要，遇到问题需要快速回复的数据库。
读写分离： 主从复制允许在主服务器上执行写操作，而在从服务器上执行读操作。这可以分担主服务器的负载，提高整体性能。从服务器可以分担读查询、报表生成等任务，减轻主服务器的压力。
[root@db02 data]# mysqlbinlog mysql_bin.000001
Mysql的使用非常普遍，跟mysql有关的话题也非常多，如性能优化、高可用性、强一致性、安全、备份、集群、横向扩展、纵向扩展、负载均衡、读写分离等。要想掌握其中的精髓，可得花费不少功力，虽然目前流行的mysql替代方案有很多，可是从最小成本最容易维护的角度而言，mysql还是首选。下面从应用场景的角度切入，对mysql的技术点进行组织，写一份知识图谱，方便进行更深入的学习和总结。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议
