show binary logs：列出服务器上的二进制日志文件 show binlog events：显示二进制日志中的事件 show character set：显示所有可用的字符集 show collation：列出服务器支持的排序规则 show columns：显示有关给定表或视图中列的信息 show create database：显示建库语句 show create event：显示创建事件语句 show create function：显示创建函数语句 show create procedure
MYSQL数据库是常见的两个瓶颈是CPU和I/O的瓶颈，CPU在饱和的时候一般发生在数据装入内存或从磁盘上读取数据时候。磁盘I/O瓶颈发生在装入数据远大于内存容量的时候，如果应用分布在网络上，那么查询量相当大的时候瓶颈就会出现在网络上，我们可以用mpstat， iostat，sar和 vmstat来查看系统的性能状态。
MySQL通过慢查询日志定位那些执行效率较低的SQL 语句，用--log-slow-queries[=file_name]选项启动时，mysqld 会写一个包含所有执行时间超过long_query_time 秒的SQL语句的日志文件，通过查看这个日志文件定位效率较低的SQL 。 慢查询日志在查询结束以后才记录，所以在应用反映执行效率出现问题的时候查询慢查询日志并不能定位问题，可以使用show processlist命令查看当前MySQL在进行的线程，包括线程的状态、是否锁表等，可以实时地查看SQL 的执
58 集团业务种类繁多，目前包括的业务有 58 同城、赶集网、安居客、58 金融公司、中华英才网、驾校一点通等，数据库种类包括 MySQL、Redis、MongoDB、ES、TiDB。我们自己构建了“58 云 DB 平台”，整合了所有数据库的一体化运维。
多源复制的作用 MySQL 5.7.6 开始，添加了一个新特性：多源复制 Multi-Source Replication 可以让你同时从多个master中并行复制，也就是形成了一种新的主从复制结构 一从多主 图 以前都是一主多从的结构，想实现一从多主的复制需要自己想办法，现在好了，直接支持了 多源复制的应用场景示例： 比如我们分库后有多台数据库服务器，后台统计系统需要对数据进行汇总，就可以使用多源复制实现汇总功能 比如我们有多个项目，分为了多台数据库服务器，想使用主从复制进行数据备份，就可以使用多源复制，
zhihu.com/question/359630395/answer/954452799
注：使用docker部署mysql实例，方便快速搭建演示环境。但本文重点是讲解主从配置，因此简略描述docker环境构建mysql容器实例。
官网地址： https://dev.mysql.com/downloads/mysql/
https://www.cnblogs.com/poloyy/p/12890763.html
mysql性能优化(九) mysql慢查询分析、优化索引和配置
◆ 简介 虽然大多数人都熟悉Uber，但并非所有人都熟悉优步货运, 自2016年以来一直致力于提供一个平台，将托运人与承运人无缝连接。我们正在简化卡车运输公司的生活，为承运人提供一个平台，使其能够浏览所有可用的货运机会，并通过点击一个按钮进行预订，同时使履行过程更加可扩展和高效。 为托运人提供可靠的服务是优步货运获得他们信任的关键。由于承运人的表现可能会大大影响货运公司服务的可靠性，我们需要对承运人透明，让他们知道我们对他们负责的程度，让他们清楚地了解他们的表现，如果需要，他们可以在哪些方面改进。 为了实现
4). 数仓架构分层：一般分为操作数据层（ODS）、公共维度模型层（CDM）和应用数据层（ADS）,其中公共维度模型层包括明细数据层（DWD和汇总数据层（DWS）
以阿里巴巴OneData建设为例：一般分为操作数据层（ODS：Operational Data Store）、公共维度模型层（CDM）和应用数据层（ADS）。其中公共维度模型层包括明细数据层（DWD和汇总数据层（DWS）。
使用日志对MySQL进行监视是一种重要的方法，通过日志可以评估服务器的操作状态，服务器崩溃后可以帮助进行数据恢复，使用复制功能时，能够帮助用户判断慢查询，此外还可以帮助用户确认安全合规等问题。本篇将介绍MySQL的各种日志。
performance_schema 是 MySQL 数据库中的一个内置的系统数据库，最早从MySQL5.5版本产生，这个数据库主要用于收集和存储与数据库性能相关的统计信息和指标。
GreatSQL是源于Percona Server的分支版本，除了Percona Server已有的稳定可靠、高效、管理更方便等优势外，特别是进一步提升了MGR（MySQL Group Replication）的性能及可靠性，以及众多bug修复。此外，GreatSQL还合并了由华为鲲鹏计算团队贡献的两个Patch，分别针对OLTP和OLAP两种业务场景，尤其是InnoDB并行查询特性，TPC-H测试中平均提升聚合分析型SQL性能15倍，最高提升40多倍，特别适用于周期性数据汇总报表之类的SAP、财务统计等业务。
选择合适的控制器 k8s 的核心之一控制器（deployment（适合无状态的控制器）、StatefulSet（适合有状态的控制器）） deployment的特性： deployment创建的Pod是无状态的，当挂在Volume之后，如果该Pod挂了，由于是无状态的，Pod挂了的时候与之前的Volume的关系就已经断开了，新起来的Pod无法找到之前的Pod。但是对于用户而言，他们对底层的Pod挂了没有感知，但是当Pod挂了之后就无法再使用之前挂载的磁盘了。 备：如果deployment创建的pod挂载volume时，如果后端使用nfs或者ceph，重启pod数据也不会丢失的 简单理解：deployment的pod是无状态的，Pod挂了之后无法使用之前挂载的磁盘，ip也会丢失。
gnuplot > plot "qps-per-5-seconds" using 5 w lines title "qps"
随着我司业务飞速增长，实时数仓的建设已经提上了日程。虽然还没有正式开始实施，但是汲取前人的经验，做好万全的准备总是必要的。本文简单松散地记录一下想法，不涉及维度建模方法论的事情（这个就老老实实去问Kimball他老人家吧）。
redis实现方案，使用bitmap来实现，bitmap是redis 2.2版本开始支持的功能，一般用于标识状态，
咱们常用的三种删除方式：通过 delete、truncate、drop 关键字进行删除；这三种都可以用来删除数据，但场景不同。
事务通常是以BEGIN TRANSACTION 开始，以 COMMIT 或 ROLLBACK 结束。COMMIT 表示提交，即提交事务的所有操作。具体的说就是将事务中的所有对数据库的更新写回到磁盘上的物理数据库中，事务正常结束。ROLLBACK表示回滚，即在事务中运行的过程中发生了某种故障，事务不能继续执行，系统将事务中对数据库所有已完成的操作全部撤销，回滚到事务开始时的状态，这里的操作指对数据库的更新操作。
初次接触 TiDB，是通过同程网首席架构师王晓波先生的分享，当时同程网正在使开发和数据库全面往开源方向转型，由于业务需要，很多在线业务数据量和访问量都非常的大，而 MySQL 无法满足大数据量下的复杂查询需求，为了使数据库分片对开发透明，同程自研了 DBrouter 。但分片后的合并、实时汇总统计及全量数据的监控仍然是困扰我们的一个难点。一直没有特别好的办法解决。
MYSQL 的监控其实说简单也简单，说不简单也不简单，我们现在上百台MYSQL使用的监控方式一部分来自于 Pmm, 此次新项目上线后，8.X开始大量部署，并且PROXYSQL 中间件也大量的被使用，所以PMM2 自然成为监控数据库系统的一部分。
最近公司业务量有点大，服务器I/O访问频率过高，之前单节点MySQL有点扛不住压力了，于是我找老板又搞了一台服务器，准备上MySQL的主从复制和读写分离，做多库的存储，提高单个机器的性能，老板欣然同意！
资深数据库专家，专研 MySQL 十余年。擅长 MySQL、PostgreSQL、MongoDB 等开源数据库相关的备份恢复、SQL 调优、监控运维、高可用架构设计等。目前任职于爱可生，为各大运营商及银行金融企业提供 MySQL 相关技术支持、MySQL 相关课程培训等工作。
点击上方蓝色“程序猿DD”，选择“设为星标” 回复“资源”获取独家整理的学习资料！ 这里有个【1024】红包等你来领取 MySQL删除数据的方式都有哪些？ 咱们常用的三种删除方式：通过 delete、truncate、drop 关键字进行删除；这三种都可以用来删除数据，但场景不同。 一、从执行速度上来说 drop > truncate >> DELETE 二、从原理上讲 1、DELETE DELETE from TABLE_NAME where xxx 1、DELETE属于数据库DML操作语言，只删除数据
* GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。 Percona Toolkit 神器全攻略 Percona Toolkit 神器全攻略系列共八篇分为 文章名文章名Percona Toolkit 神器全攻略Percona Toolkit 神器全攻略（实用类）Percona Toolkit 神器全攻略（配置类）Percona Toolkit 神器全攻略（监控类）Percona Toolkit 神器全攻略（系统类）Percona Toolkit 神器全攻略（开发类）Percona Toolkit 神器全攻略（复制类）Percona Toolkit 神器全攻略（性能类） 全文约定：$为命令提示符、greatsql>为GreatSQL数据库提示符。在后续阅读中，依据此约定进行理解与操作 Percona Toolkit 简介 Percona Toolkit简称（PT工具），是一组高级命令行工具，用于管理MySQL/GreatSQL的工具。可以用它来执行各种难以手动执行的MySQL/GreatSQL和系统任务。其功能包括检查主从复制的数据一致性、检查重复索引、定位IO占用高的表文件、在线DDL等，DBA熟悉掌握PT工具后将极大提高工作效率。
本文上半部分之前已经发过了，传送门：50000字，数仓建设保姆级教程，离线和实时一网打尽(理论+实战) 上
DM（TiDB Data Migration）是由 PingCAP 开发的一体化数据同步平台，支持从 MySQL 或 MariaDB 到 TiDB 的全量数据迁移和增量数据同步。无论是从 MySQL 向 TiDB 进行平滑数据迁移还是用 TiDB 作为多个 MySQL 实例的数据汇总库，都可以通过 DM 来实现。DM 在 TiDB DevCon 2019 上正式开源，经过半年多时间在大量用户、开发者的支持和反馈下，其功能和稳定性越来越完善。在今天，我们宣布 DM 1.0 GA 正式发布。
3.备库上复制状态中 Seconds_Behind_Master 参数不能大于3秒钟
join 方式连接多表，本质就是各个表之间数据的循环匹配。MySQL 5.5 版本之前，MySQL 只支持一种表间关联方式，就是嵌套循环。如果关联表的数据量很大，则 join 关联的执行时间会非常漫长。在 MySQL 5.5 以后的版本中，MySQL 通过引入 BNLJ 算法来优化嵌套执行。
Percona Toolkit简称pt工具，是Percona公司开发用于管理MySQL的工具，功能包括检查主从复制的数据一致性、检查重复索引、定位IO占用高的表文件、在线DDL等，DBA熟悉掌握后将极大提高工作效率。
一方面互联网行业对实时化服务的要求日益增多，尤其在信息流，短视频应用最为显著，同时随着实时技术引擎的发展能够提供高效，稳定的实时数据服务能力。另一方面初期实时计算都是以需求为导向，采用"一路到底"的开发模式，没有形成完整的，统一的，规范化的实时数据体系。
监控(Metrics),链路(Tracing),日志(Logging) 都是用于监测系统在运行时的情况,在这3个领域中都有着不同的解决方案,同时3点也可能会重合在一起进行使用.
RunnerGo作为一款测试平台，支持接口调试、接口自动化及接口性能测试。由于是一款在线平台，所以有相应的架构设计。初衷是多方面的，在设计及开发中也经过多番的变更，最终定型为目前的架构。当然这也许不是最优的架构，只是是适合现阶段的最优架构。
Nginx的访问日志记录每条请求的来龙去脉，通过日志可以分析出很多有用的监控信息，如下面的这些信息。
在尝试编写快速的查询之前,需要清楚一点,真正重要是响应时间。如果把查询看作是一个任务，那么他由一系列子任务组成，每个子任务都会消耗一定的时间。如果要优化查询，实际上要优化其子任务，要么消除其中一些子任务，要么减少子任务的执行的次数，要么让子任务运行得更快。
深挖项目，权限模型怎么做的，数据库表怎么设计的，加了哪些索引，你这么设计有什么问题，改进措施呢
http://www.searchdoc.cn/rdbms/mysql/dev.mysql.com/doc/refman/5.7/en/index.com.coder114.cn.html
在互联网时代，随着业务数量的暴增和应用规模的不断扩大，无论是oracle还是mysql这样子的关系型数据库，都会面临服务器CPU、磁盘IO和内存的各种瓶颈问题。基于此情况，各个业务团队迫切需要一种数据分片的方案将业务数据量存储成本分摊到成本可控的各个普通数据库服务器上，数据库切分的方案便应运而生。
一般少也能缩减5%的空间，平均在10%左右，我自己经历最明显效果的是减少了32%的空间，对于一个大库来说，能节省不少磁盘空间，并且对查询性能也有一定优化效果
目前各大公司的产品需求和内部决策对于数据实时性的要求越来越迫切，需要实时数仓的能力来赋能。传统离线数仓的数据时效性是 T+1，调度频率以天为单位，无法支撑实时场景的数据需求。即使能将调度频率设置成小时，也只能解决部分时效性要求不高的场景，对于实效性要求很高的场景还是无法优雅的支撑。因此实时使用数据的问题必须得到有效解决。
本文介绍GreatSQL的一些关键新特性，相关特性主要针对GreatSQL 8.0.x版本（不含GreatSQL 5.7.x版本中的相关特性）。
最近项目需要统计一段日期范围内，根据每分钟、几分钟、每天分别统计汇总某些事件/指标的发生总次数，平均发生次数，因此总结了Mysql中与时间处理、统计相关的资料。
TiDB是开源分布式关系型数据库，是一款同时支持在线事务处理与在线分析处理(Hybrid Transactional and Analytical Processing, HTAP）的融合型分布式数据库产品，具备水平扩容、缩容、金融级高可用、实时HTAP、云原生的分布式数据库、兼容MySQL5.7协议和MySQL生态等重要特性。目标是为用户提供一站式OLTP(OnlineTransactionalProcessing)、OLAP(OnlineAnalyticalProcessing)、HTAP解决方案。
在上篇文章中，我们学习过 MySQL 的两种连接方式，回忆一下，使用 -h 会走 TCP 连接，不使用 -h 可以使用另两种方式来走 UnixSocket 连接。我们就接着这个话题再聊点别的，首先要纠正一下之前讲的，-h 不一定全是走 TCP 连接。然后我们顺着这个话题，再看一下 MySQL 中如何指定使用安全连接的问题。在学习这两个问题中，我们还将接触到一个查看当前连接状态的命令。
我们处在一个最好的时代，有ZY高层的政策支持，未来10年国产数据库将得到空前的发展。 DB领域有位大神说：分布式数据库一定是未来，HTAP 是最好的方向，云原生是最好的舞台，然而这些优点TiDB 全都有。
1.创建简单的Linux脚本文件并执行 ①新建文本文件 vim invoke.sh ②加入几条简单的Linux命令，例如： ifconfig ll ③保存退出：wq ④修改文件权限信息 chmod 755 invoke.sh ⑤执行 ./invoke.sh ※为什么要带“./”？ 因为前面什么都没有的话Linux会当作一个命令，但是又找不到对应的命令文件，所以无法执行。代码“./”之后Linux就知道这是一个路径，不会当作命令处理。 2.在CentOS7中将防火墙关闭并设置为开机不自动启动 systemctl stop firewalld.service systemctl disable firewalld.service 3.解压并配置JDK 第一步：解压JDK tar -zxvf /opt/jdk-8u121-linux-x64.tar.gz 第二步：编辑/etc/profile文件配置环境变量 cp /etc/profile /etc/profile.bak vim /etc/profile 第三步：配置JAVA_HOME和PATH 在/etc/profile文件末尾加入 JAVA_HOME=/opt/jdk1.8.0_121 PATH=$JAVA_HOME/bin:$PATH export JAVA_HOME PATH 第四步：使配置文件生效 source /etc/profile 或 reboot 第五步：验证 echo $PATH echo $JAVA_HOME java -version 4.解压并启动Tomcat 解压：tar -zxvf /opt/apache-tomcat-7.0.75.tar.gz 启动：/opt/apache-tomcat-7.0.75/bin/startup.sh 设置防火墙 5.MySQL安装 rpm -e --nodeps mariadb-libs-1:5.5.56-2.el7.x86_64 rpm -ivh /opt/MySQL-server-5.5.52-1.el6.x86_64.rpm rpm -ivh /opt/MySQL-client-5.5.52-1.el6.x86_64.rpm systemctl start mysql.service [root@rich opt]# mysqladmin -u root password New password: Confirm new password: [root@rich opt]# mysql -u root -p Enter password: 6.MySQL授权 第一步：登录MySQL服务器 第二步：use mysql; 第三步：查看user表部分内容 mysql> select host,user,password from user; +--------------+------+-------------------------------------------+ host user password +--------------+------+-------------------------------------------+ localhost root 81F5E21E35407D884A6CD4A731AEBFB6AF209E1B computer_user root 127.0.0.1 root 1 root localhost computer_user +--------------+------+-------------------------------------------+ 6 rows in set (0.00 sec) 第四步：插入特定数据 insert into user(host,user,password) values('%','root','81F5E21E35407D884A6CD4A731AEBFB6AF209E1B');
前言：SHOW PROFIL命令是MySQL提供可以用来分析当前会话中语句执行的资源消耗情况。可以用于SQL的调优的测量。 一、参数的开启和关闭设置 1.1 参数的查看 默认情况下，参数处于关闭状态，并保存最近15次的运行结果 mysql> show variables like 'profiling%'; +------------------------+-------+ | Variable_name | Value | +------------------------+-----
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
