前几天，一早起来，就发现 RDS 挂了，然后也无法重启，后面发现是 bin-log 日志过大，把 RDS 的空间塞满了。
redo是引擎层的日志，而且是InnoDB特有的。InnoDB的redo log是有固定大小的，比如可以配置为 一组4个文件（logfile-1，logfile-2，logfile-3，logfile-4），每个文件的大小是1GB，那么它总共可以记录4GB的操作。一个环状循环结构，从头开始写，写到末尾又回到开始循环写。
前一阵子工作项目上的事情忙的焦头烂额，最近要进行部门调整将要去做新的项目。又要学习很多新的知识了，还是很兴奋激动的。今天下班回来查看了一下VPS状态，发现VPS的空间只剩下了1G多！第一反应是被入侵了，但是看了一下log并没有发现什么异常的登录，加上平时基本都是用私钥免密码登录的VPS，别入侵的可能也不是很大。那我就很疑惑了，因为系统文件占用应该也就3G多，我平时并没有在VPS放过什么大文件，不应该一下子少那么多空间。于是开始一番du查找终于找到了罪魁祸首！原来是mysql的log文件导致的。
MySQL中二进制日志功能默认是关闭的，查看各种开启方式后，确定在配置文件中加入如下配置来开启该功能：
👆点击“博文视点Broadview”，获取更多书讯 前几天和一位前同事F总聊天，他现在是某互联网公司的技术负责人。 当问到他们对候选人数据库方面的要求时，他特别激动，说道：发现很多面试者，尽管工作年限很长，但是对 MySQL 的一些细节，却研究的非常浅。只会简单的增删查改、关联、聚合语句。对于一些索引、锁、事务、体系结构等原理性的内容，或者复制，高可用等实战型内容，都了解很少。 但是，F总说，根据以往经验，往往生产环境 MySQL 出问题的原因，就是部分人对一些数据库上的细节把握不够。 比如： 慢查询导致
上周五进行了一个大表删除的操作，在删除的过程中，出现了一点小问题，白白花费了两个小时，我这里记录了一下大概的过程，废话不多说了，直接看过程吧。
1、Oracle是大型的数据库而Mysql是中小型数据库；Mysql是开源的，Oracle是收费的，且价格昂贵。
今天这篇文章，是之前很早时候线上的一个案例，重新翻看的时候，觉得挺有意思，就再转发一遍。
五一前几天，我就发现了，打开网站的时候偶尔会显示mysql错误，但是你刷新就正常了，当初以为是浏览器出问题了，就没在意，结果五一放假，QQ朋友告诉我，说我网站无法打开，然后才知道，原来真的是出现故障了。
作为一个测试人员，在学习的过程中，可能经常需要去在linux下安装一些软件，有的软件通过搜索别人的博客教程进行安装的话，随着一些软件的升级，以及虚拟机/服务器镜像版本不一致等外部因素，都有可能导致安装软件出现各种不可预知的问题，到时候还得去搜索资料逐一解决问题，挺耽误时间的。
mysql的管理工具较少，在Linux下的管理工具的安装有时需要安装额外的包（phpmyadmin，etc），有一定复杂性。
早上8:40左右，地铁上，在跟小伙伴聊天，接到电话“是不是服务出问题了？” 第一个反应，不可能吧。昨天又没有上线，前天刚优化过，并且又没有收到告警。
一天，老板说「最近公司的用户越来越多了，但是服务器的访问速度越来越差的，阿旺帮我优化下，做好了给你画个饼！」。
本文章内容是基于上次课程Python教程：操作数据库，MySql的安装详解和python基础知识之上进行的。如想学习python基础请移步：Python开发实战系列教程-链接汇总，持续更新。
最近又遇到了一次慢查把db（mariadb10)几乎打挂的案例，作为一个核心支付系统的技术负责人，真是每日如履薄冰。因为之前支付系统经常出问题，现在各个BG对支付系统都盯得很紧。这次要不是我及时让DB给暴力清理数据，没准又提一个P2故障；
Tomcat是这个系统的核心组成部分， 每当有用户请求过来，Tomcat就会从线程池里找个线程来处理，有的执行登录，有的查看购物车，有的下订单，看着属下们尽心尽职地工作，完成人类的请求，Tomcat就很有成就感。
突然听到运维说磁盘预发布环境磁盘空间不够，细查之下发现是由于某个表的数据太大导致的，但是查看了下数据库表发现，实际的表数据量只有60w条，很明显表哪里出问题了，一开始以为是犹豫表的设计不合理索引导致的数据量大，细看之下发现挺正常的。正在焦虑蹉跎的时候，有幸得到朋友圈大佬的指点，是死亡元组太多导致的只需要执行vacuum full清理死亡元组就好，查看了相关的博客稳定发现postgresql居然会保存mvcc多版本修改记录，简单理解就是，postgresql对你所做的修改和删除都会保存记录，不会清理释放空间。这让我顿时想到[Mysql的MVCC]，但是mysql的undo log也只记录执行操作的相反记录保留最新的记录，而redo log记录数据页的变更，但是大小是固定的，都可以通过配置参数配置固定大小。
上一周我写一了篇，数据库和缓存双写一致性的文章「老板真爱画大饼！」，故事的主人公是程序员阿旺。
1. 什么是两阶段提交 1.1 binlog 与 redolog 1.2 两阶段提交 2. 为什么需要两阶段提交 3. 小结 为什么要两阶段提交？一阶段提交不行吗？ 小伙伴们知道，MySQL 中的事务是两阶段提交，我们见到的很多分布式事务也都是两阶段提交的，例如 Seata，那么为什么要两阶段提交呢？一次直接提交了不行吗？今天我们来聊聊这个话题。 关于分布式事务 seata，不懂的小伙伴可以参考松哥之前的文章，传送门： 五分钟带你体验一把分布式事务！so easy！ 看了那么多博客，还是不懂 TCC，不妨看
在SQL标准中，前三种隔离级别分别解决了幻象读、不可重复读和脏读的问题。那么，为什么MySQL使用可重复读作为默认隔离级别呢？ 这个是有历史原因的，要从主从复制开始讲起了！ 1.主从复制，是基于什么复制的？ 是基于binlog复制的 2.binlog有几种格式？ statement:记录的是修改SQL语句 row：记录的是每行实际数据的变更 mixed：statement和row模式的混合 那Mysql在5.0这个版本以前，binlog只支持STATEMENT这种格式！而这种格式在读已提交(Read Commited)这个隔离级别下主从复制是有bug的，因此Mysql将可重复读(Repeatable Read)作为默认的隔离级别！ 接下来，就要说说当binlog为STATEMENT格式，且隔离级别为读已提交(Read Commited)时，有什么bug呢？如下图所示，在主(master)上执行如下事务:
上篇《架构师之路-https底层原理》里我提到了上面的整体视图，文章也介绍了想要真正能在工作中及时正确解决问题的基本功：原理理解透彻。今天以redis集群解析为例介绍一个及时敏锐的发现问题的基本功：深入分析。
恢复的数据文件存放在当前目录的RESTORED_FILES目录中 至此完成。 如要回复所有 则使用--restore-all参数
a = objPHPExcel->getActiveSheet()->getCell(“A”.
其中setup和teardown就是给正式测试做前提准备和收尾的工作，而数据的准备和恢复就经常会出现在这2个环节。对于少量的数据可以通过mysql快速恢复，或者干脆直接生造出来；但是当数据量太大或者数据结构变复杂的情况，就需要一种快速的数据恢复机制。
此前我们对客户端退出的操作仅仅就是将连接释放掉，但是既然加入了新的业务，受业务影响，客户端的退出就不能是这么简单的处理了。
1、mysql与oracle都是关系型数据库，应用于各种平台。mysql最开始是一个瑞典公司开发的，但后来被sun公司收购，后来sun又被oracle收购，所以现在可以说mysql属于甲骨文公司了，mysql开源免费的，而oracle则是收费的，并且价格非常高。
今天线上出现了一个inode耗尽的问题，最后通过清理磁盘上的小文件来解决问题。大概分享下inode的相关知识。
选择合适的控制器 k8s 的核心之一控制器（deployment（适合无状态的控制器）、StatefulSet（适合有状态的控制器）） deployment的特性： deployment创建的Pod是无状态的，当挂在Volume之后，如果该Pod挂了，由于是无状态的，Pod挂了的时候与之前的Volume的关系就已经断开了，新起来的Pod无法找到之前的Pod。但是对于用户而言，他们对底层的Pod挂了没有感知，但是当Pod挂了之后就无法再使用之前挂载的磁盘了。 备：如果deployment创建的pod挂载volume时，如果后端使用nfs或者ceph，重启pod数据也不会丢失的 简单理解：deployment的pod是无状态的，Pod挂了之后无法使用之前挂载的磁盘，ip也会丢失。
使用以下命令查找出安装的mysql软件包和依赖包：（若是用的腾讯云服务器，可以忽略该步骤）
今天同事提了一个问题，还是值得思考的，某个作为数据分发的MySQL库，有时候需要在不同的环境中同步创建数据库，但受工具限制，只能做数据同步，索引这些对象则需要单独创建，该数据库的索引太多，导致生成过程非常地耗时，而且可能会漏掉几个索引，而实际上这些索引并不都是经常需要的，或者可能存在冗余的，因此想问问怎么能清理索引？
每当执行SQL运行缓慢时，我们都会使用 show processlist 查看一下mysql当前进程的执行情况；（如下）
什么是adwp？ AWDP是一种综合考核参赛团队攻击、防御技术能力、即时策略的攻防兼备比赛模式。每个参赛队互为攻击方和防守方，充分体现比赛的实战性、实时性和对抗性，对参赛队的渗透能力和防护能力进行综合全面的考量。
一般提到自建Git，很多人都会想到GitLab，但是，真正用过的人就知道GitLab对资源消耗那是相当厉害的，个人使用都建议4G以上的配置，要真正释放GitLab的全部功能甚至需要8G、16G，这个似乎是由于GitLab使用了Ruby on Rails(简称RoR)开发导致的，当然，一定程度上也是因为GitLab功能太多。
写入测试数据 创建脚本，脚本将创建一个single库，s1表，持续写入数据。 vim /root/bin/mysql_test.sh
继昨天服务器上应用 CPU占用过高 后面该应用宕掉了以后 java 一次CPU占用过高问题的排查及解决
最近感觉，的确是不够用，手指头不够用，群里每天都有有意思的事情，正在准备下一步临时工访谈，一个更有意思刺激的故事，这就遇上群里高老师现场解决问题，高老师是MySQL业界的实战派，出现在群里呢，属于老神仙出山你算不出那天来,估计每天都是忙到想撞墙的地步。
我们之前介绍了Docker学习的基本方法和原理，以及基础三大件：镜像、容器、仓库。还有Dockerfile和数据卷等等，如果你对前面的内容还不了解，可以进行再次回顾。
最近项目开发用到MySQL，想要查看后台执行的sql语句，立马google得知、可以使用 show processlist; 命令来解决，通过里面输出结果的字段解释中可以分析执行了的sql语句类型，但发现不太适合一般的初级使用者，而通过日志文件查看sql语句是最直接的方法。
Oracle默认不自动提交，需要用户手动提交，需要在写commit;指令或者点击commit按钮 (2) 分页查询 MySQL是直接在SQL语句中写”select… from …where…limit x, y”,有limit就可以实现分页
注意： –>binlog是二进制文件，普通文件查看器cat、more、vim等都无法打开，必须使用自带的mysqlbinlog命令查看 –>binlog日志与数据库文件在同目录中 –>在MySQL5.5以下版本使用mysqlbinlog命令时如果报错，就加上 “–no-defaults”选项
在做系统优化时，想到了将数据进行分级存储的思路。因为在系统中会存在一些数据，有些数据的实时性要求不高，比如一些配置信息。基本上配置了很久才会变一次。而有一些数据实时性要求非常高，比如订单和流水的数据。所以这里根据数据要求实时性不同将数据分为三级。
常见db中的四个操作curd，前面的几篇博文分别介绍了insert，update，接下来我们看下delete的使用姿势，通过JPA可以怎样删除数据
来源：https://www.jianshu.com/p/a8eb1412471f
分页查询是最常用的场景之一，但也通常也是最容易出问题的地方。比如对于下面简单的语句，一般 DBA 想到的办法是在 type, name, create_time 字段上加组合索引。这样条件排序都能有效的利用到索引，性能迅速提升。
Racktables是一个用来管理机房资产的开源工具，可以用来管理成百上千台的服务器及更多的IP和MAC地址。适用于机房和数据中心的服务器管理。
在 MySQL 的主从架构在很多场景下都在使用，同时 MySQL 的同步延迟也是很多 DBA、运维、开发的同学经常面对的问题之一。本文围绕同步延迟的场景之一：无主键表，来看看延迟产生的原因，以及应对的策略。当然，从标题上也能看出来，给表建个主键是最好的办法，不过在关于这个问题，其实还有一些其他的方式可以尝试。
客户将mysql从IDC迁移至公有云后，时常有出现建立连接超时的情况，业务使用的场景是PHP短连接到mysql，每秒的新建连接数在3000个左右，这个量算是比较大。 客户反馈在IDC内自建时也是这样的使用场景，从未遇到过这个问题。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
