可以举个生活的例子来说明,假设有一个两居室,客厅就是MySQL Server,主卧是InnoDB,次卧是MyISAM,对于一个房间来说,假设住户是数据,那么住户只会在卧室里面休息,即数据是在InnoDB中存储或是在MyISAM中存储,对于数据的存储方式不同,主要基于事务安全、存储限制、空间使用、内存使用、插入数据的速度和对外键的支持等一些维度,可以有如下的一些存储引擎。
MySQL 中在运行一个 DDL , 此时我们对这个 DDL 进行 kill , 那这个 DDL 多久会被 kill 掉? 要讨论这个问题, 我们需要拆分问题: DDL 多久会被 kill 掉 = D
我们在业务中很少会用到 sleep,那么调整系统时间会有更大的影响么?我们再来看看:
Install Docker Engine on CentOS:https://docs.docker.com/engine/install/centos/
redo是引擎层的日志,而且是InnoDB特有的。InnoDB的redo log是有固定大小的,比如可以配置为 一组4个文件(logfile-1,logfile-2,logfile-3,logfile-4),每个文件的大小是1GB,那么它总共可以记录4GB的操作。一个环状循环结构,从头开始写,写到末尾又回到开始循环写。
mysql_exporter下载地址:https://prometheus.io/download/
Zabbix proxy 是一个监控代理服务器,可以实现集中或者分布式的监控。通过proxy代理可以实现多节点,跨区域,成百上千服务器的监控。proxy代理主要适用于下面情况。
prometheus报警配置需要用到alertmanager组件,这个组件可以到prometheus官网上进行下载。
我们都知道要成为架构师,数据库优化是必须要了解一些的,今天我们就来谈一谈Mysql数据库优化问题。限于笔者技术有限,不敢高谈阔论,于是整理了如下资料供大家参考。
对于节假日,难得的假期,尤其是外出的时候碰上几个数据库报警,那些报警又属于不得不处理的时候,真是让人上火,所以也想了一些办法来尽可能杜绝和避免这种情况。
写在前面的话 My Blog项目已经开源了两个多月,也收获了不少star,在这里谢谢各位朋友的建议及帮助。由于个人原因,这个开源项目最初的定位其实是一个docker技术与springboot框架整合的Java博客系统实战项目,而且是一个容器技术的练手项目,技术的偏重也更多的在容器技术及容器编排上。 虽然上个版本做了一些改动,将docker踢出主目录,原因也是为了照顾其他关注和想要使用My Blog的朋友能够很快的上手项目,但是docker容器技术依然是这个项目不可缺少的一部分,从项目创建那一刻即是如此,今后
Redis 的数据 全部存储 在 内存 中,如果 突然宕机,数据就会全部丢失,因此必须有一套机制来保证 Redis 的数据不会因为故障而丢失,这种机制就是 Redis 的 持久化机制,它会将内存中的数据库状态 保存到磁盘 中。
根据前面所学的知识可知,想要使用Docker部署应用,就要先在应用中编写Dockerfile 文件来构建镜像。同样,在微服务项目中,我们也需要为每一个服务编写Dockerfile文件 来构建镜像。构建完成后,就可以根据每一个镜像使用docker run或者docker service create命令创建并启动容器,这样我们就可以访问容器中的服务了。 微服务架构中:涉及的服务数量巨多。 虽然使用上述方式可以部署微服务项目,但考虑到微服务项目可能有多个子服务组成, 并且每个服务启动过程中都需要配置额外的参数(如-e配置环境变量、--network指定网 络、磁盘挂载等等)。这种情况下,每次更新微服务后,都要手动运行指令来重新启动 容器,这就显得相当麻烦了。针对这种多服务部署的情况,Docker提供了Docker Compose编排工具来对多服务应用进行统一部署。Compose是Docker的服务编排工 具,主要用来构建基于Docker的复杂应用,Compose 通过一个配置文件来管理多个 Docker容器,非常适合组合使用多个容器进行开发的场景。 通过该编排工具,可以使用yml(或yaml)文件来配置应用程序服务,然后只需要一条简 单的服务部署指令就可以从配置中创建并启动所有服务。
这是学习笔记的第 2409篇文章 最近在琢磨一个问题,那就是我们每天上下班的路上会接收大量的信息,但是经过时间的沉淀之后,能够留下来的信息是少之又少,这一点让我很焦虑。 像开车上下班的路上,我有时候会听一些访谈和解读,带给我最大的收获是听起来有道理,但是要让我说个一二三,就感觉词穷了,而过了一段时间之后,其实这种听的效果跟没听没什么差别。 对此我做过一些尝试,比如我在路上听《冬吴同学会》,会听个大概,等到公司之后的时候就会找一下相应的文字版,从大段的文字中找到要点和观点,但是这种
数据库高可用一直是企业的重中之重,而采用主从方案,一主一从,能实现负载均衡,读写分离的作用,分担数据库的负荷,提高性能,而如果搭配keepalived还能实现高可用性,当主服务器故障以后,自动切换到从服务器上。
我大三刚开始学习编程的时候,还没有接触过数据结构和算法的内容,那个时候就是写一点简单的 CRUD,对于算法我总是望而生畏,想学习却又害怕智商不够学不会。心想,对于一个文科生来说,这可能是我永远都迈不过去的坎。
今天开发的一个同学问我一个MySQL的问题,说在测试数据库中执行一条Insert语句之后很久没有响应。我一看语句是一个很常规的insert into xxx values形式的语句。看起来有些不太合乎
我们都知道,我们每执行一次 SQL,数据库除了会返回执行结果以外,还会返回 SQL 执行耗时,以 MySQL 数据库为例,当我们开启了慢 SQL 监控开关后,默认配置下,当 SQL 的执行时长大于 10 秒,会被记录到慢 SQL 的日志文件中。
案例是一个泰国网站的生产环境(请脑补一句“萨瓦迪卡”,为了叙述方便,下文中均以"萨瓦迪卡"指代这个网站。)“萨瓦迪卡”是一个 采用 Wordpress + MySQL搭建的应用。这个遗留系统已经工作了五年。客户已经把在其它 VPS 上平移到 AWS 上。平移(lift and shift)是说原样复制,而迁移(migration)还要进行改造。而客户唯一发挥 AWS 优势的一点就是用了一个配置很高的 EC2 虚拟机 —— m4.4xlarge。这样一台配置的虚拟机有 16 个虚拟 CPU,64 GiB 的内存,以及 2000 Mbps 的网络带宽,最高 3000 IOPS 的 200GiB 的块存储设备(也就是硬盘)。
因Sqlserver数据库是一款非常完善的商业数据库,微软给它打造了SSMS客户端管理,并配置了大量的命令让我们可以轻松管理它,当然备份整个数据库的元数据,也只需界面上一个操作即可完成。
在生产环境处理故障的过程出现了java服务连接mysql,由于连接数太多被拒绝连接的故障,那么下面来看看怎么优化一下吧。
首先来说MySQL升级后性能下降,在我从事MySQL DBA这10多年中也遇到几次,而且排查难度比较大。这里给大家提供一个MySQL升级管管理方案供大家参考。内容较长,建议收藏后以方便查阅。
本文起源于有同学留言说,想了解下MySQL DBA面试时可能涉及到的知识要点,那我们今天就来大概谈谈吧。
一,小王对于容器的困惑 小王刚开始学习Docker的时候,找资料在网上看到最多的是Docker的好处。比如: 1、Docker 容器的启动可以在秒级实现,这相比传统的虚拟机方式要快得多 2、Docker 对系统资源的利用率很高,一台主机上可以同时运行数千个 Docker 容器。 3、更快速的交付和部署、更轻松的迁移和扩展 等等…… 因为小王是做java开发的,他们现有的模式是在一个服务器上安装统一一个jdk,运行多个tomcat,每个tomcat里面一个java应用,大家也知道tomcat不用安装,当他们项
“救命啊,我呕心沥血花了三小时做的年终总结,电脑突然蓝屏了,被迫重启后,文件没了,能不能恢复啊,要是不能恢复,我至少得吐血三升了。”
MySQL经过多年的改进和完善之后,已经基本具备了所有通用数据库管理系统所需要的相关功能。
今天费了些周折,总算搭建好了MySQL源码的调试环境,主要的目的就是想在看代码的时候有一些头绪,让这些开发技巧派上用场。不至于盲人摸象一般的拿着命令肉眼扫视,当然对于代码至于能不能啃下来,那是另外一回事了。 我来说说我的情况,Java开发还有一点基础,所以以前的eclipse还算用得比较熟悉。大家知道InnoDB的源码是c,MySQL Server的是c++,这样一套环境想调试好,如果没有这方面的平台开发经验其实还是有一点难度的。最后我还是决定使用eclipse来做,基于Windows平台。
最近“白嫖”了一个月的腾讯云云服务器,想来闲着不如用它来试试搭建一个个人博客主页,博客框架我选用halo。
关于 MySQL 主从搭建,松哥之前写过好多篇文章了,还录过一个视频。不过之前的都是一主一从的结构,但是小伙伴们知道,我们在项目中,更常见一种结构是双 M 结构,即两个 MySQL 实例,每个 MySQL 实例互为主备,这样在主节点突然断电或者不可用的时候,slave 节点可以很快切换为 master,架构图如下: 在这种结构中,两个 MySQL 实例的地位是平等的,互为对方的主备,我们判断谁是主机谁是从机的方式主要是看 readonly,谁是只读的,那谁就是从机,所以这种情况下,主从切换也很方便,只要修
定时任务调度‼️‼️ crond+玩法较多,可以设置自动校准时间,自定开启服务等 A 命令: #语法 crontab [选项] -e #编辑crontab定时任务 -l #查询crontab任务,列出当前所有任务调度 -f #删除当前用户所有的crontab任务 crontab -r #终止任务调度 service crond restart #重启任务调度 systemctl status|restart|stop crond.service #实例===========================
今天的文章来晚了,主要是我一觉起来变黄码了,关键是我还不知道,早上 8.20 到了公司楼下(最近不在深圳),保安要看健康码,当我自信满满的打开粤省事却傻眼了,折腾一早上,闹了个乌龙,绿码总算回来了,真是生活处处有惊喜。。。 ---- 书接上回,闲话不表。 今天来说说 MySQL 主从复制数据不一致的问题,通过几个具体的案例,来向小伙伴们展示 binlog 不同 format 之间的区别。 1. 准备工作 以下配置基于 Docker。 我这里有一张简单的图向大伙展示 MySQL 主从的工作方式: 这里,我
1.自己打包,给领导一说就直接发布了。领导说什么时候上就什么时候发布。2.告诉运维人员项目git的位置,通知运维上线运维拉取,运维人员发布到生产环境。(如果项目几百,几十个,告诉运维,运维需要多大体积的团队啊) 3.每天都有小更新,每天都在发布。4.项目发布用了jenkins工具,通过它进行自动化的构建发布。
Prometheus是一个开源系统监控和警报工具包,最初是在SoundCloud上构建的。自2012年成立以来,许多公司和组织都采用了Prometheus,该项目拥有非常活跃的开发者和用户社区。它现在是一个独立的开源项目,独立于任何公司进行维护。为了强调这一点,并澄清项目的治理结构,Prometheus于2016年加入云原生计算基金会,作为继Kubernetes之后的第二个托管项目。
之前有写过mysql升级的文章的, 比如: mysql5.5.x升级到8.0.x 在win环境 mysql5.7升级到8.0报错MY-013140 contains an invalid utf8mb3 character 甚至还有mariadb迁移到Mysql的. 尽是些花里胡哨的....
在实际工作中,我们经常会听到数据库的性能和稳定性等等,这些有时候也需要测试工程师去评估和测试,上一篇文章宏哥主要介绍了jmeter连接和创建数据库测试计划的过程,宏哥在文中通过示例和代码非常详细地介绍给大家,希望对各位小伙伴和童鞋们的学习或者工作具有一定的指导和参考学习价值,遇到类似的问题脑子一片空白的童鞋们可以参考一下。这一篇宏哥就以MySQL数据为例结合上一篇的理论知识在这里带领小伙伴和童鞋们实战一下。这里宏哥为了增加小伙伴们的学习兴趣和便于记忆理解,因此列举了一个谍战剧中执行刺杀任务的场景,首先组成刺杀任务的小队,然后通过接头暗号建立联系,其次就开始执行刺杀任务,期间有核查组员的人物背景、其他组员支援、以及自己组员的牺牲、任务的变更等等,最后确认暗杀任务是否执行成功。
Yaconf是鸟哥写的一个高性能的配置管理扩展 为什么要开发这个配置管理扩展? 目前配置文件存在的问题? 用PHP文件做配置的, 一个config目录下可能有很多'.php'不同数据结构的配置文件,而配置文件的解析耗费了很大的性能。 因为数据格式种类比较多(数组、json、yaml),可读性差。 配置和代码在一起,有一定的安全隐患。 如mysql等配置发生改变,开发也要跟随改变。 Yaconf可以解决完美解决上面一系列的问题 今天我们大概的安装使用介绍一下 环境介绍 vagrant@ubuntu-xeni
在我还没来到这个世界上的时候,MySQL过的很辛苦,互联网发展的越来越快,它容纳的数据也越来越多,用户请求也随之暴涨,而每一个用户请求都变成了对它的一个又一个读写操作,MySQL是苦不堪言。尤其是到“双11”、“618“这种全民购物狂欢的日子,都是MySQL受苦受难的日子。
在监控Galera之前我们可能已经监控了其他MySQL的变量,Galera也提供了一些状态变量供查看
MySQL 是世界上最流行的开源数据库系统,MariaDB(一个 MySQL 分支)是世界上增长最快的开源数据库系统。在安装 MySQL 服务器之后,在默认配置下是不安全的,确保数据库安全通常是通用数据库管理的基本任务之一。 这将有助于增强和提升整个 Linux 服务器的安全性,因为攻击者总是扫描系统任意部分的漏洞,而数据库在过去是重点目标区域。一个常见的例子是对 MySQL 数据库的 root 密码的强制破解。 在本指南中,我们将会讲解对开发者有帮助的 MySQL/MariaDB 的 Linux 最佳
docker容器启动后,怎么确认容器运行正常,怎么确认可以对外提供服务了,这就需要health check功能了。
MySQL 中的日志比较重要的有 binlog(归档日志)、redo log(重做日志)以及 undo log,那么跟我们本文相关的主要是 binlog,另外两个日志松哥将来有空了再和大家详细介绍。 1. binlog binlog 我们中文一般称作归档日志,如果大家看过松哥之前发的 MySQL 主从搭建,应该对这个日志有印象,当我们搭建 MySQL 主从的时候就离不开 binlog(传送门:MySQL8 主从复制踩坑指南)。 binlog 是 MySQL Server 层的日志,而不是存储引擎自带的日志,
之前有在自己建的测试群直播分享了一些性能测试的基础内容,当时有人说希望有个实战的分享,想了想某些东西属于公司机密不方便直接直播分享,
之前有在自己建的测试群直播分享了一些性能测试的基础内容,当时有人说希望有个实战的分享,想了想某些东西属于公司机密不方便直接直播分享,
前天晚上的时候,我的 Halo 博客突然就崩溃了。。。当时就看服务器,发现服务器宕机了,CPU 达到 99%。然后我试着重启我的 Halo 博客,可是却是不行。。。。看着我的 1核1G 的服务器,满脸的忧伤。但是想想我的服务器也快到期了,正好也趁着这个月是服务器采购季,我一不做二不休,去买了一个华为云服务器。薅了一个 2核4G 的服务器3年,看这个配置比之前的好了接近一倍的我,老脸终于浮上了菊花般的笑容。
之前发表过一篇ppt版的“PhxSQL设计与实现”,本文是在ppt的基础上,加上解说的文字内容,形成一篇详细版。
服务器部署会经常用到linux,很多时候都是用的时候上网查一下指令,然后用完过不了多久就忘记了,因此本文记录一些自己常用的linux指令,以作备忘。并不断添加。
主从复制是指一台服务器充当主数据库服务器,另一台或多台服务器充当从数据库服务器,主服务器中的数据自动复制到从服务器之中。对于多级复制,数据库服务器即可充当主机,也可充当从机。MySQL主从复制的基础是主服务器对数据库修改记录二进制日志,从服务器通过主服务器的二进制日志自动执行更新。
MySQL 估计就是俺的主战场了,看来得多收藏一些 MySQL 的技术教程才行。正愁没啥东西可以写,就先转载一篇超简单的 MySQL 主从复制的配置教程好了。 怎么安装 mysql 数据库,这里不说了
领取专属 10元无门槛券
手把手带您无忧上云