上篇《架构师之路-https底层原理》里我提到了上面的整体视图,文章也介绍了想要真正能在工作中及时正确解决问题的基本功:原理理解透彻。今天以redis集群解析为例介绍一个及时敏锐的发现问题的基本功:深入分析。
给表新增字段时,发现锁表了,查看进程,提示Waiting for table metadata lock,等待锁释放;然而蛋疼的是几分钟过去了,依然没有任何的进展,特此记录下这个问题的定位过程以及MDL的相关背景知识
访问了几个页面都是正常的,唯独某几个页面查询实时监控数据时无法加载出来,F12查看接口发现有几个业务相似的接口长时间不返回数据。
一、磁盘 1、告警:Disk read/write request responses are too high 表达式解释为: 最近15分钟的对应磁盘的Disk read request avg waiting time (r_await)大于20ms或者 Disk write request avg waiting time (w_await) 大于20ms
一 简介 上一篇文章 《MetaData Lock 之一》 简单的介绍了MySQL 引入MDL 的前因后果,本文深入了解MDL的实现原理和运行机制。
编辑手记:前两天同事讨论到一个问题,当mysql从库磁盘满之后,show status及show slave status会被卡住,但其他select操作不受影响,但如果数据库是主库,磁盘满了之后,只有dml会被阻塞,select及show是不会受影响的。于是一群人讨论了一会,最后决定,SMC,以下就是我的结论。 1..以下所有讨论都基于mysql 5.5.37版本及官方文档,不保证适用于其他版本。 2.下文中提到的磁盘满,指的是数据文件(数据文件,日志文件,配置文件)所在磁盘分区。 3.由于篇幅问题,最后
松哥原创的 Spring Boot 视频教程已经杀青,感兴趣的小伙伴戳这里-->Spring Boot+Vue+微人事视频教程
一 简介 通过前面两篇文章的介绍,相信读到这里的各位对MDL 锁已经有了比较深入的了解了,本文将结合理论知识介绍几组MDL 锁的案例。 二 常见MDL 锁的场景 1 Waiting for global read lock 我们先构造一个Waiting for global read lock场景: session1: alter table t1 add c3 bigint; //大表执行需较长时间 session2: set global read only=on; //等待 查看
Mysql在写入压力很大,怎么办? 高并发下的性能最大的问题,大都在数据库,以前我们做二十万超级群,mongodb每个月都会出事故. 我们聊聊,高并发下如何缓解mysql的压力 ⚠️:mysql是锁锁表不锁库,sqlite是锁库不锁表 环境准备 Mac mysql navicat wrk压测工具 node.js环境 下载wrk brew install wrk 如果这里卡住,可以调整 `替换brew.git: cd "$(brew --repo)" git remote set-url origin htt
my.ini配置,其中这两项一定要按这个格式,双引号及双反斜杠,否则初始化时会报下面的错
2024新年新气象,小菜同学又踏上了求职之路,但求职路艰辛,新年第一次面试又被面试官给问住了
mysql> show variables like 'max_connections';
一天下午,在给线上一个小表加个字段,发现老是加不上去,一直卡死。运维同学突然跑过来跟我说,线上数据库这半个小时一直在重启,问我是否有做什么操作。我当时虎躯一震,总共 100 多行的小表加个字段都加出问题了?我立马停止尝试加字段,果然数据库恢复正常了。后面查到原因,也顺利加上字段,现在来复盘总结一下。
现居珠海,先后担任专职 Oracle 和 MySQL DBA,现在主要负责 MySQL、mongoDB 和 Redis 维护工作。
说到 MySQL 中的锁,相信小伙伴们多多少少都能说出来一些,例如全局锁、表锁、行锁等等。
登录该节点查看show processlist,正在执行1个分布式ddl,该ddl已经运行100多个小时,应该是卡住了。
前段我们Hadoop集群磁盘使用率比较高,部分硬盘空间使用超过了70%,这部分服务器的DataNode服务读写负载就比较高,造成部分数据同步任务因为读写超时而失败。具体场景和异常跟这篇博客里描述的很像。
来源:https://www.aneasystone.com/archives/2018/06/insert-locks-via-mysql-source-code.html
看似简单的代码,但非常不幸,程序运行时,卡在了mysql_init处。语法上看不出任何破绽,原因会是什么了?
流式备份模式,是Percona XtraBackup支持的一种备份形式,他不会将备份文件输出到备份目录,他会将输出到SDTOUT的文件合成一个tar或者xbstream格式的文件
疫情居家隔离期间,在网上看了几个技术教学视频,意在查漏补缺,虽然网上这些视频的水平鱼龙混杂,但也有讲得相当不错的,这是昨晚看到的马老师讲的一道面试题,记录一下:
在插入一个语句的时候,一直卡住,然后一直在转圈圈,没响应。直接点了左侧的终止按钮。
Tramp 是 Emacs 中用来编辑远端文件的模块,全称为『Transparent Remote (file) Access, Multiple Protocol』,类似于 VSCode 的 Remote Development,只不过比它年长 20 岁而已😄。这篇文章就来介绍下 tramp 的使用方式与注意事项。 使用方式 在使用 find-file 打开文件时,使用下面的语法,即可打开远端的文件: /method:user@host#port:path/to/file 比如, /ssh:vagrant
主从集群有1个主库、5个从库和3个哨兵实例,突然发现客户端发送的一些数据丢了,直接影响业务层数据可靠性。
忘记密码使用-init-file重置MySql的 root密码 1.重置密码 1.登录mysql所在的机子,创建一个本地文件 vim /init-file.txt 内容 ALTER USER 'root'@'localhost' IDENTIFIED BY 'new_password'; 2.关闭mysql服务 systemctl stop mysqld.service 3.使用mysql命令重置密码 mysqld --user=mysql --init-file=/init-file.txt --co
TiFlash 是 TiDB HTAP 形态的关键组件,它是 TiKV 的列存扩展,在提供了良好的隔离性的同时,也兼顾了强一致性。列存副本通过 Raft Learner 协议异步复制,但是在读取的时候通过 Raft 校对索引配合 MVCC 的方式获得 Snapshot Isolation 的一致性隔离级别。这个架构很好地解决了 HTAP 场景的隔离性以及列存同步的问题。
在mysql install命令运行成功后,接着运行mysqld --initialize命令完成数据库初始化功能,这是遇到了error: Found option without preceding group in config file: /data/3307/my.cnf at line: 1
为了做到无损切换并且考虑到主机可能发生磁盘损坏且无法恢复的场景,需要用到日志复制技术,将本地日志及时同步到其他节点。实现方式有三种:
本文描述问题及解决方法同样适用于 腾讯云 Elasticsearch Service(ES)。
真事!有一个 Python 程序它会周期性的从 MySQL 的备机上读数据,用于完成它的业务逻辑。大致的代码如下(已经去掉了所有与业务相关的内容),最近发现它阻塞了 DDL 语句,导致MySQL 主从复制卡住不动。
在使用Zabbix过程中,当开启自动发现协议后,频繁出现“ Zabbix discoverer processes more than 75% busy”的报警信息,如下:
今天和同事一起处理了一个奇怪的MySQL空间异常问题,从这个问题的处理中可以找到一些问题处理的方式。
主要用于代理MySQL连接,用Navicat Premium直接连接数据库,用不了一会在卡住,用了这个代理就可以流畅使用,也可以用于访问内部数据库或者服务等等。
注:本问题影响 3.10.0-862.el7.centos 及之后的 CentOS 7 版本内核,目前问题还未被修复。
产生"假锁"原因 MySQL如果频繁的修改一个表的数据,那么这么表会被锁死。造成假死现象。在网上试过很多种解决方法,重启mysql服务,重连数据库都没有用。
各位对 ”锁“ 这个概念应该都不是很陌生吧,Java 语言中就提供了两种锁:内置的 synchronized 锁和 Lock 接口,使用锁的目的就是管理对共享资源的并发访问,保证数据的完整性和一致性,数据库中的锁也不例外。
在程序员的职业生涯中,总会遇到数据库表被锁的情况,前些天就又撞见一次。由于业务突发需求,各个部门都在批量操作、导出数据,而数据库又未做读写分离,结果就是:数据库的某张表被锁了!
有一张权限表,同时执行了delete和truncate操作,并且长时间没有提交,导致metadata lock无法释放,应用登录时无法正常读取权限表,导致应用无法登录。
离线文件 load -i 后,打上 tag 推送到镜像仓库,然后本地删除这个镜像,然后拉取还是像上面这样卡住,部分小镜像拉取没问题,所以不可能是 docker data-root 的挂载 option 影响。环境信息如下:
添加淘宝 NPM 镜像 啥都不说了,干活前先添加淘宝 NPM 镜像,不然后面安装模块的时候会卡住。 $ sudo npm install -g cnpm --registry=https://registry.npm.taobao.org 安装 electron 这里我是使用的全局 $ sudo cnpm install -g electron 创建应用 一个 Electron 应用的目录结构大致如下: myapp/ ├── package.json ├── main.js └── index.html p
在我们使用 Linux 系统时,如果网络或者磁盘等 I/O 出问题,会发现进程卡住了,即使用 kill -9 也无法杀掉进程,很多常用的调试工具,比如 strace, pstack 等也都失灵了,是怎么回事?
这周会长出了两道关于渗透的题目,综合性相当强,几乎已经是一道正式的ctf的200分题目了,题目很简单是这样的。
添加一个escape_data()的函数,该函数已经会自动识别各种PHP配置环境~
本文详细介绍了 TiDB 的 Garbage Collection(GC)机制及其在 TiDB 组件中的实现原理和常见问题排查方法。 TiDB 底层使用单机存储引擎 RocksDB,并通过 MVCC 机制,基于 RocksDB 实现了分布式存储引擎 TiKV,以支持高可用分布式事务。 GC 过程旨在清理旧数据,减少其对性能的影响,主要包括四个步骤: 计算 GC safepoint、解析锁(Resolve locks)、连续范围数据删除(Delete ranges)和同步 GC safepoint 至集群其他组件。 文章还讲述了如何定位 GC leader、监控 GC 状态、以及处理 GC 过程中遇到的常见问题。
用过国标协议平台EasyGBS的朋友们应该都知道,GB28181协议是公安部提出来的,能够对接公安部的网络系统,给安防带来了很大的便利性,EasyGBS就支持集成接入自己的平台,也能够对视频进行录像,同时,EasyGBS有很多二次开发的可能,因为我们会提供丰富的二次开发接口,是一种十分实用的视频监控网页直播方案。
我们的数据库一般都会并发执行多个事务,多个事务可能会并发的对相同的一批数据进行增删改查操作,可能就会导致我们说的脏写、脏读、不可重复读、幻读这些问题。 这些问题的本质都是数据库的多事务并发问题,为了解决多事务并发问题,数据库设计了事务隔离机制、锁机制、MVCC多版本并发控制隔离机制,用一整套机制来解决多事务并发问题。接下来,我们会深入讲解这些机制,让大家彻底理解数据库内部的执行原理。
爱可生 DBA 团队成员,主要负责 MySQL 故障处理和 SQL 审核优化。对技术执着,为客户负责。
phpmyadmin 上的高级配置不要点,否则会炸,解决办法,删除所有新建的表,然后重装PHPmyadmin即可。
1. 项目介绍 最近在 github 上找了一个开源的 C++ 版本的 http server 代码,如果你很好奇,为什么我会看起这个项目来,可以拉到文末。 项目地址: https://github.com/yhirose/cpp-httplib 这个项目在 github 上看起来挺流行的,有 7.4k 的 star 和 1.6k 的 fork,属于比较受欢迎的项目了。 深入地看了下该项目,有如下优点: 代码整体风格和质量还不错,支持 C++ 11 语法; 代码量不大,如果想在项目中使用,只要包含一个 ht
领取专属 10元无门槛券
手把手带您无忧上云