线上某集群峰值TPS超过100万/秒左右(主要为写流量，读流量很低)，峰值tps几乎已经到达集群上限，同时平均时延也超过100ms，随着读写流量的进一步增加，时延抖动严重影响业务可用性。该集群采用mongodb天然的分片模式架构，数据均衡的分布于各个分片中，添加片键启用分片功能后实现完美的负载均衡。集群每个节点流量监控如下图所示:
MySQL对于很多Linux从业者而言，是一个非常棘手的问题，多数情况都是因为对数据库出现问题的情况和处理思路不清晰。在进行MySQL的优化之前必须要了解的就是MySQL的查询过程，很多的查询优化工作实际上就是遵循一些原则让MySQL的优化器能够按照预想的合理方式运行而已。
什么样的Query更须要优化呢？ 这个问题须要从对整个系统的影响来考虑。哪个Query的优化能给系统整体带来更大的收益，就更须要优化。 一般来说，高并发低消耗的影响 > 低并发高消耗 案例 假设有一个Query每小时执行10000次，每次需要20个IO，而另外一个Query每小时执行10次，每次需要20000个IO （1）通过IO消耗来分析 两个Query每小时所消耗的IO总数目是一样的，都是200000 IO/小时 假设优化第一个 Query，从20个IO降低到18个IO，也就是降低了2个I
MySQL 对于很多 Linux 从业者而言，是一个非常棘手的问题，多数情况都是因为对数据库出现问题的情况和处理思路不清晰。在进行 MySQL 的优化之前必须要了解的就是 MySQL 的查询过程，很多的查询优化工作实际上就是遵循一些原则让MySQL 的优化器能够按照预想的合理方式运行而已。
MySQL调优对于很多程序员而言，都是一个非常棘手的问题，多数情况都是因为对数据库出现问题的情况和处理思路不清晰。在进行MySQL的优化之前必须要了解的就是MySQL的查询过程，很多的查询优化工作实际上就是遵循一些原则让MySQL的优化器能够按照预想的合理方式运行而已。
代码中存在无限循环或者条件判断错误导致的死循环，使得CPU一直在执行相同的操作，导致CPU利用率达到100%。
优化目标 1.减少 IO 次数 IO永远是数据库最容易瓶颈的地方，这是由数据库的职责所决定的，大部分数据库操作中超过90%的时间都是 IO 操作所占用的，减少 IO 次数是 SQL 优化中需要第一优先考虑，当然，也是收效最明显的优化手段。 2.降低 CPU 计算 除了 IO 瓶颈之外，SQL优化中需要考虑的就是 CPU 运算量的优化了。order by, group by,distinct … 都是消耗 CPU 的大户(这些操作基本上都是 CPU 处理内存中的数据比较运算)。当我们的 IO 优化做到一定
io_uring是Linux内核在v5.1引入的一套异步IO接口，随着其迅速发展，现在的io_uring已经远远超过了纯IO的范畴。从Linux v5.3版本开始，io_uring陆续添加了网络编程相关的API，对用户提供sendmsg、recvmsg、accept、connect等接口的异步支持，将io_uring的生态范围扩大到了网络领域。
lnmp已经成为比较流行的网站服务器端技术配备。越来越多的人开始不满足于能使用nginx，更多人开始关注如何能优化nginx的处理能力。
本文主要描述Linux Page Cache优化的背景、Page Cache的基本概念、列举之前针对Kafka的 IO 性能瓶颈采取的一些解决方案、如何进行Page Cache相关参数调整以及性能优化前后效果对比。
几年以前，我被派去厦门上门去分析一个用户的手机卡顿问题，该用户的手机经常莫名无响应，刷机，恢复出厂都没有用，经过一通分析，原来该用户从熟人店里买到了一张盗版的SD卡（这年头坑的就是朋友），该SD卡读写速度很慢，顺序读写只有20MB/s。那为什么SD卡的读写性能对手机性能影响那么大？当时我的知识水平，只能从对比测试中发现这个问题，然后更换SD卡解决了这个问题，但是无法从原理上解释这种现象。经过那么多年的学习积累，我现在终于可以解释这个问题。
上一篇文章《使用压缩文件优化io (一)》中记录了日志备份 io 优化方案，使用文件流数据压缩方案优化 io 性能，效果十分显著。这篇文章记录数据分析前置清洗、格式化数据的 io 优化方案，我们有一台专用的日志前置处理服务器，所有业务日志通过这台机器从 OSS 拉取回来清洗、格式化，最后进入到数据仓储中便于后续的分析。
引言 随着越来越多的用户开始将关键业务迁移上云，部分关键业务的场景如大型 SQL 数据库、NoSQL、视频编解码、推理训练等业务对存储提出了稳定低时延、高性能的业务诉求，CBS 的产品矩阵并不能很好地满足这类场景。 因此为了满足 IO 密集场景对云硬盘的要求，在历经过超半年的用户线上业务压力后，CBS 在极致性能、持续稳定、高可用性等多方面都有了进一步优化，推出了基于最新一代 CBS 3.0 存储引擎的增强型 SSD 云硬盘和极速型 SSD 云硬盘产品。其单路 IO 时延优化到了无限接近本地存储的 10
上篇文章MySQL的优化利器：索引条件下推，千万数据下性能提升273%🚀，我们说到MySQL中server层与存储引擎层的交互、索引、回表、ICP等知识（有不理解的概念可以看上篇文章哈~）
21 世纪的第二个 10 年，虎哥已经在存储引擎一线奋战近 10 年，由于强大的兴趣驱动，这么多年来几乎不放过 arXiv 上与存储相关的每一篇 paper。尤其是看到带有 draft 的 paper 时，有一种乞丐听到“叮当”响时的愉悦。看paper这玩意就像鉴宝，多数是“赝品”，需要你有“鉴真”的本领，否则今天是张三的算法超越xx，明儿又是王二的硬件提升了yy，让你永远跟不上节奏zz，湮灭在这些没有营养的技术垃圾中，浪费大好青春。
系统性能是系统设计、实施中的重要目标。这里简单小结下影响系统性能的几个常见因素，以及优化方案。
MySQL调优对于很多程序员而言，都是一个非常棘手的问题，多数情况都是因为对数据库出现问题的情况和处理思路不清晰。
MySQL数据库是常见的两个瓶颈是CPU和I/O的瓶颈，无论是索引优化、还是表结构优化，参数优化，最后都可以归纳到这这两个分类中：
在进行MySQL的优化之前，必须要了解的就是MySQL的查询过程，很多查询优化工作实际上就是遵循一些原则，让MySQL的优化器能够按照预想的合理方式运行而已。
包括静态数据使用CDN、本地缓存、分布式缓存等，以及对缓存场景中的热点key、缓存穿透、缓存并发、数据一致性等问题的处理。
作者 | 惨绿少年 链接 | https://clsn.io/clsn/lx287.html
时间测量 在mx51平台的uboot里，使用get_timer可以获得比较精确的计时，get_timer的使用贯穿了uboot性能调整的整个过程。 性能优化方法 减小uboot镜像的大小，去掉不需要的驱动，不需要的命令，减少uboot的大小可以从两个方面获得好处，首先会节省驱动初始化时间，其次会使uboot镜像变小，从磁盘读取uboot镜像所需的时间也变小了。 优化generic 的memcpy memset函数，通用的C实现 代码简单，但是性能较差，对于大块内存的操作，比如镜像的memcpy和memmo
在进行MySQL的优化之前必须要了解的就是MySQL的查询过程，很多的查询优化工作实际上就是遵循一些原则让MySQL的优化器能够按照预想的合理方式运行而已。
MySQL InnoDB缓冲池是数据库内存中的一块区域，用于缓存最近使用的数据和索引。合理地管理InnoDB缓冲池可以显著提高读写性能和响应速度，因为将数据保存在内存中比从磁盘读取要快得多。
MySQL调优对于很多程序员而言，是一个非常棘手的问题，多数情况都是因为对数据库出现问题的情况和处理思路不清晰。在进行MySQL的优化之前必须要了解的就是MySQL的查询过程，很多的查询优化工作实际上就是遵循一些原则让MySQL的优化器能够按照预想的合理方式运行而已。
https://www.cnblogs.com/clsn/p/8214048.html
性能指标：吞吐率、响应时间、QPS/IOPS、TP99、资源使用率是我们经常关注的指标。
在进行MySQL的优化之前必须要了解的就是MySQL的查询过程，很多的查询优化工作实际上就是遵循一些原则让MySQL的优化器能够按照预想的合理方式运行而已。更多关于MySQL查询相关参照：http://www.cnblogs.com/clsn/p/8038964.html#_label6 系列文章。
肖鹏老师对于开源数据库尤其是MySQL的研究特别深入，今天我们来一起听他分享自己对MySQL数据库的优化经验！ 作者简介 肖鹏 微博研发中心数据库技术负责人，主要负责微博数据库（MySQL/Reids
经过第两轮优化把性能提升到了原来的 12.18 倍(1924 / 158 ~= 12.18) ，下面来看一下这二次优化的过程。
MySQL对于很多Linux从业者而言，是一个非常棘手的问题，多数情况都是因为对数据库出现问题的情况和处理思路不清晰。在进行MySQL的优化之前必须要了解的就是MySQL的查询过程，很多的查询优化工作实际上就是遵循一些原则让MySQL的优化器能够按照预想的合理方式运行而已。 今天我们特别邀请了资深的Linux运维老司机惨绿少年Linux来给大家体验MySQL的优化实战，助你高薪之路顺畅。 作者：惨绿少年Linux，马哥Linux原创作者社群特约作者，资深Linux运维工程师，作者博客：www.nmtui.
MySQL 对于很多 Linux 从业者而言，是一个非常棘手的问题，多数情况都是因为对数据库出现问题的情况和处理思路不清晰。
个人理解，数据库性能最关键的因素在于IO，因为操作内存是快速的，但是读写磁盘是速度很慢的，优化数据库最关键的问题在于减少磁盘的IO，就个 人理解应该分为物理的和逻辑的优化， 物理的是指oracle产品本身的一些优化，逻辑优化是指应用程序级别的优化物理优化的一些原则：
唐聪，腾讯云资深工程师，极客时间专栏《etcd实战课》作者，etcd活跃贡献者，主要负责腾讯云大规模k8s/etcd平台、有状态服务容器化、在离线混部等产品研发设计工作。 etcd 3.5 发布 美东时间2021年6月15号18点，继 etcd 3.4 版本发布近两年之后，etcd 社区官宣发布了3.5 稳定版本，其主要贡献者来自 Google、AWS、Tencent、Red Hat、ByteDance、IBM 等公司的开发者。etcd 3.5 版本的发布，将极大提升开发者体验、更快、更稳的支撑 kube
查询优化器的任务是发现执行 SQL 查询的最佳方案。大多数查询优化器，要么基于规则、要么基于成本。
3月16日在北京举行的腾讯云自研数据库CynosDB交流会圆满落下帷幕。现将技术团队分享的内容整理如下。
硬件和系统配置 操作系统 Ubuntu13.04 系统位数 64 CPU Intel(R) Core(TM)2 Duo CPU 内存 4G 硬盘 Seagate ST2000DM001-1CH164 测试工具 PostgreSQL-9.1.11 测试工具 工具名称 pgbench 数据量 200W（整个数据库大小约为300M） 模拟客户端数 4 线程数 4 测试时间 60秒 准备命令：pgbench -i -s 20 pgbenchdb 测试命
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议
