服务器架构 服务器系统为Centos7 首先需要知晓系统的对外的架构 一般架构： 1.域名--->云服务器（ECS） 2.域名--->CDN--->云服务器（OSS） 3.域名--->CDN---...>云服务器ECS+数据库RDS+缓存Redis 4.域名--->CDN--->负载均衡--->云服务器ECS+数据库RDS(主从)+缓存Redis 5.域名--->CDN-->WAF防火墙--->负载均衡...--->云服务器ECS+数据库RDS(主从)+缓存Redis 再根据实际情况出现的问题，一步步排查。...ECS服务器负载是否正常、cpu、内存负载是否过高，硬盘使用率是否达到100%等 缓存服务器 redis服务器负载是否正常、内存使用率如何 数据库服务器 数据库连接数是否正常 列出当前用户的所有连接信息...= 'Sleep' and time > 2*60 order by time desc; 让将sql语句发给后端研发分析 远程连接服务器 问题：CPU高，负载高，访问慢（数据库正常） 系统层面 查看负载
前提 当我们收到反馈说数据库响应慢或者压测过程中数据库有报错，第一步先收集数据库服务器资源使用情况，这一步是处理所有故障的前提。...备节点故障： 通过网络及数据库日志信息，判断节点故障原因，并尽快恢复主备节点之间的复制关系，当故障无法快速解决时，建议修改数据库参数来改变主库Xlog保留大小。...Xlog参数不合理： 检查数据库Xlog保留参数值是否合理: wal_keep_segments。...二.CPU使用率高 除了数据库BUG、其他程序耗CPU高影响数据库外，绝大部分原因是SQL执行慢且并发量大引起。...BY KEY HAVING COUNT(*)>1 ORDER BY SUM(pg_relation_size(idx)) DESC; 4、根据执行计划判断SQL是否需要改写 三.内存不足 ①.查看服务器物理内存整体使用情况
⼀般包括以下⼏项，也可以将此理解为排查顺序：业务⽇志分析排查APM分析排查物理环境排查应⽤服务排查云⼚商或运营商问题排查1.1 业务⽇志分析排查这个没啥说的，看日志不会吗？...⼯程所依附的物理环境，⽐如服务器、宿主机、容器等，细分为服务器负载、CPU、内存、磁盘、⽹络⼏个⽅⾯。...CPU分析排查CPU的⽬的主要是查看服务器CPU的使⽤率， 使⽤top命令分析CPU使⽤情况内存分析使⽤free -m命令查看内存使⽤情况磁盘分析使⽤df -h、iostat、lsof等命令查看磁盘IO...情况，找到读写异常的进程⽹络分析使⽤dstat、vmstat等命令查看⽹络流量、TCP连接等情况，分析异常流量1.4 应⽤服务排查应⽤排查，排查应⽤本身最有可能引发的问题，针对各种场景进⾏对应分析CPU...分析使⽤jstack等命令进⾏JVM分析内存分析使⽤jmap等命令分析内存使⽤情况1.5 云⼚商或运营商问题排查排查到了这⼀步的话，只需关注云⼚商或运营商官⽅公告即可。
技术背景 LNMP环境下，反向代理服务器nginx错误日志大量报错，显示504 ?...2 作为服务提供者，自身服务访问数据库超时不返回或者PHP层面业务处理严重耗时，程序设计不合理，造成长时间延迟超时。 ?...如果多个服务以虚拟主机的形式在同一台服务器上，那么这多个服务都会收到影响，最直观的前台体验就是访问速度慢，或者直接打不开。 定时任务，跑批，数据库批量数据更新相关业务容易出现nginx错误。
擅长数据库故障处理。对数据库技术和 python 有着浓厚的兴趣。本文来源：原创投稿*爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。...---前言最近解决了一个比较基础的问题故障，由于排查过程挺有意思，于是就以此为素材写出了本篇文章。故障现场防火墙什么的均正常但是无法被远程访问到。简单的使用客户端登录了一下。...ERROR 2003 (HY000): Can't connect to MySQL server on '127.0.0.1' (111)根据以往经验大脑中浮现了几个常见的排查此类故障手法1.排查进程存在...mysql/data/3308/mysqld.pid --user=mysql --socket=/mysqldata/mysql/data/3308/mysqld.sock --port=33082.排查端口绑定情况...解决方案因为配置 skip-grants-tables 引起无法远程连接 mysql 服务端的故障，解决方法也是非常的简单注释重启。
擅长数据库故障处理。对数据库技术和 python 有着浓厚的兴趣。 本文来源：原创投稿 *爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。...---- 前言 最近解决了一个比较基础的问题故障，由于排查过程挺有意思，于是就以此为素材写出了本篇文章。 故障现场 防火墙什么的均正常但是无法被远程访问到。简单的使用客户端登录了一下。...ERROR 2003 (HY000): Can't connect to MySQL server on '127.0.0.1' (111) 根据以往经验大脑中浮现了几个常见的排查此类故障手法 1....本文关键字：#故障排查# ---- 文章推荐： 技术分享 | 国产麒麟 arm 上编译安装 xtrabackup8 技术分享 | MySQL 会受到“Unix千年虫“的影响吗 技术分享 | MHA-MasterFailover...审核且数据库类型可扩展的 SQL 审核工具。
原文:https://blog.devgenius.io/linux-troubleshoot-network-latency-a6da740f5cb8 在 Linux 服务器中，可以通过内核调优、DPDK...以及 XDP 等多种方式提高服务器的抗攻击能力，降低 DDoS 对正常服务的影响。...但是需要注意的是，如果 DDoS 流量已经到达 Linux 服务器，那么即使应用层做了各种优化，网络服务延迟一般也会比平时大很多。...因此，在实际应用中，我们通常使用 Linux 服务器，配合专业的流量清洗和网络防火墙设备，来缓解这个问题。...从这个图中可以看出，前三次握手和第一次 HTTP 请求和响应都相当快，但是第二次 HTTP 请求就比较慢了，尤其是客户端收到服务器的第一个数据包后，该 ACK 响应（图中的蓝线）在 40ms 后才被发送
面试经常会被问到java应用出现了问题,如何排查,主要使用下面几个命令基本都能解决 执行top命令，查看所有进程占用cpu的排序 执行top -Hp pid,查看java进程下的所有线程占用cpu的情况
在 Linux 服务器中，可以通过内核调优、DPDK 以及 XDP 等多种方式提高服务器的抗攻击能力，降低 DDoS 对正常服务的影响。...但是需要注意的是，如果 DDoS 流量已经到达 Linux 服务器，那么即使应用层做了各种优化，网络服务延迟一般也会比平时大很多。...因此，在实际应用中，我们通常使用 Linux 服务器，配合专业的流量清洗和网络防火墙设备，来缓解这个问题。...Statistics -> Flow Graph，选择 “Limit to display filter”，将 Flow type 设置为 “TCP Flows”： 请注意，此图的左侧是客户端，而右侧是 Nginx 服务器...从这个图中可以看出，前三次握手和第一次 HTTP 请求和响应都相当快，但是第二次 HTTP 请求就比较慢了，尤其是客户端收到服务器的第一个数据包后，该 ACK 响应（图中的蓝线）在 40ms 后才被发送
在日常使用中，经常会出现无法连通的情况，这个时候我们就需要找到问题出在哪里，这里面给各位提供一个生产环境排查网络故障的大体思路，一般情况下如果遇到网络故障，都是通过筛选的方式一点一点的确定问题所在，首先判断是本机的问题还是网络上其它设备的问题...要去其它网络设备（路由器）上查看一下是否对网络有问题的主机设置了限制，如果没有的话，问题出在本机，这里面我们主要看下下本机容易出现哪些问题导致页面无法访问 一、网线和网卡设置 检查网卡的灯是否亮起，普通服务器的话应该是绿灯常亮为正常...124.65.56.141) 16.020ms Too many hops: pmtu 1000 Resume: pmtu 1000 八、硬件故障
发生错包的原因有很多，但是一般都是由于网线或者网卡等硬件故障造成。如果你的服务器在换了机房或者网络发生了变更之后，延迟明显增加。这个时候你就要怀疑是不是网卡丢包或者是错包引起的了。...滑动窗口很小 为了提升服务器的吞吐能力，我们一般都会优化系统的 TCP 缓冲区大小，比如： net.ipv4.tcp_rmem = 4096 87380 16777216 net.ipv4.tcp_wmem
如果你不知道从何下手，那么在 Kubernetes 中排查故障可能会是一项艰难的任务。文本以超详细的图解说明了如何对 Kubernetes Deployment 进行故障排查，相信会对你有启发。...K8sMeetup 3个步骤排查 kubernetes Deployment 故障 在深入探究有故障的 Deploymen 时，必须明确 Kubernetes 是如何工作的。...应该从最底层开始为 Deployment 做故障排查。首先，检查 Pod 是否已就绪并在运行中 ? 如果 Pod 已就绪，应该检查 Service 是否能将流量路由到 Pod ?...排查 Ingress 故障 如果已经到了这个阶段，那么意味着： Pod 在运行中且是就绪状态； Service 可以分发流量分配到 Pod。 但是你仍然看不到应用程序的响应。...K8sMeetup 总结 如果你不知从何下手，那么在 Kubernetes 中进行故障排查可能会是一项艰巨的任务。
网络故障基本排查步骤：
Hello folks，我是 Luga，今天我们来分享一款用于 Kubernetes Cluster 故障排查的开源工具 - Robusta （罗布斯塔）。...作为一个用于多集群 Kubernetes 监控、故障排除和自动化的开源平台，就像 Docker 用于部署应用程序的基础设施即代码一样，Robusta 用于维护 Kubernetes Cluster 应用程序和处理其警报的基础设施即代码...— 01 — Robusta 概述 作为一款用于 Kubernetes Cluster 故障排查的开源平台，其本质是为了弄清楚我们当前所构建的 Kubernetes Cluster 的健康状况，并针对所出现的告警行为进行合理解释以及给予我们相关修复建议...Cli 通常具备两个主要用途，具体如下所示： （1）基于自动生成的 Helm 值使的 Robusta 安装变得更容易，便捷，有利于维护，节省资源成本； （2）可以手动触发 Robusta 故障排除工作流程
原文地址：jianshu.com/p/bca5a49db4b7 前言 CPU 飚高 内存问题排查 总结 前言 对于后端程序员，特别是 Java 程序员来讲，排查线上问题是不可避免的。...今天的文章，就如我们的题目一样，讲的是基本操作，也就是一些排查线上问题的基本方法。为什么这么说呢？...思路：首先找到 CPU 飚高的那个 Java 进程，因为你的服务器会有多个 JVM 进程。然后找到那个进程中的 “问题线程”，最后根据线程堆栈信息找到问题代码。最后对代码进行排查。 如何操作呢？...内存问题排查 说完了 CPU 的问题排查，再说说内存的排查，通常，内存的问题就是 GC 的问题，因为 Java 的内存由 GC 管理。...总结 基于文章的标题，我们这个是基本操作，故障排查是说不完的话题，每个故障涉及的知识也都很多，因此，我们在学习了基本的排查之后，还需要学习更多事故排查技术，比如排查 IO，网络，TCP 连接等等。
接着继续排查tps上不去的原因， 继续strace后端的nginx。...继续$ strace -cp $(pgrep -n php-fpm)显示下图所示：access cpu时间消耗最多那就先 排查access 系统调用： $ strace -T -ttp $(pgrep...然后排查recvfrom： $ strace -T -ttp $(pgrep -n php-fpm) 2&>1 | grep -B 10 recvfrom > ....总结 当遇上性能问题时，排查日志无法解决时， 使用strace工具来查看一下系统调用， 看时间到底消耗在哪里了， 可以轻松的找到问题所在。
线上发现L版本一个OSD down，不确定是否磁盘故障，之前的filestore排查起来比较熟，换成Bluestore以后，有些细节上的操作不一样，因为用到的是SSD，所以有了这篇排查文档。...排查过程 定位故障节点 [root@demo-host ceph]# ceph osd tree|grep down 20 1.00000 osd.20...9cb7-5263-bec0-3fa34dc0373f ceph-dfe4f8f2-880f-414d-af58-5b3c77ed2628 -wi-ao---- <5.46t 最后保守起见还是手工点亮故障灯
今日看了一篇文章, 感觉写的不错, 主要是讲的服务间调用超时的故障排查经历. 因为这中间涉及很多系统命令的一些使用, 延伸出一些知识点, 以下为简单的记录: 1.
线上故障主要会包括 CPU、磁盘、内存（含JVM）以及网络问题，而大多数故障可能会包含不止一个层面的问题，所以进行排查时候尽量四个方面依次排查一遍。...CPU 首先会排查 CPU 方面的问题。CPU 异常往往还是比较好定位的。原因包括业务逻辑问题(死循环)、频繁 gc 以及上下文切换过多。...4）gc 问题和线程 gc 问题除了影响 CPU 也会影响内存，排查思路也是一致的。...如果参数正常，但是 young gc 频率还是太高，就需要使用 Jmap 和 MAT 对 dump 文件进行进一步排查了。...3）触发 fullGC G1 中更多的还是 mixedGC，但 mixedGC 可以和 youngGC 思路一样去排查。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
