来源 | 经授权转载自 哔哩哔哩技术 公众号 至暗时刻 2021 年 7 月 13 日 22:52，SRE 收到大量服务和域名的接入层不可用报警，客服侧开始收到大量用户反馈 B 站无法使用，同时内部同学也反馈 B 站无法打开，甚至 APP 首页也无法打开。基于报警内容，SRE 第一时间怀疑机房、网络、四层 LB、七层 SLB 等基础设施出现问题，紧急发起语音会议，拉各团队相关人员开始紧急处理（为了方便理解，下述事故处理过程做了部分简化）。 初因定位 22:55 远程在家的相关同学登陆 VPN 后，
作者简介 本文由携程技术中心框架研发部吴其敏、王兴朝，技术保障中心高峻、王潇俊、陈劼联合撰写。 作为国内最大的OTA公司，携程为数以亿计的海内外用户提供优质的旅游产品及服务。2014年底携程技术中心的框架、系统和运维团队共同启动了架构改造项目，历时2年，涉及所有业务线。本文回顾了携程在整个技术架构改造过程中的一些实践和收获。 本篇为该分享的下篇，上篇请戳： 携程第四代架构探秘之运维基础架构升级（上） 弹性路由（SLB） 携程部署架构采用的是单机多应用，每台服务器上部署了很多个应用。这些应用不一定存在紧密内联
前 言 / 2022.7.25 最近，B站官方发布了一篇文章"2021.07.13 我们是这样崩溃的"，回顾了B站崩溃事件的诱因、根因、处理过程以及优化改进，才发现事情缘由竟是一个小小的字符“0”。 01 “至暗时刻”起因经过 去年7月13日晚上10点52分，B站大面积崩溃，不少人趁乱搞起了“网络诈骗”，负责搞定站点可靠性的工程师（SRE）和B站的客服都收到了大量网站打不开的报警。 处理方案 CPU 被不知道哪里来的刺客给占用光了算力，跑满100%，无法正常处理业务。 B站相关人员从23：25到23：5
鱼羊 丰色 发自 凹非寺 量子位 | 公众号 QbitAI 一个小小字符“0”，竟引得B站全面崩溃。 不知你是否还记得那一夜，B站“大楼停电”、“服务器爆炸”、“程序员删库跑路”的彻夜狂欢。（手动狗头） 时隔一年，背后“真凶”现在终于被阿B披露出来—— 没想到吧，就是这么简单几行代码，直接干趴B站两三个小时，搞得B站程序员彻夜无眠头发狂掉。 你可能会问，这不就是个普普通通用来求最大公约数的函数吗，怎么就有如此大的威力？ 背后一桩桩一件件，归根结底其实就一句话：0，它真的不兴除啊。 具体详情，咱们还是一
title: "2020-07-22-腾讯云-slb-kubeadm高可用集群搭建"
•抛开zabbix来说，很多公司可能已经不再用这个监控工具了•搭配prometheus的consul的自动发现，使用方式和zabbix一样，都是调用接口直接操作•其他的监控软件多数也是有接口存在，直接复用•比较复杂的场景，可以自行编写Ansible模块来满足需求
11-01 12:00 中午午饭期间，手机突然收到业务网关非200异常报警，平时也会有一些少量499或者网络抖动问题触发报警，但是很快就会恢复（目前配置的报警阈值是5%，阈值跟当时的采样窗口qps有直接关系）。
出品 | OSC开源社区（ID：oschina2013) 2023 年 3 月 5 日晚 20:20 左右，许多网友表示在使用 B 站时，手机和电脑端都无法访问视频详情页，且手机端无法查看收藏夹与历史记录。 还有网友表示，首页能够正常加载，但全部是繁体字。 B 站上一次大规模崩溃是 2021 年 7 月 13 日，被成为「713 事故」，曾被反复拉出来“鞭尸”。 B 站技术团队在 2022 年 7 月 12 日，针对「713 事故」发了一篇技术解析的长文：2021.07.13 我们是这样崩的 202
去年底我写了一个阿里云云监控的 Prometheus Exporter, 后续迭代的过程中有一些经验总结, 这篇文章就将它们串联起来做一个汇总, 讲讲为什么要写 Exporter 以及怎么写一个好用的 Exporter何为 Prometheus ExporterPrometheus 监控基于一个很简单的模型: 主动抓取目标的指标接口(HTTP 协议)获取监控指标, 再存储到本地或远端的时序数据库. Prometheus 对于指标接口有一套固定的格式要求, 格式大致如下: # HELP http_reques
前言： CVM CDN https://cloud.tencent.com/act?from=10680 https://cloud.tencent.com/act/season?from=14065
/cfg/slb/real 1 (real server，也就是负载均衡的两台防火墙，fw1,fw2分别是real1,real 2)
弹性伸缩目标追踪伸缩规则是弹性伸缩服务与云监控深度结合的产物，定义了更加稳定，精准，快速的弹性伸缩策略，解决了当前伸缩组动态调整过程存在的一些难点和问题。
Kubernetes 集群中，业务通常采用 Deployment + LoadBalancer 类型 Service 的方式对外提供服务，其典型部署架构如图 1 所示。这种架构部署和运维都十分简单方便，但是在应用更新或者升级时可能会存在服务中断，引发线上问题。今天我们来详细分析下这种架构为何在更新应用时会发生服务中断以及如何避免服务中断;
就像N年前企业需要自建机房部署服务器，当阿里云等云厂商兴起之后，大家都开始“上云”了，既方便快捷稳定，又免去了运维人员的开销。
最近西安一码通的故障引起了业界广泛的讨论，究其根本原因还是系统未充分考虑到扩展性，在面临超过日常访问数倍甚至十倍以上的突发流量时某个环节达到了瓶颈点，并且系统不能做到自动扩缩容，最终导致了故障。
GTM（Global Traffic Manager的简写）即全局流量管理，基于网宿智能DNS、分布式监控体系，实现实时故障切换及全球负载均衡，保障应用服务的持续高可用性。GTM基于资源的健康状况及流量负载做智能调度决策，为用户提供最佳访问IP。网宿GTM，提供更可靠、稳定和安全的流量调度服务，助您轻松构建混合云应用。
最近有个集团级的云项目处于实施过程中，客户对数据备份、应用双活视为同一个事物，要求我方将原秒级数据备份升级为秒级应用双活。实际问题，备份与双活是不同的两个概念。以下我们用图文方式简述双活与数据备份的区别。
在B/S应用中的双活设计一般考虑三个层次，分别是WEB层、APP层、DB层。一般web层的虚机不需要进行跨数据中心集群部署，因为web是无状态的，所以可以在2个数据中心独立进行集群部署，同时在每个数据中心部署独立的SLB，可以把SLB和WEB组合为一个资源池协同提供web相关服务。
在之前的文章我介绍了下 Custom Metric 怎么实现自动扩容的。k8s基于自定义指标实现自动扩容
近日来，和很多来自传统行业、国企、政府的客户在沟通技术细节时，发现云原生所代表的技术已经逐渐成为大家的共识，从一个虚无缥缈的概念渐渐变成这些客户的下一个技术战略。自然，应用架构就会提到微服务，以及其中最重要的分布式协作的模式——服务发现。模式（pattern）是指在特定上下文中的解决方案，很适合描述服务发现这个过程。不过相对于 2016 年，现在我们最少有十多种的方式能实现服务发现，这的确是个好时机来进行回顾和展望，最终帮助我们进行技术选型与确定演进方向。
EdgeCluster实现了合并回源，对于某一路流，不管有多少客户端播放，EdgeServer都只会从OriginServer取一路流，这样可以通过扩展EdgeCluster来增加支持的播放能力，也就是CDN网络具备的重要能力：高并发。
随着云计算和互联网的高速发展，大量应用需要横跨不同网络终端，并广泛接入第三方服务(如支付、登录、导航等)，IT系统架构越来越复杂。快速迭代的产品需求和良好的用户体验，需要IT运维管理者时刻保障核心业务稳定可用，而企业运维中的痛点和难点也急需解决。
在系统生命周期中, 免不了要做升级部署, 对于关键服务, 我们应该能做到不停服务完成升级。另外服务的SLA标准一般都要在四个9以上所以对于优雅停服的需要就十分有必要了。
cnblogs.com/huojg-21442/articles/8194348.html
载均衡设备厂商在国内外有很多，国际上评价较高的有F5和Radware2大厂商，在国内做的比较好的有深信服（在性能上可以做到和F5媲美），华三也做但市场占有率略低于深信服。
"你到底在说什么啊，我K8s的ecs节点要访问clb的地址不通和本地网卡有什么关系..." 气愤语气都从电话那头传了过来，这时电话两端都沉默了。过了好一会传来地铁小姐姐甜美的播报声打断了刚刚的沉寂「乘坐地铁必须全程佩戴口罩，下一站西湖文化广场...」。
当发现目标站点存在CDN防护的时候，我们会尝试通过查找站点的真实IP，从而绕过CDN防护。
疫情初期某地政府决定发放一批免费口罩面向该市市民，该市市民均可免费预约领取，预约时间为早上9点-12点，因此该场景为限时抢购类型场景，会面临非常大的定时超大流量超大并发问题，在该项目的落地过程中，涉及的架构演变，做了一些记录和思考。
客户为金融企业对SLA要求及数据安全性很高，有限于考虑到业务的高可用性，采用混合云部署，业务流量入口为阿里金融云，前端可以添加安全设备WAF/CDN/高防IP等，之后Cname到统一入口SLB负载均衡上，后端采用虚拟服务器组，组内ECS部署在同Region的不同Zone，保障跨Zone的靠可用性，考虑到数据的安全性将数据持续化在IDC侧，阿里云与IDC通过云上部署深信服设备与IDC侧Cisco设备通过Ipsec ×××互联（考虑到稳定性目前已经实施专线互通），后端APP-Server与DB-Server部署在IDC，可参考下图：
同城异地灾备，主要是用来进行备份容灾的，从而当一个数据中心挂了，另外一个数据中心经过切换之后，能让服务迅速的恢复。
阿尔卡特是世界上最具有创新能力的公司之一。在研发中心有22，000名工程师从事研发工作，占公司员工总数的22%。阿尔卡特率先在法国建立的光谷，闻名全球。
内容概况 云计算的特点是开箱即用，可以随时的扩缩容，不用考虑硬件的损坏问题，也有丰富的云服务和云平台供我们选择。在本次演讲中，黎山通过实际应用场景为我们讲述了基础设施及代码的重要性，以及在云计算的运维
随着医疗、大型企业行业上云步伐的加快，上云后的业务系统安全性如何保障成为客户关注的重点。对于医疗、大型企业客户，往往建有自己的数据中心，如何保障极端情况下业务系统的稳定运行？双活、灾备，能帮到我们！
SLB（服务器负载均衡）：在多个提供相同服务的服务器的情况下，负载均衡设备存在虚拟服务地址，当大量客户端从外部访问虚拟服务IP地址时，负载均衡设备将这些报文请求根据负载均衡算法，将流量均衡的分配给后台服务器以平衡各个服务器的负载压力，避免在还有服务器压力较小情况下其他服务达到性能临界点出现运行缓慢甚至宕机情况，从而提高服务效率和质量。
Photo by Oscar Ivan Esquivel Arteaga on Unsplash
使用 Nginx real-ip 模块获取，需在 Ingress 上配置 proxy-real-ip-cidr ，把WAF 和 SLB（7 层） 地址都加上。操作后服务端使用 X-Forwarded-For 可取到真实 IP，通过 X-Original-Forwarded-For 可取到伪造 IP。
Origin Cluster通过配置其他源站的信息，在本源站没有流时查询到流的位置，通过RTMP302定向到指定源站，具体原理可以参考#464。主要应用场景如下：
本文主要针对中小型互联网公司，特别适用于手机APP或者pc的后台架构，基本可以支撑5万日活。本文会对可能用到的相关技术进行技术选型的说明，以及技术的架构介绍。
最近行情好冷，BTC价格一度跌穿7500$，其它山寨币更是跌得惨不忍睹。可怜我前一段时间刚换的PRS，连创新低，看来以后绝不能轻易出手BTC和EOS。 为了把挖矿得来的BTC抱得更紧一些，防止一时手贱卖掉，还是把BTC放在自己的Bitcoin Core冷钱包里吧，熊市里安心学点技术，囤好BTC准备装死。 以前看《精通比特币》一书时，记得里面介绍过一种方法，可以生成一些BTC靓号，这些BTC地址并不能提升安全性，只是用来提升一下逼格，满足一下技术极客们的虚荣心。比如，如果我有这样一个BTC地址，是不
反向代理，是把一些静态资源存储在服务器上，当用户有请求的时候，就直接返回反向代理服务器上的资源给用户，而如果反向代理服务器上没有的资源，就转发给后面的负载均衡服务器，负载均衡服务器再将请求分发给后端的web服务器。 区别就是：反向代理服务器是需要存储资源的，让用户更快速的接收到资源 负载均衡就是，为了保证后端web服务器的高可用，高并发，是不需要要存储资源，只需要转发用户的请求。 一、SLB产生背景: SLB(服务器负载均衡)：在多个提供相同服务的服务器的情况下，负载均衡设备存在虚拟服
前言 外卖业务的快速发展对系统稳定性提出了更高的要求，每一次订单量大盘的异常波动，都需要做出及时的应对，以保证系统的整体稳定性。如何做出较为准确的波动预警，显得尤为重要。 从时间上看，外卖订单量时间序列有两个明显的特征（如下图所示）： 周期性。每天订单量的变化趋势都大致相同，午高峰和晚高峰订单量集中。 实时性。当天的订单量可能会受天气等因素影响，呈现整体的上涨或下降。 订单量波动预警，初期外卖订单中心使用的是当前时刻和前一时刻订单量比较，超过一定阈值就报警的方式，误报率和漏报率都比较大。后期将业务数据上传到
如上最左侧便是主要流量的来源入口，首先就要限制的地方就是slb节点的income流量。
用户拟在运营商租用了多台的服务器，都为提供业务交易查询的web服务器。用户提出准备使用自购的dns服务进行单个域名的多个ip地址设置，已完成业务交易查询的web服务器的负载均衡。粗一听，好像挺完美的方案，但实际不可行。
DBLE 是企业级开源分布式中间件，江湖人送外号 “MyCat Plus”；以其简单稳定，持续维护，良好的社区环境和广大的群众基础得到了社区的大力支持；
服务器负载平衡 (SLB) 通过以下方式提供网络性能和内容交付：实施一系列算法和优先级来响应对网络。
过程是这样的，需要与合作方数据进行交互（肯定是不允许直接连对方数据源的），对方提供了两台server，后端同事在server上面作了proxy搭建了桥接的应用（两台server没有公网ip，通过一个超级难用的堡垒机明御进行管理）。两台server挂在在了负载均衡slb上对外提供http服务（环境为阿里云环境）。项目马上要上线了，然后就面临一个问题，如何监控这个桥接程序的健康状态呢？想到了几种方式：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
