本篇主要讲述了利用tc工具对 Linux 进行高级流量控制.TC流量控制工具 , 从 Linux2.2 版开始已并入内核而且功能非常强大。如果你需要搭建高性能的 Linux 网关 , 本文将会使你受益颇多。
TC（traffic control)是Linux中的流量控制工具。它是通过控制netem来实现的网络场景模拟。该工具是直接对物理网卡生效的，如果是逻辑网卡，则该控制无效。如果是用的虚拟机，可视虚拟网卡为物理网卡。
笔者有一个需要搭建弱网环境来复现某个网络问题的需求，因此开始在网络中寻找能够快速搭建弱网环境的方式。
如果你对 Linux 流控感兴趣，如果你需要搭建高性能的 Linux 网关 , 本文将会使你受益颇多。
运维过程中，最复杂的问题，莫过于网络的问题，而网络问题最烦的就是无法复现，这篇介绍一个强大的网络模拟工具Netem
tc 是linux 内置的命令；使用man pages 查看 我们看到，其功能为 show / manipulate traffic control settings，可对操作系统进行流量控制；
在做MHA测试的时候，有一个重要的环节就是测试MHA Manager节点和Master节点的网络情况，如果产生了抖动，那么MHA本身提供了一个参数secondary_check来保证，但是如果你的部署环境中是一主一从的话，这个参数就不会起作用了，因为latest slave和oldest slave是同一个库，简单来说，连不上就是连不上了，至于切还是不切，这个还不好说。我们测试的场景下，有时候切，有时候不切。所以我们原本测试的MHA0.57版本就降级为了0.56，仔细测试发现，其实也存在这样的问题，综合再三
netem 与 tc: netem 是 Linux 2.6 及以上内核版本提供的一个网络模拟功能模块。该功能模块可以用来在性能良好的局域网中,模拟出复杂的互联网传输性能,诸如低带宽、传输延迟、丢包等等情况。使用 Linux 2.6 (或以上) 版本内核的很多发行版 Linux 都开启了该内核功能,比如 Fedora、Ubuntu、Redhat、OpenSuse、CentOS、Debian 等等。 tc 是Linux 系统中的一个工具,全名为 traffic control(流量控制)。tc 可以用来控制 netem 的工作模式,也就是说,如果想使用 netem ,需要至少两个条件,一个是内核中的 netem 功能被包含,另一个是要有 tc 。
在前面的几篇文章中，我们解决了pod连接主机、pod连接外网、pod与相同节点或不同节点的pod连接、用clusterIP和nodeport的方式访问pod等几个问题，可以说，对于组织pod的网络的每一环都已经完成了。
Pipework允许您在任意复杂的场景中将容器连接在一起。Pipework使用cgroups和namespace，并使用“普通”LXC容器（用它创建lxc-start）和令人敬畏的Docker。
当我们有要在某两台设备之间的链路上人为增加一定的时延，丢包，损伤的需求时，最简易的方法是在两台设备之间加入一台 Linux 服务器，分别与两个设备直连，服务器上作为一个纯二层 bridge 透传报文；同时使用Linux操作系统中的流量控制器TC（Traffic Control）用于Linux内核的流量控制来实现对于链路流量增加时延，丢包及损伤。
Linux操作系统中的流量控制器TC（Traffic Control）用于Linux内核的流量控制，主要是通过在输出端口处建立一个队列来实现流量控制。 接收包从输入接口进来后，经过流量限制丢弃不符合规定的数据包，由输入多路分配器进行判断选择：
pcie接口是一种高速串行计算机扩展总线标准，是高速串行点对点双通道高带宽传输，所连接的设备分配独享通道带宽，不共享总线带宽，是替代旧的PCI，PCI-X和AGP总线标准的，主要支持主动电源管理，错误报告，端对端的可靠性传输，热插拔以及服务质量(QOS)等功能。 PCIE接口的优势： 相对于传统PCI总线在单一时间周期内只能实现单向传输，PCIE的双单工连接能提供更高的传输速率和质量。PCI-E插槽是可以向下兼容的，比如PCI-E 16X插槽可以插8X、4X、1X的卡。现在的服务器一般都会提供多个8X、4X的接口，已取代以前的PCI-X接口。PCIe属于高速串行点对点双通道高带宽传输，所连接的设备分配独享通道带宽，不共享总线带宽，主要支持主动电源管理，错误报告，端对端的可靠性传输，热插拔以及服务质量(QOS)等功能。 PCIE有多种规格，从PCIE x1到PCIE x32，目前能够满足所有的低速设备和高速设备的需求，接口是PCIe 3.0接口，其传输速率是上一代接口带宽的两倍，PCIE接口的主要优势在于其减少延迟的能力。PCIe设备和PCIe总线直接相连，使缓存和数据更接近CPU。 北京东大金智提供自主研发生产销售的飞迈瑞克（femrice）品牌光纤网卡，包含pcie万兆网卡、pcie千兆网卡、pcie 25G网卡、pcie台式机网卡、pcie电口网卡、pcie光口网卡等等。其产品均已通过FCC、CE、RoHS、REACH等国际权威认证以及国家行业认证，精益求精，始终如一地专注于网络、通讯传输领域的应用解决方案。
了解Linux的流量控制的目的：一是为了更好地理解底层对报文的处理逻辑，二是在流量控制中使用了很多很好的流量处理方法，可以学习一下这些方法和思想，翻译自：https://tldp.org/en/Traffic-Control-HOWTO/index.html。
近日的工作多多少少和Linux的流控有点关系。自打几年前知道有TC这么一个玩意儿而且多多少少理解了它的原理之后，我就没有再动过它，由于我不喜欢TC命令行，实在是太繁琐了。iptables命令行也比較繁琐，可是比TC命令行直观，而TC命令行则太过于技术化。
简单讲，一个qidsc就是一个调度器。每个出接口都需要某种类型的调度器，默认的调度器为FIFO。Linux下的其他qdisc会根据调度器的规则来重新安排进入调度器队列的报文。
netem 是 Linux 2.6 及以上内核版本提供的一个网络模拟功能模块。该功能模块可以用来在性能良好的局域网中，模拟出复杂的互联网传输性能，诸如低带宽、传输延迟、丢包等等情况。使用 Linux 2.6 (或以上) 版本内核的很多发行版 Linux 都开启了该内核功能，比如Fedora、Ubuntu、Redhat、OpenSuse、CentOS、Debian等等。
iptables系列之常用扩展模块 iptables -s,-d -s IP,NET 172.16.0.0/16,172.16.100.7 -m iprange This matches on a given arbitrary range of IP addresses. -m iprange --src-range --dst-range iptables -t filter -A INPUT -p tcp -m iprange --src-
传输层-TCP和UDP应用场景 TCP(传输控制协议) 需要将要传输的文件分段传输,建立会话,可靠传输,流量控制 UDP(用户报文协议) 一个数据包就能完成数据通信,不需要建立会话,不分段,不用流量控制,不可靠传输 UDP使用场景 DNS域名解析,QQ聊天,多媒体教室屏幕广播 TCP使用场景 HTTP协议,QQ传文件,邮件传输
可以使用如下通用规则来学习Linux流量控制。可以使用tcng 或 tc进行初始化配置Linux下的流量控制结构。
在继续分析 dev_queue_xmit 发送数据包之前，我们需要了解以下重要概念。
面试中网络方面的知识被问到的概率很大，尤其是互联网公司，要熟悉osi七层模型，其中TCP/IP方面的知识尤其重要。如果自己平时有Socket编程的经验对面试也是很有帮助的。网络方面有空可以看看TCP/IP详解卷一和UNIX网络编程。以下总结了一些面试中常问的问题：
你知道为什么我们的网络需要路由器、交换机或防火墙吗？一个可用的网络需要部署多少个网络设备？在本文中，我们将简单讨论网络硬件的发展。
如何连接 PC？在发明网络之前，个人计算机之间是独立工作的，没有网卡、网线或协议栈，主要使用磁盘、CD 和其他东西来传输数据。
这是TCP/IP协议栈系列的第二篇文章，之前的一篇理解TCP/IP协议栈之HTTP2.0感兴趣可以看下，今天一起来学习下一个热点问题。
网络的官方解释是指计算机或类似计算机的网络设备的集合，它们之间通过各种传输介质进行连接。
整流器通过延迟报文来满足所需的传输速率。整流是一种通过延迟传输到输出队列的报文来满足期望的输出速率的机制。这是寻求带宽控制解决方案的用户面临的最常见的需求之一。延迟报文作为流量控制解决方案的一部分，使得每种整流机制都变成了一种不会节省工作量的机制，即"为了延迟报文需要作额外的工作"。
这些实验有助于让学生们深入了解TCP协议的运作方式，并通过实践加深对网络传输控制的理解。他们将有机会通过实验验证理论概念，观察TCP协议在不同情境下的行为，从而更好地掌握网络协议的本质和运作机制。
在介绍tc qdisc之前，先解释下tc是什么, tc（traffic control）是Linux内核中的一个网络流量控制工具，它可以用来控制网络流量的带宽、延迟、丢包等参数，从而实现网络流量的优化和管理。详细介绍可以参考Linux TC工具的官方文档和man手册。而qdisc (queueing disciplines), 是tc工具中的一部分，叫做队列规则，是一种可以定义Linux网络流量队列规则的一种机制，可以进行流量排队、调度以及限速等操作，达到对网络流量的精细控制和管理。如下是几个qdisc的例子：
笔者最近在对一个公网传输方案做测试时，需要模拟一些公网中遇到的极端情况（延迟、丢包、重复、损坏和乱序等）。惊喜地发现，Linux原生已经集成了TC和netem这对组合，只需要几个命令即可快速地实现上述功能。
公众号收到私信，希望我写一篇关于计算机网络是如何传输的文章，既然如此，本文就来详细说一说。 事实上，此前我们介绍过 OSI 模型，介绍过 TCP/IP 协议族，其实已经包含了计算机传输的内容。 OSI模型 TCP/IP 协议族简介
随着微服务的流行，服务和服务之间的稳定性变得越来越重要。Sentinel 以流量为切入点，从流量控制、熔断降级、系统负载保护等多个维度保护服务的稳定性。Sentinel 具有以下特征: ♞ 丰富的应用场景：Sentinel 承接了阿里巴巴近 10 年的双十一大促流量的核心场景，例如秒杀（即突发流量控制在系统容量可以承受的范围）、消息削峰填谷、集群流量控制、实时熔断下游不可用应用等。 ♞ 完备的实时监控：Sentinel 同时提供实时的监控功能。您可以在控制台中看到接入应用的单台机器秒级数据，甚至 500 台以下规模的集群的汇总运行情况。 ♞ 广泛的开源生态：Sentinel 提供开箱即用的与其它开源框架/库的整合模块，例如与 Spring Cloud、Dubbo、gRPC 的整合。您只需要引入相应的依赖并进行简单的配置即可快速地接入 Sentinel。 ♞ 完善的 SPI 扩展点：Sentinel 提供简单易用、完善的 SPI 扩展接口。您可以通过实现扩展接口来快速地定制逻辑。例如定制规则管理、适配动态数据源等。
许多发行版都为内核提供了模块化或整体式的流量控制(QOS)。自定义的内核可能不会支持这些特性。
本文翻译自 KubeCon+CloudNativeCon Europe 2022 的一篇分享：Better Bandwidth Management with eBPF。
与UDP不同的是，TCP提供了一种面向连接的、可靠的字节流服务。TCP是如何实现可靠连接？
2021年的Hot Chips大会闭幕（附资料下载），DPU大放异彩。 作为预演，2020年的IEEE Hot Interconnects对智能网卡和DPU做过一个百家争鸣的Panel：SmartNI
1 限制流出速度 限制流出速度，主要通过tc这个工具，常用的有三个队列： tbf队列，令牌桶队列，适用于流量×××； cbq队列，分类的队列，用于实现精细的qos控制，配置复杂； htb队列，分层的令牌桶队列，用于实现精细的qos控制，配置比cbq简单些； 通过tbf限制流程速度的例子： tc qdisc add dev eth0 root tbf rate 51200kbit latency 50ms minburst 200k burst 200k 限制网卡eth0流出速度为51200kbit，正确的设置方法，和minburst这个参数有很大的关系，不同的硬件环境和系统需要具体调试。 通过htb实现不同目标地址的限速 删除 tc qdisc del dev eth0 root tbf 修改 tc qdisc change dev eth0 root tbf rate 2200kbit latency 5000ms burst 1540 查看当前队列 tc -s -d qdisc ls
发送方 发送数据 速率高 , 接收方 接收数据 能力差 , 造成传输出错 , 数据链路层 的 负责进行流量控制的工作 ;
tc qdisc add dev eth0 root tbf rate 51200kbit latency 50ms minburst 200k burst 200k
TCP/IP协议是非常重要的一个知识点，也一直是面试的高频题，当面试官问你，能说说TCP协议是怎么保证可靠传输的吗，你能回答上吗？
经过两个月的面试，还是积累了比较多的面试经验，面试的时候会问很多基础的东西，然而这些往往是平时容易忽略的知识。现在我将这两个月准备的内容以及面试中常问的知识点都整理一下写成博客，方便大家也方便自己以后复习巩固，有的回答不一定标准，如果发现问题欢迎联系我进行修正。今天的内容是计算机网络部分。
Sentinel 是阿里巴巴开源的一款高可用性和流量控制的分布式系统。它最初是为了解决阿里巴巴内部的微服务架构中的流量控制和熔断降级问题而开发的。Sentinel 旨在提供实时的流量控制、熔断降级、系统负载保护等功能，以保障应用的高可用性和稳定性。以下是 Sentinel 的详细介绍：
参考模型是由国际标准化组织（ISO）开发的一个抽象模型，用于理解和设计网络系统。该模型将网络通信分解成七个独立的层，每一层各司其职，专注于特定的网络功能。这种分层结构使得不同的网络设备和技术可以协同工作。
在上一篇文章中(分布式高可靠之负载均衡，今天看了你肯定会)，我带你学习了分布式高可靠中的负载均衡。负载均衡的核心在于，将用户请求均匀分配到多个处理服务器处理，以解决单个服务器的单点瓶颈问题。但，如果用户请求数非常多的话，即便实现了负载均衡，服务器能力达到上限，还是无法处理所有的用户请求。
R代表网络速率，d是最大网段长度，v是信号传播速度 网络利用率= 吞吐率/网络数据速率= 帧长/（传帧花费时间+1帧发送到网络所用时间）
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
云直播
