- 综合排序
- 最热优先
- 最新优先
- 来自专栏杰哥技术分享
高性能网络通讯原理
本篇主要探讨高性能网络通讯框架的一些必要知识和底层操作系统相关的原理。在探讨如何做之前，我们先讨论下为什么要做。 随着互联网的高速发展，用户量呈指数形式递增，从原来的PC普及到现在的移动设备普及。 一个高性能的网络通讯框架从硬件设备到操作系统内核以及用户模式都需要精心设计。只要有任何地方有疏漏都会出现短板效应。 因此如何使得单机网络并发连接数达到10K成为通讯开发者热门的讨论话题。 总结 本文通过I/O访问方式，I/O模型，线程模型三个方面解释了操作系统为实现高性能I/O做了哪些事情，通过提高CPU使用效率，减少内存复制是提高性能的关键点。 参考文档 新手入门：目前为止最透彻的的Netty高性能原理和框架架构解析 高性能网络编程(二)：上一个10年，著名的C10K并发连接问题 NIO的epoll空轮询bug 两种高效的服务器设计模型：Reactor
70920发布于 2019-12-16 - 来自专栏喔家ArchiSelf
微秒级高性能网络初探
如果我们的预期是将网络延时从10ms 降低到1ms，那么应该先分析这些时延的具体构成，很有可能瓶颈并不是网络传输；如果目标是将网络延时降低到微秒级或者百微秒级，那么我们才可能使用到高性能网络，例如RDMA 高性能IB网络 在高性能计算集群中，网络协议一般不是Ethernet+TCP/IP，而是Infiniband（IB）协议，是从物理层到传输层的一整套协议栈。 3.4 RDMA 的典型应用场景 RDMA当前最主要的应用场景有两类：一是高性能计算，包括分布式机器学习训练（尤其是使用GPU的时候）；二是计算存储分离。 4 小结 对于高性能网络而言，通过kernel bypass和zero copy，RDMA实现了网络传输的低时延、高带宽与低CPU消耗。 一般地，应用程序需要通过特殊的API来使用RDMA，而RDMA则需要底层网络具备无丢包配置，其主要应用场景包括了高性能计算以及计算存储分离。
51410编辑于 2025-01-07 - 来自专栏冷环渊的全栈工程师历程
Netty高性能网络通信：NIO
认识Netty Netty 网络编程框架 他可以做到什么？ 自定义通信协议 自定义编码/解码字节流 没有netty之前我们是用什么的？ java.net + java .io java.nio Mina /Grizzly Netty的特点 并发高 基于 NIO网络通信框架，比较BIO性能得到了提升 传输快 NIO的特性之一， FileChannel 文件管道的数据 Pipe.SinkChannel Pipe.SourceChannel 线程间通信的管道 ServerSocketChannel SocketChannel 用于TCP网络通信的管道 DatagramChannel 用于UDP网络通信的管道 Buffer capacity 总体容量大小 limit 存储容量的大小，是可读写和不可读写的界线 position 已读容量的大小，
77620发布于 2021-11-15 - 来自专栏6G
高性能网络的基础知识
同样的逻辑也适用于高性能网络（High-Performance Networking, HPN）。然而，HPN失效的负面影响可能会更为显著。 本文将探讨高性能网络的组成部分、可用的传输技术以及使其真正实现高速运行的“秘诀”。 高性能网络由哪些部分组成？ 目前，高性能网络的最低要求是400Gbps，预计在未来两年内将跃升至800Gbps至1600Gbps。 尽管如此，尽管实现这种带宽的工程和物理原理相当复杂，且管道的大小确实很重要，但带宽本身并不是使网络“高性能”的因素。 如果不是延迟和带宽，那么是什么让应用程序运行得更快呢？ 标准数据中心网络的“尽力而为”服务等级协议（SLA）是不够的。这就是高性能网络中“高性能”部分的体现。 那么，什么是高性能网络呢？ 定义高性能网络的问题并非仅仅是延迟或带宽的问题，尽管这两者都是因素。
41310编辑于 2025-02-12 - 来自专栏人工智能应用
使用asyncio构建高性能网络爬虫
引言 在当今数据驱动的时代，高效获取网络数据已成为开发者必备技能。
22510编辑于 2025-08-01 - 来自专栏小徐学爬虫
使用Golang构建高性能网络爬虫
所谓的高性能网络爬虫就是一种能够快速、高效地从互联网上抓取大量网页数据的程序。网络爬虫通常被用于搜索引擎、数据挖掘、信息检索等领域，用于收集和分析互联网上的信息。 使用Golang构建高性能网络爬虫可以充分利用Golang的并发特性和高效的网络库，实现快速、高效地爬取网页数据。 以下是一个简单的示例，展示如何使用Golang构建一个基本的网络爬虫：package mainimport ("fmt""net/http""golang.org/x/net/html""sync")func 当然，实际的网络爬虫可能需要更复杂的处理，比如处理页面解析错误、限制并发数量、处理重定向、处理异常情况等。但是这个简单的示例可以帮助你了解如何使用Golang构建一个基本的网络爬虫。
40210编辑于 2023-11-29 - 来自专栏IT大咖说
Golang 高性能网络库 evio 源码解析
evio 是一个基于事件驱动的网络框架，它非常轻量而且相比 Go net 标准库更快。其底层使用epoll 和 kqueue 系统调度实现。 关于这边的更多细节，可以看我的另一篇文章 【Golang 网络库 evio 一些问题/bug和思考】(https://note.mogutou.xyz/articles/2019/08/15/1565876205121 但是其实关于 loopWrite 和 loopRead 的处理是会有 bug 的，详细可以看另一篇文章 【Golang 网络库 evio 一些问题/bug和思考】(https://note.mogutou.xyz
1.8K40发布于 2021-04-08 - 来自专栏JavaEdge
Java NIO高性能网络编程(三)-Channel
DatagramChannel 通过UDP读写网络中的数据。 SocketChannel 通过TCP读写网络中的数据。
62320发布于 2021-02-22 - 来自专栏星融元
高性能私有云网络解决方案
在本案例中主要用到了CX306支持的以下高级功能： 最大支持64路基于权重的ECMP（实现流量的负载均衡，保证网络转发的高性能）。 按需自由扩展的扁平化云网络 在 Scale-wide 的云网络中，不需要再为价格高昂的框式 Spine 交换机支付超额的成本，并且将网络的规划、部署、调整、优化、扩展的主动权牢牢掌握在自己手中。 CX系列构建的扁平云网络极大地简化了云网络基础架构的复杂性，同时具备超强的横向扩展能力，使云计算 Pay-as-you-grow 的基本理念在云网络中得以体现。 易用、多样的网络操作系统支撑二次开发 基于对网络应用的深刻理解，提供的网络操作系统AsterNOS之上开发了从操作系统内核适配、驱动适配、接口适配、虚拟化网络协议、高可靠控制协议等多种功能特性，以改善开源的 与云计算无缝融合的云网络 运行在每一台CX系列云交换机上的 AsterNOS 是基于纯粹的 SDN 理念为云计算时代设计开发的一款开放、智能、易用、高性能的网络操作系统。
7.4K20编辑于 2023-07-04 - 来自专栏小工匠聊架构
高性能网络编程 - select、 poll 、epoll 、libevent
概述 Select（选择）： Select 是一种传统的 I/O 多路复用机制，用于在类 Unix 操作系统（如 Linux）中同时管理多个文件描述符（如网络套接字或文件）。 与 select 和 poll 不同，epoll 专为高性能 I/O 事件处理而设计。它可以有效地管理大量文件描述符而不会显著降低性能。 Epoll 特别适用于构建可扩展和高性能的网络服务器和应用程序。 Epoll 优点： 高性能：Epoll 针对大规模并发连接进行了优化，性能较高。 有效地管理大量文件描述符，不会随连接数增加而降低性能。 在性能方面，可以利用底层高性能机制，如Epoll，以提高性能。 缺点： 与直接使用底层机制相比，可能引入轻微的性能开销。 需要学习Libevent的API和概念。
91581编辑于 2023-11-09 - 来自专栏Rainbond开源「容器云平台」
Kubernetes集群中的高性能网络策略
本文针对K8s的网络策略进行介绍并对网络性能进行测试。 网络策略 K8s的网络策略应用于通过常用标签标识的pod组。 但是，它需要一个能够应用策略的网络后端。例如，简单路由网络或常用的 [flannel](https://github.com/coreos/flannel) 网络程序本身不能应用网络策略。 因此，网络策略可以直接由Linux内核中的主机使用iptables规则应用。这个结果是一个高性能，易于管理的网络。 测试网络策略的性能影响 在应用网络策略之后，需要根据这些策略来检查网络分组，以验证这种类型的业务是允许的。但是，对每个数据包应用网络策略的性能损失是多少？ 网络性能损耗在可以接受的范围之内。 好雨云帮目前的生产环境使用的是k8s 1.2.x版本，我们在使用个版本的时候k8s还没有网络策略控制的功能，因此我们是基于网络插件的方式来实现访问控制的。
97330发布于 2018-05-31 - 来自专栏用户2442861的专栏
高性能网络编程（一）—-ACCEPT建立连接
高性能网络编程（一）—-ACCEPT建立连接 高性能网络编程（一）—-ACCEPT建立连接 2016年1月25日 陶辉 Comments 1条评论 最近在部门内做了个高性能网络编程的培训，近日整理了下 以上做法无可厚非，但有一定的局限性，本文讲述的网络编程头前冠以“高性能”，它是指程序员设计编写的服务器需要处理很大的吞吐量，这与简单网络应用就有了质的不同。 所以，做高性能网络编程不能仅仅满足于学会开源组件、中间件是如何帮我实现期望功能的，对于企业级产品来说，需要了解更多的知识。 掌握高性能网络编程，涉及到对网络、操作系统协议栈、进程与线程、常见的网络组件等知识点，需要有丰富的项目开发经验，能够权衡服务器运行效率与项目开发效率。以下图来谈谈我个人对高性能网络编程的理解。 ? 使用tcpdump等抓包工具分析各网络分组。 一般掌握以上3点，就可以挥洒自如的实现高性能网络服务器了。 下面具体谈谈如何做到高性能网络编程。
1K10发布于 2018-09-19 - 来自专栏Python每日一库
netius：功能丰富的高性能网络库
netius 是一个基于 Python 的高性能网络库，它为网络应用提供了丰富的功能，包括 HTTP 客户端和服务器、WebSocket 支持、FTP 客户端和服务器以及其他多种协议的支持。 netius 的特点如下：高性能：采用异步事件循环机制，能够处理大量并发连接。易用性：API 设计简洁明了，易于理解和使用。多协议支持：支持 HTTP、WebSocket、FTP 等多种网络协议。 Netius 是一个基于 Python 编写的网络库，用于创建和维护各种网络连接。 Netius 在实际开发中的应用场景Netius 是一个强大的 Python 网络库，它为开发者提供了一系列用于构建网络应用的便利工具。 实现网络爬虫Netius 也适用于实现网络爬虫，通过使用 HTTP 客户端，可以轻松地发送请求并获取网页数据。
19900编辑于 2025-01-29 - 来自专栏猫头虎博客专区
《CNI 揭秘：打造高性能的容器网络》
在容器化的时代，网络性能变得至关重要。我发现越来越多的技术爱好者在搜索 “CNI 介绍”、“容器网络优化” 或 “CNI 最佳实践”。 为此，我决定深入研究 CNI，与大家分享如何打造一个高效的容器网络环境。从 CNI 的基础到实际应用，一切尽在本文。 引言 容器网络接口 (CNI) 是一个用于配置容器网络的规范。 灵活性: 支持各种网络解决方案，如桥接、路由、VLAN 等。 2. CNI 插件类型 2.1 主要插件 bridge: 创建一个桥接网络，将容器连接到宿主机。 Flannel: 创建一个虚拟网络，使所有容器都在同一个逻辑网络中。 Weave: 提供简单、健壮的网络解决方案。 3. 3.3 优化网络性能 使用网络策略、限速和 QoS，确保容器的网络性能满足需求。 4. CNI 未来展望 4.1 更多的集成 随着容器技术的发展，CNI 预计将与更多的云原生项目集成。
72810编辑于 2024-04-09 - 来自专栏golang与云原生
【笔记】Linux高性能网络详解之DPDK
内核态：Linux 网络协议栈和以太网卡驱动程序运行在内核态。Linux 网络协议栈是连接应用和驱动程序的中间层，负责按照应用程序的要求建立网络连接和封装（发送时）、解析（接收时）数据包。 以太网卡驱动程序是和特定的网卡绑定的，负责操控硬件，将协议栈封装好的数据包发送到外部网络中，或将网卡从外部网络接收到的数据包转发给协议栈。 计算校验和后直接传递给网络层。5. 这避免了中断开销，是高性能的关键5. 当驱动通过轮询发现某个描述符的 DD 位为 1，它就知道一个新的数据包已经到了。驱动通过描述符的索引，从 sw_ring 中找到对应的 mbuf 指针。 ReferenceLinux 高性能网络详解：从 DPDK、RDMA 到 XDPLinux 系统如何收发网络包_linux 网络编程的数据收发接口-CSDN 博客DPDK 收发包流程分析_dpdk 开发流程
3.8K12编辑于 2025-08-29 - 来自专栏陶辉笔记
高性能网络编程（一）—-accept建立连接
最近在部门内做了个高性能网络编程的培训，近日整理了下PPT，欲写成一系列文章从应用角度谈谈它。 以上做法无可厚非，但有一定的局限性，本文讲述的网络编程头前冠以“高性能”，它是指程序员设计编写的服务器需要处理很大的吞吐量，这与简单网络应用就有了质的不同。 所以，做高性能网络编程不能仅仅满足于学会开源组件、中间件是如何帮我实现期望功能的，对于企业级产品来说，需要了解更多的知识。 掌握高性能网络编程，涉及到对网络、操作系统协议栈、进程与线程、常见的网络组件等知识点，需要有丰富的项目开发经验，能够权衡服务器运行效率与项目开发效率。以下图来谈谈我个人对高性能网络编程的理解。 ? 使用tcpdump等抓包工具分析各网络分组。 一般掌握以上3点，就可以挥洒自如的实现高性能网络服务器了。 下面具体谈谈如何做到高性能网络编程。
1.2K40发布于 2019-06-21 - 来自专栏【腾讯云开发者】
解锁tRPC高性能密码：网络方案简介！
导语 | 本文介绍了部分高性能网络方案，包括RDMA、HARP、io_uring等。从技术原理、落地可行性等方面，简要地做出分析，希望能对此方面感兴趣的开发者提供一些经验和帮助。 由于RDMA定位为高性能网络传输，同时也为了简化硬件的设计，一般来说，RDMA会避免如软件TCP那样复杂的可靠性设计，而是极其依赖底层传输网络的可靠性。 不过对于少数期望高性能的业务，RDMA也是值得考虑的。 业务使用RDMA主要面临两方面的困难： RoCE v2无损网络的要求导致难以跨机房传输，当前腾讯机房的支持为module内传输（如5跳之内）。 不过值得思考的是，如果一个系统中同时存在网络IO和存储IO，对比以下两种方式： 网络IO采用epoll，存储IO采用io_uring（可结合eventfd与epoll配合） 网络IO、存储IO都采用io_uring 作者简介 王猛 腾讯后台开发工程师 腾讯后台开发工程师，目前负责公司C++后台开发框架的研发，有丰富的高并发开发运营、高性能调优经验。 推荐阅读 异步编程指北！ 图文结合！
2.1K10编辑于 2022-06-07 - 来自专栏后端开发技术
高性能网络设计秘笈：深入剖析Linux网络IO与epoll
一、epoll简介epoll是Linux操作系统中的一种可扩展的I/O事件通知机制，用于处理大量并发连接的网络编程场景。 它在高性能网络服务器的开发中非常有用，因为它可以有效地管理大量的文件描述符，监视并等待这些文件描述符上的事件，并在事件发生时通知应用程序进行相应的处理。 十、总结本文介绍了网络IO模型，引入了epoll作为Linux系统中高性能网络编程的核心工具。通过分析epoll的特点与优势，并给出使用epoll的注意事项和实践技巧，该文章为读者提供了宝贵的指导。 通过掌握这些知识，读者能够构建高效、可扩展和稳定的网络应用，提供出色的用户体验。
39510编辑于 2024-08-11 - 来自专栏小工匠聊架构
高性能网络编程 - 解读5种IO模型
4）； 3）返回数据，服务器将已构建好的响应再通过内核空间的网络 I/O 发还给客户端（5-7）。 它通常用于网络编程中，特别是在UDP协议中。这个函数会阻塞应用程序的进程，直到有数据报准备好可以被接收。 具体来说，recvfrom 通常用于接收来自网络的数据报，例如从套接字（socket）中接收数据。 众所周之，Nginx这样的高性能互联网反向代理服务器大获成功的关键就是得益于Epoll。 而在 Linux 系统下，Linux 2.6才引入，目前 AIO 并不完善，因此在 Linux 下实现高并发网络编程时都是以 IO 复用模型模式为主。
67230编辑于 2023-11-11 - 来自专栏陶辉笔记
高性能网络编程2—-TCP消息的发送
若TCP层在以太网中试图发送一个大于1500字节的消息，调用IP网络层方法发送消息时，IP层会自动的获取所在局域网的MTU值，并按照所在网络的MTU大小来分片。 因为这个值是预估的，TCP连接上的两台主机若处于不同的网络中，那么，连接上可能有许多中间网络，这些网络分别具有不同的数据链路层，这样，TCP连接上有许多个MTU。 特别是，若中间途径的MTU小于两台主机所在的网络MTU时，选定的MSS仍然太大了，会导致中间路由器出现IP层的分片。 怎样避免中间网络可能出现的分片呢？ 慢启动算法说白了，就是对方通告的窗口大小只表示对方接收TCP分组的能力，不表示中间网络能够处理分组的能力。所以，发送方请悠着点发，确保网络非常通畅了后，再按照对方通告窗口来敞开了发。 对于整个网络的执行效率来说，小的TCP报文会增加网络拥塞的可能，因此，如果有可能，应该将相临的TCP报文合并成一个较大的TCP报文（当然还是小于MSS的）发送。
1.1K31发布于 2019-06-21
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号