Netty堆外内存泄露排查
最近在做一个基于 websocket 的长连中间件，服务端使用实现了 socket.io 协议（基于websocket协议，提供长轮询降级能力） 的 netty-socketio 框架，该框架为 netty 实现，鉴于本人对 netty 比较熟，并且对比同样实现了 socket.io 协议的其他框架，这个框架的口碑要更好一些，因此选择这个框架作为底层核心。
前面介绍了基本的网络模型以及IO与NIO，那么有了NIO来开发非阻塞服务器，大家就满足了吗？有了技术支持，就回去追求效率，因此就产生了很多NIO的框架对NIO进行封装——这就是大名鼎鼎的Netty。 前几篇的内容，可以参考： 网络IO的基本知识与概念 普通IO以及BIO服务器 NIO的使用与服务器Hello world Netty的使用与服务器Hello world 为什么要使用开源框架？ 这个问题几乎可以当做废话，框架肯定要比一些原生的API封装了更多地功能，重复造轮子在追求效率的情况并不是明智之举。那
1)、TCP面向连接（如打电话要先拨号建立连接）;UDP是无连接的，即发送数据之前不需要建立连接。
星球一位小伙伴面试了 网易，遇到了一个 性能类的面试题：CPU飙升900%，该怎么处理？
解决这个问题的关键是要找到Java代码的位置。下面分享一下排查思路，以CentOS为例，总结为4步。
Netty 是一个异步事件驱动的网络应用程序框架，用于快速开发可维护的高性能和高伸缩性的服务器和客户端。Netty 拥有高性能，吞吐量更高，延迟更低，减少资源消耗，最小化不必要的内存复制等优点。
Netty是一个高性能、异步事件驱动的NIO框架，它提供了对TCP、UDP和文件传输的支持。作为当前最流行的NIO框架，Netty在互联网领域、大数据分布式计算领域、游戏行业、通信行业等获得了广泛的应用，一些业界著名的开源组件也基于Netty的NIO框架构建。
在讲述Netty的高性能特性之前,基于之前的epoll技术分析中谈到C10K问题,其实是属于一个性能优化问题,目的是为了能够在单台机器上支撑更多的并发连接调度所做的性能优化,为了达到上述目标,需要要求我们设计的web服务采用合理的IO模型,并在对应的IO模型基础上引入多线程与并发库技术的使用来支撑更多的连接调度,同时考虑到计算机资源的限制,我们需要在设计web服务的时候合理对资源进行分配优化,比如内存,网络带宽以及CPU核数的充分利用,也就是说我们还需要考虑到可伸缩性的问题,通过增加资源来使得我们的web服务能够得到线性提升效果.接下来我们就来结合部分源码分析Netty技术是如何体现高性能这一个特性.
Netty 是一款基于 NIO（Nonblocking I/O，非阻塞IO）开发的网络通信框架，对比于 BIO（Blocking I/O，阻塞IO），他的并发性能得到了很大提高。难能可贵的是，在保证快速和易用性的同时，并没有丧失可维护性和性能等优势。
OP_WRITE表示底层缓冲区是否有空间，是则响应返还true netty版本大致版本分为 netty3.x 和 netty4.x、netty5.x
这几天自己线上的乞丐服务器遇到一个问题，io会瞬间飙升到很高很高，造成内存使用飙升。但是实际上并发量并不大（网络连接数）。知道是哪个进程造成的，但是确实排查代码中没有是么地方会有这么大的读写。实在想不通。
马上就要过春节了，本想着完成手头的任务就可以准备过年了。没想到Netty服务器又被攻击了，当收到服务器报警（CPU飙升报警）信息，就知道对方又下手了。
为了提升消息接收和发送性能，Netty针对ByteBuf的申请和释放采用池化技术，通过PooledByteBufAllocator可以创建基于内存池分配的ByteBuf对象，这样就避免了每次消息读写都申请和释放ByteBuf。由于ByteBuf涉及byte[]数组的创建和销毁，对于性能要求苛刻的系统而言，重用ByteBuf带来的性能收益是非常可观的。
前天618大促演练进行了全链路压测，在此之前刚好我的热key探测框架（点击可跳转到开源地址）也已经上线灰度一周了，小范围上线了几千台服务器，每秒大概接收几千个key探测，每天大概几亿左右，因为量很小，所以框架表现稳定。借着这次压测，刚好可以检验一下热key框架在大流量时的表现。毕竟作为一个新的中间件，里面很多东西还是第一次用，免不得会出一些问题。
我写过dubbo系列的文章，大家看完这章后想了解更多dubbo细节可以查看往起文章：
NIO的的显著特点：事件驱动模型、单线程处理多任务、非阻塞I/O，I/O读写不再阻塞，而是返回0、基于block的传输比基于流的传输更高效、更高级的IO函数zero-copy、IO多路复用大大提高了Java网络应用的可伸缩性和实用性。基于Reactor线程模型。
决定以Netty为核心，以WebSocket为应用层通信协议做一个互联网聊天系统，整体而言就像微信网页版一样，但考虑到这个聊天系统的功能非常多，因此只打算实现核心的聊天功能，包括单发、群发、文件发送，然后把项目与Spring整合做成开源、可拓展的方式，给大家参考、讨论、使用，欢迎大家的指点。
Nginx是著名的Web服务器，性能优异，运行效率远超传统的Apache、Tomcat, 广泛应用于国内外诸多顶级互联网公司。
有了Netty，你可以实现自己的HTTP服务器，FTP服务器，UDP服务器，RPC服务器，WebSocket服务器，Redis的Proxy服务器，MySQL的Proxy服务器等等。
上文《Java NIO是New IO还是Non-blocking IO》中介绍什么是Java NIO，并通过与传统IO的对比，帮助大家理解Java NIO的特性和优势。但由于其复杂性，诞生很多强大和流行的网络编程框架，比如Netty、Undertow、Grizzly，在平时的开发中大家更倾向于选择这些框架进行开发。所以本文带大家认识一下网络编程框架Netty。
前天618大促演练进行了全链路压测，在此之前刚好我的热key探测框架也已经上线灰度一周了，小范围上线了2500台服务器，每秒大概接收几千个key探测，每天大概2-4亿左右，因为量很小，所以框架表现稳定。借着这次压测，刚好可以检验一下热key框架在大流量时的表现。毕竟作为一个新的中间件，里面很多东西还是第一次用，免不得会出一些问题。
本文介绍了Netty的高性能原理和应用场景，包括基于Netty的高性能通信框架、推送框架，以及用于高性能RPC调用、微服务框架等。Netty作为高性能通信框架，具有垄断地位，其底层原理涉及到多种解码器，包括UnpooledHeapByteBuf、UnpooledDirectByteBuf、PooledHeapByteBuf和PooledDirectByteBuf等。在使用Netty时，需要注意内存泄露问题，并合理使用Netty的ByteBuf和ByteBuffer。
什么是Netty？ Netty 是一个利用 Java 的高级网络的能力，隐藏其背后的复杂性而提供一个易于使用的 API 的客户端/服务器框架。 Netty 是一个广泛使用的 Java 网络编程框架。 Netty is a NIO client server framework which enables quick and easy development of network applications such as protocol servers and clients. It greatly simplifies and streamlines network programming such as TCP and UDP socket server. 'Quick and easy' doesn't mean that a resulting application will suffer from a maintainability or a performance issue. Netty has been designed carefully with the experiences earned from the implementation of a lot of protocols such as FTP, SMTP, HTTP, and various binary and text-based legacy protocols. As a result, Netty has succeeded to find a way to achieve ease of development, performance, stability, and flexibility without a compromise. Netty是一个NIO客户机-服务器框架，它支持快速而容易地开发网络应用程序，如协议服务器和客户机。它大大简化和简化了网络编程，如TCP和UDP套接字服务器。
极简教程，五分钟快速入门之netty，搭配后面netty实战以及netty源码分析
Redis 是一种内存数据库，将数据保存在内存中，读写效率要比传统的将数据保存在磁盘上的数据库要快很多。所以，监控 Redis 的内存消耗并了解 Redis 内存模型对高效并长期稳定使用 Redis 至关重要。
对于高性能的 RPC 框架，Netty 作为异步通信框架，几乎成为必备品。例如，Dubbo 框架中通信组件，还有 RocketMQ 中生产者和消费者的通信，都使用了 Netty。今天，我们来看看 Netty 的基本架构和原理。
实时通信已经成为了移动应用程序不可或缺的一部分。无论是聊天应用、实时地图、在线游戏还是IoT（物联网）设备的远程控制，都依赖于高性能的网络连接来提供流畅的用户体验。而正是在这个背景下，我们有多个框架可供选择WebSocket，MQTT，Netty等**，而Netty靠着高性能**、可定制、可扩展、多协议等优势崭露头角，成为Android实时通信首选工具之一。
本篇博文是《从0到1学习 Netty》中进阶系列的第四篇博文，主要内容是通过源码与示例结合分析，研究 Netty 常见的配置常数，实现控制底层网络操作的行为，往期系列文章请访问博主的 Netty 专栏，博文中的所有代码全部收集在博主的 GitHub 仓库中；
来源：Dozer's Technology Blog 链接：https://www.dozer.cc/2014/12/netty-long-connection.html(点击文末阅读原文前往) 推送服务 还记得一年半前，做的一个项目需要用到 Android 推送服务。和 iOS 不同，Android 生态中没有统一的推送服务。Google 虽然有 Google Cloud Messaging ，但是连国外都没统一，更别说国内了，直接被墙。 所以之前在 Android 上做推送大部分只能靠轮询。而我们之前
最近查看云服务器的 CPU 记录，在后半夜的时候总有一段时间飙升到 80%~100%，想来那个时间是各种蜘蛛来访的时段，也就造成了服务器负载飙升的现象。刚好看到了明月登陆博客发了一篇云服务器开启 SWAP 分区的教程，就拿来试试，看看效果如何。 检查了一下默认云服务器没有启用 SWAP 分区。 我这里创建 1G 的 SWAP 分区。 打开 XSHELL 连接到 VPS，输入一下命令： dd if=/dev/zero of=/mnt/swapfile bs=1MB count=1024 把刚才创建的文件做成
原作者江成军，原题“还在被Java NIO虐？该试试Netty了”，收录时有修订和改动。
最近很多从事移动互联网和物联网开发的同学给我发邮件或者微博私信我，咨询推送服务相关的问题。问题五花八门，在帮助大家答疑解惑的过程中，我也对问题进行了总结，大概可以归纳为如下几类：
一．引言 1关于本次话题 最近很多从事移动互联网和物联网开发的同学给我发邮件或者微博私信我，咨询推送服务相关的问题。问题五花八门，在帮助大家答疑解惑的过程中，我也对问题进行了总结，大概可以归纳为如下几类： Netty是否可以做推送服务器？ 如果使用Netty开发推送服务，一个服务器最多可以支撑多少个客户端？ 使用Netty开发推送服务遇到的各种技术问题。 由于咨询者众多，关注点也比较集中，我希望通过本文的案例分析和对推送服务设计要点的总结，帮助大家在实际工作中少走弯路。 2关于推送服务 移
Netty是一个利用Java的高级网络的能力，隐藏其背后的复杂性而提供一个易于使用的API的客户端/服务器框架。Netty提供高性能和可扩展性，让你可以自由地专注于你真正感兴趣的东西。
一个高性能、异步事件驱动的 NIO 框架，它提供了对 TCP、UDP 和文件传输的支持 使用更高效的 socket 底层，对 epoll 空轮询引起的 cpu 占用飙升在内部进行了处理，避免 了直接使用 NIO 的陷阱，简化了 NIO 的处理方式。 采用多种 decoder/encoder 支持，对 TCP 粘包/分包进行自动化处理 可使用接受/处理线程池，提高连接效率，对重连、心跳检测的简单支持 可配置IO线程数、TCP参数， TCP接收和发送缓冲区使用直接内存代替堆内存，通过内存 池的方式循环利用 ByteBuf 通过引用计数器及时申请释放不再引用的对象，降低了 GC 频率 使用单线程串行化的方式，高效的 Reactor 线程模型 大量使用了 volitale、使用了 CAS 和原子类、线程安全类的使用、读写锁的使用
今天换换口味，由于本人工作中马上要用到Netty这个东西，所以这几天也是开始学习，此学习过程应该会是一个完整的系列，初步的目标是先会用，之后有机会再深入。鉴于笔者之前也从未使用过Netty,所以有什么疏漏错误的，希望大家指正，先行感谢！
大家都知道传统的 BIO 网络模型有各种各样的缺点,于是就有了关于 NIO 网络模型的出现，更多的人也都开始喜欢使用 Netty 这种框架来进行开发，而摒弃了传统的 BIO 的模型，今天阿粉就给大家说一下为什么这么多人对 BIO 网络模型这么的头疼。
Netty是一个高性能、异步事件驱动的NIO框架，基于JAVA NIO提供的API实现。它提供了对TCP、UDP和文件传输的支持，作为一个异步NIO框架，Netty的所有IO操作都是异步非阻塞的，通过Future-Listener机制，用户可以方便的主动获取或者通过通知机制获得IO操作结果。 作为当前最流行的NIO框架，Netty在互联网领域、大数据分布式计算领域、游戏行业、通信行业等获得了广泛的应用，一些业界著名的开源组件也基于Netty的NIO框架构建。
文章写作背景 最近在学习 Swoft 框架,看到里面有一个 RPC 的名称,之前在学习其他的东西时也看到了这个名词,当时没特别在意。便有兴趣去看看到底是何物?结合网上的知识点总结总结。不过大部分是来源
上文《BIO、NIO、IO多路复用模型详细介绍&Java NIO 网络编程》介绍了几种IO模型以及Java NIO，了解了在网络编程时使用哪种模型可以提高系统性能及效率。即使Java NIO可以帮助开发人员编写和维护网络应用程序，但由于其复杂性以及bug问题，还是诞生很多强大和流行的网络编程框架，比如Netty、Undertow、Grizzly，在平时的开发中大家更倾向于选择这些框架进行开发，而在我们学习和理解网络编程的底层原理时，使用Java NIO可以更加直接和深入地了解底层操作。本文对 Netty 进行简单介绍，并通过 Netty 实现一个HTTP服务器。
在当今的信息化时代，计算机系统在各行各业都发挥着重要的作用。然而，当生产环境中的CPU飙升时，系统性能会受到影响，甚至导致整个系统瘫痪。这不仅会对企业造成经济损失，还会对用户体验造成严重影响。因此，如何定位并解决生产环境中CPU飙升的问题，已成为众多企业和开发人员亟待解决的问题之一。
传统的RPC框架或者基于RMI等方式的远程服务（过程）调用采用了同步阻塞IO，当客户端的并发压力或者网络时延增大之后，同步阻塞IO会由于频繁的wait导致IO线程经常性的阻塞，由于线程无法高效的工作，IO处理能力自然下降。
作者简介： 董冰，混迹DBA圈子十余载的闲云野鹤，曾服务过政府行业、银行数据中心、互联网游戏上市公司，辗转蛰伏于中国铁塔，励志做一个社会主义的螺丝钉。 故障场景描述： 业务系统和监控同时反映11G的
Netty是 一个异步事件驱动的网络应用程序框架，用于快速开发可维护的高性能协议服务器和客户端。Netty是基于nio的，它封装了jdk的nio，让我们使用起来更加方法灵活。
点击上方“芋道源码”，选择“设为星标” 管她前浪，还是后浪？ 能浪的浪，才是好浪！ 每天 10:33 更新文章，每天掉亿点点头发... 源码精品专栏 原创 | Java 2021 超神之路，很肝~ 中文详细注释的开源项目 RPC 框架 Dubbo 源码解析 网络应用框架 Netty 源码解析 消息中间件 RocketMQ 源码解析 数据库中间件 Sharding-JDBC 和 MyCAT 源码解析 作业调度中间件 Elastic-Job 源码解析 分布式事务中间件 TCC-Transaction
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
