在一些物理内存为8g的服务器上，主要运行一个Java服务，系统内存分配如下：Java服务的JVM堆大小设置为6g，一个监控进程占用大约 600m，Linux自身使用大约800m。
在一些物理内存为8g的服务器上，主要运行一个Java服务，系统内存分配如下：Java服务的JVM堆大小设置为6g，一个监控进程占用大约 600m，Linux自身使用大约800m。从表面上，物理内存应该是足够使用的；但实际运行的情况是，会发生大量使用SWAP(说明物理内存不够使用 了)，如下图所示。由于SWAP和GC同时发生会致使JVM严重卡顿，所以我们要追问：内存究竟去哪儿了？
在一些物理内存为8g的服务器上，主要运行一个Java服务，系统内存分配如下：Java服务的JVM堆大小设置为6g，一个监控进程占用大约 600m，Linux自身使用大约800m。从表面上，物理内存应该是足够使用的;但实际运行的情况是，会发生大量使用SWAP(说明物理内存不够使用 了)，如下图所示。同时，由于SWAP和GC同时发生会致使JVM严重卡顿，所以我们要追问：内存究竟去哪儿了要分析这个问题，理解JVM和操作系统之间的内存关系非常重要。接下来主要就Linux与JVM之间的内存关系进行一些分析。 一、Li
在一些物理内存为8g的服务器上，主要运行一个Java服务，系统内存分配如下：Java服务的JVM堆大小设置为6g，一个监控进程占用大约 600m，Linux自身使用大约800m。从表面上，物理内存应该
引言 在一些物理内存为8g的服务器上，主要运行一个Java服务，系统内存分配如下：Java服务的JVM堆大小设置为6g，一个监控进程占用大约600m，Linux自身使用大约800m。从表面上，物理内存
同步（synchronous） IO和异步（asynchronous） IO，阻塞（blocking） IO和非阻塞（non-blocking）IO分别是什么，到底有什么区别？这个问题其实不同的人给出的答案都可能不同，比如wiki，就认为asynchronous IO和non-blocking IO是一个东西。这其实是因为不同的人的知识背景不同，并且在讨论这个问题的时候上下文(context)也不相同。所以，为了更好的回答这个问题，我先限定一下本文的上下文。 本文讨论的背景是Linux环境下的network IO。 本文最重要的参考文献是Richard Stevens的“UNIX® Network Programming Volume 1, Third Edition: The Sockets Networking ”，6.2节“I/O Models ”，Stevens在这节中详细说明了各种IO的特点和区别，如果英文够好的话，推荐直接阅读。Stevens的文风是有名的深入浅出，所以不用担心看不懂。本文中的流程图也是截取自参考文献。
自从上次学习了TCP/IP的拥塞控制算法后，我越发想要更加深入的了解TCP/IP的一些底层原理，搜索了很多网络上的资料，看到了陶辉大神关于高性能网络编程的专栏，收益颇多。今天就总结一下，并且加上自己的一些思考。
IO 是计算机体系中重要的一部分 。不同的 IO 设备有着不同的特点：数据率不一样、传送单位不一样，数据表示不一样，等等。所以，很难实现一种统一的输入输出方法。
为了控制进程的执行，内核必须有能力挂起正在CPU上运行的进程，并恢复以前挂起的某个进程的执行。这种行为被称为进程切换。
当用户线程调用了 read 系统调用，内核（kernel）就开始了 IO 的第一个阶段：准备数据。很多时候，数据在一开始还没有到达（比如，还没有收到一个完整的Socket数据包），这个时候 kernel 就要等待足够的数据到来。
IO的实现依赖于系统调用，系统调用需要从用户态切换到内核态，会消耗系统资源，白白浪费掉若干机器周期。 IO是慢操作，一个线程去等待IO的完成，极可能会造成阻塞。 一个文件的IO至少需要一次系统IO调用，在用户态作事件轮询可能会触发多次系统调用。 内核函数select/poll/epoll就是把原本一个文件IO的完成需要多次系统调用降到了恒定的1次或2次，它的实现原理就是将IO状态的轮询操作从用户态转移到了内核态，极大减少内核切换。 在内核态对IO状态的问询时，一旦发现有IO事件在内核里数据缓冲完毕就会立即返
JVM本质就是一个进程，因此其内存空间（也称之为运行时数据区，注意与JMM的区别）也有进程的一般特点。深入浅出 Java 中 JVM 内存管理，这篇参考下。
我一个SocketServer有500个链接连过来了，我想让500个链接都是并发的，每一个链接都需要操作IO，但是单线程下IO都是串行的，我实现多路的，看起来像是并发的效果，这就是多路复用！
最近在看《大型分布式网站架构－设计与实践》这本书时，文中提到阻塞式IO，其实之前我在看一些书籍时也经常听到同步（synchronous） IO和异步（asynchronous） IO，阻塞（blocking） IO和非阻塞（non-blocking）IO这些词。 那么同步IO和异步IO，阻塞IO和非阻塞IO分别是什么，到底有什么区别呢？ 一、网络IO操作过程 对于一个网络IO (这里我们以read举例)，它会涉及到两个系统对象，一个是调用这个IO的过程process (or thread)，另一个就是系统
网络IO会涉及到同步，异步，阻塞，非阻塞等几个概念。一个网络IO读取过程是数据从 网卡 到 内核缓冲区 到 用户内存 的过程。同步和异步区别在于数据从内核到用户内存的过程是否需要用户进行等待。
认为的先规划成两部分，用户的物理内存和内核的物理内存，专项专用，内核有方法去占用用户的内存，但是规定两部分内存是专用的，内核只使用自己的物理内存。
在使用 docker 运行容器时，默认的情况下，docker没有对容器进行硬件资源的限制，当一台主机上运行几百个容器，这些容器虽然互相隔离，但是底层却使用着相同的 CPU、内存和磁盘资源。如果不对容器使用的资源进行限制，那么容器之间会互相影响，小的来说会导致容器资源使用不公平；大的来说，可能会导致主机和集群资源耗尽，服务完全不可用。
因为内存分期和垃圾回收算法都依赖要连续的地址, 所以在初始化阶段, 预先保留了很大的一段虚拟地址空间.
这篇文章将试图说明应用程序如何接收网络上发送过来的TCP消息流，由于篇幅所限，暂时忽略ACK报文的回复和接收窗口的滑动。
已经过去的中间件性能挑战赛，和正在进行中的 第一届 PolarDB 数据性能大赛 都涉及到了文件操作，合理地设计架构以及正确地压榨机器的读写性能成了比赛中获取较好成绩的关键。正在参赛的我收到了几位公众号读者朋友的反馈，他们大多表达出了这样的烦恼：“对比赛很感兴趣，但不知道怎么入门”，“能跑出成绩，但相比前排的选手，成绩相差10倍有余”…为了能让更多的读者参与到之后相类似的比赛中来，我简单整理一些文件IO操作的最佳实践，而不涉及整体系统的架构设计，希望通过这篇文章的介绍，让你能够欢快地参与到之后类似的性能挑战赛之中来。
arena.go文件实现了Go语言的堆内存管理器，它提供了跨平台的内存分配和回收服务。目的是管理堆内存区域，以保证高效、可扩展、可配置和可靠的使用。arena.go中的代码实现了跨平台内存管理器对应的核心功能，包括内存分配、内存回收、内存对齐、内存复制、内存对齐以及并发的分配和回收操作。
内存是计算机中与CPU进行沟通的桥梁，用于暂时存放CPU中的运算数据。Linux 内核的内存管理机制设计得非常精妙，对于 Linux 内核的性能有很大影响。在早期的 Unix 系统中，fork 启动新进程时，由于从父进程往子进程复制内存信息需要消耗一定的时间，因此启动多个进程时存在性能瓶颈。现在的 Linux 内核则通过“写时复制（copy-on-write）”等机制提高了创建进程的效率；也正是因为这个原因，关于 Linux 内存分配、计算、空闲判断有一些特别的地方需要注意。
前几期的分享，我们站在编码视角去聊 Java IO，旨在理解与编码，本次从 Linux 操作系统层面了解一下 IO 模型，这样方能做到知其然，知其所以然。
https://prestodb.io/docs/current/installation/deployment.html#installing-presto
Android是如何实现跨进程通信的，大家熟悉的Binder是什么，怎么设计的，进程间的数据如何发送接收的。本文将以及解析，并对Binder驱动实现、Native层实现、Java层实现三块做一个总结分析。
FINS（factoryinterface network service）通信协议是欧姆龙公司开发的用于工业自动化控制网络的指令/响应系统。使用FINS指令可实现各种网络间的无缝通信，包括用于信息网络的Ethernet（以太网），用于控制网络的ControllerLink和SYSMAC LINK。通过编程发送FINS指令，上位机或PLC就能够读写另一个PLC数据区的内容，甚至控制其运行状态，从而简化了用户程序。FINS协议支持工业以太网，这就为OMRON PLC与上位机以太网通信的实现提供了可能。
我们组的实时数仓项目（二期：Flink SQL指标计算）进入上线阶段。所以，最近的推文我会持续更新一些线上问题排查的实战经验和思路，并尽量针对一类相似或者关联问题所涉及的关键点进行总结，抽出一些方法论分享给大家，感谢支持^^
每周二，由老曹带领大家一步一步进入到自动化控制系统的奇妙世界；一步一步告诉大家如何从一张P & ID（Piping and Instrumentation diagram）图设计一套PLC控制系统，其中包括：IO点统计、PLC选型、IO表设计、IO端子图设计、机柜布置图设计、总线设计、网络设计、PLC程序编制、上位机画面编制、文档制作；让你轻轻松松完整以PLC为主控制器的控制系统设计。
很多的小伙伴，被java IO 模型，搞得有点儿晕，一会儿是4种模型，一会儿又变成了5种模型。
注意到我们使用 //go:noinline 修饰了 main.greet 函数，防止被编译器内联，方便进行测试验证。
内核和处理器负责将虚拟内存映射到物理内存。为了提高效率，会在称为页面的内存组中创建内存映射，其中每个页面的大小是处理器的详细信息。尽管大多数处理器也支持更大的容量，但通常有4 KB，Linux称其为 hugepage大页面。内核可以从其自己的空闲列表中为物理内存页面请求提供服务，内核为每个DRAM组和CPU维护这些请求以提高效率。内核自己的软件也通常通过内核分配器(例如slab分配器)从这些空闲列表中消耗内存。
关注：被调用者 B 是否有消息通知（回调函数）机制 把 最终结果 返回给 A。
Intel® Processor Trace (Intel® PT) 是在i5/i7 5000以上型号上加入的功能，由于它是硬件级的特性，相比Qemu或Boch，在性能上和代码工作量会占有一定优势。在Linux上可以通过perf来使用PT，可以先简单看是否支持PT：
缓冲区是所有 I/O 的基础，I/O 讲的无非就是把数据移进或移出缓冲区；进程执行 I/O
使用fork函数会创建一个和父进程相同的子进程。在调用了fork函数后，会先为子进程申请一个PID号，然后申请一个PCB结构，然后将父进程的PCB结构复制过来，对于父进程的虚拟空间内的内容用到了读时共享，写时复制的机制(下面会讲)。
Apache Spark是目前大数据领域主流的内存计算引擎，无论是在批处理还是实时流处理方面都有着广泛的应用。我们跑作业的时候，首先要给Spark Job分配一定的资源，比如一个executor分配5G内存，有时候我们会纠结于executor的内存有多少用于了实际计算。因此就需要了解一下Spark的内存管理，还有就是掌握了Spark的内存模型对于优化我们的作业也至关重要。
我们都知道unix世界里、一切皆文件、而文件是什么呢？文件就是一串二进制流而已、不管socket、还是FIFO、管道、终端、对我们来说、一切都是文件、一切都是流、在信息交换的过程中、我们都是对这些流进行数据的收发操作、简称为I/O操作(input and output)、往流中读出数据、系统调用read、写入数据、系统调用write、不过话说回来了、计算机里有这么多的流、我怎么知道要操作哪个流呢？做到这个的就是文件描述符、即通常所说的fd(file descriptor)、一个fd就是一个整数、所以对这个整数的操作、就是对这个文件（流）的操作、我们创建一个socket、通过系统调用会返回一个文件描述符、那么剩下对socket的操作就会转化为对这个描述符的操作、不能不说这又是一种分层和抽象的思想、
不允许容器消耗宿主机太多的内存是非常重要的。在 Linux 主机上，如果内核检测到没有足够的内存来执行重要的系统功能，它会抛出 OOME 或 Out of Memory 异常，并开始终止进程以释放内存。任何进程都会被杀死，包括 Docker 和其他重要的应用程序。如果杀错进程，可能导致整个系统瘫痪。
说到IO模型，都会牵扯到同步、异步、阻塞、非阻塞这几个词。从词的表面上看，很多人都觉得很容易理解。但是细细一想，却总会发现有点摸不着头脑。自己也曾被这几个词弄的迷迷糊糊的，每次看相关资料弄明白了，然后很快又给搞混了。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
