在一些物理内存为8g的服务器上，主要运行一个Java服务，系统内存分配如下：Java服务的JVM堆大小设置为6g，一个监控进程占用大约 600m，Linux自身使用大约800m。从表面上，物理内存应该
在一些物理内存为8g的服务器上，主要运行一个Java服务，系统内存分配如下：Java服务的JVM堆大小设置为6g，一个监控进程占用大约 600m，Linux自身使用大约800m。
引言 在一些物理内存为8g的服务器上，主要运行一个Java服务，系统内存分配如下：Java服务的JVM堆大小设置为6g，一个监控进程占用大约600m，Linux自身使用大约800m。从表面上，物理内存
在一些物理内存为8g的服务器上，主要运行一个Java服务，系统内存分配如下：Java服务的JVM堆大小设置为6g，一个监控进程占用大约 600m，Linux自身使用大约800m。从表面上，物理内存应该是足够使用的；但实际运行的情况是，会发生大量使用SWAP(说明物理内存不够使用 了)，如下图所示。由于SWAP和GC同时发生会致使JVM严重卡顿，所以我们要追问：内存究竟去哪儿了？
在一些物理内存为8g的服务器上，主要运行一个Java服务，系统内存分配如下：Java服务的JVM堆大小设置为6g，一个监控进程占用大约 600m，Linux自身使用大约800m。从表面上，物理内存应该是足够使用的;但实际运行的情况是，会发生大量使用SWAP(说明物理内存不够使用 了)，如下图所示。同时，由于SWAP和GC同时发生会致使JVM严重卡顿，所以我们要追问：内存究竟去哪儿了要分析这个问题，理解JVM和操作系统之间的内存关系非常重要。接下来主要就Linux与JVM之间的内存关系进行一些分析。 一、Li
在Linux中，透明巨页（Transparent HugePage）和巨页（HugePage）是两种不同的内存管理技术。 透明巨页是Linux内核中的一项特性，旨在提高内存的利用率和性能。它通过将内存分配为更大的巨页（通常为2MB或1GB），减少了对内存页表的访问次数，从而提高了内存访问的效率。透明巨页是透明的，应用程序无需进行任何修改即可受益于这种内存管理技术。 而巨页是指一种更大尺寸的内存页，在Linux中可以使用不同的页面大小，常见的巨页大小是2MB或1GB。巨页可以提供更高的内存访问性能，因为它减少了页表的数量，降低了TLB（Translation Lookaside Buffer）缓存的压力，从而减少了内存访问的开销。巨页需要应用程序进行适当的修改和配置才能使用。 因此，透明巨页和巨页都是通过增加内存页的尺寸来提高内存访问性能，但透明巨页不需要应用程序的修改，而巨页需要应用程序的支持和配置。
JVM本质就是一个进程，因此其内存空间（也称之为运行时数据区，注意与JMM的区别）也有进程的一般特点。深入浅出 Java 中 JVM 内存管理，这篇参考下。
在启动一个Springboot工程时，抛出一项“Cannot allocate memory”异常，很明显，是因为内存分配原因导致的OOM异常导致JVM宕掉。跟随log，查看JVM hs_err_pid24442.log文件。
在介绍 HugePages 之前，我们先来回顾一下 Linux 下 虚拟内存 与 物理内存 之间的关系。
之前的文章介绍过 VMware 在 VMworld 上宣布的太平洋项目 (Project Pacific) ，这是 vSphere 向 Kubernetes 原生平台的演进。太平洋项目引入了 vSphere 主管集群（ Supervisor Cluster ）的概念，该集群能够在 ESXi 上原生地运行 Kubernetes Pod（称为 Native Pod ）。
内存是计算机的重要资源，虽然今天大多数的服务对内存的需求都没有那么高，但是数据库以及 Hadoop 全家桶这些服务却是消耗内存的大户，它们在生产环境动辄占用 GB 和 TB 量级的内存来提升计算的速度，Linux 操作系统为了更好、更快地管理这些内存并降低开销引入了很多策略，我们今天要介绍的是 HugePages，也就是大页[^1]。
Linux作为一个强大的开源操作系统，广泛应用于服务器、桌面、嵌入式设备等领域。然而，随着应用复杂性的增加和硬件资源的有限，Linux系统性能优化变得越来越重要。本文将从多个方面详细探讨Linux性能优化的方法和技巧，帮助读者更好地发挥系统的潜力。
我们知道使用Linux交换空间而不是 RAM（内存）会严重降低性能。那么，有人可能会问，既然我有足够多的可用内存，删除交换空间不是更好吗？简短的回答是不会。启用交换空间会带来性能优势，即使你有足够多的内存。 即使安装了足够多的服务器内存,你也会经常发现在长时间正常运行后会使用交换空间。请参阅以下来自具有大约一个月正常运行时间的实时聊天服务器的示例： total used free shared buff/cache available
在Linux系统中，交换分区（Swap Space）是一个特殊的文件系统分区，它用于当物理内存（RAM）不足时，将一部分内存中的数据暂时转移到硬盘中，以便释放内存空间供系统继续使用。交换分区在Linux中起到了“虚拟内存”的作用，对于保障系统稳定运行至关重要。
在你使用 Linux 系统时，你可能在系统的进程列表中注意到了名为 "kworker" 的进程。你可能会想知道这个进程是什么，它在做什么，以及为什么有时候它会占用大量的 CPU。在这篇文章中，我们将详细地介绍 kworker 进程，它在系统中的角色，以及如何诊断和解决 kworker 导致的性能问题。
IO子系统一般是linux系统中最慢的部分。一个原因是它距离CPU的距离，另一个原因是它的物理结构。访问磁盘的时间与访问内存的时间是7天与7分钟的区别。linux kernel要尽量减少磁盘IO。 1.Reading and Writing Data linux内核以page为单位访问磁盘IO，一般为4K。 查看页大小：/usr/bin/time -v date Page size (bytes): 4096 2.Major and Minor Page Faul
nmon：检测Linux的性能情况，被广泛用于linux系统上进行监控与分析工具。
在Go的基准测试中，循环的次数(b.N)是由测试框架自动设置的，以尽可能多地运行测试，从而获取更准确的结果。我们不需要（也不能）手动设置这个数值。
查看服务器信息还有硬盘测试，从原版上面翻新过来的，去掉了网络测试，减少测试时间，原脚本显示全是英文，我翻译为中文了，新加机房地址功能，脚本里面有单独的网络测速功能，后面可能还会补充其他功能！
缓冲区是所有 I/O 的基础，I/O 讲的无非就是把数据移进或移出缓冲区；进程执行 I/O
在 Linux 系统（比如 CentOS/RadHat、Debian/Ubuntu）上配置 lnmp环境，通过探针查看物理内存使用率：
零拷贝（Zero-Copy）是一个大家耳熟能详的概念，那么，具体有哪些框架会使用到零拷贝呢？在思考这个问题之前，让我们先一起探寻一下零拷贝机制的底层原理。
这部分将简要介绍下NUMA架构的成因和具体原理，已经了解的读者可以直接跳到第二节。
本文列举四个比较经典的 Linux 收包引擎，如果还有其他你觉得ok的可以留言。这四个分别是：
一、通常服务器的性能会卡在三个地方： cpu 网络IO 磁盘IO 二、在优化性能的时候，首先要判断性能的瓶颈在上述的哪个地方。然后对症下药，按照下面的方法来优化： 1、提高CPU性能的方法 并发。利用多线程、进程。老的线程库效率太低，需要升级用nptl 。进（线）程数不要大于cpu个数 （请参考：http://www.ibm.com/developerworks/cn/linux/l-threading.html） 谨慎用锁。改善架构，尽量不用锁。 慎用字符串操作，比如sprintf,snprintf，因为
收集各种有用脚本，有部分脚本是网上找的，脚本的代码我都看过了，功能我也测试过，完全没什么问题，支持centos6，ubuntu12，debian7以上，kvm，vmware，hyper-v架构的linux系统。
Linux是一款强大的操作系统，被广泛应用于各种环境中本文将深入探讨Linux性能优化的多个方面，包括系统监控、进程管理、内存管理、磁盘I/O优化、网络性能优化等，并通过具体代码示例进行实践。
如何做系统性能优化 性能优化的目标是什么？不外乎两个： 时间性能：减小系统执行的时间 空间性能：减小系统占用的空间 一、代码优化 做代码优化前，先了解下硬件Cache： （1）Cache Level：通常来说L1、L2的Cache集成在CPU里，L3的Cache放在CPU外； （2）Cache Size：它决定你能把多少东西放到Cache里，有Size就有竞争，就有替换，才有所谓优化的空间； （3）Cache Type：I-Cache（指令），D-Cache（数据），TLB（MMU的Cache）； 代码层次
性能优化的目标是什么？不外乎两个： 时间性能：减小系统执行的时间 空间性能：减小系统占用的空间 一、代码优化 做代码优化前，先了解下硬件Cache： （1）Cache Level：通常来说L1、L2的Cache集成在CPU里，L3的Cache放在CPU外； （2）Cache Size：它决定你能把多少东西放到Cache里，有Size就有竞争，就有替换，才有所谓优化的空间； （3）Cache Type：I-Cache（指令），D-Cache（数据），TLB（MMU的Cache）； 代码层次的优化主要从以下两
本文从OSI每一层缓存介绍、常见开源中间件缓存举例、TCP/IP协议栈中的缓存机制、操作系统中的缓存、访问缓存数据的时间范围统计等方面对计算机中的缓存进行详细介绍。希望对您有所帮助！
上一篇推文《百万并发「零拷贝」技术系列之初探门径》中的示例告诉我们：传统的I/O操作读取文件并通过Socket发送，需要经过4次上下文切换、2次CPU数据拷贝和2次DMA控制器数据拷贝，如下图
前言： 先来回顾一下Linux平台上的节约内存的方案： swap：通过LRU淘汰掉掉一部分page，把这些page交换到磁盘上。再次访问到这些page的时候，kernel再把它们从磁盘load进内存中。 zram：内存压缩技术。通过压缩lzo算法把页面压缩，也可以节省一部分内存。作者第一次知道zram是在Android中见到的，因为一般的手机使用的emmc flash，是有读写寿命的（作者看到过一份实验数据，某厂家的emmc在连续写入数据三天后，emmc就已经挂了），不能打开swap（因为swap会增加大量
一直在忙,之前一直怀疑机器中马,kswapd0这个进程4核心CPU24小时跑满单核心,简单排查无果,看了
最近在读一本<<软件架构设计:大型网站技术架构与业务融合之道>>,它就像是把你平时一点点积累的知识有条理且有深度的整合。一步一步的将读者断断续续的知识接起来。以下文章是记录书本中的一些知识并加以拓展。
欢迎阅读本篇客座文章，我们将为您详细介绍Ubuntu操作系统中两个重要配置文件——/etc/hosts和/etc/sysctl，并提供优化指南。通过合理配置这两个文件，您可以提升系统性能、改善网络连接、加强系统安全性等。
触及到知识的盲区了，于是就去搜了一下copy-on-write写时复制这个技术究竟是怎么样的。发现涉及的东西蛮多的，也挺难读懂的。于是就写下这篇笔记来记录一下我学习copy-on-write的过程。
什么是零拷贝 维基上是这么描述零拷贝的：零拷贝描述的是CPU不执行拷贝数据从一个存储区域到另一个存储区域的任务，这通常用于通过网络传输一个文件时以减少CPU周期和内存带宽。 零拷贝给我们带来的好处： 减少甚至完全避免不必要的CPU拷贝，从而让CPU解脱出来去执行其他的任务 减少内存带宽的占用 通常零拷贝技术还能够减少用户空间和操作系统内核空间之间的上下文切换 Linux系统的“用户空间”和“内核空间” 从Linux系统上看，除了引导系统的BIN区，整个内存空间主要被分成两个部分：内核空间(Ke
我们看到，通过 DMA 芯片进行的硬盘读写过程需要进行四次特权级切换和四次拷贝操作。
以交友平台用户中心的user表为例，单表数据规模达到千万级别时，你可能会发现使用用户筛选功能查询用户变得非常非常慢，明明查询命中了索引，但是，部分查询还是很慢，这时候，我们就需要考虑拆分这张user表了。
进程或者线程绑定到某个CPU Core，仍然可能会有线程或者进程切换的发生，如果想到达到进一步减少其他进程对于该进程或者线程影响，可以采取把CPU Core从Linux内核调度中剥离出来。Linux内核提供isolcpus,对于有4个CPU core的系统，在启动时候加入isolcpus=2,3，那么系统启动后将不会使用CPU3,CPU4.这里的不适用不是绝对的，但是可以通过taskset命令来设置
Redis提供了将数据定期自动持久化至硬盘的能力，包括RDB和AOF两种方案，两种方案分别有其长处和短板，可以配合起来同时运行，确保数据的稳定性。
导言 | 本文邀请到腾讯CSIG后台开发工程师kevineluo从文件传输场景以及零拷贝技术深究Linux I/O的发展过程、优化手段以及实际应用。I/O相关的各类优化已经深入到了日常开发者接触到的语言、中间件以及数据库的方方面面。通过了解和学习相关技术和思想，开发者能对日后自己的程序设计以及性能优化上有所启发。 前言 存储器是计算机的核心部件之一，在完全理想的状态下，存储器应该要同时具备以下三种特性：第一，速度足够快：存储器的存取速度应当快于CPU执行一条指令，这样CPU的效率才不会受限于存储器；第二，
送分题 面试官：有操作过Linux吗? 我：有的呀 面试官：我想查看内存的使用情况该用什么命令 我：free 或者 top 面试官：那你说一下用free命令都可以看到啥信息 我：那，如下图所示 可以看
l DataNode异步地将内存中数据刷新到磁盘，从而减少代价较高的磁盘IO操作，这种写入称之为懒持久写入
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
