今天线上出现了一个inode耗尽的问题，最后通过清理磁盘上的小文件来解决问题。大概分享下inode的相关知识。
Linux系统下文件数据储存在"块"中，文件的元信息，例如文件的创建者、文件的创建日期、文件的大小等。这种储存文件元信息的区域就叫做inode，中文译名为"索引节点"。
Linux系统下文件数据储存在"块"中，文件的元信息，例如文件的创建者、文件的创建日期、文件的大小等。这种储存文件元信息的区域就叫做inode，中文译名为"索引节点"。inode也占用硬盘空间，硬盘格式化的时候，操作系统自动将硬盘分成两个区域。一个是数据区，存放文件数据；另一个是inode区（inode table），存放inode所包含的信息。
在Linux系统下，我们一般不需要去释放内存，因为系统已经将内存管理的很好。但是凡事也有例外，有的时候内存会被缓存占用掉，导致系统使用SWAP空间影响性能，例如当你在Linux下频繁存取文件后,物理内存会很快被用光,当程序结束后,内存不会被正常释放,而是一直作为caching。，此时就需要执行释放内存(清理缓存)的操作了。
最近在使用rz上传文件时出现中断，导致生成了乱码文件，尝试删除这些文件时遇到各种报错。
在Linux中，连接文件有两种，一种类似于Windows的快捷方式，可以让你快速地链接到目标文件（或目录），这种称为软链接（soft link），也叫作符号链接（symbolic link）；另一种则是通过文件系统的 inode 连接来产生新文件名，而不是产生新文件。这种称为硬链接（hard link），也叫作实体链接。 软链接与硬链接是两种完全不一样的东西。
Linux开发者 H. Peter Anvin 在邮件列表中重启了关于 Linux内核C代码转换为C++的讨论，并陈述了自己的观点。说之前先看一下这个话题的历史背景。
一直想深入研究一下f2fs文件系统，但是网上的资料不是特别友好，我发现源码下有一个f2fs.txt，看了一下，但是英语比较差，看的效果不好。我决定花点时间一字一句的翻译成中文，完成一个f2fs.txt的中文版，前前后后花了我四个多小时。虽然光看这个说明，并不能让你完全理解f2fs，但是翻译结束之后，我感觉比单纯看一遍英文版的效果要很很多。
在企业大数据体系建设过程中，数据采集是其中的首要环节。然而，当前行业内的相关开源数据采集组件，并无法满足企业大规模数据采集的需求与有效的数据采集治理，所以大部分企业都采用自研开发采集组件的方式。本文通过在vivo的日志采集服务的设计实践经验，为大家提供日志采集Agent在设计开发过程中的关键设计思路。
常见应用服务，都会记录日志，方便问题查询和故障定位。linux系统本身也会有日志输出。
drop_caches的值可以是0-3之间的数字，代表不同的含义： 0：不释放（系统默认值） 1：释放页缓存 2：释放dentries和inodes 3：释放所有缓存
要是问大家，知道怎么从mysql数据库中drop掉业务表，很多人肯定会说，so easy，用drop table t_test语句不就完事了，这是初生牛犊不怕虎，你要是如此简单，去线上业务库中drop掉一张1TB大小的表，造成长时间的业务无法访问数据库，更严重，导致数据库崩溃，宕机都是可能的。
XX系统，通过FTP给客户实时传送文件，正常逻辑是客户收到文件后，自动删除FTP服务器上的本地文件，但经常出现文件已经推送了，客户没删除文件的情况。每个文件其实是很小的，可能几K，但是量很大，1天几万个，以至于时间久了，本地积的文件就会很多。我们不说让客户怎么排查问题，单就这个现象，如果积了几百万的小文件，我们能做些什么？你可能会说，删了啊，确实应该删了，但是小文件多了，会产生什么影响？如果直接rm，你认为行么？
作为一名合格的 Linux 运维工程师，一定要有一套清晰、明确的解决故障思路，当问题出现时，才能迅速定位、解决问题，这里给出一个处理问题的一般思路：
来源:CU技术社区 ID:ChinaUnix2013 作为一名合格的 Linux 运维工程师，一定要有一套清晰、明确的解决故障思路，当问题出现时，才能迅速定位、解决问题，这里给出一个处理问题的一般思路： 重视报错提示信息：每个错误的出现，都是给出错误提示信息，一般情况下这个提示基本定位了问题的所在，因此一定要重视这个报错信息，如果对这些错误信息视而不见，问题永远得不到解决。 查阅日志文件：有时候报错信息只是给出了问题的表面现象，要想更深入的了解问题，必须查看相应的日志文件，而日志文件又分为系统日志文件（/
关于磁盘空间中索引节点爆满的问题还是挺多的，借此跟大家分享一下： 一、发现问题 在公司一台配置较低的Linux服务器（内存、硬盘比较小）的/data分区内创建文件时，系统提示磁盘空间不足，用df -h命令查看了一下磁盘使用情况，发现/data分区只使用了66%，还有12G的剩余空间，按理说不会出现这种问题。 二、分析问题： 后来用df -i查看了一下/data分区的索引节点(inode)，发现已经用满(IUsed=100%)，导致系统无法创建新目录和文件。 [root@bastion-IDC ~]# df
需要根据时间删除这个目录下的文件，/home/lifeccp/dicom/studies，清理掉20天之前的无效数据。
操作系统（Windows，Unix），应用一般都会记录日志，方便使用者常看系统或应用使用情况，或者排查故障。
本文由马哥教育Linux云计算面授班23期学员推荐，转载自互联网，作者为Lis，Linux资深技术专家，内容略经小编改编和加工，观点跟作者无关，最后感谢作者的辛苦贡献与付出。 与windows系统一样，linux操作系统也会存在很多问题和故障，很多linux新手都害怕故障，面对出现的问题显得无可奈何，更有甚者，由此放弃了linux，其实，我们不应该惧怕问题，学习就是一个发现问题与解决问题的过程，只要掌握了解决问题的基本思路，一切故障都会迎刃而解，当然前提是我们已经具备了解决问题的思路和扎实的知识功底。
最近，看到很多文章都在介绍 Linux 中的文件系统，其中就包括：inode 节点、软链接、硬链接等重要的概念。
一直在忙,之前一直怀疑机器中马,kswapd0这个进程4核心CPU24小时跑满单核心,简单排查无果,看了
原文链接:https://rumenz.com/rumenbiji/linux_drop_caches.html
下面是ext4创建文件的实现，第一步是经由vfs层的vfs_create函数，最后进入实际文件系统的ext4_create来创建文件,文件的创建核心过程基本分为2步，第一步是新文件的inode申请，第二步是读取新文件的父目录的inode，在这个inode对应的数据块添加新文件的目录项，这个过程是采用事务的方式进行。
今日在使用 Nginx 的时候出现 500 错误，就搜索了一下错误代码，分享给大家。
查询日志 显示 内存满了 把mysql服务给杀了 linux 服务器如果 内存满了 会自动清理进程 防止服务器挂掉 选择的话 谁占的的内存大 就先杀谁 我的服务器里面 mysql服务占的内存是最大的 所以就把mysql就给杀了
Linux服务器运行一段时间后，由于其内存管理机制，会将暂时不用的内存转为buff/cache，这样在程序使用到这一部分数据时，能够很快的取出，从而提高系统的运行效率，所以这也正是Linux内存管理中非常出色的一点，所以乍一看内存剩余的非常少，但是在程序真正需要内存空间时，Linux会将缓存让出给程序使用，这样达到对内存的最充分利用，所以真正剩余的内存是free+buff/cache
在上一节中，我们学习了操作系统对被打开文件的管理，但是对于一台计算机来说，磁盘上大部分的文件是未被打开的，而这些文件也需要被静态管理起来，方便我们随时打开。操作系统对未打开文件的管理，称为文件系统。
我们知道文件一般存放在硬盘（机械硬盘或固态硬盘）中，CPU 并不能直接访问硬盘中的数据，而是需要先将硬盘中的数据读入到内存中，然后才能被 CPU 访问。
在上一篇云硬盘性能分析的教程中，为大家介绍了如何评测云硬盘的读写性能。但是，我们使用硬盘，从来不是直接读写裸设备，而是通过文件系统来管理和访问硬盘上地文件。不少朋友询问，文件系统该如何对比，又该如何选择呢？
当linux频繁读取文件后,物理内存会很快被用完,当程序结束后,内存不会被正常释放,而是一直caching,因此有必要手动清理系统缓存释放内存。 sync 操作系统在运行过程中,会把访问到的文件放到buffer中。为了避免断电,等故障造成数据丢失,我们需要把buffer中的缓存数据写入到磁盘 > sync;sync;sync 手动执行sync命令（描述：sync 命令运行 sync 子例程。如果必须停止系统，则运行sync 命令以确保文件系统的完整性。sync 命令将所有未写的系统缓冲区写到磁盘中，包含已
文件储存在硬盘上，硬盘的最小存储单位叫做”扇区”（Sector）。每个扇区储存512字节（相当于0.5KB）。
Docker长期运行导致Linux内存buff/caches占用过高，这个问题很常见，但是我们是无法控制Docker自己对pagecache的处理机制的。
最近给自己的服务器添加了新的电脑的 SSH 权限，但是新电脑上反复尝试都不能 ssh 上服务器。然而通过旧电脑却可以登录上去。没想到竟是因为设备上没有 inode 了。
在 mysql 上执行了一句 drop database 半天没有完成，详细的慢查询日志如下，那当时MySQL 在做什么呢？
作者：星辰算力平台 1. 背景 随着大数据、人工智能技术的蓬勃发展，人类对于算力资源的需求也迎来大幅度的增长。在腾讯内部，星辰算力平台以降本增效为目标，整合了公司的GPU训练卡资源，为算法工程师们提供统一的底层GPU算力服务。借助于虚拟化、算力挖掘等技术，平台服务公司内各BG的AI训练场景，GPU利用率业界领先。同时，通过云原生任务化的方式，对接了内部各大业务，促进了AI技术研究效率的提升和创新研究。 当下，由于AI训练时的高性能计算设备（如NVIDIA GPU）成本高昂，如果任务在训练过程中不能保证
容器在运行期间会产生临时文件、日志。如果没有任何配额机制，则某些容器可能很快将磁盘写满，影响宿主机内核和所有应用。
Linux释放内存的命令： sync echo 1 > /proc/sys/vm/drop_caches
在之前文件的学习中，一开始我们就提到了文件操作的本质是进程和被打开文件之间的关系，那没有没打开的文件呢？如果一个文件没有被打开，该如何被OS管理呢？
缓冲区作为一块内存区域，提供了一个临时存储数据的空间，帮助程序高效地处理输入和输出
/proc是一个虚拟文件系统，我们可以通过对它的读写操作做为与kernel实体间进行通信的一种手段。也就是说可以通过修改/proc中的文件，来对当前kernel的行为做出调整。那么我们可以通过调整/proc/sys/vm/drop_caches来释放内存。/proc/sys/vm/drop_caches中的默认值为0，值为1时表示可以释放pagecache缓存，值为2时可以释放pagecache和inode缓存，值为3时可以释放pagecache, dentries和inodes缓存。当然在释放内存之前需要执行sync命令。
Buffer是用于存储数据块的临时内存区域，主要用于缓存I/O操作。当数据从磁盘或其他设备读取到内存时，首先会存储在Buffer中，以提供对这些数据的快速访问。Buffer可以看作是一个中介层，有助于优化读写性能。
在 Linux，你是不是曾经天真的以为，使用rm删除一个文件，占用的空间就释放了？事情可能不是常常如人意。
CentOS磁盘配额可以同时启用; 提醒系统管理员并在超过磁盘容量之前拒绝对用户进一步的磁盘存储访问。当磁盘已满时，取决于磁盘上驻留的内容，整个系统可能会暂停，直到恢复。
1.清理前内存使用情况 free -m 2.开始清理 echo 1 > /proc/sys/vm/drop_caches 3.清理后内存使用情况 free -m 4.完成! 查看内存条数命令： dmidecode | grep -A16 "Memory Device$" ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ # sync # echo 1 > /proc/sys/vm/drop_caches echo
在Linux，你是不是曾经天真的以为，使用rm删除一个文件，占用的空间就释放了？事情可能不是常常如人意。
a). 进程使用的物理内存： find /proc/ -maxdepth 1 -iname "[0-9]*" | xargs -I{} cat {}/smaps | grep Pss: | awk '{s+=$2}END{print s}' b). slab分配占用的内存，采用slab机制主要是解决申请时候浪费page的问题，这一部分的内存并不是application 所占用的，所以要单独列出来, 可以在meminfo 中查看到其占用空间以及可回收空间大小. c). pagetable在虚拟地址到物理地址的转换中发挥着关键的作用，所以也不属于application占用的内存，属于系统所用，所以也单独列出来. 其大小随着内存的变大而变大，可以在meminfo 中找到占用的大小. d). free的内存，这一部分内存是从system的角度看，依然是free的，也就是说这一部分内存还没有被system 进行接管. e). cache/buffer内存的大小，这一部分可以在meminfo 中找到，这里主要是 application 的所使用的cache/buffer. f). 其他原因导致的内存gap, 在下面的示例中，上述所述的6种内存的总和大于实际的总内存，这是因为 shmem 是被application使用的，所以在计算进程使用的物理内存的时候，已经包含了shmem,而cache又计算了一次，因此最后的结果应该是减去SHMEM, 这样 和总内存相比，还有5497KB的gap .那么这个gap 到底应该是available的，还是算作used的，不得而知，那么因为这个gap 不大，所以对于内存的使用状况统计，我们可以暂且忽略该gap， 所以我们可以有如下的公式作为一个参考： total = free + cache + buffer + process_used_via_pss + slab + pagetables - shmem
在疫情期间，小编不得不待在家中远程办公。但变的是办公方式，不变的是美创运维的7*24小时不间断支持。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议
