当我们拿到一块新的硬盘时，他所能够支持的最大空间只是代表硬件上的一个参数，我们要想让他能够正常的工作起来，必须要有相应的文件系统。文件系统决定了文件存储和管理时的方式和数据结构，也就是如何管理磁盘上的文件和文件夹。不同的文件系统拥有不同的特点，这也就是为什么我们在进行格式化操作必须要选定一种文件系统的原因。 当在一个操作系统（Windows、Linux、MacOS）中使用文件系统时，通常都会做一个统一的接口，来进行文件的读写，所以会存在某些文件系统只适用与某一种操作系统的情况。
当我们拿到一块新的硬盘时，他所能够支持的最大空间只是代表硬件上的一个参数，我们要想让他能够正常的工作起来，必须要有相应的文件系统。文件系统决定了文件存储和管理时的方式和数据结构，也就是如何管理磁盘上的文件和文件夹。不同的文件系统拥有不同的特点，这也就是为什么我们在进行格式化操作必须要选定一种文件系统的原因。当在一个操作系统（Windows、Linux、MacOS）中使用文件系统时，通常都会做一个统一的接口，来进行文件的读写，所以会存在某些文件系统只适用与某一种操作系统的情况。
基本概念 物理CPU：物理CPU就是插在主机上的真实的CPU硬件，在Linux下可以数不同的physical id 来确认主机的物理CPU个数。 核心数：物理CPU下一层概念就是核心数，我们常常会听说多核处理器，其中的核指的就是核心数。在Linux下可以通过cores来确认主机的物理CPU的核心数。 逻辑CPU：核心数下一层的概念是逻辑CPU，逻辑CPU跟超线程技术有联系，假如物理CPU不支持超线程的，那么逻辑CPU的数量等于核心数的数量；如果物理CPU支持超线程，那么逻辑CPU的数目是核心数数目的两倍。在Linux下可以通过 processors 的数目来确认逻辑CPU的数量。 超线程：超线程是英特尔开发出来的一项技术，使得单个处理器可以象两个逻辑处理器那样运行，这样单个处理器以并行执行线程。这里的单个处理器也可以理解为CPU的一个核心；这样便可以理解为什么开启了超线程技术后，逻辑CPU的数目是核心数的两倍了。 在Linxu下查看物理cpu、核心数、逻辑CPU和是否支持超线程 关于CPU的一些信息可在 /proc/cpuinfo 这个文件中查看，这个文件显示的内容类似于下图所示
在这个互联网高度发达的时代，我们的个人隐私和信息安全也极易受到泄露和威胁，因此，保护好我们的数据安全便成为了重中之重。然而，传统的使用工具加密单个文件或者文件夹的方式（例如VeraCrypt/eCryptfs等）过于麻烦，且极其复杂，很难被大家接受。于是全盘加密应运而生，Windows平台上的BitLocker，Linux下的LUKS，macOS平台的FileVault，都是全盘加密的最好应用。现在，新安装的Windows在支持的情况下会默认启用BitLocker，macOS也会在初始化时提醒你是否启用FileVault，而iOS则是强制启用了全盘加密，他人即使接触到了你的设备，读取了你的硬盘，在密码没有泄露的情况下，你的数据也是十分安全的。由此看来，这种无感加密的方式也即将成为主流的数据安全保护措施。
s=硬件接口类型（sata/scsi）,d=disk（硬盘）,a=第1块硬盘（b，第二块），2=第几个分区 /dev/hd h=IDE硬盘 /dev/hdd3 /dev/vd v=虚拟硬盘 /dev/vdf7
在如今，每台服务器空间都会因为我们的需求增长而不断扩展。逻辑卷可以用于RAID，SAN。单个物理卷将会被加入组以创建卷组，在卷组中，我们需要切割空间以创建逻辑卷。在使用逻辑卷时，我们可以使用某些命令来跨磁盘、跨逻辑卷扩展，或者减少逻辑卷大小，而不用重新格式化和重新对当前磁盘分区。卷可以跨磁盘抽取数据，这会增加I/O数据量。
本文演示了如何添加和识别存储空间，包括分区和安装文件系统。它还展示了调查驱动器空间利用率所需的命令。
管理磁盘空间对系统管理员来说是一件重要的日常工作。一旦磁盘空间耗尽就需要进行一系列耗时而又复杂的任务，以提升磁盘分区中可用的磁盘空间。它也需要系统离线才能处理。通常这种任务会涉及到安装一个新的硬盘、引导至恢复模式或者单用户模式、在新硬盘上创建一个分区和一个文件系统、挂载到临时挂载点去从一个太小的文件系统中移动数据到较大的新位置、修改 /etc/fstab 文件的内容来反映出新分区的正确设备名、以及重新引导来重新挂载新的文件系统到正确的挂载点。
无论对Spark集群，还是Hadoop集群等大数据相关的集群进行调优，对linux系统层面的调优都是必不可少的，这里主要介绍3种常用的调优：
理解inode，要从文件储存说起。 文件储存在硬盘上，硬盘的最小存储单位叫做"扇区"（即：Sector）。每个扇区储存512字节（相当于0.5KB）。 操作系统读取硬盘的时候，不会一个个扇区地读取，这样效率太低，而是一次性连续读取多个扇区，即一次性读取一个"块"（block）。这种由多个扇区组成的"块"，是文件存取的最小单位。"块"的大小，最常见的是4KB，即连续八个 sector组成一个 block。 文件数据都储存在"块"中，那么很显然，我们还必须找到一个地方储存文件的元信息，比如文件的创建者、文件的创建日期、文件的大小等等。这种储存文件元信息的区域就叫做inode，中文译名为"索引节点"。 block中存储的就是文件的实际数据，比如说，照片，视频，音频等等，但是有一点需要注意！就是inode当中不包含文件名！一个文件的文件名，存储在上级目录的block中！ 其实inode和block之间的关系就像是一本书一样，inode是一本书的目录，一本书会有很多内容，一个知识点或者一个故事会占很多页，一个block就相当于书中的一页内容。
来源：马哥教育链接：https://mp.weixin.qq.com/s/UupllldADYE0sHbRs0uouQXfS文件系统是SGI开发的高级日志文件系统，XFS极具伸缩性，非常健壮。所幸的是SGI将其移植到了Linux系统中。在linux环境下。目前版本可用的最新XFS文件系统的为1.2版本，可以很好地工作在2.4核心下。XFS文件系统简介主要特性包括以下几点：数据完全性采用XFS文件系统，当意想不到的宕机发生后，首先，由于文件系统开启了日志功能，所以你磁盘上的文件不再会意外宕机而遭到破坏了。不论目前文件系统上存储的文件与数据有多少，文件系统都可以根据所记录的日志在很短的时间内迅速恢复磁盘文件内容。传输特性XFS文件系统采用优化算法，日志记录对整体文件操作影响非常小。XFS查询与分配存储空间非常快。xfs文件系统能连续提供快速的反应时间。笔者曾经对XFS、JFS、Ext3、ReiserFS文件系统进行过测试，XFS文件文件系统的性能表现相当出众。可扩展性XFS 是一个全64-bit的文件系统，它可以支持上百万T字节的存储空间。对特大文件及小尺寸文件的支持都表现出众，支持特大数量的目录。最大可支持的文件大小为263 = 9 x 1018 = 9 exabytes，最大文件系统尺寸为18 exabytes。XFS使用高的表结构(B+树)，保证了文件系统可以快速搜索与快速空间分配。XFS能够持续提供高速操作，文件系统的性能不受目录中目录及文件数量的限制。传输带宽XFS 能以接近裸设备I/O的性能存储数据。在单个文件系统的测试中，其吞吐量最高可达7GB每秒，对单个文件的读写操作，其吞吐量可达4GB每秒。XFS文件系统的使用下载与编译内核下载相应版本的内核补丁，解压补丁软件包，对系统核心打补丁下载地址：ftp://oss.sgi.com/projects/xfs/d … .4.18-all.patch.bz2对核心打补丁，下载解压后，得到一个文件：xfs-1.1-2.4.18-all.patch文件。对核心进行修补如下：# cd /usr/src/linux # patch -p1 < /path/to/xfs-1.1-2.4.18-all.patch修补工作完成后，下一步要进行的工作是编译核心，将XFS编译进Linux核心可中。首先运行以下命令，选择核心支持XFS文件系统：#make menuconfig在“文件系统“菜单中选择：<*> SGI XFS filesystem support ##说明：将XFS文件系统的支持编译进核心或 SGI XFS filesystem support ##说明：以动态加载模块的方式支持XFS文件系统另外还有两个选择：Enable XFS DMAPI ##说明：对磁盘管理的API，存储管理应用程序使用 Enable XFS Quota ##说明：支持配合Quota对用户使用磁盘空间大小管理完成以上工作后，退出并保存核心选择配置之后，然后编译内核，安装核心:#make bzImage #make module #make module_install #make install如果你对以上复杂繁琐的工作没有耐心或没有把握，那么可以直接从SGI的站点上下载已经打好补丁的核心，其版本为2.4.18。它是一个rpm软件包，你只要简单地安装即可。SGI提交的核心有两种，分别供smp及单处理器的机器使用。创建XFS文件系统完成对核心的编译后，还应下载与之配套的XFSprogs工具软件包，也即mkfs.xfs工具。不然我们无法完成对分区的格式化:即无法将一个分区格式化成XFS文件系统的格式。要下载的软件包名称：xfsprogs-2.0.3。将所下载的XFSProgs工具解压，安装，mkfs.xfs自动安装在/sbin目录下。#tar –xvf xfsprogs-2.0.3.src.tar.gz #cd xfsprogs-2.0.3src #./configure #make #make install使用mkfs.xfs格式化磁盘为xfs文件系统，方法如下：# /sbin/mkfs.xfs /dev/sda6 ＃说明：将分区格式化为xfs文件系统,以下为显示内容： meta-data=/dev/sda6 isize=256 agcount=8, agsize=128017 blks data = bsize=4096 blocks=1024135, imaxpct=25 = sunit=0 swidth=0 blks, unwritten=0 naming =version 2 bsize=4096 log =internal log bsize=4096 blocks=1200 realtime =none
4、设置 join 或aggregate洗牌（shuffle）数据时使用的分区数
RAID是英文Redundant Array of Independent Disks的缩写，中文简称为独立冗余磁盘阵列。RAID是把多块独立的物理硬盘按不同的方式组合起来形成一个硬盘组（逻辑硬盘），从而提供比单个硬盘更高的存储性能和提供数据备份技术组成磁盘阵列的不同方式称为RAID级别（RAID Levels），常用的RAID级别有以下几种: RAIDO，RAID1，RAID5，RAID6，RAID10等
1、什么是NTFS－新(N)技术(T)文件(F)系统(S)？ 想要了解NTFS，我们首先应该认识一下FAT。FAT(File Allocation Table)是"文件分配表"的意思。对我们来说，它的意义在于对硬盘分区的管理。FAT16、FAT32、NTFS是目前最常见的三种文件系统。 FAT16：我们以前用的DOS、Windows 95都使用FAT16文件系统，现在常用的Windows 98/2000/XP等系统均支持FAT16文件系统。它最大可以管理大到2GB的分区，但每个分区最多只能有65525个簇(
LVM是逻辑盘卷管理（LogicalVolumeManager）的简称，它是Linux环境下对磁盘分区进行管理的一种机制，LVM是建立在硬盘和 分区之上的一个逻辑层，来提高磁盘分区管理的灵活性。通过LVM系统管理员可以轻松管理磁盘分区，如：将若干个磁盘分区连接为一个整块的卷组 （volumegroup），形成一个存储池。管理员可以在卷组上随意创建逻辑卷组（logicalvolumes），并进一步在逻辑卷组上创建文件系 统。管理员通过LVM可以方便的调整存储卷组的大小，并且可以对磁盘存储按照组的方式进行命名、管理和分配，例如按照使用用途进行定义：“development”和“sales”，而不是使用物理磁盘名“sda”和“sdb”。而且当系统添加了新的磁盘，通过LVM管理员就不必将磁盘的 文件移动到新的磁盘上以充分利用新的存储空间，而是直接扩展文件系统跨越磁盘即可。
在 Linux 服务器上，分区方案对于数据存储和系统管理至关重要。当服务器的存储需求发生变化或者需要重新组织分区时，更改分区方案是一个常见的任务。
本文为joshua317原创文章,转载请注明：转载自joshua317博客 https://www.joshua317.com/article/165
有将近一周没有写文章了，经历了一场所有IT从业者的梦魇——数据丢失。一块1T的移动硬盘中，约500G的分区数据无故消失，想必挺多人都遇上过这种事，无奈，尽快尝试恢复，能恢复多少是多少了。
最近在理解分区对齐，看了些文档，觉得beegfs的官方文档写的步骤最简单易操作，很适合去辅助理解，所以这里翻译了一下官方文档
XfS文件系统是SGI开发的高级日志文件系统，XFS极具伸缩性，非常健壮。所幸的是SGI将其移植到了Linux系统中。在linux环境下。目前版本可用的最新XFS文件系统的为1.2版本，可以很好地工作在2.4核心下。
操作系统中，用来管理和存储文件信息的软件机构称为文件管理系统，简称文件系统。具体来说，这部分系统就是负责为用户建立、读取、修改和转储文件，控制文件的存取，当用户不再使用时撤销文件等。
如果您是 Linux 新手或打算放弃 Windows 并切换到 Linux 的人，那么本文将对您很有用，这篇分步文章将引导您完成在 Linux 中将主目录移动到新分区或驱动器的过程。
通常在制作云上使用的虚拟机时，如果不进行任何干预，安装出来的虚拟机默认是带有swap分区的，同时采用lvm来管理磁盘，通过这种方式制作出来的虚拟机镜像，直接在云上使用会有很多问题，其中一个就是根分区无法实现自动扩容，只能通过手工操作完成。而且在openstack中，swap分区通常是由一个单独的swap磁盘来提供，而不应该是做镜像的时候提供。
(（1）通过fdisk -l 查看机器所挂硬盘个数及分区情况；一、fdisk用法详解
「 总感觉当下的生活不是想要的，总感觉一路走下去会是一个讨厌的未来，每天睁眼的一瞬间就是懊悔，昨天又浪费掉了...人生没有意义，但是要努力寻找活着的意义--------山河已无恙」
存储系统是linux系统非常重要，也是非常基础的知识点。整个存储系统涉及到知识点也非常的多。 本文主要通过磁盘简介->分区管理->文件系统管理->文件存储结构->软连接和硬链接->挂载原理->常见存储
fdisk - Partition table manipulator for Linux ，译成中文的意思是磁盘分区表操作工具;本人译的不太好，也没有看中文文档;其实就是分区工具
在实际工作中，总免不了偶尔就会接触这些概念，只是经常一知半解，以至于当需要执行类似磁盘扩容或者分区之类的任务时，总是不够底气，担心演变成大型灾难现场。
Minix 是一位教授为了方便授课，所以购买了一个 Unix 操作系统， 仿照着 Unix 开发了自己的操作系统 Minix ，并且公开源代码。但是这位教授不打算商业化，也不打算更新，没接受任何更新，因为它的目的仅仅是授课。Linus 在 1991 年开发了 Linux。 Linux 依然开源免费，且不断更新。 Minix 和 Linux 以前流行都很广，但是 Minix 不更新，所以 Linux 影响力比较强大。 Linux 在服务器端占有率十分高，因为它安全稳定。字符界面也比图形界面在速度和安全方便更加强。
类似于windows系统误删了文件，可以使用一些软件进行恢复操作。Linux也是有几款软件可以做到误删恢复的。
首先有一个client（客户端），然后由客户端发送一个请求，这里的请求就是我要计算某个数据，把请求发送给ResourceManager。这里ResourceManager下面有两个东西，一个叫做Applications Manager（应用），一个叫Resource Scheduler（资源）。接着由Applications Manager寻找一个节点，并开启这个节点上面的Application Master，开启后，这个App Mstr要计算这个任务需要多少资源，并且把这些需求汇报给ResourceManager中的Applications Manager，接着ResourceManager中的Resource Scheduler就开始在机架中寻找有资源的机器。
1、全称EFI system partition，简写为ESP。msr分区本身没有做任何工作，是名副其实的保留分区。ESP虽然是一个FAT16或FAT32格式的物理分区，但是其分区标识是EF(十六进制) 而非常规的0E或0C。
CPU是操作系统稳定运行的根本，CPU的速度与性能在很大程度上决定了系统整体的性能，因此，CPU数量越多、主频越高，服务器性能也就相对越好。但事实上并非完全如此。
MBR ：master bootloader record: 主引导记录 ， 兼容性好， 各种操作系统都支持
我在知乎和公众号上都提到过，我 2012 在腾讯工作的时候写过一篇《Linux文件系统十问》。总有人问我这篇文章在哪里能看到，如今外网唯一的正版链接-腾讯学堂也挂了，网上能搜到的全是盗版。所以今天我干脆就正式给大家发一遍。
硬盘设备是由大量的扇区组成，每个扇区容量512字节，第一扇区最为重要，保存主引导记录和分区表信息。分别是主引导记录占用446，分区表占用64字节，结束符2字节，其中分区表中每记录一个信息占用16字节，最多只有四个分区，为了解决分区数不够，衍生出扩展分区。扩展分区可以用来创建逻辑分区，逻辑分区最多128个。
Linux操作系统诞生于1991 年10 月5 日（这是第一次正式向外公布时间，以MINIX为模版）芬兰大学生 auther：Linus Torvalds，在BBS上发布了一则消息，他以bash/GCC等工具写了一个核心程序，这个程序可以在inter的386机器上面运作;
但是不管怎么说，比之前在老年机上跑win7舒服多了，这不现在还在用这台电脑写着这篇文章呢。
本章节描述了如何安装apache kafka的broker,以及如何设置apache zookeeper,zookeeper被用于存储broker的元数据。本章节还将介绍kafka的基本配置，以及broker运行的硬件标准。最后，我们将介绍多实例集群的安装方法，以及在生产环节中使用kafka时需要注意的一些问题。
每个Linux使用者在安装Linux时都会遇到这样的困境：在为系统分区时，如何精确评估和分配各个硬盘分区的容量，因为系统管理员不但要考虑到当前某个分区需要的容量，还要预见该分区以后可能需要的容量的最大值。因为如果估计不准确，当遇到某个分区不够用时管理员可能甚至要备份整个系统、清除硬盘、重新对硬盘分区，然后恢复数据到新分区。
linux文件颜色的含义：蓝色代表目录 绿色代表可执行文件 红色表示压缩文件 浅蓝色表示链接文件 灰 色表示其他文件 红色闪烁表示链接的文件有问题了 黄色表示设备文件：
上一章我们讲解了标准分区的使用过程，可以看到，标准分区的配置比较简单，但是标准分区也有很显著的缺点，如：分区创建后不可扩容、分区的空间必须连续，不允许跨越多块空间或磁盘。但是这些缺点，却是我们在生产环境中比较常见的需求，如：存放某个软件相关数据的分区，经常会被软件的数据所占满，需要空间扩容，而且一块磁盘存满了，还需要再加一块新的磁盘。为了满足这种需求，Linux中就需要使用LVM技术来实现。
您需要足够的内存来缓冲活动的读取器和写入器。 您可以通过假设您希望能够缓冲 30 秒并将您的内存需求计算为 write_throughput*30 来对内存需求进行粗略估计。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
