首页
学习
活动
专区
圈层
工具
发布

HDFS卷(磁盘)选择策略

昨天,发了一篇文章,讲的是磁盘均衡的策略,浪尖是以增加大磁盘的目录数的方式,来提升大磁盘的写入概率。这其实只适合,磁盘大小不一导致的datanode节点数据写入磁盘生成的不均衡。...对于有相同的磁盘大小,还造成了不均衡,比如小文件,不到一个block块大小的小文件太多,虽然,同一datanode的各个磁盘block数是一样,但是由于block大小不均,占用磁盘大小确实不一样,这种不均衡策略确实不实用...在我们目前使用的Hadoop 2.x版本当中,HDFS在写入时有两种选择卷(磁盘)的策略,一是基于轮询的策略(RoundRobinVolumeChoosingPolicy),二是基于可用空间的策略(AvailableSpaceVolumeChoosingPolicy...它根据一个可用空间的阈值,将卷分为可用空间多的卷和可用空间少的卷两类。然后,会根据一个比较高的概率选择可用空间多的卷。不管选择了哪一类,最终都会采用轮询策略来写入这一类卷。...并且卷的可用空间只是诸多因素中的一个,仍然不够全面,磁盘I/O等指标也是比较重要的。但不管如何,它已经比纯轮询策略好得太多了。

1.4K20

Linux中的磁盘、分区、物理卷、卷组、逻辑卷等概念的理解及磁盘扩容操作

使用 fdisk -l 命令可以查看到磁盘的信息: Disk /dev/sda:931.51 GiB,1000204886016 字节,1953525168 个扇区 Disk model: WDC WD10EZEX...使用 fdisk -l 可以查看到每个磁盘的分区信息: 设备 起点 末尾 扇区 大小 类型 /dev/sda1 2048 1953523711 1953521664...查看命令: sudo pvs 4. 卷组(Volume Group, VG) 卷组是由一个或多个物理卷组成的集合,它是逻辑卷的基础。卷组提供了比单个物理卷更大的存储池,允许在其上创建多个逻辑卷。...查看命令: sudo vgs 5. 逻辑卷(Logical Volume, LV) 逻辑卷是卷组中的可分配存储空间,它类似于传统的磁盘分区,但提供了更多的灵活性。...逻辑卷可以在不重新分区的情况下动态调整大小,而且可以跨越多个物理硬盘。查看命令: sudo lvs 说明:我们使用mount命令挂载时,通常是指分区或者逻辑卷。

4.4K21
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    磁盘管理——逻辑卷lvm 原

    4.10-4.12 lvm 操作流程: 磁盘分区-->创建物理卷-->划分为卷组-->划分成逻辑卷-->格式化、挂载-->扩容。...磁盘分区 注: 创建分区时需要更改其文件类型为lvm(代码8e) 分区 3 已设置为 Linux 类型,大小设为 1 GiB 命令(输入 m 获取帮助):t 分区号 (1-3,默认 3): Hex 代码...pvdisplay命令&pvs命令 物理卷创建完成后可以使用命令pvdisplay或pvs进行查看:(在此只展示一个物理卷) [root@adai002 ~]# pvdisplay "/dev/sdb1...vg1 /dev/sdb1 /dev/sdb2 Volume group "vg1" successfully created 创建完成后同样可以使用vgdisplay命令和vgs命令进行查看:.../dm-0 扩容 流程:更改逻辑卷信息(lvresize)-->检测磁盘错误(e2fsck -f)-->更新逻辑卷信息(resize2fs) 先在/mnt/目录下写入一些东西,备用: [root@adai002

    1.2K30

    Elasticsearch 查看索引磁盘占用

    查看磁盘占用在 kibana 的工具栏中输入如下命令执行,用于获取集群中所有索引的详细列表GET /_cat/indices?v这里的 ?...索引磁盘占用(disk.indices):统计所有索引数据所占用的磁盘空间总和。已用磁盘空间(disk.used):显示每个节点上已被使用的磁盘空间量。...可用磁盘空间(disk.avail):指出每个节点上尚可使用的磁盘空间量。总磁盘容量(disk.total):揭示每个节点的总磁盘容量。IP地址(ip):标识每个节点的网络地址。...查看指定索引磁盘占用除了可以查看 es 整体磁盘占用之外,还可以查看其中某一个具体索引的磁盘占用GET /_cat/indices/crm_meiqia_conversation?...查看节点线程情况有时候需要查看节点线程的情况,可以通过如下命令GET /_cat/thread_pool?v查询结果如图所示其中,列信息解释如下:node_name: 节点的名称。

    1.2K00

    【Linux入门】查看磁盘容量

    本文主要介绍在 CentOS 7.x 下如何查看磁盘整体容量、具体目录及文件磁盘容量占用情况。...相关命令df:显示磁盘整体空间占用du:显示目录及文件占用磁盘空间命令显示磁盘整体空间占用命令 dfdf 命令用于显示磁盘整体空间占用情况,默认显示单位为 KB 。...例如,/ 代表根目录以上为显示磁盘容量信息,如输入参数 -i ,则不显示磁盘容量,而是以 inode 的数量进行显示。...例如,/ 代表根目录显示目录及文件占用磁盘空间命令 dudu 命令常用于查看目录或文件的磁盘空间使用情况。...显示当前目录占用磁盘空间du -sh# 可能返回以下内容,表示当前目录占用磁盘空间 1.9G1.9G.# 输入命令,显示当前目录下每个文件和目录的占用磁盘空间情况du -sh * # 可能返回以下内容,

    5.5K21

    Linux 查看磁盘空间

    Linux 查看磁盘空间可以使用 df 和 du 命令。 df df 以磁盘分区为单位查看文件系统,可以获取硬盘被占用了多少空间,目前还剩下多少空间等信息。...例如,我们使用df -h命令来查看磁盘信息, -h 选项为根据大小适当显示: 显示内容参数说明: Filesystem:文件系统 Size: 分区大小 Used: 已使用容量 Avail: 还可以使用的容量...Use%: 已用百分比 Mounted on: 挂载点 相关命令: df -hl:查看磁盘剩余空间 df -h:查看每个根路径的分区大小 du -sh 目录名:返回该目录的大小 du -sm 文件夹:...返回该文件夹总M数 du -h 目录名:查看指定文件夹下的所有文件大小(包含子文件夹) du du 的英文原义为 disk usage,含义为显示磁盘空间的使用情况,用于查看当前目录的总大小。...若既不指定-s,也不指定-a,则只显示Names中的每一个目录及其中的各子目录所占的磁盘块数。 -b:以字节为单位列出磁盘空间使用情况(系统默认以k字节为单位)。

    15.8K20

    Linux查看并挂载磁盘

    Linux查看并挂载磁盘 查看linux下的硬盘挂载的空间、使用空间 使用下面命令格式化已附加上,但df -h不能看到的卷 使用命令 :df -h Filesystem 文件系統 size 文件大小...Used 使用空间 Mounted on 挂载的目录 没有看见450G的盘,现在我们要挂载 查看没有挂载的硬盘是否检测在系统中 查看系统检测的硬盘 命令:lsblk 看到的确 nvmeOn1...没有挂载,但是存在 挂载 (挂载完,要在/etc/fstab 下面配置挂载信息 要不然重启挂载就消失了) 使用下面命令格式化已附加上,但df -h不能看到的卷 sudo mkfs -t ext4 /dev.../nvmeOn1 #备注 nvmeOn1 都是存在在/dev 下面的 创建一个要挂载的目录 sudo mkdir /data 挂载命令 把空间挂在/data 把格式化后的卷mount到一个目录 sudo

    14.9K71
    领券