首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Datanode的磁盘满了怎么办

【背景】 ---- 回家路上,接到运维兄弟的电话,说一线上环境,某个DN异常了,原因是有个磁盘满了,他准备将这个盘剔除出去,重启下DN,问我数据会不会丢失。...【DN运行过程中磁盘写满会怎样】 ---- 首先,DN运行时,单块磁盘写满,是否会引发问题?...答案是不会的,DN内部处理写block逻辑时,会过滤可用空间不满足条件的磁盘(准确的说法应该是卷目录,但一般而言DN会配置多个卷目录,不同的目录位于不同的磁盘上,为了方面理解,后面都先称为磁盘)。...例如:先将某个磁盘写满(如下图所示) 此后,继续向hdfs写入文件,发现写入的文件都正常,已经写满的磁盘不会继续存储新的数据 【DN写block时的磁盘分配策略】 ---- DN中磁盘分配有两种策略...轮询分配 顾名思义,就是从配置的磁盘中,轮流选择一个作为block的存储位置。 当然,选择的磁盘的时候,会进行一次容量的判断,如果不满足条件,则跳过该磁盘

2K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    linux磁盘报警怎么办

    image-20220117165235844 登录服务器,通过 df -Hl 查看 和告警信息一致,接着我们就是要找到导致磁盘空间满的目录或文件,如何找到占用空间大的目录或文件?...du -h -d 2|grep [GT] |sort -nr du -h --max-depth=2|grep [GT] |sort -nr 通过这样的方式,可以搜出以 G 或者 T 为单位的占用磁盘空间的大目录...很多时候,你会发现,通过 find 或 du 查半天,发现所有加起来的占用空间,和 df 看到的磁盘空间占用,相差很大,就比如我上面的两张图 通过 df 查看,磁盘使用 37G,但是在根目录下通过 du...还有一种经常有人问的问题,就是,通过 df 查看到的磁盘 会发现,Used 和 Avail 加起来不够 Size,莫名被吃掉一部分 其实这是 Linux 文件系统的一种安全策略,它默认会为 root...用户保留 5% 的磁盘空间,留作紧急情况使用。

    2.5K20

    Linux 磁盘满了,文件删除没效果,罪魁竟是它!

    下午忽然群里有人圈我,说有一台Linux服务器的某个目录爆了。 第一时间上去看了一下,部署了一台Tomcat。logs目录存了几个G的数据,果断把最近几天之外的数据全部清理了。...转过来再看磁盘占用,发现没变化。 怀疑是会话问题,把putty关了重新连接上去。 还是一样的问题...... 思考了半杯咖啡的时间,忽然灵光一现。...想起Linux有个句柄,大概意思是:比如你把日志文件删除了,但拿着句柄的进程还在运行,占用的空间就不会减少。 那怎么办呢? 有两个办法: 1....(成本高不推荐)重启Linux系统. 如果遇到类似磁盘占用问题,也可以考虑是否为句柄问题。

    7210

    磁盘又双叒叕满了~

    磁盘满告警 某天收到的自动告警短信或者邮件告诉我某机器上的磁盘满了,赶紧登录机器查看。 其实,这都应该定时巡检自动化处理的。...磁盘满告警,又来了 然而,大约xx天后,发现该机器磁盘满了,惊呼奇怪咋这么快又满了。...rm 其实是删除该文件名到文件真正保存到磁盘位置的链接,此时该文件句柄还被服务A打开,因此对应的磁盘空间并没有被系统回收。...为什么1个字节的文件需要占用8个 block 呢, 可以这样理解, block 为磁盘存储的基本的单位,方便磁盘寻址等(这里说的基本单位应该是磁盘物理结构单位例如一个扇区/柱面等,对应一个物理单位)。...注意以下例子为 Linux version 2.6.32 (Red Hat 4.4.7)中运行结果, 且在 Mac 中并不能复现(后文有指出为什么我的Mac不能复现)。

    1.2K40

    如果mysql磁盘满了,会发生什么?

    作者:会飞的猪 来源:https://testerhome.com/topics/23049 使用命令发现磁盘使用率为100%了,还剩几十兆。...一系列神操作 备份数据库,删除实例、删除数据库表、重启mysql服务,结果磁盘空间均没有释放。 怎么办 网上查了很多资源,说要进行磁盘碎片化整理。原因是datafree占据的空间太多啦。...正在这时,有个不好的消息发生了,那张表格给删掉了,但是磁盘空间还是没有释放啊。 所以对表进行碎片化整理的路也走不通了,因为表没了........./abc 5、重新启动mysql 发现磁盘空间释放了 service mysql start 磁盘空间终于释放了 下一步数据库还原 1、采用navicate备份工具,进行数据库备份 ?...就形成了碎片; (3)当MySQL对数据进行扫描时,它扫描的对象实际是列表的容量需求上限,也就是数据被写入的区域中处于峰值位置的部分; 清除碎片的优点 降低访问表时的IO,提高mysql性能,释放表空间降低磁盘空间使用率

    1.5K20

    想后台运行没想到导致磁盘满了

    ,通过这篇文章你将会学习到大量linux命令的实操使用。...找到导致磁盘满的程序 当发现磁盘占用比较多的时候,可以通过下面的命令,查看各个挂载路径的占用情况: $ df -h udev 3.9G 0 3.9G 0% /dev...更多信息可以参考《如何理解Linux shell中“2>&1”》。...标准输入,输出和标准错误--《如何理解Linux shell中"2>&1"》 查看进程打开文件信息--《如何查看linux中文件打开情况》 查找大文件--《find命令高级用法》 /dev/null特殊文件的用法...--《linux下这些特殊的文件》 查找被删除但仍有进程占用的文件 编写daemon程序注意事项 关注公众号【编程珠玑】,获取更多Linux/C/C++/数据结构与算法/计算机基础/工具等原创技术文章

    1.2K30
    领券