前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >HDFS块丢失

HDFS块丢失

作者头像
程裕强
发布于 2022-05-06 11:48:01
发布于 2022-05-06 11:48:01
71600
代码可运行
举报
运行总次数:0
代码可运行

1、发现块丢失

2、检测缺失块

(1)hdfs fsck -list-corruptfileblocks

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
root@kylin1:~# hdfs fsck -list-corruptfileblocks
18/03/08 09:52:01 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Connecting to namenode via http://kylin2:50070/fsck?ugi=root&listcorruptfileblocks=1&path=%2F
The list of corrupt files under path '/' are:
blk_1073741825  /hbase/hbase.version
blk_1073741826  /hbase/hbase.id
blk_1073741827  /hbase/data/hbase/meta/1588230740/.regioninfo
blk_1073741829  /hbase/data/hbase/meta/.tabledesc/.tableinfo.0000000001
blk_1073741834  /hbase/data/hbase/namespace/.tabledesc/.tableinfo.0000000001
blk_1073741835  /hbase/data/hbase/namespace/68b26ebda68daa41d66237c2da92f90b/.regioninfo
blk_1073741837  /hbase/data/hbase/meta/1588230740/info/82e4549009424f9cac91412a97ef242a
blk_1073741843  /hbase/data/hbase/namespace/68b26ebda68daa41d66237c2da92f90b/info/d2d30a99382c4eb8a220c81fe8cb906c
blk_1073741846  /hbase/data/hbase/meta/1588230740/info/5d7965bf2c914a99864192b2ef00665c
The filesystem under path '/' has 9 CORRUPT files
root@kylin1:~#

(2)hdfs fsck / | egrep -v ‘^.+$’ | grep -v eplica

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
root@kylin1:~# hdfs fsck / | egrep -v '^\.+$' | grep -v eplica
18/03/08 09:53:34 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Connecting to namenode via http://kylin2:50070/fsck?ugi=root&path=%2F
FSCK started by root (auth:SIMPLE) from /192.168.1.161 for path / at Thu Mar 08 09:53:35 CST 2018
/hbase/data/hbase/meta/.tabledesc/.tableinfo.0000000001: CORRUPT blockpool BP-433695712-192.168.1.162-1520298438803 block blk_1073741829

/hbase/data/hbase/meta/.tabledesc/.tableinfo.0000000001: MISSING 1 blocks of total size 372 B..
/hbase/data/hbase/meta/1588230740/.regioninfo: CORRUPT blockpool BP-433695712-192.168.1.162-1520298438803 block blk_1073741827

/hbase/data/hbase/meta/1588230740/.regioninfo: MISSING 1 blocks of total size 32 B..
/hbase/data/hbase/meta/1588230740/info/5d7965bf2c914a99864192b2ef00665c: CORRUPT blockpool BP-433695712-192.168.1.162-1520298438803 block blk_1073741846

/hbase/data/hbase/meta/1588230740/info/5d7965bf2c914a99864192b2ef00665c: MISSING 1 blocks of total size 5519 B..
/hbase/data/hbase/meta/1588230740/info/82e4549009424f9cac91412a97ef242a: CORRUPT blockpool BP-433695712-192.168.1.162-1520298438803 block blk_1073741837

/hbase/data/hbase/meta/1588230740/info/82e4549009424f9cac91412a97ef242a: MISSING 1 blocks of total size 5317 B...
/hbase/data/hbase/namespace/.tabledesc/.tableinfo.0000000001: CORRUPT blockpool BP-433695712-192.168.1.162-1520298438803 block blk_1073741834

/hbase/data/hbase/namespace/.tabledesc/.tableinfo.0000000001: MISSING 1 blocks of total size 312 B..
/hbase/data/hbase/namespace/68b26ebda68daa41d66237c2da92f90b/.regioninfo: CORRUPT blockpool BP-433695712-192.168.1.162-1520298438803 block blk_1073741835

/hbase/data/hbase/namespace/68b26ebda68daa41d66237c2da92f90b/.regioninfo: MISSING 1 blocks of total size 42 B..
/hbase/data/hbase/namespace/68b26ebda68daa41d66237c2da92f90b/info/d2d30a99382c4eb8a220c81fe8cb906c: CORRUPT blockpool BP-433695712-192.168.1.162-1520298438803 block blk_1073741843

/hbase/data/hbase/namespace/68b26ebda68daa41d66237c2da92f90b/info/d2d30a99382c4eb8a220c81fe8cb906c: MISSING 1 blocks of total size 5023 B...
/hbase/hbase.id: CORRUPT blockpool BP-433695712-192.168.1.162-1520298438803 block blk_1073741826

/hbase/hbase.id: MISSING 1 blocks of total size 42 B..
/hbase/hbase.version: CORRUPT blockpool BP-433695712-192.168.1.162-1520298438803 block blk_1073741825

/hbase/hbase.version: MISSING 1 blocks of total size 7 B.Status: CORRUPT
 Total size:    16666 B (Total open files size: 332 B)
 Total dirs:    33
 Total files:   12
 Total symlinks:        0 (Files currently being written: 4)
 Total blocks (validated):  9 (avg. block size 1851 B) (Total open file blocks (not validated): 4)
  ********************************
  UNDER MIN REPL'D BLOCKS:  9 (100.0 %)
  CORRUPT FILES:    9
  MISSING BLOCKS:   9
  MISSING SIZE:     16666 B
  CORRUPT BLOCKS:   9
  ********************************
 Corrupt blocks:        9
 Number of data-nodes:      4
 Number of racks:       1
FSCK ended at Thu Mar 08 09:53:35 CST 2018 in 6 milliseconds


The filesystem under path '/' is CORRUPT
root@kylin1:~# 

(3)查看上面某一个文件的情况

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
root@kylin1:~# hdfs fsck /hbase/hbase.version -locations -blocks -files
18/03/08 10:01:41 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Connecting to namenode via http://kylin2:50070/fsck?ugi=root&locations=1&blocks=1&files=1&path=%2Fhbase%2Fhbase.version
FSCK started by root (auth:SIMPLE) from /192.168.1.161 for path /hbase/hbase.version at Thu Mar 08 10:01:42 CST 2018
/hbase/hbase.version 7 bytes, 1 block(s): 
/hbase/hbase.version: CORRUPT blockpool BP-433695712-192.168.1.162-1520298438803 block blk_1073741825
 MISSING 1 blocks of total size 7 B
0. BP-433695712-192.168.1.162-1520298438803:blk_1073741825_1001 len=7 MISSING!

Status: CORRUPT
 Total size:    7 B
 Total dirs:    0
 Total files:   1
 Total symlinks:        0
 Total blocks (validated):  1 (avg. block size 7 B)
  ********************************
  UNDER MIN REPL'D BLOCKS:  1 (100.0 %)
  dfs.namenode.replication.min: 1
  CORRUPT FILES:    1
  MISSING BLOCKS:   1
  MISSING SIZE:     7 B
  CORRUPT BLOCKS:   1
  ********************************
 Minimally replicated blocks:   0 (0.0 %)
 Over-replicated blocks:    0 (0.0 %)
 Under-replicated blocks:   0 (0.0 %)
 Mis-replicated blocks:     0 (0.0 %)
 Default replication factor:    3
 Average block replication: 0.0
 Corrupt blocks:        1
 Missing replicas:      0
 Number of data-nodes:      4
 Number of racks:       1
FSCK ended at Thu Mar 08 10:01:42 CST 2018 in 1 milliseconds


The filesystem under path '/hbase/hbase.version' is CORRUPT
root@kylin1:~# 

可以发现是192.168.1.162节点上的块丢失了。

(4)定位到机器上,然后到此机器上查看日志。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
root@kylin2:/var/log/hdfs# vi hadoop-hdfs-datanode-kylin2.log

发现原因了,该节点被格式化了

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2018-03-08,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
Hadoop之check the logs or run fsck in order to identify the missing blocks
    由于是/tmp目录下,不是正常的业务数据,我们直接删除,如下List-2,之后再去看hdfs的页面,无此问题了。
克虏伯
2020/03/26
2.5K0
查看Hadoop HDFS 中的一个文件对应block信息
该文章介绍了如何使用 Hadoop 进行大数据处理和分析。主要内容包括:Hadoop 的基本配置、集群搭建、数据存储、数据清洗、数据处理和结果展示。同时,文章还介绍了如何使用 Hadoop 进行数据分析和可视化。
程裕强
2018/01/02
2.8K0
HBase运维:如何逆向修复HBase元数据表
最近知识星球有人问浪尖,自己的hbase集群元数据丢失了,但是数据还在,是否能够修复,其实这种情况下利用数据的hfile去修复元数据很常见,也有很多时候我们是生成hfile加载进hbase。
Spark学习技巧
2021/03/05
3.6K0
HBase运维:如何逆向修复HBase元数据表
HDFS 高阶内容
保存 文件树 保存 file->block (file == idnode) 不保存 block->location
birdskyws
2018/12/07
6890
显示HDFS存储信息
显示文件由那些块构成 -files:显示文件的文件名称、大小、块数量及是否可用; -blocks: 显示每个块在文件中的信息,一个块用一行显示; -racks: 展示了每个块所处的机架位置及DataNode的位置;
sparkle123
2020/12/31
1.2K0
hadoop hdfs命令_hadooplinux命令
所有的HDFS命令都调用bin/hdfs脚本文件,如果运行hdfs脚本没有带任何参数的话,则打印所有命令的描述。
全栈程序员站长
2022/11/09
8330
Hadoop集群日常运维
namenode中的元数据非常重要,如丢失或者损坏,则整个系统无法使用。因此应该经常对元数据进行备份,最好是异地备份。
星哥玩云
2022/07/04
1.3K0
HDFS——DN的持久化文件
在HDFS中,NameNode存储了整个集群的元数据信息,DataNode(下面都简称dn)负责实际数据的存储,这些数据最终持久化到磁盘中。
陈猿解码
2023/02/28
6950
HDFS——DN的持久化文件
【Hadoop】如何做到Hadoop集群删库不跑路……
扯个犊子先,我司进行集群迁移,没有用的测试机器要进行格式化卖掉了,然后突然一条伟大的命令,误删除了正在使用的hadoop集群所有节点的操作系统盘,数据盘保留,灾难就此来了。
857技术社区
2022/05/17
1.1K0
【Hadoop】如何做到Hadoop集群删库不跑路……
EMR入门学习之HDFS的运维操作(十三)
HDFS是分布式文件系统。HDFS支持fsck命令来检查系统中的各种不一致状况。我们可以使用fsck 来查看当前文件系统的状态。该命令提供了若干选项,不同选项完成不同的功能。
披荆斩棘
2019/11/22
1.3K0
HDFS 异构存储
该文介绍了在分布式存储系统中,通过使用 Raft 协议进行分布式数据一致性维护和通过 Zab 协议进行分布式数据访问控制。同时,介绍了基于 Raft 协议的 Zab 协议实例以及基于 Zab 协议的 Raft 协议实例。
liubang01
2017/07/28
4.2K0
HDFS 异构存储
hadoop几个问题
海量的数据无论是存储还是计算,总是要保证其架构的高可用,数据仓库的构建是一个合的过程,而微服务又是一个分的过程,天下大势,分分合合。
SRE运维实践
2021/03/04
2.1K0
hadoop几个问题
pinpoint及HBase 故障排查与解决思路
日志中有 java.io.IOException: Got error for OP_READ_BLOCK 这种日志通常是由 HDFS 数据块损坏、DataNode 不可用、HBase 配置问题或资源瓶颈引起的。
大侠之运维
2025/05/02
1180
pinpoint及HBase 故障排查与解决思路
0494-如何恢复HDFS中节点正常解除授权丢失的数据
在Hadoop集群中提供有主机解除授权和将节点移除集群的操作,正常情况下节点的解除授权不会导致blocks丢失的情况,但是在某些特殊场景中还是会出现小量blocks的丢失,本篇文章主要介绍如何恢复HDFS中节点正常解除授权的丢失数据如何恢复和正常解除授权时可能造成blocks 丢失的原因以及如何规避这些风险
Fayson
2018/12/29
3.9K0
Hadoop HDFS 用户指南
This document is a starting point for users working with Hadoop Distributed File System (HDFS) either as a part of a Hadoop cluster or as a stand-alone general purpose distributed file system. While HDFS is designed to "just work" in many environments, a
用户1154259
2018/01/17
7600
吐血整理 | HDFS运维问题大全
| 作者:周晓,腾讯游戏 CROS 体系高级工程师,负责多套HDFS集群的维护管理,并为Apache Hadoop社区提交过2个Patch。同时也作为游戏DBA,稳定支撑包括穿越火线、天天酷跑等在内多款游戏的DB管理维护。 ---- 1 这次我吐血整理了一些在维护hdfs工作中遇到的问题,有的是血的教训,有的是花了不少功夫定位,也有的是一些知识点或者技巧,其中有两个补丁已经合并到apache hadoop官方。最后根据这些问题处理经验,汇总了hadoop hdfs集群需要关注的告警指标。 一、定期bloc
腾讯云数据库 TencentDB
2020/07/28
3K0
[hadoop3.x]HDFS存储策略和冷热温三阶段数据存储(六)概述
[hadoop3.x系列]HDFS REST HTTP API的使用(一)WebHDFS
Maynor
2021/10/09
8550
0460-HDFS纠删码的机架感知
Fayson在前面的文章中对Hadoop3的新特性之一纠删码进行过介绍,参考《什么是HDFS的纠删码》,后面又对纠删码的使用进行了实操,参考《如何在CDH6.0中使用纠删码》。但我们知道,在HDFS的三副本年代,Hadoop为了最大限度保证数据可用性,HDFS本身还有一个机架感知策略。这里先温习一下:
Fayson
2018/12/17
1.2K0
hbase HBCK2使用指南
HBCK2 是 hbck 的继承者,hbase-1.x (A.K.A hbck1) 附带的修复工具。 使用 HBCK2 代替 hbck1 对 hbase-2.x 集群进行修复。 hbck1 不应针对 hbase-2.x 安装运行。 它可能会造成伤害。 虽然 hbck1 仍然捆绑在 hbase-2.x 中——为了尽量减少意外——但它已被弃用,将在 hbase-3.x 中删除。 它的写入功能 (-fix) 已被删除。 它可以报告 hbase-2.x 集群的状态,但它的评估将不准确,因为它不了解 hbase-2.x 的内部工作原理。
从大数据到人工智能
2022/01/28
2.7K0
Hadoop环境搭建与测试
CentOS安装和配置Hadoop2.2.0  http://www.linuxidc.com/Linux/2014-01/94685.htm
星哥玩云
2022/07/03
5830
相关推荐
Hadoop之check the logs or run fsck in order to identify the missing blocks
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验