Hadoop生态系统命令合集（更新中……）

小爷毛毛_卓寿杰

发布于 2019-02-13 03:51:55

45500

代码可运行

文章被收录于专栏：Soul Joy HubSoul Joy Hub

运行总次数：0

代码可运行

HDFS

fsck

hdfs fsck

Usage: DFSck [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]

    <path>             检查这个目录中的文件是否完整

    -move               破损的文件移至/lost+found目录
    -delete             删除破损的文件

    -openforwrite   打印正在打开写操作的文件

    -files                 打印正在check的文件名

    -blocks             打印block报告 （需要和-files参数一起使用）

    -locations         打印每个block的位置信息（需要和-files参数一起使用）

    -racks               打印位置信息的网络拓扑图 （需要和-files参数一起使用）

hdfs fsck /

用这个命令可以检查整个文件系统的健康状况，但是要注意它不会主动恢复备份缺失的block，这个是由NameNode单独的线程异步处理的。

Hive

查看hive表中数据所在路径

hive> describe database bak_spark_tpcds_parquet_1000;
OK
bak_spark_tpcds_parquet_1000        hdfs://holodesk01:8020/user/hive/warehouse/bak_spark_tpcds_parquet_1000.db      USER    
Time taken: 0.02 seconds, Fetched: 1 row(s)