文档中心>对象存储>数据湖存储>元数据加速>数据访问>使用 Hadoop Shell 访问 COS 元数据加速存储桶

使用 Hadoop Shell 访问 COS 元数据加速存储桶

最近更新时间:2024-10-10 16:00:31

我的收藏

操作场景

对于一些比较简单的文件操作,可以直接通过命令行的方式来完成。本文指导您如何通过 Hadoop Shell,以命令行的方式来访问元数据加速桶。

前提条件

确保已经开通元数据加速服务,并且进行了正确的环境部署和 HDFS 协议配置。具体部署和配置,详情请参见 使用 HDFS 协议访问已开启元数据加速的存储桶
登录任意一台完成了环境部署和 HDFS 协议配置的服务器,进入命令行界面。

支持的操作

1. 详细的 Hadoop 命令行文档,请参见 Hadoop Shell 命令
2. 下面列举一些常用的文件操作。

遍历目录(list)

hadoop fs -ls cosn://examplebucket-1250000000/

创建目录(mkdir)

hadoop fs -mkdir -p cosn://examplebucket-1250000000/test_01/xxx

上传文件

hadoop fs -put ./len1m.txt cosn://examplebucket-1250000000/test_01/xxx/len1m_1.txt

下载文件

hadoop fs -get cosn://examplebucket-1250000000/test_01/xxx/len1m_1.txt ./len1m_1.txt

删除文件

hadoop fs -rm cosn://examplebucket-1250000000/test_01/xxx/len1m_1.txt

删除目录

hadoop fs -rm -r cosn://examplebucket-1250000000/test_01/xxx

目录统计(du)

hadoop fs -du cosn://examplebucket-1250000000/test_01

文件校验和

hadoop fs -checksum cosn://examplebucket-1250000000/test_01/xxx/len1m_1.txt