首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >hdfs api 无法从腾讯云hadoop伪分布下载文件 ?

hdfs api 无法从腾讯云hadoop伪分布下载文件 ?

提问于 2021-04-14 16:44:10
回答 1关注 0查看 244

hdfs api 操作部署在腾讯云的伪分布建目录,删除目录都正常,但下载文件就不行了,总是报错

Could not obtain block: BP-1234137304-121.5.67.247-1618417691404:blk_1073741825_1001 file=/test.txt

确定文件正常的,从web页面都能下载查看!

如下是hdfs api 代码

以下是报错

请问大佬这是怎么回事?

回答 1

EatRice

修改于 2021-04-16 06:22:50

您好,根据堆栈的报错信息推断是HDFS的错误发生在选择数据节点上,所以请检查是否有访问该数据节点的权限, 或该节点是否存在

和开发者交流更多问题细节吧,去 写回答
相关文章
Hadoop API——HDFS
mvn 配置 <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.6.0</version> </dependency> <dependency> <groupId>junit</gr
羊羽shine
2019/05/29
6010
【腾讯云的1001种玩法】hadoop 伪分布式搭建
hadoop 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。云计算大数据到现在是越来越火,而hadoop成为大数据不可或缺的分布式大数据计算平台。 Ha
张泽旭
2017/03/16
3.3K1
【腾讯云的1001种玩法】hadoop 伪分布式搭建
hadoop: hdfs API示例
利用hdfs的api,可以实现向hdfs的文件、目录读写,利用这一套API可以设计一个简易的山寨版云盘,见下图:
菩提树下的杨过
2018/09/20
1.6K0
hadoop: hdfs API示例
Hadoop分布式文件系统(HDFS)
HDFS (Hadoop Distributed File System)是 Hadoop 下的分布式文件系统,具有高容错、高吞吐量等特性,可以部署在低成本的硬件上。
大数据老哥
2021/03/23
1.5K0
Hadoop分布式文件系统HDFS
HDFS中的三种角色:namenode(核心节点),datanode(数据节点),客户端
姜同学
2022/10/27
3930
Hadoop分布式文件系统HDFS
Hadoop(2)——HDFS(分布式文件系统)
英文全称是The Hadoop Distributed File System官方地址http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html 非常巨大的分布式文件系统 运行在普通廉价的硬件上commodity hardware 高容错的 易扩展,为用户提供性能不错的文件存储服务
羊羽shine
2019/05/28
5760
hadoop 2.6伪分布安装
hadoop 2.6的“伪”分式安装与“全”分式安装相比,大部分操作是相同的,主要区别在于不用配置slaves文件,而且其它xxx-core.xml里的参数很多也可以省略,下面是几个关键的配置: (安装JDK、创建用户、设置SSH免密码 这些准备工作,大家可参考hadoop 2.6全分布安装 一文,以下所有配置文件,均在$HADOOP_HOME/etc/hadoop目录下) 另外,如果之前用 yum install hadoop安装过低版本的hadoop,请先卸载干净(即:yum remove hadoop
菩提树下的杨过
2018/01/19
6670
hadoop 2.6伪分布安装
hadoop伪分布式之启动HDFS并运行MR程序(WordCount)
在hadoop-2.9.2下etc/hadoop/core-site.xml中配置:
西西嘛呦
2020/08/26
5020
hadoop伪分布式之启动HDFS并运行MR程序(WordCount)
Hadoop HDFS分布式文件系统Docker版
  如果你要在本机做开发,配置IDE环境,想要连接到Docker中,推荐使用Docker toolBOX。docker for mac 版本没有docker0网桥。
birdskyws
2018/09/12
3.9K0
Hadoop HDFS分布式文件系统Docker版
hadoop伪分布式之配置文件说明
Hadoop配置文件分两类:默认配置文件和自定义配置文件,只有用户想修改某一默认配置值时。才需要修改自定义配置文件,更改相应的返回值。
西西嘛呦
2020/08/26
3390
hadoop伪分布式之配置文件说明
HDFS伪分布式环境搭建
HDFS是主/从式的架构。一个HDFS集群会有一个NameNode(简称NN),也就是命名节点,该节点作为主服务器存在(master server).
JavaEdge
2021/10/18
6320
Hadoop技术(一)分布式文件系统HDFS
明确 假设磁盘每秒读取500兆数据, 则1T内容需要2048s 约等于 30min
时间静止不是简史
2020/07/24
8810
HDFS伪分布式环境搭建
HDFS是主/从式的架构。一个HDFS集群会有一个NameNode(简称NN),也就是命名节点,该节点作为主服务器存在(master server)。NameNode用于管理文件系统的命名空间以及调节客户访问文件。此外,还会有多个DataNode(简称DN),也就是数据节点,数据节点作为从节点存在(slave server)。通常每一个集群中的DataNode,都会被NameNode所管理,DataNode用于存储数据。
端碗吹水
2020/09/23
6140
HDFS伪分布式环境搭建
HDFS伪分布式环境搭建
HDFS是主/从式的架构。一个HDFS集群会有一个NameNode(简称NN),也就是命名节点,该节点作为主服务器存在(master server).
JavaEdge
2021/12/07
3570
HDFS伪分布式环境搭建
Hadoop入门 Java api操作hdfs
新建项目 File->New->Module->Maven,选择quickstart 新建项目1.jpg 设置文件名和文件地址 新建项目2.jpg 点击完成 新建项目3.jpg 项目目录 新建项目4.jpg 配置pom.xml 添加hadoop依赖包 <!--添加hadoop依赖--> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>${
Emperor_LawD
2021/06/21
1.4K0
Hadoop入门 Java api操作hdfs
Hadoop的hdfs api操作 原
public static void listFile(String path) throws IOException{ //读取配置文件 Configuration conf = new Configuration(); //获取文件系统 FileSystem fs = FileSystem.get(URI.create("hdfs://hadoop1:9000"),conf); //获取文件或目录状态 FileStatus[] fileStatus = fs.listStatu
用户2603479
2018/08/15
2780
Hadoop伪分布式安装_伪分布式安装
使得环境变量生效: source ~/.bash_profile 验证java是否配置成功: java -v 详细请参考 blog.csdn.net/u010961759/…
全栈程序员站长
2022/08/04
2270
Hadoop--HDFS API编程封装
HDFS是一个分布式文件系统,既然是文件系统,就可以对其文件进行操作,比如说新建文件、删除文件、读取文件内容等操作。下面记录一下使用JAVA API对HDFS中的文件进行操作的过程。   对分HDFS中的文件操作主要涉及一下几个类:   Configuration类:该类的对象封转了客户端或者服务器的配置。   FileSystem类:该类的对象是一个文件系统对象,可以用该对象的一些方法来对文件进行操作。FileSystem fs = FileSystem.get(conf);通过FileSystem的静态
汤高
2018/01/11
1.1K0
Hadoop伪分布式搭建
1 系统环境 搭建的系统环境为centos7.5。 root@localhost ~]# lsb_release -a LSB Version: :core-4.1-amd64:core-4.1-noarch Distributor ID: CentOS Description: CentOS Linux release 7.5.1804 (Core) Release: 7.5.1804 Codename: Core 2 修改主机名 2.1 主机名修改为hadoop1。 [root@
用户1432189
2019/07/25
9040
点击加载更多

相似问题

云服务器上如何搭建hadoop伪分布式环境?

1392

腾讯云点播禁止下载?

0528

腾讯云插件哪里下载?

0218

腾讯云 文件云存储?

1418

使用腾讯云的下载文件方法下载zip文件,下载到本地,无法正常解压缩?

1539
相关问答用户
腾讯云TDP | 先锋会员擅长2个领域
某公司 | 程序员擅长1个领域
新浪微博 | 高级总监擅长4个领域
添加站长 进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

扫码加入开发者社群
关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

扫码关注腾讯云开发者公众号
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档