文章/答案/技术大牛

发布

社区首页 >问答首页 >hdfs api 无法从腾讯云hadoop伪分布下载文件？

问hdfs api 无法从腾讯云hadoop伪分布下载文件？

提问于 2021-04-14 16:44:10

回答 1关注 0查看 244

hdfs api 操作部署在腾讯云的伪分布建目录，删除目录都正常，但下载文件就不行了，总是报错

Could not obtain block: BP-1234137304-121.5.67.247-1618417691404:blk_1073741825_1001 file=/test.txt

确定文件正常的，从web页面都能下载查看！

如下是hdfs api 代码

以下是报错

请问大佬这是怎么回事？

node.js

api

网站

hadoop

回答 1

EatRice

修改于 2021-04-16 06:22:50

您好，根据堆栈的报错信息推断是HDFS的错误发生在选择数据节点上，所以请检查是否有访问该数据节点的权限，或该节点是否存在

和开发者交流更多问题细节吧，去写回答

Hadoop API——HDFS

大数据

mvn 配置 <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.6.0</version> </dependency> <dependency> <groupId>junit</gr

羊羽shine

2019/05/29

6010

【腾讯云的1001种玩法】hadoop 伪分布式搭建

hadoop java

hadoop 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。云计算大数据到现在是越来越火，而hadoop成为大数据不可或缺的分布式大数据计算平台。 Ha

张泽旭

2017/03/16

3.3K1

hadoop: hdfs API示例

其他

利用hdfs的api，可以实现向hdfs的文件、目录读写，利用这一套API可以设计一个简易的山寨版云盘，见下图：

菩提树下的杨过

2018/09/20

1.6K0

Hadoop分布式文件系统(HDFS)

大数据 hadoop 存储 https node.js

HDFS （Hadoop Distributed File System）是 Hadoop 下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。

大数据老哥

2021/03/23

1.5K0

Hadoop分布式文件系统HDFS

linux hadoop fs hdfs 分布式存储

HDFS中的三种角色:namenode(核心节点),datanode(数据节点),客户端

姜同学

2022/10/27

3930

Hadoop(2)——HDFS(分布式文件系统)

node.js xml 大数据 hadoop bash

英文全称是The Hadoop Distributed File System官方地址http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html 非常巨大的分布式文件系统运行在普通廉价的硬件上commodity hardware 高容错的易扩展，为用户提供性能不错的文件存储服务

羊羽shine

2019/05/28

5760

hadoop 2.6伪分布安装

hadoop 分布式

hadoop 2.6的“伪”分式安装与“全”分式安装相比，大部分操作是相同的，主要区别在于不用配置slaves文件，而且其它xxx-core.xml里的参数很多也可以省略，下面是几个关键的配置：（安装JDK、创建用户、设置SSH免密码这些准备工作，大家可参考hadoop 2.6全分布安装一文，以下所有配置文件，均在$HADOOP_HOME/etc/hadoop目录下）另外,如果之前用 yum install hadoop安装过低版本的hadoop,请先卸载干净(即:yum remove hadoop

菩提树下的杨过

2018/01/19

6670

hadoop伪分布式之启动HDFS并运行MR程序（WordCount）

hadoop 大数据 node.js bash bash 指令

在hadoop-2.9.2下etc/hadoop/core-site.xml中配置：

西西嘛呦

2020/08/26

5020

Hadoop HDFS分布式文件系统Docker版

hadoop 分布式容器镜像服务 mac os ide

如果你要在本机做开发，配置IDE环境，想要连接到Docker中，推荐使用Docker toolBOX。docker for mac 版本没有docker0网桥。

birdskyws

2018/09/12

3.9K0

hadoop伪分布式之配置文件说明

xml hadoop 面向对象编程

Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时。才需要修改自定义配置文件，更改相应的返回值。

西西嘛呦

2020/08/26

3390

HDFS伪分布式环境搭建

大数据 java hadoop ssh

HDFS是主/从式的架构。一个HDFS集群会有一个NameNode（简称NN），也就是命名节点，该节点作为主服务器存在（master server）.

JavaEdge

2021/10/18

6320

Hadoop技术(一)分布式文件系统HDFS

node.js hadoop 数据处理分布式大数据

明确假设磁盘每秒读取500兆数据, 则1T内容需要2048s 约等于 30min

时间静止不是简史

2020/07/24

8810

HDFS伪分布式环境搭建

hadoop 专用宿主机 html5 linux 大数据

HDFS是主/从式的架构。一个HDFS集群会有一个NameNode（简称NN），也就是命名节点，该节点作为主服务器存在（master server）。NameNode用于管理文件系统的命名空间以及调节客户访问文件。此外，还会有多个DataNode（简称DN），也就是数据节点，数据节点作为从节点存在（slave server）。通常每一个集群中的DataNode，都会被NameNode所管理，DataNode用于存储数据。

端碗吹水

2020/09/23

6140

HDFS伪分布式环境搭建

大数据 java hadoop ssh

HDFS是主/从式的架构。一个HDFS集群会有一个NameNode（简称NN），也就是命名节点，该节点作为主服务器存在（master server）.

JavaEdge

2021/12/07

3570

Hadoop入门 Java api操作hdfs

hadoop shell

新建项目 File->New->Module->Maven，选择quickstart 新建项目1.jpg 设置文件名和文件地址新建项目2.jpg 点击完成新建项目3.jpg 项目目录新建项目4.jpg 配置pom.xml 添加hadoop依赖包  <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>${

Emperor_LawD

2021/06/21

1.4K0

Hadoop的hdfs api操作原

其他

public static void listFile(String path) throws IOException{ //读取配置文件 Configuration conf = new Configuration(); //获取文件系统 FileSystem fs = FileSystem.get(URI.create("hdfs://hadoop1:9000"),conf); //获取文件或目录状态 FileStatus[] fileStatus = fs.listStatu

用户2603479

2018/08/15

2780

Hadoop伪分布式安装_伪分布式安装

node.js 大数据 java https 网络安全

使得环境变量生效: source ~/.bash_profile 验证java是否配置成功: java -v 详细请参考 blog.csdn.net/u010961759/…

全栈程序员站长

2022/08/04

2270

Hadoop--HDFS API编程封装

hadoop api 分布式 java

HDFS是一个分布式文件系统，既然是文件系统，就可以对其文件进行操作，比如说新建文件、删除文件、读取文件内容等操作。下面记录一下使用JAVA API对HDFS中的文件进行操作的过程。　　对分HDFS中的文件操作主要涉及一下几个类：　　Configuration类：该类的对象封转了客户端或者服务器的配置。　　FileSystem类：该类的对象是一个文件系统对象，可以用该对象的一些方法来对文件进行操作。FileSystem fs = FileSystem.get(conf);通过FileSystem的静态

汤高

2018/01/11

1.1K0

Hadoop伪分布式搭建

xml spark hadoop scala

1 系统环境搭建的系统环境为centos7.5。 root@localhost ~]# lsb_release -a LSB Version: :core-4.1-amd64:core-4.1-noarch Distributor ID: CentOS Description: CentOS Linux release 7.5.1804 (Core) Release: 7.5.1804 Codename: Core 2 修改主机名 2.1 主机名修改为hadoop1。 [root@

用户1432189

2019/07/25

9040

点击加载更多

相似问题

云服务器上如何搭建hadoop伪分布式环境？

1392

腾讯云点播禁止下载？

0528

腾讯云插件哪里下载？

0218

腾讯云文件云存储？

1418

使用腾讯云的下载文件方法下载zip文件，下载到本地，无法正常解压缩？

1539

问hdfs api 无法从腾讯云hadoop伪分布下载文件？