2回答
我试图将CSV文件上载到分布式文件系统hdfs中，其中包括：
But I get the following error:
浏览 1提问于2018-10-31得票数 2
回答已采纳
从Windows复制到远程HDFS的正确语法是什么？我试图使用RStudio将文件从本地计算机复制到远程hadoop集群这个扔了rxHadoopCopyFromLocal("C:\\path\\to\\file.csv", "/target/on
浏览 6提问于2017-05-23得票数 0
回答已采纳
大家好，我是使用hadoop的新手，这是我的大学工作，所以我正在做一些研究，我已经安装了hadoop-2.7.3，但我找不到路径，我应该在哪里上传文件，以便通过hadoop本地主机检查它？此图显示了为数据节点和名称节点创建的文件夹
hdfs文件夹内部如有任何帮助，我们将不胜感激
浏览 2提问于2016-10-31得票数 0
2回答
我正在尝试将所有部件*文件从一个目录直接从HDFS dir传输到sftp服务器。hdfs文件夹中的所有文件都很大，所以我不想将它们复制到本地文件系统中。当前设置为
curl "<sftp_username>:" --key "<private_key_file_pa
浏览 8提问于2021-11-22得票数 0
我正在试图上传100万个文本文件到HDFS。因此，使用Eclipse上传这些文件大约需要2个小时。有谁能建议我做这件事的快速技巧吗？Iam的想法是:将所有文本文件压缩到一个zip中，然后将其上传到HDFS中，最后使用解压缩技术将这些文件解压缩到HDFS中。任何帮助都将不胜感激。
浏览 2提问于2013-10-10得票数 2
回答已采纳
1)我是否需要将jar上传到hdfs？如果我需要，我知道该怎么做
2)我只是想了解纱线的一些原理，如果我想提交申请，我需要上传这个罐子给主人吗？我能把jar文件上传到主人的本地文件系统吗？
浏览 3提问于2013-11-08得票数 1
回答已采纳
我想要将文件从其路径"/content/lastfm-dataset-1K/userid-timestamp-artid-artname-traid-traname.tsv“移动到hdfs的/user/root/文件夹，但我不知道如何操作 ?
浏览 54提问于2021-08-13得票数 0
HDFS TO COS上传了hdfs上的文件到cos，哪怎么把上传到cos的文件直接下载到hdfs?
浏览 670提问于2019-02-13
我在多个本地文件夹中有数据，即/usr/bigboss/data1、/usr/bigboss/data2和更多文件夹。我想使用所有这些文件夹作为我的MapReduce命令的输入源，并将结果存储在HDFS中。我找不到一个有效的命令来使用Hadoop Grep示例来执行此操作。
浏览 2提问于2012-05-16得票数 0
回答已采纳
org.apache.pig.backend.hadoop.executionengine.tez.TezJob (PigTezLauncher-0): Cannot submit DAG看起来安装脚本将tar.gz文件写入到hd
浏览 0提问于2016-04-15得票数 1
当我在Hive view (Ambari)中点击upload table选项卡下的浏览按钮时，我可以从我的本地文件系统(而不是沙箱本地文件系统)上传文件。而且我无法从HDFS中选择文件。在界面中，没有从HDFS中选择文件的选项。有没有办法从HDFS中选择文件？
浏览 0提问于2016-11-10得票数 0
当我使用以下代码指定In文件夹时：我收到这个错误：
13/03/03 22:05:27 ERRORPriviledgedActionException as:DEVUSER cause:org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://localhost:9100/use
浏览 1提问于2013-03-04得票数 12
回答已采纳
3回答
我最近开始使用Scala、HDFS、sbt和Livy。目前我试图创建livy batch。Warning: Skip remote jar hdfs://localhost:9001/jar/project.jar.
java.lang.ClassNotFoundException: SimpleApp我的星火提交命令在本地.jar文件中运行得非常好。因此，我在hdfs中转换.jar文件。
浏览 0提问于2018-06-21得票数 1
我正在尝试将文件从本地驱动器复制到hdfs。
我在码头上运行Hadoop作为图像。我尝试在MapReduce上执行一些练习，因此，我希望将数据文件从本地驱动器(假设我的d:驱动器)复制到hdfs。
浏览 2提问于2018-12-27得票数 0
回答已采纳
在livy examples文件夹中有一个上传到spark的构建作业的示例。我喜欢正在使用的接口，但我想通过http连接到livy/spark，因为我没有java客户端。这样看来，如果我使用livyclient上传jars，它只存在于那个spark会话中。有没有一种方法可以上传livyjob到spark，然后让它在整个spark中持久存在？算法x在spark中实现或不实现，但通过按下那个按钮，我想将数据放入spark中，无论是放入hdfs中，还是从elasticsearch中提取，或者其他什么。
浏览 2提问于2018-05-12得票数 1
2回答
pscp -P 22 part-00003 username@172.31.143.131:/home/username/lab2_hdfs
part-00000 | 758 kB | 758.9 kB/s | ETA: 00:00:00 | 100% 但是当我使用hdfs dfs -ls时，我没有在我的hadoop
浏览 84提问于2020-09-21得票数 0
1回答
hbase org.apache.hadoop.hbase.mapreduce.Driver export 'tblname' /path/org.apache.hadoop.hbase.mapreduce.Driver导入“tblname”/hdfs/path
2015-06-24 02:PriviledgedActionException as:deeshank (auth:S
浏览 4提问于2015-06-24得票数 1
回答已采纳
1回答
将文件副本分发给执行者
、、、、
我有一堆数据(在S3上)，我正在复制到本地HDFS (在amazon上)。现在我正在使用org.apache.hadoop.fs.FileUtil.copy来完成这个任务，但是还不清楚这是否会将文件副本分发给执行者。当然，在星火历史服务器中什么也没有出现。
浏览 4提问于2018-12-06得票数 0
基本上，我有一个程序，它上传文件到HDFS。这些文件是在任务执行结束时上传的。因此，很多任务同时(在执行结束时)将文件上传到HDFS，从而造成争用。文件大小小于HDFS块(< 64 MB)。我想知道，提前创建HDFS文件是否会更快(任务正在做一些处理以避免争用)，然后在处理完成后，以字符串的形式读取本地文件的内容，然后将该字符串附加到已经预先创建的H
浏览 1提问于2016-04-26得票数 1
回答已采纳
我有一个c#应用程序，可以创建拼花文件并将其上传到远程HDFS。如果我使用scp将文件复制到安装了HDFS客户端的目标计算机上，然后"hdfs将该文件放入“HDFS中，那么spark可以正确地读取该文件。如果我使用curl对webhdf服务直接从客户端应用程序将该文件上传到HDFS，则在尝试读取parquet文件时从Spark获得以下错误：
df =
浏览 0提问于2018-12-04得票数 0
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号