我有问题，如何在hadoop中创建文件夹，但命名路径文件夹的年，日期，时间？示例：/user/hdfs/2015/10/10/0000
hadoop fs -mkdir /user/hdfs/2015/10如何使用hadoop fs -mkdir获取路径文件夹，如/use
浏览 3提问于2015-10-22得票数 1
2回答
在Hadoop中，hdfs dfs -text和hdfs dfs -getmerge命令允许从命令行轻松读取HDFS中压缩文件的内容，包括连接到其他命令进行处理(例如wc -l <(hdfs dfs -这些命令是否相互对应，允许将内容从命令行()推送到HDFS，同时支持与上述命令相同的压缩和格式特性？hdfs dfs -put似乎只是将本地文件的原始副本复制到HDFS，而不需要压缩</
浏览 4提问于2016-03-15得票数 1
回答已采纳
3回答
合并HDFS上的压缩文件
、、、
如何在不通过本地机器复制数据的情况下，将HDFS上的所有文件合并到一个压缩文件中(我知道这些文件都是压缩的)？例如，但不一定要用猪？例如，我有一个文件夹/数据/输入，其中包含文件part-m-00000.gz和-m-00001.gz。现在，我想将它们合并到一个文件/data/output/foo.gz中。
浏览 0提问于2015-05-06得票数 4
我在hdfs的一个文件夹中有一堆.gz文件。我希望将所有这些.gz文件解压缩到hdfs中的一个新文件夹中。我该怎么做？
浏览 6提问于2016-01-03得票数 19
回答已采纳
1回答
计算hdfs中的压缩文件数
、、、、
我正在尝试计算在Hdfs文件夹中压缩的文件。我使用的是hdfs dfs -count /user/data grep .snappy --它没有显示任何grep .snappy \ hdfs dfs -count /user/data --它显示了所有文件我能得到正确的命令来计数这个/user/data hdfs路径中的.snappy文件吗？
浏览 0提问于2016-01-11得票数 2
回答已采纳
1回答
我有我想上传到HDFS的数据文件夹是大约250 GB压缩，我不知道有多少gz文件在那里。
我想上传到HDFS，但他们应该被解压。还是编写一个脚本文件，逐个解压缩并上传到hdfs是唯一的方法？
浏览 1提问于2018-11-16得票数 0
回答已采纳
我的hdfs中有几个压缩文件(.tar.gz)，其中包含不相关的tsv文件(类似于下面的列表)。我想以编程方式解压缩这些文件夹，可能会利用MPP架构(例如Hadoop或Spark)并将它们保存到hdfs中。operating_systems.tsv- referrer_type.tsv- search_engine.tsv
到目前为止，我只能想出一个bash脚本，它可以从hdfs下载每个文件，解压
浏览 8提问于2020-12-03得票数 2
回答已采纳
1回答
我需要创建一个压缩文件(rar，gz或其他女巫支持大文件和大压缩文件)。我需要创建文件夹并添加由文件夹分隔的文件。例子:我有这样的文件夹结构 Folder 1.1 Folder 1.3 Folder 2.1
Folder 2.1.1在每个文件夹中我都有一些文件。我需要在压缩文件中复制压缩结构压缩压缩有
浏览 2提问于2016-03-10得票数 0
回答已采纳
我知道应该将$HADOOP_COMMON_HOME设置为Hadoop目录的根路径，但是$HADOOP_HDFS_HOME的值是什么，是同一个值吗？
它的价值应该是什么？
浏览 0提问于2012-09-07得票数 3
我正在尝试解压缩HDFS中的数百个文件，并将每个文件分别移动到另一个文件夹，以便将其加载到Hive中的外部表中。我尝试了以下命令，但它只给出了一个在目标目录中没有名称的联接文件。
我需要(例如)100个<em
浏览 2提问于2021-12-02得票数 0
回答已采纳
就像Unix命令tar -czf xxx.tgz xxx/一样，有没有一种方法可以在HDFS中做同样的事情？我在HDFS中有一个文件夹，里面有超过10万个小文件，我想尽快把它下载到本地文件系统中。
浏览 27提问于2020-02-27得票数 0
回答已采纳
1回答
我正在寻找Java程序中的选项，这些选项可以将文件写入HDFS，并满足以下要求。我知道如何通过打开显示为的FSDataOutputStream将数据写入到HDFS上的文件中。我偶然发现了Flume，它提供了HDFS接收器，可以支持事务、压缩、文件轮换等。但它似乎没有提供一个可以用作库的API
浏览 1提问于2013-04-30得票数 1
并试图通过压缩将文本转换为其他文件格式(如Json、csv等) (gzip、lz4、snappy等)。但无法看到压缩的工作原理。选项1：sqlContext.setConf("spark.sql.parquet.compression.codec", "snap
浏览 2提问于2017-07-21得票数 0
1回答
gz文件在一个目录中。我想将它们合并到一个大的.gz文件中，然后解压缩并加载到HDFS中。请指点。提前谢谢。
浏览 2提问于2014-05-09得票数 0
回答已采纳
现在，当调用这个jar文件的方法的作业运行时，这个jar文件MyJar文件将存储在HDFS上的什么地方？
浏览 2提问于2012-07-15得票数 0
回答已采纳
hdfs dfs -copyFromLocal /home/osboxes/sample new
copyFromLocal：‘`new'：没有这样的文件或目录“
浏览 0提问于2018-02-25得票数 0
如下所示： new GZIPOutputStream( hdfs.create(filepath, true ))));
writer.write(line);hdfs = FileSystem.get( new URI( "hdfs:/&#x
浏览 3提问于2014-08-29得票数 2
回答已采纳
我最近一直在研究hadoop和HDFS。当您将文件加载到HDFS中时，它通常会将文件拆分为64 it块，并将这些块分布在集群周围。但是为什么HDFS不能将一个纯文本文件作为输入并像普通的那样分割它，然后使用gzip分别压缩每个拆分呢？当任何分割被访问时，它只是在动态地解压。这看
浏览 1提问于2011-06-28得票数 7
2回答
在Oozie Hive2操作中，我试图从压缩的'.zip‘文件中的'.csv’文件加载蜂窝表。为了通过Oozie Hive操作工作流读取*.zip中的文件，Hive操作提供了“归档”标记元素。只需在“存档”标记元素中声明Zip文件，如下所示，在“存档”元素中“#”之后的引用是要读取解压缩文件的临时文件夹的名称可
浏览 0提问于2016-08-26得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
