1回答
因此，在/var/ log /…中有一堆日志文件在hdfs上，可以使用snappy解压缩或压缩。$HAD/bin/hadoop jar $HAD/hadoop-streaming.jar \
-D mapred.output.co
浏览 7提问于2017-12-15得票数 0
回答已采纳
我知道应该将$HADOOP_COMMON_HOME设置为Hadoop目录的根路径，但是$HADOOP_HDFS_HOME的值是什么，是同一个值吗？
它的价值应该是什么？
浏览 0提问于2012-09-07得票数 3
我试图解压缩一个zip文件，存储在Hadoop文件系统中，并将其存储在hadoop文件系统中。我试着遵循命令，但没有一条有效。hadoop fs -cat /tmp/test.zip|gzip -d|hadoop fs -put - /tmp/hadoop fs -c
浏览 7提问于2015-03-17得票数 14
hbase支持lzo压缩，同时支持snappy压缩成功，我有一个使用lzo压缩的hbase表，还有其他使用snappy压缩的hbase表，我将50个recoder数据插入到这个表中，ok，insert没有问题at org.apache.hadoop.io.IOUtils.readFully(IOUtils.java:201)
at org.apache.hadoop.hdfs.protocol.datatransfer.PacketReceiver.doRead
浏览 2提问于2015-12-31得票数 0
回答已采纳
我在HDFS中有许多文件，所有这些文件都是zip文件，其中包含一个CSV文件。我正在尝试解压缩这些文件，以便可以对它们运行流式作业。我试过了： -D mapred.reduce.tasks=0 \
浏览 2提问于2013-03-07得票数 4
我对Hadoop完全陌生，我想压缩一个大文件并将其放在HDFS.So中。这就是我所做的1)安装单节点集群2)我的core-site.xml是这样的<property> <name>fs.defaultFS</name> </property> 现在，当我使用以下命令将一个2 2
浏览 3提问于2016-08-03得票数 1
我有多个压缩文件，每个压缩文件包含大小为5-10kb的8个xml文件。我把这些数据用于测试，否则活数据就会有1000 s的xml文件。我只编写了map程序来解压缩压缩的文件。(org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException): No lease on /test_poc/x/injection_00001(FSNamesystem.java:3431)
at org.apach
浏览 3提问于2015-09-26得票数 1
回答已采纳
1回答
在linux中使用"file <filename>“命令显示文件是否被压缩。对于驻留在HDFS文件系统中的文件，如何实现这一点？filesystem (MS-DOS, OS/2, NT)
269146229598756: ASCII text, with very long lines fi
浏览 3提问于2020-08-26得票数 2
回答已采纳
我正在尝试从Hadoop HDFS中检索总共几‘m的文本文件目录。我能做到这一点
hadoop hdfs -get /path/to/directory/* .但是我到Hadoop集群的链接大约是1MB/s，所以这需要相当长的时间。像大多数文本文件一样，这些文件压缩得很好，所以我想要将它们压缩以供下载。hadoop hdfs -get命令是否会在传输过程中自动压缩(就
浏览 1提问于2014-04-11得票数 3
3回答
我正在为一个客户工作，在那里我应该把一些文件放到HDFS上进行快速压缩。我的问题是mapred-site.xml或hdfs-site.xml中没有定义snappy编解码器
不知何故，我必须上传文件，最好使用hdfs put命令，并且它们应该被压缩。另一个建议的解决方案是将文件导入HDFS而不压缩，然后创建带有压缩的配置单元外部表，并在删除未压缩的文件时使用其源文件。但这是一条很长的路要走，而且不能保证它会起作用。如果您有任何关于使用带
浏览 7提问于2016-08-03得票数 3
1回答
我使用Java-Spark，我从Kafka主题得到消息，表明在压缩文件路径上，我想将这个压缩文件提取到HDFS中。 我有从Kafka与火花结构化流读取消息的代码。 解压文件到HDFS的方法是什么？
浏览 82提问于2019-02-14得票数 1
2回答
安装后，我刚刚下载并安装了spark集群("spark-2.0.2-bin-hadoop2.7.tgz")，我想访问文件系统(将本地文件上传到集群)。但是当我尝试在命令中键入hadoop或hdfs时，它会说“没有找到命令”。提前谢谢。
浏览 8提问于2016-11-17得票数 3
回答已采纳
3回答
我想将S3中的test.tar.gz文件复制到HDFS。这可以通过distcp或s3distcp来完成。但我的要求是，当我将文件传输到HDFS时，它应该是动态解压的，在HDFS中，我应该只有解压的文件，而不是tar.gz。
有什么建议请提出来。
浏览 4提问于2014-05-20得票数 6
如何在hdfs中解压缩和查看压缩文件的几行。下面的命令显示压缩数据的最后几行是否有一种方法可以使用-text命令并将输出传递到-text命令？hadoop fs -text /myfolder/part-r-00024.gz > hadoop fs -tail /myfolder/
浏览 7提问于2015-08-12得票数 7
回答已采纳
3回答
我正在寻找HDFS中的默认压缩。我看到了，但我不希望我的文件有像gzip那样的扩展名(实际上，它们应该像没有压缩一样可访问)实际上，我正在寻找的就是在Windows上选择“压缩内容以节省磁盘空间”。此选项在内部压缩文件，但它们可以像通常的文件一样被访问。任何想法都会有帮助。
谢谢
浏览 4提问于2014-01-24得票数 0
2回答
在Hadoop中，hdfs dfs -text和hdfs dfs -getmerge命令允许从命令行轻松读取HDFS中压缩文件的内容，包括连接到其他命令进行处理(例如wc -l <(hdfs dfs -这些命令是否相互对应，允许将内容从命令行()推送到HDFS，同时支持与上述命令相同的压缩和格式特性？hdfs dfs -put似乎只是将本地文件的原始副本复制到HDFS，而不需要压缩或容器格式的
浏览 4提问于2016-03-15得票数 1
回答已采纳
我对hadoop很陌生，对HDFS如何与ZFS或BTRFS工作感到困惑。或者可以直接安装HDFS吗？
浏览 0提问于2016-09-14得票数 2
回答已采纳
1回答
大gz文件上的Mapreduce
、、、、
该文件位于hdfs和本地两个位置。可能的选择我在想：
1)解压缩gz文件并将其存储在hdfs中:首先，解压缩文件和将解压缩后的数据放入hdfs中会花费太多的时间。另外，我不能直接在hdfs中解压文件，因为hdfs没有zcat或gunzip命令。所以我必须做zcat a.gz | hdfs dfs put - /path/in/hdfs。此外，这将占用hdfs中的大量空间
浏览 0提问于2015-04-23得票数 2
我在找一种zgrep hdfs文件的方法hadoop fs -zcat hdfs://myfile.gz | grep "hi"hadoop fs -cat hdfs://myfile.gz
浏览 0提问于2015-01-22得票数 4
回答已采纳
我知道这是一个压缩文件。如何生成可读格式的普通文件？当我使用hadoop fs -text时，我无法获得明文输出。输出仍然是二进制的。我如何解决这个问题？
浏览 2提问于2013-09-12得票数 16
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号