我相信下面所有的命令都可以用来将hdfs文件复制到本地文件系统。有什么不同/情景利弊。( Hadoop新手在这里)。hadoop fs -text /hdfs_dir/* >> /local_dir/localfile.txt
hadoop fs -cat /hdfs_dir/* >> /local_dir/localfile.txthadoop fs -get /hdfs_dir&
浏览 0提问于2014-09-19得票数 2
1回答
我试图在hadoop文件系统上的给定目录中找到最大的文件。我找到了以下链接：，它显示了以下查找最大文件的命令：但当我跑的时候我找到find我还运
浏览 0提问于2016-12-21得票数 4
回答已采纳
在Hadoop中，考虑一个大文件已经加载到hdfs文件系统的场景，使用hdfs dfs put或hdfs dfs CopyFromLocal命令，大文件将被拆分成块(64MB)。
浏览 3提问于2014-12-31得票数 0
我们能在流上使用hadoop生成输出吗？我有一个由日志和预约id组成的大文件，如果我使用传统的RDBMS，我可以得到预约id，但需要1或2个小时。日志文件大小为800 GB
On意味着在管理员登录到系统时显示此约会id。我是否可以运行Hadoop onflow (在应用程序运行时运行map还原)
浏览 4提问于2013-10-25得票数 0
回答已采纳
1回答
Hadoop根据fs.trash.interval定期从垃圾桶中删除内容，用户也可以触发delete by expunge命令，但这只会删除超过该时间间隔的文件。如果我想有选择地从垃圾桶中删除某些大文件来恢复空间，该怎么办？这样做的缺点是什么？
浏览 2提问于2014-07-23得票数 3
据我所知，Hadoop正在将大文件拆分成块这些大文件可以是文本或图像，如果我取消拆分功能会怎么样？这会影响Hadoop的性能吗？
浏览 1提问于2015-05-12得票数 0
3回答
Hadoop滚动小文件
、、、
我正在运行Hadoop的一个项目，需要一个建议。必须有一种正确的方法，简单地将大约100个文件滚动/合并为一个。因此Hadoop有效地读取了一个大文件，而不是10个。
有什么建议吗？
浏览 0提问于2010-11-16得票数 1
Hadoop启动后，两种类型的守护进程正在运行。一个是namenode上名为namenode的守护进程，另一个是datanode上名为datanode的守护进程。我确信当通过"hdfs dfs“命令将本地文件系统中的大文件加载到HDFS时，会使用它们。
但它是否也在Hadoop MapReduce作业运行时使用？
浏览 0提问于2015-11-14得票数 0
2回答
Hadoop流多行输入
、、、
我正在使用进行一些Hadoop流媒体作业。我有一堆JSON字典，每个字典都包含一篇文章(多行文本)和一些元数据。我知道Hadoop在提供大文件时性能最好，所以我希望将所有JSON字典合并到一个文件中。或者对字符串进行编码(base64?)会不会删除所
浏览 1提问于2010-07-25得票数 1
Hadoop是为从头到尾的大数据而设计的。引擎只使用分布式附加系统，这意味着一旦插入数据，就不能删除数据。要访问数据，可以使用Mapreduce，或者HDFS shell和HDFS。Hadoop不喜欢小块，它从来就不是一个实时系统。您不希望存储单个人和每个文件的地址，实际上，您将存储100万个人和每个文件的地址，并插入大文件。最大的区别在于它使用了hadoop提供的HDFS构建，允许它可靠地扩展到仅受钱包限制的大小。
Hadoop是文件系统
浏览 2提问于2013-02-15得票数 2
1回答
我有一个场景，文本分隔的文件每30分钟从不同的服务器(大约10)到达hadoop系统。
我希望这个解决方案能在python中实现，但是希望使用hadoop中的任何工具/技术的解决方案。
浏览 1提问于2017-04-16得票数 0
我试着比较一下在本地文件系统和HDFS之间编写一个大文件的性能。结果有点让我困惑。从本地写到的时间比HDFS短。我不明白"Hadoop有利于顺序数据访问“的概念.records out
[root@datanodetest01 tmp]# time hadoop
浏览 3提问于2015-09-07得票数 1
回答已采纳
我对hadoop很陌生，并且在本地机器上进行了一些测试。
有许多解决方案来处理，许多小文件，。我正在使用CombinedInputFormat，它扩展了CombineFileInputFormat。
浏览 3提问于2016-03-19得票数 0
我有很多文件组成的输入。它们的尺寸比blockSize大。每个文件经过处理后，至少会诱导一个InputSplit来处理它。基于FileInputFormat代码，它不是：337 Path path = file.getPath();339 if (length != 0) {341
浏览 1提问于2016-07-08得票数 0
回答已采纳
3回答
我完全是Hadoop的新手，尽管我对map reduce的概念非常了解。
大多数Hadoop教程都从WordCount示例开始。所以我写了一个简单的字数统计程序，运行得很好。因此，我向Hadoop专家提出的问题是，Hadoop将如何处理大文件？它是将文件的副本传输到每个映射器，还是自动将其拆分成块并将这些块传输到映射器？我使用MapReduce的大部分经验都是因为Hadoop的映射器可以一次处理文档，但从我读到的关于CouchDB的内容来看，我想知道它是设计用于处理多个小文件还是几个<e
浏览 1提问于2013-03-19得票数 3
回答已采纳
我正在整理一个概念证明，在分布式环境中，我希望使用PyCuda来处理字符数据的大文件(每个任务在一个文件中~8GB)- AWS是具体的。我知道HDFS将分割数据文件并将其分发给工作人员，但我正在尽量保持环境的简单性，如果不必安装Hadoop，我宁愿不必安装Hadoop。鉴于上述段落和Dask框架，当前对文件系统的建议是什么？我是继续使用HDFS，还是有更好/更简单的解决方案？
浏览 2提问于2016-05-16得票数 3
回答已采纳
我已经在我的系统中安装了Hadoop-2.4.0 (14.04)，我希望完全删除它并重新安装它。如果我删除了已配置的文件夹hadoop，是否足以删除我的Ubuntu14.04LTS中的hadoop。
浏览 0提问于2014-05-09得票数 4
回答已采纳
在linux中，即使卷不是满的，文件系统也能满员吗?我们如何在存储空间上区分文件系统和卷？
浏览 0提问于2019-10-11得票数 0
回答已采纳
1回答
这是一个noobie问题3 4 3 7 3 8 5 6
其中每列表示顶点，每行表示边。如何在Hadoop中处理大文件的这种情况？像这样读取意味着将整个内容加载到RAM中？在Hadoop中执行此操作的最佳方法是什么？
浏览 2提问于2014-06-12得票数 0
1回答
我正在使用s3运行EC2集群(s3://文件系统)。在这里，当我运行任何hive查询或对非常大的数据进行操作的hadoop命令时，它会在将临时文件复制到s3之前/之后将它们复制到节点上的本地磁盘上。理想情况下，它应该删除这些文件，但在某些情况下，它不会删除这些文件，从而导致堆积了大量.tmp文件(以GB为单位)。导致了空间问题。在这种情况下，请建议最好的解决方
浏览 0提问于2015-11-24得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
