2回答
我在hdfs上有4个文件。映射器数=输入分叉数。我的问题是，所有这些文件是存储在一个64 MB的块还是4个不同的块？因为每个文件的数据小于64 is。
2.txt这是文本文件24.“空”
浏览 4提问于2015-09-09得票数 0
在一个需要我优化HDFS小文件支持的项目中，我感到困惑。其步骤如下：
hdfs fs -put ~/local/smallfile /usr/smallfile。但是如果我的项目正常，小文件应该存储</em
浏览 0提问于2015-05-31得票数 0
4回答
当我将许多小文件存储到HDFS中时，它们是否会存储在单个数据块中？
在我看来，根据下面的讨论，这些小文件应该存储到单个块中：
浏览 0提问于2014-01-22得票数 4
2回答
假设您正在HDFS上存储一个映像。该映像足够大，在HDFS上被分成四个独立的较小文件。当您执行返回该图像的操作时，Hadoop是否会返回这4个可以组合成原始图像的小文件？或者Hadoop会自动将这4个小文件重新组合成原始文件吗？
谢谢!
浏览 2提问于2012-07-10得票数 0
回答已采纳
文件从本地dir移动到HDFS路径(hdfs://messageDir/..)使用批处理和每批处理，我可以看到几千个.txt文件，它们的总大小约为100 is。几乎所有的文件都小于1MB。我可以知道HDFS如何存储这些文件并执行拆分吗？因为每个文件都小于1MB(小于64/128 MB的HDFS块大小)，所以我认为不会发生任何分裂，但是文件将被复制并存储在3个不同的数据节点中。当我使用Spark读取HDFS目录中的所有文件时(<em
浏览 2提问于2018-10-21得票数 0
回答已采纳
我想知道，是否有可能将一个小文件保存在一个特定的dataNode(而不是paralleized)中？
浏览 3提问于2017-11-27得票数 0
回答已采纳
3回答
我将有多个大小约为10 or的小文本文件，弄不清楚这些文件在HBase或HDFS中的存储位置。什么是优化的存储？因为要存储在HBase中，我需要先解析它，然后根据某个行键保存它。在HDFS中，我可以直接创建一个路径并将该文件保存在该位置。但是直到现在，不管我读到了什么，它都说你不应该有多个小文件，而应该创建更少的大文件。但是我不能合并这些文件，所以我不能用小文件创建大文件。
浏览 6提问于2016-06-23得票数 0
回答已采纳
我的桌面上有一个文件夹，里面有3,000+小.txt文件。我如何才能将包含所有.txt文件的文件夹放到Hadoop中，而不是分别上传每个文件？ 我正在使用带有Hadoop 3.1.2的Ubuntu操作系统
浏览 17提问于2020-11-17得票数 0
我有很多(高达数十万)的小文件，每个文件10-100 Kb.我的HDFS块大小等于128 MB。复制因子等于1。
但是，从HDFS中批量读取10.000个小文件怎么样？是否有任何理由将多个小文件保存在单个块中？我只有一个用于小文件
浏览 2提问于2017-05-08得票数 4
回答已采纳
我读过很多存储在HDFS中的小文件可能是一个问题，因为很多小文件意味着很多对象Hadoop NameNode内存。但是，由于每个块都作为一个对象存储在指定的节点中，那么对于一个大文件来说，它有什么不同呢？无论您是将单个文件中的1000个块存储在内存中，还是将1000个块存储在1000个文件中，使用的NameNode内存量是否相同？
地图作业的类似问题。既然它们是在块上操作，那么块是小文件还是大文件又有什么关系呢？
浏览 0提问于2017-10-21得票数 1
回答已采纳
1回答
如果我上传文件到hdfs，那么name节点保存了三个重要的元信息，如文件名、块总数和文件大小，每个信息包含150个字节，变成450个字节。如果我们上传了大量相同数据的文件，那么必须增加名称节点内存。
浏览 0提问于2014-08-03得票数 0
回答已采纳
2回答
使用Hadoop，我想为每个图像创建一个金字塔的瓦片(深度缩放格式)，并将它们存储在HDFS上。理想情况下，我希望实现每个节点只处理图像的一部分。
实现这一目标的最佳方法是什么？在HDFS上存储小文件会有很大的开销吗？
浏览 0提问于2012-07-09得票数 0
4回答
我有一个Spark流应用程序，它将其输出写入HDFS。
我可以采取什么预防措施和策略来确保这个过程不会产生太多的小文件，并在HDFS Namenode中造成内存压力。Apache是否提供任何预先构建的解决方案以避免HDFS中的小文件。
浏览 0提问于2018-06-05得票数 2
回答已采纳
1回答
我有大量的小文件要存储在HDFS中。根据文件名，我希望将它们存储在不同的数据节点中。通过这种方式，我可以实现文件名，从特定的字母开始进入特定的数据节点。怎么在Hadoop做这件事？
浏览 0提问于2013-09-16得票数 0
回答已采纳
4回答
我知道HDFS在数据节点中使用常规的linux文件系统存储数据。我的HDFS块大小是128 MB。假设我的hadoop群集中有10 GB磁盘空间，这意味着，HDFS最初有80 blocks作为可用存储。
如果我创建一个比方说12.8 MB的小文件，#available HDFS块将变为79。在前一种情况下，HDFS基本上在每次块分配后根据可用磁盘空间重新计算#可用块，因此，只有在超过128MB的磁盘空间被消耗后，#可用块才会变为78。请澄清。
浏览 0提问于2013-02-25得票数 16
回答已采纳
2回答
在给定的HDFS位置上，我有多个parquet格式的小文件(对于给定的月份，计数是递增的，因为我们在给定的月份内每天接收两个或更多的文件)。当我尝试从SPARK 2.1中的HDFS位置读取文件时，读取这些文件所用的时间会更长，并且随着更多小文件被添加到给定位置，读取这些文件所需的时间也会增加。因为文件很小，所以我不想在HDFS中进一步分区。
通过在HDFS上创建目录来创建分区，然后将文件放置在这些目录中。文件格式为拼花。是否有其他格式或过程可以一次读取所有小文件，以便我
浏览 1提问于2018-01-05得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
