1回答
我正在使用当前版本的Hadoop，并运行一些TestDFSIO基准测试(V1.8)来比较默认文件系统为HDFS和默认文件系统为S3桶(通过S3a使用)的情况。当以默认文件系统读取10 0 x1MB文件为S3a时，我观察到slower中的最大容器数量少于默认情况下的HDFS，而S3a大约是的4倍。当以默认文件系统读取 10 0 0 x10 KB文件为S3a时，我观察到slower中的最大容器数量至少比HDFS<
浏览 1提问于2016-03-01得票数 7
回答已采纳
1回答
我是this.Would新手，想知道hadoop分布式文件系统和网络文件系统的基本区别，以及hdfs相对于nfs有什么好处？
浏览 2提问于2014-09-08得票数 17
回答已采纳
1回答
HDFS或HBase中是否存在最大存储空间配置？我发现
对于HBase，我发现了一些堆大小配置和压缩间隔，Memstore刷新大小，但这些配置似乎都不能调节单个节点的最大大小。对HBase或HDFS是否有任何配置来调节它们在单个节点中将占用多少空间？
(我正在一台机器上运行测试)
浏览 1提问于2021-08-24得票数 1
回答已采纳
我已经实例化了一个Hadoop2.4.1集群，并且我发现，根据输入数据所在的文件系统的类型，运行MapReduce应用程序的并行化方式会有所不同。使用HDFS，MapReduce作业将产生足够的容器，以最大限度地利用所有可用内存。例如，一个具有172 2GB内存的3节点集群，每个map任务分配2 2GB，将创建大约86个应用程序容器。在一个不是HDFS的文件系统上(比如NFS或者在我的用例中，是一个并行文件系统)，一个MapReduce作业将只分配可用任务的一个子集(例如，使用相同的3节
浏览 0提问于2014-08-13得票数 7
但是，为什么"hadoop fs“命令显示hdfs files，而"hdfs dfs”命令显示本地文件？
浏览 138提问于2013-08-09得票数 118
回答已采纳
但我只是好奇-如果我使用FUSE绑定作为卷来挂载HDFS，并使用存储在这个HDFS卷上的集群启动PostgreSQL，并开始写入大量数据和/或进行高强度读取，会发生什么情况？
浏览 4提问于2020-12-29得票数 3
通过查看互联网上的文档，我得到了这样的印象: HDFS的想法是将其保存在RAM中，以加快速度。现在我们的架构师说HDFS的主要思想是可伸缩性。我没意见。但他也声称，主要的想法是把它放在硬盘上。HDFS基本上是一个可伸缩的硬盘。我的观点是，硬盘支持HDFS是一种选择。但是，主要的想法是将其保存在RAM中。现在谁来了？我现在真的很困惑，我想说，这一点对于理解Hadoop是至关重要的。
浏览 2提问于2013-08-01得票数 1
回答已采纳
1回答
我在使用HBase和HDFS时遇到了问题，因为我知道HBase运行在HDFS之上，因此我认为它使用HDFS来存储数据。问题是HDFS接近其最大空间利用率，并且它和HBase不断崩溃。以下是HDFS选项卡中的监控工具Ambari的图片： ? 在相当长的一段时间内，我甚至不能运行正常的HBase外壳命令，比如list和scan，所以我甚至不能尝试从表中删除一些数据。但是，当我设法重新启动在单个节点上运行的HBase时，我截断了使用该最大空间量的表，并且当我通过du (磁
浏览 59提问于2021-08-23得票数 0
回答已采纳
如标题所示，我很困惑何时使用以“hdfs”和“hadoop”开头的命令
FYI，我是使用Cloudera4.6快速启动vm的hadoop新手。
浏览 6提问于2014-06-24得票数 3
回答已采纳
5回答
我的Hadoop HDFS中有一个.jar文件(包含一个我想要修改的Java项目)，我想在Eclipse中打开它。当我输入hdfs dfs -ls /user/...时，我可以看到.jar文件就在那里-但是，当我打开Eclipse并尝试导入它时，似乎到处都找不到它。我确实在我的文件系统中看到一个hadoop/hdfs文件夹，它将我带到两个文件夹；namenode和namesecondary这两个文件夹都没
浏览 0提问于2016-03-30得票数 6
我试图理解HDFS文件系统块大小与底层物理文件系统块大小之间的关系。我的问题：
Q1)当HDFS块被写入实际的文件系统时，它是否写入底层文件系统的多个块？也就是说，对于单个HDFS块，它必
浏览 3提问于2017-04-01得票数 4
回答已采纳
通过Java访问HDFS文件系统有哪些优点和缺点？通过Java运行时调用HDFS命令？Process p = r.exe
浏览 3提问于2021-10-31得票数 0
回答已采纳
每当我必须执行操作时，我必须将文件从VM文件系统传输到HDFS，在我看来，将所有文件从本机文件系统(在我的示例中为VM本机文件系统)复制到HDFS会产生一定的开销。hdfs dfs -put <FILE_IN_VM_FS> <FILE_IN_HDFS>
HDFS在工业环境中是否作为本机文件系统运行，或者以上提到的方法是这样做的事实。
浏览 2提问于2015-09-18得票数 1
2回答
在使用sqoop运行导出命令时，我得到以下错误：“不存在hdfs://quickstart.cloudera:8020/home/cloudera/Test5”.输入路径：我已经检查了路径/home/cloudera/Test5，该文件存在于路径中。从sqoop配置的core-site.xml文件中可以看到hdfs路径的详细信息，当我通过文件浏览器对其进行测试时，只需打开IE并键入hdfs:/&#x
浏览 9提问于2015-10-01得票数 0
我的HDFS会在S3中提供吗？如果是的话，当我学习hive时，我遇到了将数据从HDFS移动到S3的情况，这是一个归档逻辑。hadoop distcp /data/log_messages/2011/12/02 s3n://ourbucket/logs/2011/12/02
我的HDFS已经登陆到S3上了，那么它有什么好处呢
浏览 4提问于2015-05-08得票数 0
回答已采纳
HDFS是Hadoop中的一个逻辑文件系统，其块大小为64 of。HDFS上的文件保存在底层OS文件系统上，比如以4KiB作为块大小的ext4。据我所知，对于本地文件系统上的文件，OS使用4 4KiB块物理硬盘的起始和结束圆柱进行检索。HDFS文件也保存在ext4底层文件系统上。HDFS文件也将在4 4KiB块的帮助下检索，只用于启动和结束柱面。
如果是这样的话，这不会提高数据检索
浏览 3提问于2014-09-18得票数 5
回答已采纳
的任务是在我的本地pc上创建一个简单的文本文件，并将其移动到HDFS，显示文件的内容-所有这些都使用HDFS命令。我已经使用如下命令创建了一个目录：文件夹已创建，但我无法找到它的确切创建位置。我使用了两者，搜索工具，并手动搜索所有存在的文件夹。但是这个目录确实存在，因为当我再次使用相同的命令时，它显示“文件存在”。谁来帮我找条路。
浏览 1提问于2015-03-08得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
