2回答
我使用以下命令在hdfs中创建了一个文件通过使用以下命令，我可以看到创建的文件我在hdfs-site.xml中提到的虚拟存储是否采用datanode位置来<
浏览 1提问于2016-08-19得票数 1
回答已采纳
2回答
我正在尝试合并大量的小文件(200k+)，并想出了以下超级简单的小猪代码：store Filesinto 'hdfs/output/path' using PigStorage();
一旦Pig完成合并，有没有一种方法可以删除输入文件？我想检查文件是否已经写入并且不是空的(即0字节)。我不能简单地删除输入路径中的所有内容，因
浏览 2提问于2016-03-30得票数 0
我读过很多存储在HDFS中的小文件可能是一个问题，因为很多小文件意味着很多对象Hadoop NameNode内存。但是，由于每个块都作为一个对象存储在指定的节点中，那么对于一个大文件来说，它有什么不同呢？无论您是将单个文件中的1000个块存储在内存中，还是将1000个块存储在1000个文件中，使用的NameNode内存量是否相同？
地图作业的类似问题。既然它们是在块上操作，那么块是小文件还是大<em
浏览 0提问于2017-10-21得票数 1
回答已采纳
5回答
正如标题所示，当客户端请求将文件写入hdfs时，HDFS或名称节点如何选择存储文件的datanode？如果文件太大，hdfs会尝试将此文件的所有数据块存储在同一节点中，还是将某个节点存储在同一机架中？hdfs是否为应用程序提供了API，以便按照他的喜好将文件存储在某个datanode中？
浏览 0提问于2012-10-30得票数 9
回答已采纳
2回答
我在hdfs上有4个文件。映射器数=输入分叉数。我的问题是，所有这些文件是存储在一个64 MB的块还是4个不同的块？因为每个文件的数据小于64 is。
2.txt这是文本文件24.“空”
浏览 4提问于2015-09-09得票数 0
1回答
现在，我想将我的数据保存在远程HDFS中。我知道我必须使用函数saveAsText。但是，我并不确切地知道如何指定路径。 frm.saveAsTextFile("hdfs://ip_addr:9000//home/hadoop/datanode/myNewFolder");其中ip_addr是我的hdfs远程服务器的ip地址。myNewFolder是我想
浏览 7提问于2017-01-31得票数 3
回答已采纳
通过查看互联网上的文档，我得到了这样的印象: HDFS的想法是将其保存在RAM中，以加快速度。现在我们的架构师说HDFS的主要思想是可伸缩性。我没意见。但他也声称，主要的想法是把它放在硬盘上。HDFS基本上是一个可伸缩的硬盘。我的观点是，硬盘支持HDFS是一种选择。但是，主要的想法是将其保存在RAM中。现在谁来了？我现在真的很困惑，我想说，这一点对于理解Hadoop是至关重要的。
浏览 2提问于2013-08-01得票数 1
回答已采纳
我搞不懂hdfs的/user空间是在哪里分配的。它在Linux文件系统中不可见。但是在hdfs中有一个名为/user的目录。我猜是因为配置的原因？它是否跨集群中的所有节点创建？
浏览 6提问于2015-02-21得票数 0
我已经创建了一个带有存储桶的表设置hive.enforce.bucketing=true；将数据LOCAL INPATH '/home/jugal/Desktop‘加载到表empl_buck；
现在如何查看存储在文本文件或HDFS中
浏览 1提问于2015-04-16得票数 0
1回答
我读到了关于HDFS的文章，想知道是否有任何特定的格式来安排块中的数据。
我怀疑64 MB块中是否存在存储数据的格式？如果在块中存储数据的格式/结构，则存储的数据应该小于64 MB，因为数据结构/标头等本身可能占用一些空间。因为HDFS数据节点是一个逻
浏览 3提问于2015-01-10得票数 2
回答已采纳
2回答
我开始学习世界计数程序，通过读取存储在HDFS中的文件并对其进行处理。现在，我想在MongoDB中使用Hadoop。从启动程序。现在与我混淆，它将mongodb数据存储在本地文件系统上，并将数据从本地文件系统读取到map/reduce中的HDFS，然后再次将其写入mongodb本地文件系统。当我学习HBase时，我们可以将它配置为将它的数据存储在HDFS上，hadoop可以直接在HDFS(
浏览 5提问于2013-02-14得票数 2
回答已采纳
我一直试图将Hadoop配置为使用hdfs作为关键提供程序。并将以下字段添加到我的kms-site.xml中： <name>hadoop.kms.key.provider.uri</name> </property>
该路由存在于hdfs中，我期望kms为其密钥存储库创建
浏览 3提问于2018-04-23得票数 0
回答已采纳
我在一个hdfs文件schema.avsc中存储了一个单元表模式。我希望创建同一个模式的单元表，并希望从另一个hdfs路径转储数据，其中数据存储在HDFS文件系统中。
1:如何创建表?2:如何将存储在hdfs文件中的数据转储到创建的表中？
浏览 4提问于2017-01-22得票数 3
回答已采纳
1回答
如何在HBase中实现分层存储？
、、、、
我正在尝试获取有关在运行在HDFS上的HBase上分层存储的实现的信息。我从这个上读到了HDFS上的分层存储。我也经历过这个，但是我仍然对实现有疑问。在HDFS上，基于访问频率，我可以将文件从一种存储类型移动到另一种存储类型。但是当HBase在HDFS上存储文件时，我如何知道文件的访问频率，如果我直接在HDFS上移动文件，HBase和HD
浏览 4提问于2016-11-02得票数 0
在位置/home/Jon的位置/home/ Jon，我在用户Jon中创建了一个文件，我希望将该文件放到/user目录下的hduser中。当我使用以下命令放置他的文件时得到这样的错误put:
浏览 6提问于2017-06-04得票数 1
回答已采纳
我已经成功地部署了spark集群，但是对于如何在从服务器上分发我的HDFS数据感到困惑吗？是否需要手动将数据放在从节点上，以及如何指定从客户端提交应用程序时从何处读取数据？我已经搜索了多个论坛，但没有找到如何在没有使用Hadoop的情况下使用HDFS与Spark。
浏览 0提问于2017-12-03得票数 0
回答已采纳
我正在使用flume-ng和它的HDFS接收器。现在，如果我将一些文件添加到给定的文件夹中，它也会自动存储在HDFS中。它工作得很好；但是我注意到HDFS中的文件非常小。因此，如果我将一个1 1GB的文件放到给定的文件夹中，它将由数百个文件存储在HDFS中。我可以使HDFS中的文件更大吗？如何在flume-conf.properties中配置它？
浏览 0提问于2013-08-17得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
