我需要编辑hadoop的日志目录(包含application_*文件)。目前，它们位于：/home/hadoop/hadoop-3.2.0/logs/userlogs/
浏览 52提问于2019-05-23得票数 0
当namenode启动时，它从映像文件fsimage中读取HDFS状态，然后应用编辑日志文件中的编辑。
如果我没记错的话，Name节点是在我们写start-all.sh时启动的。因此，在这个启动时间，我认为它读取图像，编辑日志，并合并它们。但是它实际上是从哪个文件夹或哪个位置读取这两个内容呢？
浏览 1提问于2014-03-26得票数 7
我知道fsimage在启动时被加载到内存中，并且出于性能原因，任何进一步的事务都被添加到编辑日志中，而不是添加到fsimage中。
当namenode重启时，内存中的图像会被刷新。但我不能理解的一点是，假设一个文件已经存在，关于这个文件的信息在内存的fsimage中。现在，我将此文件移动到另一个位置，该位置将在编辑日志中更新。现在，当我尝试列出旧
浏览 2提问于2014-06-18得票数 5
1回答
HDFS中所用术语的清晰度？
、、、、
在熟悉HDFS的同时，我遇到了几个术语。很少有这样的术语：namespace，metadata，transaction logs，fsimage，editlogs。有时候，所有这些术语似乎都描述了同样的事情，即“有一些信息”，但我对此不太清楚。一般来说，metadata是指有关数据的数据，所以metadata会引用所有这些术语还是所有这些术语在Hadoop的上下文中都有不同的用途？
浏览 1提问于2017-04-14得票数 1
回答已采纳
名称节点驻留在RAM中还是硬盘中-Hadoop1.2.1？
名称节点守护进程被放置在RAM或辅助内存中。有谁能帮我了解一下吗？
浏览 4提问于2015-08-25得票数 0
回答已采纳
我正在编写代码来创建一个临时Hadoop集群。与大多数Hadoop集群不同，我需要日志、HDFS文件等的位置，以便在每次启动集群时都位于特定的临时网络位置。这个网络目录将在运行时生成；在我签入shell脚本(如hadoop-env.sh )和core-default.xml文件时，我不知道目录名。在签入时，：我可以修改hadoop-env.sh之类的shell脚本和core-def
浏览 4提问于2014-03-11得票数 6
回答已采纳
我开始使用hadoop，并且第一次阅读了很多教程来理解启动它的所有步骤。我正在运行从雅虎教程下载的虚拟机，预装hadoop和java。我的主要问题是:如果启动start-all.sh脚本(在hadoop namenode -format之后)，不会出现任何错误，但是当我试图用hadoop fs ls连接到文件系统时，会得到以下错误：3.)当我尝试通过我的“主”电脑连接时(在IP:50070和:50030上)的网络接口
浏览 3提问于2014-07-18得票数 0
回答已采纳
如果我输入http://localhost:50070或http://localhost:9000来查看节点，我的浏览器不会显示任何我认为它无法连接到服务器的内容。我使用以下命令测试了我的hadoop：但也没有起作用，127.0.0.1:9000 failed on connection excepti
浏览 0提问于2012-06-07得票数 11
回答已采纳
我是一个java程序员，学习Hadoop。我看到HDFS中的名称节点将其信息存储在两个文件中，即fsImage & editLog。在启动时，它从磁盘读取这些数据并执行检查点操作。但在许多地方，我也读到了名称节点( Name Node )，它将数据存储在RAM中&这就是为什么apache推荐一台具有高RAM的机器作为名称节点服务器。
请告诉我这件事。它在内存中存储哪些数据&它在哪里存储fsImage和编辑<em
浏览 1提问于2014-04-20得票数 5
回答已采纳
我无法在Amazons中启动Apache的纱线会话。我得到的错误信息是$ cd flink-0.9.0
$ .Diagnostics: File file:/home/hadoop/.flink/application_1439466798234_0008/flink-conf.yaml does not existjava.io.FileNotFoundException: File fil
浏览 4提问于2015-08-13得票数 8
回答已采纳
我想简要介绍一下namenodes和fsimage/edit_logs，以及namenode是如何在hadoop集群中工作的，
NameNode将对文件系统的修改存储为附加到本机文件系统文件(编辑)的日志当NameNode启动时，它从图像文件fsimage读取HDFS状态，然后从编辑日志文件中应用编辑
浏览 7提问于2020-01-31得票数 4
1)在使用Hadoop V2时，是否在生产环境中使用二次NameNode？2)对于Hadoop V2，假设我们在高可用性的主动/被动连接中使用多个NameNodes，并且当编辑日志文件越来越大时，
如何将编辑日志应用于fsimage？如果是这样的话，那么在Namenode启动过程中将巨大的编辑日志应用到Namenode会花费时间吗？(为了解决这个问题，我们在had
浏览 6提问于2015-11-03得票数 2
回答已采纳
3回答
Hadoop2.0JAR文件
、、、、
当我试图在Map/Reduce程序中实例化Configuration对象时，我收到了一个意外的错误。错误如下：
顺便提一句，我找不到这个版本所需的所有JAR文件<
浏览 2提问于2013-12-24得票数 3
回答已采纳
我在我的笔记本电脑单模式下设置了一个hadoop。信息:Ubuntu12.10，JDK1.7oracle，从.deb文件安装hadoop。位置: /etc/hadoop /usr/share/hadoop <
浏览 0提问于2012-11-02得票数 0
我运行的是Hortonworks的的基本示例。应用程序失败了，我想要读取日志来找出原因。但是我在存储mapreduce作业日志的预期位置(/HADOOP_INSTALL_FOLDER/logs)找不到任何文件。
有人知道yarn将非mapreduce日志文件存储在哪里吗？我必须在xml文件中配置一个特殊的目录
浏览 3提问于2014-02-07得票数 19
回答已采纳
2回答
我正在运行Cloudera的Hadoop发行版，一切正常，perfectly.The hdfs包含大量的.seq文件。我需要将所有.seq文件的内容合并到一个大的.seq file.However中，getmerge命令对我没有任何作用。然后，我使用cat并通过管道将一些.seq文件的数据传输到本地file.When中。我想将此文件“放入”hdfs中，它会显示nothing.No错误消息，但没有创建文件</e
浏览 1提问于2011-03-14得票数 0
1回答
我有一个hadoop作业，它运行在由300个节点组成的集群中，对于我的作业，我有一个特定的队列来执行作业。作业在生产过程中运行良好，但是它在userlog文件夹下为特定的应用程序id生成了太多的日志，我执行了hadoop命令，并获得了290 GB大小的文件。我可以在syslog中看到太多hadoop日志记录。我对此有一些疑问，如果有人能指导我的话，对我会有很大<e
浏览 5提问于2016-08-25得票数 1
回答已采纳
1回答
有人能解释一下从课本上摘取的黑体字到底是什么意思吗？“次级namenode的状态滞后于主节点的状态”意味着什么？
辅助名称节点保存合并命名空间映像的副本，该副本可在namenode失败时使用。**但是，二级namenode的状态落后于主节点的状态，因此，如果主节点完全失败，数据丢失几乎是肯定的。**在这种情况下，通常的操作是将NFS上的namenode元数据文件复制到次要节点，并将其作为新的主节点运
浏览 3提问于2015-07-18得票数 2
回答已采纳
dfs.name.dir属性主要用于将namenode的文件存储到备份的特定位置，fs.checkpoint.dir属性是文件合并的位置。这对我来说有点迷惑。有没有人能详细解释一下。
浏览 2提问于2015-08-31得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
