开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >SecondaryNameNode 工作机制？

问SecondaryNameNode 工作机制？

提问于 2021-10-04 10:19:52

回答 0关注 0查看 139

回答

成为首答用户。去写回答

相关文章

NameNode和SecondaryNameNode工作机制

（1）首次启动需要格式化NameNode，创建Fsimage和Edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。

江帅帅

2020/07/28

5880

secondarynameNode工作原理

未使用secondarynameNode时，NameNode工作中会产生fsimage 和edtes,edits日志过大，直接导致集群二次开机恢复原本状态过慢，引起开机时间过长。

云缓缓知我意

2021/04/15

5600

secondarynameNode工作原理

HDFS中SecondaryNamenode工作原理(7)

node.js 大数据 http

我们在刚开始学习HDFS的时候,知道HDFS主要由管理者NameNode和DataNode组成。其中还有一个SecondaryNameNode在HDFS中扮演着辅助的作用,负责辅助NameNode管理

大数据梦想家

2021/01/22

6900

HDFS中SecondaryNamenode工作原理(7)

SpringBoot工作机制

spring boot java

SpringBoot工作机制（原创内容，转载请注明来源，谢谢）一、概述 Spring Boot是对于Spring框架“约定优于配置”理念的实践产物。一个最简单的Spring Boot的启动类如下（）： import org.springframework.boot.SpringApplication; import org.springframework.boot.autoconfigure.SpringBootApplication; @SpringBootApplication public cl

用户1327360

2018/03/07

8430

Kafka 工作机制

zookeeper kafka https 网络安全存储

Kafka 是 Apache 的子项目，是一个高性能跨语言的分布式发布/订阅消息队列系统（没有严格实现 JMS 规范的点对点模型，但可以实现其效果），在企业开发中有广泛的应用。高性能是其最大优势，劣势是消息的可靠性（丢失或重复），这个劣势是为了换取高性能，开发者可以以稍降低性能，来换取消息的可靠性。

IT技术小咖

2019/06/26

1.3K0

ClassLoader工作机制

jvm tcp/ip java php

classLoader顾名思义就是类加载器。负责将类加载到JVM中，它就好比开会时门口的接待员，负责给进入会场的嘉宾发放入证明，入会的嘉宾分为VIP会员，黄金会员，白金会员，和普通会员等。都赢的接待室也会分为VIP会员接待室，黄金会员接待室，白金会员接待室和普通会员接待室，不同等级的会员会被分到不同的接待室接待，所有的会员都想进入会场得有入会证明才行，一旦会员进入会场就会根据接待室的等级表示它们，也就是会员的身份由接待室决定。如果你是一位大佬但是你不是VIP接待室接待的，那么对不起，你仍然不是VIP会员。当然对你是不是VIP会有会有严格的审查规定，如果你是也不会冤枉你，但是如果你想还能进来那就另当别论了。事实上，ClassLoader除了能将Class加载到JVM中之外，还有一个重要的作用就是审查每个类应该由谁加载，它是一种父优先的等级加载机制。ClassLoader除了上述两个作用外还有一个任务就是将Class字节码重新解析成JVM统一要求的对象格式。所以，

MickyInvQ

2020/09/27

4460

ClassLoader工作机制

HDFS DN工作机制

HDFS（Hadoop Distributed File System）是一种分布式文件系统，可以存储和处理大规模数据集。在HDFS中，DN（DataNode）是一个工作节点，负责存储和管理数据块。

堕落飞鸟

2023/05/12

3910

kubeadm工作机制分析

更多关于kubernetes的深入文章，请看我csdn或者oschina的博客主页。介绍 kubeadm一共提供了5个子命令： kubeadm init kubeadm join kubeadm token kubeadm reset kubeadm version 这个可以在k8s v1.5.0 代码中cmd/kubeadm/app/cmd/cmd.go:29看到： func NewKubeadmCommand(f cmdutil.Factory, in io.Reader, out, err io.W

Walton

2018/04/13

1.5K0

ClassLoader的工作机制

java jvm bootstrap

本文中主要介绍类加载器的工作机制一：首先什么是类加载器？　　类加载器就是用来加载java类到java虚拟机中。java源程序经过编译之后形成字节码文件，类加载器将字节码文件加载到内存中，并转换成java.lang.Class的一个实例对象。　　JVM是基于栈操作的：所有的操作都要经过进栈和出栈操作。基于栈操作的优点：将运行时的优化工作和执行编译时优化的执行引擎相结合，从而起到优化Java字节码的目的。二：　类加载器的作用：将编译后的class字节码文件加载到JVM中。会在加载的过程进行审查每个类有

用户2146856

2018/05/18

8910

快速学习-NameNode和SecondaryNameNode

大数据安全

思考：NameNode中的元数据是存储在哪里的？首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题，一旦NameNode节点断电，就会产生数据丢失。因此，引入Edits文件(只进行追加操作，效率很高)。每当元数据有更新或者添加元数据时，修改内存中的元数据并追加到Edits中。这样，一旦NameNode节点断电，可以通过FsImage和Edits的合并，合成元数据。但是，如果长时间添加数据到Edits中，会导致该文件数据过大，效率降低，而且一旦断电，恢复元数据需要的时间过长。因此，需要定期进行FsImage和Edits的合并，如果这个操作由NameNode节点完成，又会效率过低。因此，引入一个新的节点SecondaryNamenode，专门用于FsImage和Edits的合并。 NN和2NN工作机制，如图3-14所示。

cwl_java

2020/02/19

5480

ClassLoader的工作机制

java jvm bootstrap

本文中主要介绍类加载器的工作机制一：首先什么是类加载器？　　类加载器就是用来加载java类到java虚拟机中。java源程序经过编译之后形成字节码文件，类加载器将字节码文件加载到内存中，并转换成java.lang.Class的一个实例对象。　　JVM是基于栈操作的：所有的操作都要经过进栈和出栈操作。基于栈操作的优点：将运行时的优化工作和执行编译时优化的执行引擎相结合，从而起到优化Java字节码的目的。二：　类加载器的作用：将编译后的class字节码文件加载到JVM中。会在加载的过程进行审查每个类有

用户2146856

2018/06/26

4250

ElasticSearch的工作机制

es Elasticsearch Service api 数据库 sql

ElasticSearch，和Solr一样，是底层基于Apache Lucene，且具备高可靠性的企业级搜索引擎。

星哥玩云

2022/07/03

3290

ElasticSearch的工作机制

Activiti工作流杂谈-工作机制详解

网络安全 spring http html 编程算法

以下内容为博主在公司内部分享的一个小文档，谈到了activiti的各方面内容，有需要的可留言要word原文件

kl博主

2018/04/13

3.7K2

Activiti工作流杂谈-工作机制详解

Istio架构及其工作机制

微服务服务网格负载均衡负载均衡缓存

Istio 服务网格从逻辑上分为数据平面和控制平面,因为Istio是Envoy的控制平面。

Yuou

2022/09/26

1.2K0

详解wordcount(TextInputFormat工作机制)

https 网络安全 javascript api

而百度上大部分教程都是用的hadoop0.x版本的api，容易误导新人，所以在看参考资料时要留意版本，学习合适的部分

平凡的学生族

2019/05/25

1.2K0

MapReduce之MapTask工作机制

MapTask：map----->sort map：Mapper.map()中将输出的key-value写出之前 sort：Mapper.map()中将输出的key-value写出之后

孙晨c

2020/07/21

4400

电子邮件工作机制

相关的几个协议 -SMTP(Simple Mail Transfer Protocol) -POP(Post Office Protocol) -IMAP(在不同智能终端上管理邮件) 早期的电子邮件是

互联网金融打杂

2018/04/03

2.1K0

HDFS工作机制和原理

unix linux node.js 大数据

HDFS是一种分部式的文件系统，在他出现以前就已经存在了很多中分布式文件系统，但是他们都是部署在服务器上，需要高的POSIX接口，同时他们默认服务器是稳定的可以提供大量资源。

Tim在路上

2020/08/04

1.3K0

Java NIO工作机制简介

I/O 以流的方式处理数据，而 NIO 以缓冲区的方式处理数据；IO是阻塞的，NIO是非阻塞的，直到有数据被读取或者数据完全写入时，IO线程才开始执行操作，而NIO在如何情况都是非阻塞的

SmileNicky

2019/01/17

9880

点击加载更多

相似问题

ReduceTask工作机制？

0119

MapTask工作机制？

1202

NameNode与SecondaryNameNode 的区别与联系？

0136

HDFS的存储机制（读写流程）？

1217

cdn 0 缓存是什么机制？

1245

相关问答用户

请输入您想邀请的人