文章/答案/技术大牛

发布

社区首页 >问答首页 >CDH 5.10 HDFS重平衡？

问CDH 5.10 HDFS重平衡？

提问于 2020-10-30 03:53:19

回答 1关注 0查看 648

目前搭建cdh5.10 ，新增加了5台节点，需要数据重平衡操作，重平衡日志正常,但是移动block块后,旧节点block块未被删除, 导致旧节点数据量还一直在增加,磁盘即将满了，怀疑是需要重新平衡完成后再删除吗.

感谢。

专用宿主机

html5

hadoop

大数据

回答 1

用户2988975

发布于 2020-11-03 07:36:42

您好，请问集群用的是cvm还是cdh?磁盘移动，是怎么移动的？是卸载挂载这样的操作吗？

和开发者交流更多问题细节吧，去写回答

hdfs平衡分布

hadoop

这篇文章是从网上看到的，觉得很好就收藏了，但是最终不知道出处了。 Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点。当HDFS出现不平衡状况的时候，将引发很多问题，比如MR程序无法很好地利用本地计算的优势，机器之间无法达到更好的网络带宽使用率，机器磁盘无法利用等等。可见，保证HDFS中的数据平衡是非常重要的。在Hadoop中，包含一个Balancer程序，通过运行这个程序，可以使得HDFS集群达到一个平衡的状态，使用这个程序的命令如下： sh $HAD

岑玉海

2018/02/28

1.7K0

Hadoop HDFS 数据平衡原理

hadoop 数据迁移大数据编程算法

Hadoop 分布式文件系统（Hadoop Distributed FilSystem），简称 HDFS，被设计成适合运行在通用硬件上的分布式文件系统。它和现有的分布式文件系统有很多的共同点。HDFS 是一个高容错性的文件系统，提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS 是 Apache Hadoop Core 项目一部分。

我脱下短袖

2019/12/23

2.8K0

如何在CDH实现HDFS透明加密

其他

在前面文章Fayson介绍过《什么是HDFS透明加密》，要实现HDFS的透明加密，首先你需要一个KMS，KMS可以用CDH自带的Java KeyStore KMS也可以使用企业版工具Navigator。这里我们首先演示基础的Java KeyStore KMS，Fayson会在后面的文章介绍Navigator KMS以及Key Trustee Server。Java KeyStore KMS保存秘钥文件到本地，提供简单的密码保护。Cloudera不建议生产系统使用Java KeyStore KMS。

Fayson

2018/03/29

2K0

Kafka重平衡机制

kafka apache

张乘辉

2019/09/30

1.3K0

pmq学习七-重平衡

db key map queue ui

可以看到在pmq-ui中启动时会执行启动ComsumerGroupRb服务，同时还会启动MessageLagNotify服务以及Queue队列服务。消费组重平衡服务、db节点服务、消息清理服务、消息告警通知服务、清理无用服务、队列服务等

路行的亚洲

2021/02/03

4610

CENTOS7.2安装CDH5.10和Kudu1.2(一)

数据库

本文档描述CENTOS7.2操作系统部署CDH企业版的过程。Cloudera企业级数据中心的安装主要分为4个步骤：

Fayson

2018/03/29

1.2K0

CENTOS7.2安装CDH5.10和Kudu1.2(二)

其他

CDH从5.10开始，打包集成Kudu1.2，并且Cloudera正式提供支持。这个版本开始Kudu的安装较之前要简单很多，省去了Impala_Kudu，安装完Kudu，Impala即可直接操作Kudu。

Fayson

2018/03/29

1.4K0

如何在CDH集群使用HDFS快照

其他

HDFS中可以对目录创建Snapshot，创建之后不管后续目录发生什么变化，都可以通过快照找回原来的文件和目录结构，那么在CDH集群中如何使用HDFS的快照功能呢？本文章主要讲述如何在CDH中使用HDFS的快照功能，包括全量快照和增量快照和恢复。

Fayson

2018/03/29

1.4K0

RocketMQ的负载均衡-重平衡

批量计算

在RocketMQ中要实现重平衡Rebalance，此时会ConsumerManager中会调用consumerIdsChangeListener的handle方法，来执行通知调用操作handle,改变、注册、不注册,而改变的时候，会通知消费者ids改变，此时的reqeustCode会放入：NOTIFY_CONSUMER_IDS_CHANGED

路行的亚洲

2021/04/28

1.3K0

kettle连接cdh——读取hdfs中的数据

hadoop xml node.js html5 https

目前pentaho——kettle已经到了8.1的版本了，本文主要介绍如何利用kettle进行大数据处理。

Java架构师必看

2021/05/14

1.8K0

Kafka 重平衡全流程解析

kafka

本文来自极客时间 Kafka核心技术与实战这段时间有看极客时间的这个课程, 这里仅以分享的角度来做个笔记。那么本文将涉及到以下几个知识点：

solve

2019/10/30

3.7K0

CDH Disk Balancer 磁盘数据均衡

hadoop json http

由于数据量过多，磁盘大小太小，导致磁盘使用率高达90%以上，于是新增磁盘，可问题来了，如何将这两块磁盘上的数据进行均衡呢？ hadoop在2.X中已经有相应的方法了(具体哪个版本忘了)，本次基于CDH来做

shengjk1

2018/10/24

3.1K0

CDH6——HDFS 开关纠删码策略

node.js 大数据

大概意思是说：HDFS 使用的 RS-6-3-1024k 编码纠删码策略至少需要9个DataNodes，当前只安装了1个，所以再增加8个DataNodes节点即可解决该问题。

bboy枫亭

2021/12/07

8230

kafka消费组及重平衡的影响

kafka

消费组应该算是kafka中一个比较有特色的设计模式了，而他的重平衡机制也是我们在实际生产使用中，无法避免的一个问题。

一条老狗

2020/06/16

4K0

每日学术速递5.10

工作模型数据性能优化

作者：George Stoica, Daniel Bolya, Jakob Bjorner, Taylor Hearn, Judy Hoffman

AiCharm

2023/05/16

2650

0678-6.2.0-如何在CDH中使用HDFS分层存储

大数据存储专用宿主机

在前面的文章中，Fayson介绍过什么是HDFS分层存储，参考《6.2.0-什么是HDFS分层存储》。这个功能很早CDH就支持了，本文基于CDH6.2实际演示如何在CDH中使用HDFS分层存储。

Fayson

2019/07/30

1.5K0

如何在Azkaban中安装HDFS插件以及与CDH集成

其他

前面Fayson介绍了《如何编译安装Azkaban服务》和《如何编译Azkaban插件》，本篇文章主要介绍如何在Azkaban中安装HDFS插件以及与CDH集群集成。

Fayson

2018/03/30

3.8K0

CDP Base使用RM同步数据

大数据 hive 专用宿主机 kerberos 数据库

Cloudera Replication Manager（以下简称为 RM,旧版本的CM中简称为BDR）为数据迁移提供了一个集成式的易用管理解决方案，通过界面化的方式可以非常便捷的定义不同集群之间的数据复制操作，本文主要介绍如何配置及使用RM进行HDFS和Hive 复制

大数据杂货铺

2022/03/29

1.1K0

每日一练5.10

函数基础

基本知识多元函数的基本理论：1.连续有界的函数的最值定理，有界定理，介值定理2. 连续，可导，以及可微的关系

用户9628320

2022/11/22

3290

不平衡之钥: 重加权法知几何

distribution object

在《不平衡问题: 深度神经网络训练之殇》一文中，笔者已对缓解不平衡问题的方法进行梳理。限于篇幅原因，介绍比较笼统。在《不平衡之钥: 重采样法何其多》一文中，梳理了缓解不平衡问题的各种重采样方法。

枫桦

2022/08/02

9650

相似问题

CDH的kerberos启动后,hdfs的datanode就无法找到namenode？

11.2K

CDH集群HDFS 启用kerberos后，创建的非默认用户组的归属？

0458

CDH6.2 Kerberos安装完毕，hdfs的LOGs页面打不开，要怎么解决呢？

1811

flink1.11安装在cdh中？

0368

zeppelin关于cdh集群的权限管理怎么设置？

1569

问CDH 5.10 HDFS重平衡？

回答 1

用户2988975

CDH的kerberos启动后,hdfs的datanode就无法找到namenode？

CDH集群HDFS 启用kerberos后，创建的非默认用户组的归属？

CDH6.2 Kerberos安装完毕，hdfs的LOGs页面打不开，要怎么解决呢？

flink1.11安装在cdh中？

zeppelin关于cdh集群的权限管理怎么设置？

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐