前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >探索Cloudera Manager管理软件调优(1)

探索Cloudera Manager管理软件调优(1)

原创
作者头像
Bob hadoop
修改于 2021-04-02 09:29:42
修改于 2021-04-02 09:29:42
4710
举报
文章被收录于专栏:日常杂记日常杂记

已经不是第一次使用这玩意达到瓶颈了,线上集群使用的是5.13版本,目前管理差不多1000台左右,时不时的会出现如下的症状。

server monitor时不时的就超时。

我说一下我的解决方案,每个人可能遇到的情况不同。

1、排查了下服务状态是不是有问题。

2、因为我有api接口采集的监控,所以我怕是采集频率过高了,就停掉了我的监控,然后发现还是这样子。

3、查看了角色,发现主机上边运行了datanode和nodemanager,暂时没动这俩程序。

4、调整了一下服务内存,发现频率变低了。

5、我又调整了下采集频率,没啥变化。

6、我尝试着停止了nodemanager和datanode,卧槽。。。。完全恢复了。。。。

后来才发现的确是node manager吃内存吃的,所以这个节点我只保留了datanode,虽然不是最优的,但是起码现在不耽误使用了。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
大数据集群基本调优总结02
同样和上一篇一样,打开Cloudera manager管理软件,yarn页面,点击配置。
Bob hadoop
2021/04/25
1.2K0
HDFS在B站的探索和实践
上周我们介绍了大数据调度YARN在B站的落地实践(←点击回顾前文),本周哔哩哔哩技术给大家带来的是HDFS在B站的应用与展望。
从大数据到人工智能
2022/06/12
1.2K0
HDFS在B站的探索和实践
2021 年终总结|纵使前方不易,独善其身,继续前行。。。
感觉自己的 2021 年,更多的时间是在求职中度过的,不怕各位大佬笑话,附上今年的“呕心沥血”,实际是菜逼遭受“毒打”的历程。
贺biubiu
2021/12/12
1850
笔者带你剖析大规模分布式Java平台JVM性能调优基础
其实说到对JVM进行性能调优早已是一个老生常谈的话题,如果你所在的技术团队还暂时达不到淘宝团队那样的高度,无法满足在OpenJDK的基础之上根据自身业务进行针对性的二次开发和定制调优,那么对于你来说,唯一的选择就是尽可能的熟悉JVM的内存布局,以及熟练掌握与GC相关的那些选项配置,否则JVM的基础性能调优不是痴人说梦?
九州暮云
2019/08/21
4160
笔者带你剖析大规模分布式Java平台JVM性能调优基础
【每周小结】2023-Week5
Go官方最近开放了一个问卷,里面收集了用户的相关意见。整个问卷是全英文的,全部填完需要15min左右,有很多是收集用户背景与满意度的常规问题。
junedayday
2023/02/18
2820
【每周小结】2023-Week5
大数据之Hadoop企业级生产调优手册(下)
注:演示纠删码和异构存储需要一共 5台虚拟机。尽量拿另外一套集群。提前准备 5台服务器的集群。
王知无-import_bigdata
2021/10/13
6530
paragon partition manager 磁盘管理软件推荐
其实手边常用的高级磁盘管理类工具有三款,分别是paragon,easeus和acronis家的产品。虽然大体上的功能都差不多,但是在经历一次意外事件之后还是决定使用paragon的产品。虽然对于日常使用而言,大多数的操作使用windows内建的磁盘管理即可,但如遇到无损合并、空间重调等问题时,还是需要第三方软件出马。
reizhi
2022/09/26
1.7K0
paragon partition manager 磁盘管理软件推荐
Hadoop集群搭建Linux环境准备基础配置安装HadoopHA集群安装HIVE安装MySQL安装HBASE安装Flume问题总结
本文主要讲解了Hadoop集群环境的搭建过程,实际应用中应该不会这样做,而是通过一些管理工具进行安装,比如可视化安装:Ambari。
spilledyear
2018/10/09
2.8K0
Hadoop集群搭建Linux环境准备基础配置安装HadoopHA集群安装HIVE安装MySQL安装HBASE安装Flume问题总结
探索GreatADM:如何快速定义监控
在数据库运维过程中,用户或者DBA经常会因为管理平台监控面板无法配置,或者监控模板固化,监控模板中没有所关注的指标项,而不得已弃用部分管理平台,进而自建监控或者基于自身业务自定义一批运维监控脚本,来实现数据库或者主机的多样化监控需求。
GreatSQL社区
2023/09/11
3110
探索GreatADM:如何快速定义监控
数据安全与隐私保护:企业上网行为管理软件中的深度探索
当我们谈论企业上网行为管理软件时,深度探索行为分析算法就像是这个软件的超级英雄,它们拥有各种神奇的能力,让企业的网络更加安全、高效,并且符合法规。让我们来看看分析算法在上网行为管理软件这个领域中扮演的关键角色:
啵啵鳐
2023/09/08
2250
如何进行日志管理?有好用的日志管理软件吗?
近年来,IT系统逐渐呈现海量化和异构化的趋势,企业每天可能会产生上百GB甚至TB级的日志数据,如何实现日志数据的集中化接入,以及保障日志管理的持续拓展性,成为企业日志管理的一大难点。
嘉为蓝鲸
2022/08/14
1K0
如何进行日志管理?有好用的日志管理软件吗?
一文了解大数据生态体系-Hadoop
大数据(big data):指无法在一定时间范围内用常规软件工具进行捕捉、管理 和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程 优化能力的海量、高增长率和多样化的信息资产。
架构狂人
2023/08/16
8930
一文了解大数据生态体系-Hadoop
转:探索分词算法在上网行为管理软件中的应用研究
分词算法在上网行为管理软件中的应用研究是非常有意思的,这种上网行为管理软件一般用来监控、过滤和控制用户在网络上的活动,保障网络安全,提高工作效率,还得守法遵规。而分词算法在这类软件里可是起着至关重要的作用,以下是一些分词算法在上网行为管理软件中可能的研究方向:
啵啵鳐
2023/08/01
1710
转:FFT算法在局域网管理软件中的应用与实现
当谈及FFT(快速傅里叶变换)时,我们实际上在探讨一种神奇的数学算法,它能够将信号从一种时间上的视角变幻到一种频率上的视角。这个算法在数字信号处理、图像处理和通信等多个领域都展现了其神奇的用途。然而,要在局域网管理软件中直接拿来使用FFT,似乎有些少见,这是因为FFT主要在信号处理和数学计算的范畴扬威,与网络管理貌似关系并不直接。
啵啵鳐
2023/08/15
1680
最新Hadoop的面试题总结
  1)Zookeeper:是一个开源的分布式应用程序协调服务,基于zookeeper可以实现同步服务,配置维护,命名服务。   2)Flume:一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。   3)Hbase:是一个分布式的、面向列的开源数据库, 利用Hadoop HDFS作为其存储系统。   4)Hive:基于Hadoop的一个数据仓库工具,可以将结构化的数据档映射为一张数据库表,并提供简单的sql 查询功能,可以将sql语句转换为MapReduce任务进行运行。   5)Sqoop:将一个关系型数据库中的数据导进到Hadoop的 HDFS中,也可以将HDFS的数据导进到关系型数据库中。
大数据老哥
2021/03/05
6.1K0
基于机器学习的Web管理后台识别方法探索
长期以来,Web管理后台一直是攻击者觊觎的目标。部分信息安全意识薄弱的业务在未作任何安全加固(设置IP白名单、强口令、二次认证、验证码、请求频率审计等)的情况下直接将Web管理后台暴露到互联网,而管理后台由于本身的管理和敏感属性,外部一旦攻击成功,则极大可能造成数据泄露和服务器被入侵。
腾讯安全应急响应中心
2021/01/15
7490
基于机器学习的Web管理后台识别方法探索
脑机接口先驱米格尔·尼科莱利斯(Miguel Nicoleis)在2020腾讯WE大会演讲(全文版)
大家好 ,我是米格尔·尼科莱利斯,美国杜克大学神经生物学、神经学和生物医学工程教授。今天我将为大家介绍脑机接口和这一技术从基础科学到应用于神经康复的研究历程。
脑机接口社区
2020/11/11
8280
脑机接口先驱米格尔·尼科莱利斯(Miguel Nicoleis)在2020腾讯WE大会演讲(全文版)
腾讯云大数据 TBDS 在私有化场景万节点集群的实践
作者 | 杨鹏程 策划 | 凌敏 4 月 15 日 -16 日,由 InfoQ 主办的 DIVE 全球基础软件创新大会 通过云上展厅的形式成功召开。在 腾讯云基础软件创新实践专场,来自腾讯云的 TBDS 大数据引擎研发负责人杨鹏程带来了主题为《腾讯云⼤数据 TBDS 在私有化场景万节点集群的实践》的演讲,以下为主要内容。 本次分享主要分为三个部分展开:第一部分是 Hadoop 体系下存算⼀体存在的问题;第二部分是 TBDS 存算分离架构和三层优化;第三部分是云原⽣环境下计算引擎优化和最佳实践,最后是对本次分
深度学习与Python
2023/03/29
1.1K0
腾讯云大数据 TBDS 在私有化场景万节点集群的实践
工程项目管理软件推荐
信息科技的发展,已将商业社会带入全新的数字经济时代。随着云计算、大数据技术的发展,5G、AI 在各个应用场景的逐步普及,给各行各业都带来了巨大冲击,云技术把互联网变成一个无处不在的信息化平台。在这个疫情之下的特殊时期,许多建筑企业都面临着降本增效的巨大压力,企业只有利用好数字化、智能化技术,才能降低成本、优化管理,提高效率和效益,重构管理体系。今天总结一下选择好用的工程项目管理软件,方便企业或团队在选择的时候,可以做一个参考。
益企工程云
2022/04/26
3.1K0
转:探索模式识别算法在上网行为管理软件中的行为分析和应用实践
在以网络为主的当今社会,工作和生活都离不开互联网。我们可以通过网络获取资源、学习知识,以及进行休闲娱乐等等。对于公司而言,它希望员工能够用有限的时间创造更多的价值,从而为公司带来巨大的收益。因此,公司需要有效地管理员工,这时候需要借助一些工具来加强管理。
啵啵鳐
2023/07/27
2080
推荐阅读
相关推荐
大数据集群基本调优总结02
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档