在运维Hadoop的时候，经常会遇到一些性能问题。而性能问题，是无法简单通过web页面和log分析出来的。需要很多方面的指标。而Ganglia就是比较实用个监控工具之一。
yum -y install httpd-devel automake autoconf libtool ncurses-devel libxslt groff pcre-devel pkgconfig pcre 我是直接运行的这个，没有用下面命令那些安装
前言 监控hadoop的框架有不少，如CDH的CM组件和Ambari都可以监控他们自己的hadoop，但是它不能监控apache的hadoop，如果你是使用原生的Apache Hadoop，那么也没关系，原生的Hadoop天生就提供了非常详细的对接Ganglia的jmx接口，里面包含了各个核心组件metrics获取功能，这一点你可以查看hadoop和hbase包括spark的conf下面的metrics文件里面配置，就能得到验证。 （一）Ganglia是什么？ Ganglia 是 UC Berk
修改**/etc/ganglia/gmetad.conf**，将"Example Cluster"修改成你需要的集群名字
Server端： yum install rrdtool ganglia ganglia-gmetad ganglia-gmond ganglia-web httpd php Client端： yum install ganglia-gmond 创建RRD目录 mkdir -p /var/lib/ganglia/rrds chown ganglia:ganglia /var/lib/ganglia/rrds 编辑/etc/ganglia/gmond.conf cluster { name = "DFS" owner = "unspecified" latlong = "unspecified" url = "unspecified" } udp_send_channel { #bind_hostname = yes # Highly recommended, soon to be default. # This option tells gmond to use a source address # that resolves to the machine's hostname. Without # this, the metrics may appear to come from any # interface and the DNS names associated with # those IPs will be used to create the RRDs. mcast_join = master.hadoop.test port = 8649 ttl = 1 }
Ganglia 是 UC Berkeley 发起的一个开源监视项目，设计用于测量数以千计的节点。每台计算机都运行一个收集和发送度量数据（如处理器速度、内存使用量等）的名为 gmond 的守护进程。它将从操作系统和指定主机中收集。接收所有度量数据的主机可以显示这些数据并且可以将这些数据的精简表单传递到层次结构中。正因为有这种层次结构模式，才使得 Ganglia 可以实现良好的扩展。gmond 带来的系统负载非常少，这使得它成为在集群中各台计算机上运行的一段代码，而不会影响用户性能。
[atguigu@hadoop102 flume]$ sudo setenforce 0
Ganglia由gmond、gmetad和gweb三部分组成。 gmond（Ganglia Monitoring Daemon）是一种轻量级服务，安装在每台需要收集指标数据的节点主机上。使用gmond，你可以很容易收集很多系统指标数据，如CPU、内存、磁盘、网络和活跃进程的数据等。 gmetad（Ganglia Meta Daemon）整合所有信息，并将其以RRD格式存储至磁盘的服务。 gweb（Ganglia Web）Ganglia可视化工具，gweb是一种利用浏览器显示gmetad所存储数据的PHP前端。在Web界面中以图表方式展现集群的运行状态下收集的多种不同指标数据。
环境： CentOS release 6.2 (Final) 首先要下载ganglia http://sourceforge.net/projects/ganglia/files/ganglia
一．Ganglia概述 Ganglia是UC Berkeley发起的一个开源集群监视项目，设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。主要是用来监控系统性能，如：cpu 、mem、硬盘利用率， I/O负载、网络流量情况等，通过曲线很容易见到每个节点的工作状态，对合理调整、分配系统资源，提高系统整体性能起到重要作用。(来自百度百科) 二．前期工作EPEL的安装 EPEL(Extra Packages for Enterprise Linux),这是针对RHEL设计的软件仓库，在这个仓库中有很多免费的常用软件，由Fedora项目维护，如果使用的是RHEL，CentOS，Scientific等RHEL系列的linux，可以非常方便的使用EPEL的yum源。 查看本机是否安装了EPEL: rpm -q epel-release package epel-release is not installed 如果没有安装，可以选择下面的情况来安装： 32位系统选择： rpm -ivh http://download.fedora.RedHat.com/pub/epel/6/i386/epel-release-6-8.noarch.rpm 64位系统选择： rpm -ivh http://download.fedora.redhat.com/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm 导入key： rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-6 安装后可以查看，得到： rpm -q epel-release epel-release-6-8.noarch 三．ganglia的安装 目前集群有三个节点：hdp1,hdp2,hdp3,其中hdp1为主节点 1．服务端安装 在服务器中需要安装 yum -y install ganglia 2．客户端安装 在客户端中需要安装 yum -y install ganglia-gmond 四．ganglia的配置 1.服务端配置 在/etc/ganglia/gmetad.conf中进行下面的配置 data_source "ShaQi" hdp1 hdp2 hdp3 setuid_username "apache" （可以不设置） 2.客户端配置 在/etc/ganglia/gmond.conf中进行下面的配置 cluster { name = "ShaQi" owner = "apache" latlong = "unspecified" url = "unspecified" } 其中name需要与gmetad.conf中data_source中的“ShaQi”匹配 owner需要与setuid_username中的值对应(如果没有设置，可以不用修改) 修改了setuid_username后需要对权限进行更改: Chown -R apache:apache /var/lib/ganglia/rrds 否则使用service gmetad status时出现gmetad dead but subsys locked 3.Apache的服务端配置 /etc/httpd/conf.d/ganglia.conf 代码如下: Alias /ganglia /usr/share/ganglia <Location /ganglia> Order deny,allow Allow from all </Location> 五．ganglia的启动 启动服务端gmetad并且设为开机启动 service gmetad start chkconfig gmetad on 通过telnet localhost 8651进行测试 启动客户端的gmond并设为开机启动 service gmond start chkconfig gmond on 通过telnet localhost 8649进行测试 启动apache服务端 service httpd restart 六．ganglia的测试 通过浏览器访问：http://service_ip/ganglia加载下面界面
写在前面： 博主是一名大数据的初学者，昵称来源于《爱丽丝梦游仙境》中的Alice和自己的昵称。作为一名互联网小白，写博客一方面是为了记录自己的学习历程，一方面是希望能够帮助到很多和自己一样处于起步阶段的萌新。由于水平有限，博客中难免会有一些错误，有纰漏之处恳请各位大佬不吝赐教！个人小站:http://alices.ibilibili.xyz/ , 博客主页:https://alice.blog.csdn.net/ 尽管当前水平可能不及各位大佬，但我还是希望自己能够做得更好，因为一天的生活就是一生的缩影。
https://github.com/ganglia/monitor-core/wiki/Ganglia-Configuration
因为ganglia安装完成后修改了系统时间，导致ganglia不能正常显示检测数据,可能原因是由于ganglia已经记录了已有的时间，而操作系统时间被修改后导致了内部异常，因此将ganglia的已有记录和缓存删除应该可以解决问题。
Ganglia监控本身没有提供API可供外部程序调用，不过根据ganglia监控的原理，可以通过分析gmetad的端口的xml来直接获取metrics。
服务器hadoop002 服务器hadoop003 服务器hadoop004
1、There was an error collecting ganglia data (127.0.0.1:8652): fsockopen error: Permission denied
ganglia分三个部分，gmond，gmetad、gweb。gmond是安装到每一台机器，负责收集数据。gmetad不用安装到每一台，他负责接收gmond收集的数据，gweb也不用安装到每一台，主要负责展现gmetad的数据。
问题导读 1.文中哪些监控软件有邮件通知功能？ 2.监控粒度更细如何自定义实现？ 3.哪些监控软件可以自定义？ 企业转型大数据，随着发展，可能会遇到很多的问题。该如何知道磁盘的使用情况；遇到问题，该如何及时的报警通知。该如何知道各个组件的运行情况，各自暂用内存、磁盘、网络使用等，都可能是我们想获取的。由于监控软件，粒度比较粗，想定制监控内容，该如何定制，获取某个进程的信息.由于每个企业需求不一样，经常有些初学者想了解或则提问，我们到底该用哪个监控软件好。这里整合、统计一些监控软件的一些用途，大家可以选择
Conky 是一个轻量级的系统监视工具，可以显示系统状态、资源使用情况、网络流量等信息。它支持通过配置文件自定义显示内容和格式。
修改配置文件：$HADOOP_HOME/etc/hadoop/hadoop-metrics.properties 添加如下内容： *.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31 *.sink.ganglia.period=10 # default for supportsparse is false *.sink.ganglia.supportsparse=true *.sink.ganglia.slope=jvm.metrics.gcCount=zero,jvm.metrics.memHeapUsedM=both *.sink.ganglia.dmax=jvm.metrics.threadsBlocked=70,jvm.metrics.memHeapUsedM=40 #192.168.0.100组播地址 8801是接受和发送数据端口 namenode.sink.ganglia.servers=239.2.11.71:8801 datanode.sink.ganglia.servers=239.2.11.71:8801 jobtracker.sink.ganglia.servers=239.2.11.71:8801 tasktracker.sink.ganglia.servers=239.2.11.71:8801 maptask.sink.ganglia.servers=239.2.11.71:8801 reducetask.sink.ganglia.servers=239.2.11.71:8801
所以说监控是运维这个职业的根本。尤其是在现在DevOps这么火的时候，用监控数据给自己撑腰，这显得更加必要。
本文分别介绍了6款实用的开源监控工具，不仅可以对你的网络资源进行监控，还可以监控服务器、用户请求、网站性能等，给您网站提供全面的，一站式的指导。
该文介绍了如何监控Hadoop YARN集群，包括JVM分析和Ganglia、Ambari监控系统。通过这些方法，管理员可以实时监控集群状态，实现集群资源有效管理和利用。
目前有好几种监控spark应用程序的工具：web UIs，指标系统和外部监控仪。 一，web界面 1，界面的基本介绍 每一个Spark应用程序都会启动一个spark ui，默认端口是4040端口，用于展示对应用程序有用的信息。包括以下信息： 1)，stages和tasks列表。 2)，RDD大小的总概和内存使用。 3)，运行环境信息。 4)，运行的Executors状态。 你可以在浏览器输入： http://<driver-node>:4040访问该界面。如果多个SparkContexts在同一台主机上运行
导读：Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop得以在大数据处理应用中
想要将ganglia中数据放到grafana中展示，但是没有找到什么好的方法。但有人提到可以使用这个项目实现https://github.com/doublemarket/grafana-rrd-server，一个简单的HTTP服务器，可以读取RRD文件并响应来自Grafana的请求与Grafana简单JSON数据源插件。有类似需求可能不少，但是相应的方法记录比较少，因此觉得分享一下我的方法。
#1.删除hdp.repo和hdp-util.repo cd /etc/yum.repos.d/ rm -rf hdp* rm -rf HDP* #rm -rf ambari* #2.删除安装包 #用yum list installed | grep HDP来检查安装的ambari的包 yum remove -y sqoop.noarch yum remove -y lzo-devel.x86_64 yum remove -y hadoop-libhdfs.x86_64 yum remov
这是一篇hadoop的测试题及答案解析，题目种类挺多，一共有98道题，题目难度不大，对于高手来说，90分以上才是你的追求。 1 单选题 1.1 下面哪个程序负责 HDFS 数据存储。 a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker 答案 C datanode 1.2 HDfS 中的 block 默认保存几份？ a)3 份 b)2 份 c)1 份 d)不确定 答案 A 默认 3份 1.3 下列哪个程序通常与 Name
默认情况下，AppOptics注册表会定期将指标推送到 api.appoptics.com/v1/measurements。要将指标导出到SaaS AppOptics，必须提供您
Flume 是 Cloudera 提供的一种高可用、高可靠、分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。 Flume 最主要的作用是，实时读取服务器本地磁盘的数据，将数据写到 HDFS。
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。
导读：在大数据开发岗位的需求下，工资待遇水涨船高，不少编程人员在面对职业瓶颈期的时候，会选择转编程方向发展。
a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker
单项选择题 1. 下面哪个程序负责 HDFS 数据存储。 a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker 2. HDfS 中的 block 默认保存几份？ a)3 份 b)2 份 c)1 份 d)不确定 3. 下列哪个程序通常与 NameNode 在一个节点启动？ a)SecondaryNameNode b)DataNode c)TaskTracker d)Jobtracker 4. Hadoop 作者 a)Marti
作者：所罗伯·斯里瓦斯塔瓦（Saurabh Shrivastava）、内拉贾利·斯里瓦斯塔夫（Neelanjali Srivastav）
由于当前没有更新的 logstash-codec-edn_lines ，所以没有更新
Flume(水槽) 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 在2009年Flume被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;，同时flume内部的各种组件不断丰富，用户在开发的过程中使用的便利性得到很大的改善，现已成为apache top项目之一。
第三方通用组件漏洞struts thinkphp jboss ganglia zabbix
HBase自带的Web UI上Region单位的 Read Request Count/Write Request Count，不过这只是个累计值。
答: 实时收集数据，通过报警及时发现问题，及时处理，所获取的数据也可以为系统优化提供依据。
ganglia默认如果服务器down机也不会在web前段清除该设备，官方文档介绍的办法如下：
基因测序包括全基因组，全外显子组，以及捕获基因测序，不同技术研究的基因组范围不一样，都有自己合适的方向。还有另外一种分类是基于生物学应用，比如肿瘤外显子，家系外显子等等。
1.基于尚硅谷做的笔记 2.也参考了几篇我觉得写得比较好的博客,参考链接在文中 3.此外，我也将我在操作过程中遇到的问题以及解决方案都记录了下来
版本控制&协作开发：GitHub、GitLab、BitBucket、SubVersion、Coding、Bazaar
DevOps是一组过程、方法与系统的统称，用于促进开发（应用程序/软件工程）、技术运营和质量保障（QA）部门之间的沟通、协作与整合。在DevOps的整个流程中，使用一些开源工具可以促进开发与运维之间的沟通，有利于项目的管理，甚至可以达到事半功倍的效果。 本文作者Richard Kraaijenhagen是Owlin创始人，全栈工程师，数据科学家。他收集了DevOps开发可能用到的所有工具，并且把它们按照职责进行分类，本文摘取了部分工具分享给大家，这些工具也可以用于日常软件方面的开发，所以，大家直接Mark吧
plugin list [root@h102 ~]# /opt/logstash/bin/plugin list logstash-codec-collectd logstash-codec-dots logstash-codec-edn logstash-codec-edn_lines logstash-codec-es_bulk logstash-codec-fluent logstash-codec-graphite logstash-codec-json logstash-codec-json_l
有些时候可能有些节点运行多个同类业务的Pod，有些节点上又没有这类Pod运行；而后台支撑型服务的核心关注点在K8s集群中的节点（物理机或虚拟机），要保证每个节点上都有一个此类Pod运行。节点可能是所有集群节点也可能是通过nodeSelector选定的一些特定节点。
安装ganglia3.4.0，从网上找了一篇安装教程，对应的是CentOS 5.4版的，想想应该差不多，结果差很多，安装过程问题多多不说，装完了，重启后操作系统进不了，不止图形界面，控制台界面也不能进了，一直提示下面的错误，停留在以下界面中：
仔细上上图，我们可以发现两个信息： 该机器建立了238万个TCP连接； 此时内存使用量大约在48G左右。 看上去很赞吧？如果有人能够提供配置，并且在单台部署HAProxy的服务器上完成这样规模的调优，是不是更赞？本文将详细描述这个过程;) 本文是一系列关于HAProxy压力测试文章的最后一篇。如果有时间，建议读者能够先阅读本系列的其余两部分。这样能够更好的帮助我们了解本文所提及的内核级别调优需要的一些背景知识。 HAProxy压力测试（第一部分） HAProxy压力测试（第二部分） 为了达到前面提到的效
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
