Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >ELK Stack系列之基础篇(四) - 如何快速搭建 ES集群、实现Kibana 的正常访问?

ELK Stack系列之基础篇(四) - 如何快速搭建 ES集群、实现Kibana 的正常访问?

原创
作者头像
南非骆驼说大数据
修改于 2020-02-17 05:56:49
修改于 2020-02-17 05:56:49
2.2K0
举报

一、快速搭建ES集群

Elasticsearch本文统称“ES”。很多情况下,因为工作或者学习需要用到ES集群,但是自身服务器资源又有限,如何解决此问题呢?这里用1台云服务器,实现ES集群的搭建并与Kibana实现正常的连接。

第一步:检查系统环境、软件环境

Linx系统版本
Linx系统版本
ELK版本
ELK版本

第二步:安装集群

将ES软件从官网下载并解压到/usr/local/目录下,配置JDK开发环境变量(过程略)

解压目录
解压目录
JDK设置
JDK设置

第三步:安装细节

默认情况下,我们的ES在不用更改任何配置的情况下,是可以正常启动的。因为ES有两种模式,一种是development模式,这个模式是供开发人员、运维人员去验证其功能是否正常完整的。默认情况下就是development.模式。一旦更改配置文件,那么它就运行在另外的模式Production生产模式。生产模式下的ES将会对各节点的环境检查、安全设置、日志告警级别有比较严格的要求。那么这里我们先不改配置,进而快速搭建一个集群。因为ES5以后,ES官方为了安全起见,禁止启用Root启动ES服务,因此我们需要进行普通用户的创建,才能正常启动ES服务。所以我们需要新建一个普通用户,并将ES安装目录授权给刚新建的用户。命令如下:

创建普通用户并授权ES安装目录
创建普通用户并授权ES安装目录

第四步:启动ES服务

所以,我们su - elas 切换到用户下,启动ES服务 /usr/local/elasticsearch-6.8.2/bin/elasticsearch (在前台启动,观看其进程状态,后面测试没问题后,我们在用“-d”选项放到后台启动)

第五步:通过JPS查看ES是否成功

查看ES进程命令
查看ES进程命令

查看ES启动的默认端口9200是否启动,如下图

ES端口查看命令
ES端口查看命令

当然我们也可以通过curl 命令,来查看这个节点的ES是否正常。如下图

curl命令
curl命令

所以,到这里我们可以说,单节点ES是启动成功了对吧。

第六步:在同一个节点上,启动第二个节点

​​ 为了模拟集群的形式,我们需要再启动2个节点。我们用更改端口的形式在一台机器上启用第二个节点,使用如下命令

$PATH/bin/elasticsearch -Ehttp.port=8200 -Epath.data=node2 更改端口、更改索引存储的目录名字,默认是安装目录下的data

查看是否OK?发现正常启动

Node2的创建
Node2的创建

第七步:在同一个节点上,启动第三个节点

$PATH/bin/elasticsearch -Ehttp.port=7200 -Epath.data=node3

Node3的创建
Node3的创建

通过JPS命令查看: 三个ES进程启动了。

jps线程
jps线程

同时我们也看到了ES安装目录下自动生成了我们的数据文件夹,如下所示:

ES集群数据文件存储目录
ES集群数据文件存储目录

我们知道,一个服务器上安装三个节点没问题了,但是三个节点是否组成一个集群呢?三者间有没有联系呢?我们通过curl 127.0.0.1:8200/_cat/nodes 这个API看能否查出所有的节点信息:

集群状态信息
集群状态信息

通过随便查看一个端口的状态我们可以看到有3个节点,然后带*号的是主节点,也就是Master节点。

我们再查看一下集群节点的状态:发现3个节点,集群的信息都显示出来了。说明集群间的连接是正常的。如下图:

查看集群状态
查看集群状态

所以,到此为止,我们的三个节点都启动正常。

第八步:安装图形化工具 Kibana

一般情况下,ES作为实时的分布式搜索引擎,我们肯定不能将其暴露在外网,我们信息人员要保证其绝对的安全。但是我们又要操作ES,怎么办呢?这里推荐Kibana。它也是ELK Stack系列产品,能很好的无缝对接ES链接。Kibana基于Nodejs开发,解压即可使用。下面,我们将安装Kibana与ES进行无缝链接。

将Kibana解压到/usr/local下,解压即可

Kibana安装目录
Kibana安装目录

进入安装目录,看config/kibana.yml文件,作简单的配置,只需要改下面三个地方:

server.port ---->kibana对外提供服务的http端口

server.host----->默认是localhost.因为这里是云主机,需要外网可以访问,因此我们需要改成0.0.0.0.但是如果是自己的虚拟机或者物理服务器我们需要改成自己的IP。

elastisearch.hosts----->Kibana链接ES的地址,一般Kibana跟ES都会安装在一起。所以这里只要改成127.0.0.1:9200即可。也就是说链接ES的内网IP即可。

Kibana配置
Kibana配置

然后启动Kibana即可。使用 nohup $kibana安装目录/bin/kinaba & ----->后台启动

查看kibana是否正常启动
查看kibana是否正常启动

结果发现:kibana服务启动正常。那浏览器能否正常打开界面呢?

第九步:查看Kibana能否正常链接ES并打开 如下图:

Kibana操作界面
Kibana操作界面

第十步:我们通过操作Kibana提供的开发工具,我们可以得出下面的结果,说明ES链接Kibana链接正常。

Kibana管理工具操作ES
Kibana管理工具操作ES

二、总结

本节我们通过在一台云主机上,快速搭建了一个具有三个节点的ES集群。同时安装了Kibana,并实现了与ES的正常链接。后面我将利用其有效的管理开发工具对ES进行更进一步的讲解。以上就是基于云平台下环境的搭建。

本机的私有IP为:

云主机私有IP
云主机私有IP

​​

​​

​​

​​

​​

​​

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
使用Docker快速搭建ELK日志分析平台
Docker是目前非常主流的容器化的虚拟技术,这个虚拟又与VMware或者是Hyper-v搭建的虚拟机不同,虚拟机是在宿主机的内核已经操作系统系统之上在虚拟出一套操作系统,而Docker这种容器化的技术是基于操作系统的namespace直接使用宿主机的操作系统去构建需要隔离的应用,中间省去了再去虚拟化一套操作系统的过程,或许有人会担心使用如果Docker的容器挂掉了之后,数据会丢失的问题,这你大可不必的过多担心,Docker本身实现了数据卷的工程,可以将容器内部的目录挂载到宿主机之上,只要你的宿主机还健康,那么上面的数据就不会丢失.甚至是当你重新创建一个容器之后你将新容器的数据目录也挂载到了之前容器的目录上,数据都可以复用,但我不建议你这样哦~
姜同学
2022/10/27
2.2K0
使用Docker快速搭建ELK日志分析平台
ELK Stack系列之基础篇(六) - ES6常用插件的推荐安装(六)
前面我们讲到,ES是一款高可用、分布式的搜索分析存储引擎。那么这么一款软件本身已经非常强大,唯一的问题是什么呢?就是ES并不具备自身管理的功能,它必须要借助相应的API来管理维护。而ES本身就提供了丰富的RestAPI 对外提供服务。我们只需要操作这些ES提供的API我们就能够管理ES服务器。从而达到我们的CRUD的需求。那么针对这些API我们发现了一些非常好用的基于ES开发的一些第三方插件。通过这些插件可以非常方便快捷去管理ES。今天我们就推荐几款常用的ES插件:
南非骆驼说大数据
2020/02/16
2K0
ElasticSearch单机/集群搭建教程
本文将介绍ElasticSearch单机版与集群版的安装与配置,ElasticSearch依赖JRE,注意机器是否安装JDK8【最低版本要求就是JDK8】,且JDK环境变量是否已配置完成
Java架构师必看
2021/05/14
8120
ElasticSearch单机/集群搭建教程
ELK环境搭建
ELK提供了一整套的解决方案,而且都是开源的整个,它们之间互相配合,可以很完美的和Kafka进行整合起来。
无涯WuYa
2022/01/18
5510
ELK环境搭建
Linux安装ELK日志平台(7.5.1)
一般我们需要进行日志分析场景:直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大也就是日志量多而复杂的场景中,此方法效率低下,面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理,所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统,将所有节点上的日志统一收集,管理,访问。
子润先生
2021/07/07
1.8K1
搭建ELK日志分析平台(上)—— ELK介绍及搭建 Elasticsearch 分布式集群
笔记内容:搭建ELK日志分析平台(上)—— ELK介绍及搭建 Elasticsearch 分布式集群 笔记日期:2018-03-02
端碗吹水
2020/09/23
2.4K0
搭建ELK日志分析平台(上)—— ELK介绍及搭建 Elasticsearch 分布式集群
『互联网架构』ELK集群的搭建(119)
PS:可以监听当前服务器的流量。电脑配置至少4G内存,ES默认是2G的内存,目前是使用的伪分布式的方式,多台电脑也是这样的。
IT架构圈
2019/07/30
5500
『互联网架构』ELK集群的搭建(119)
ELK6.0部署:Elasticsearch+Logstash+Kibana搭建分布式日志平台
总的来说,ElasticSearch负责存储数据,Logstash负责收集日志,并将日志格式化后写入ElasticSearch,Kibana提供可视化访问ElasticSearch数据的功能。
KenTalk
2018/09/11
1.3K0
ELK6.0部署:Elasticsearch+Logstash+Kibana搭建分布式日志平台
一文轻松搞定ELK日志实时采集分析平台
ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件。
一行Java
2022/04/07
3.5K0
一文轻松搞定ELK日志实时采集分析平台
ELK的上线之路(四):—— Kibana安装
tar xfvz kibana-4.3.1-linux-x64.tar.gz -C /usr/local/
江小白
2018/07/03
3220
ELK系列(1) - Elasticsearch + Logstash + Kibana + Log4j2快速入门与搭建用例
最近公司分了个ELK相关的任务给我,在一边学习一边工作之余,总结下这些天来的学习历程和踩坑记录。
雨临Lewis
2022/01/12
5480
容器部署日志分析平台ELK7.10.1(Elasisearch+Filebeat+Redis+Logstash+Kibana)
  ELK日志分析系统是Logstash、Elastcsearch、Kibana开源软件的集合,对外是作为一个日志管理系统的开源方案,它可以从任何来源、任何格式进行日志搜索、分析与可视化展示。
非著名运维
2022/06/22
1.3K0
容器部署日志分析平台ELK7.10.1(Elasisearch+Filebeat+Redis+Logstash+Kibana)
ELK Stack系列之基础篇(五) - 配置elasticsearch集群需要注意哪些方面?
在上一章节中,我们在一个节点上快速构建了一个ES集群,方便我们快速入门。但是实际生产应用中,我们都会根据公司实际的生产情况,比如公司业务日志的数据量、平台的数据访问量去选择我们服务器节点的配置。那么关于节点的配置这块,这里先不做过多讲解。腾云ES服务提供了各种场景下的套餐,用户可以非常方便的选择适合自己的产品。后续我将陆续给出我的建议。
南非骆驼说大数据
2020/02/16
2K0
ELK Stack系列之基础篇(二) - ELK产品介绍
在前面的第一节,我们讲到了ELK平台,提到了ELK能够被各种公司用来搭建自己的大数据日志分析平台。ELK平台的核心产品均隶属于Elastic.co公司名下。Elastic作为一家开源公司,有大量开源社区粉丝和用户推动Elastic产品快速发展。Elastic与社区中的小伙伴和开发者共享开发模式,才打造出Elastic这样的世界一流产品。说了这么多,那我们去Elastic中国官网去获取更多的资源吧。这里说一下:以后Elasticsearch统称为ES。官方链接 :https://www.elastic.co/cn/
南非骆驼说大数据
2020/02/15
2.6K0
搭建ELK日志分析系统详解
日志分析是我们运维解决系统故障、发现问题的主要手段。为了可以集中管理多台服务器的日志记录,开源实时日志分析ELK平台应用而生,ELK由Elasticsearch、Logstash和Kibana三个开源工具组成,这三个工具可以分别部署在不同的服务器上,并且相互关联,不过需要收集哪台服务器的日志,就必须在该服务器上部署Logstash。ELK的官网是:https://www.elastic.co/cn/ .
小手冰凉
2019/10/15
1.8K0
搭建ELK日志分析系统详解
Elasticsearch集群搭建
Elasticsearch单机版安装:https://www.cnblogs.com/biehongli/p/11643482.html
别先生
2019/10/17
9050
Elasticsearch学习(一)什么是ELK?相关概念是什么?在虚拟机里面安装es,Kibana
ELK是Elasticsearch、Logstash、Kibana三个软件首字母。 Elasticsearch: 全文检索工具。和之前学习的Solr功能是类似的。 Kibana:页面管理工具。可以通过Kibana的管理界面操作Elasticsearch Logstash:日志收集的工具,通过此工具可以实现日志内容收集及格式转换。也就是将日志输入到这个里面,之后进行转换,再输出到Elasticsearch中,我们就可以在Elasticsearch中检索日志了。
一写代码就开心
2021/03/02
6210
Elasticsearch学习(一)什么是ELK?相关概念是什么?在虚拟机里面安装es,Kibana
ELK的上线之路(一):——Elasticsearch安装
Elasticsearch 是一个分布式的 RESTful 风格的搜索和数据分析引擎,能够解决不断涌现出的各种用例。作为 Elastic Stack 的核心,它集中存储您的数据,帮助您发现意料之中以及意料之外的情况。
江小白
2018/07/03
4480
Elastic Stack之 分析Elasticsearch查询语句实战。
1)、首先需要收集Elasticsearch集群的查询语句。   2)、然后分析查询语句的常用语句、响应时长等等指标。 2、分析Elasticsearch查询语句的功能,使用方案。
别先生
2021/01/21
9340
Elastic Stack之 分析Elasticsearch查询语句实战。
ELK是个啥?看完就懂了!
我们都知道,在生产环境中经常会遇到很多异常,报错信息,需要查看日志信息排查错误。现在的系统大多比较复杂,即使是一个服务背后也是一个集群的机器在运行,如果逐台机器去查看日志显然是很费力的,也不现实。
java技术爱好者
2020/11/09
3.9K0
ELK是个啥?看完就懂了!
推荐阅读
相关推荐
使用Docker快速搭建ELK日志分析平台
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档