【Elasticsearch】2. 基本概念

文档（document）

• elasticseach 是面向文档的，文档时所有可搜索数据的最小单元
  • 日志文件中的日志项
  • 一部电影的具体信息等
  • mp3中的一首歌
• 文档会被序列化成json格式，保存在es中
  • json对象由字段组成
  • 每个字段都有对应的字段类型
• 每个文档都有一个unique id
  • 可以自己指定id
  • es自动生成

索引（index）

• index - 索引是文档的容器，是一类文档的集合
  • index体现了逻辑空间的概念，每个索引都有自己的mapping定义，用于定义包涵文档的字段名和字段类型
  • shard体现了物理空间的概念，索引分散在shard上
• 索引的mapping和settings
  • mapping定义文档字段的类型
  • setting定义不同的数据分布
• 索引的语义

REST API

ES的分布式特性

• 高可用
  • 服务可用性：允许节点停止服务
  • 数据可用性：部分节点丢失，数据不会丢失
• 可扩展
  • 请求量提升/数据的不断增长（将数据分布到所有节点上）
• es的分布式架构好处
  • 存储的水平扩容
  • 提高系统的可用性，部分节点停止服务，整个集群的服务不受影响
• es的分布式架构
  • 不同的集群通过不同的名字来区分，默认名字“elasticsearch”
  • 通过配置文件修改，或者在命令行中 -E clutser.name=xxx来设定
  • 一个集群可以有一个或者多个节点

ES---节点

• 节点是一个es的实例
  • 本质上就是一个java的进程
  • 一台机器上可以有多个es的进程，但是生产环境建议一台机器只运行一个es实例
• 每一个节点都有名字，通过配置文件配置，或者启动的时候-E node.name=xxx 指定
• 每一个节点在启动以后，都会分配一个uid，保存在data目录下

ES的节点类型

• master-eligible node 和 master node
  • 每一个节点启动后，默认就是一个master eligible 节点
    • 可以设置node.matser:false 禁止
  • master-eligibel节点可以参加选主流程，成为master节点
  • 每个节点都上都保存了集群的状态，但是只有master节点才可以修改集群的状态信息
    • 集群状态，维护了一个集群中，必要的信息
      • 所有的节点信息
      • 所有的索引和其相关mapping与seeting的信息
      • 分片的路由信息
    • 任意节点都能修改会导致数据的不一致行
• data node 和 coordinating node
  • data node
    • 可以保存数据的节点，叫做data node，负责保存分片数据，在数据扩展上举足轻重
  • coordinating node
    • 负责接收client的请求，将请求分发到何时的节点，最终把结果汇总到一起
    • 每个节点默认起到了coordinating node的指责
• hot 和 warm node
  • 不同硬件配置的data node， 用来实现hot & warm 架构，降低集群部署成本
• machine learning node
  • 负责跑机器学习的job，用来做异常检测

ES--分片

• 主分片，用于解决数据水平扩展的问题，通过主分片，可以将数据分布到集群内的所有节点上
  • 一个分片是一个运行的lucene的实例
  • 主分片数载索引创建时指定，后续不允许修改，除非reindex
• 副本，用于解决数据高可用问题，分片是主分片的拷贝
  • 副本分片数，可以动态的调整
  • 增加福本书，还可以一定程度上提高服务的可用性

ES分片的设定

• 对于生产环境中分片的设定，与需要提前做好容量规划
  • 分片数设置过小
    • 导致后续无法增加节点实现水平扩展
    • 单个分片的数据量太大，导致数据重新分配耗时
  • 分片数设置过大，7.0开始，默认主分片设置成1，解决了over-sharding的问题
    • 影响搜索结果相关性打分，影响统计结果的准确性
    • 单个节点上过多的分片，会导致资源浪费，同时也会影响性能

ES查看集群的健康状况

• green：主分片与副本都正常
• yellow：主分片全部正常分配，有副本分片未能正常分配
• red：有主分片未能分配