Greenplum数据库使用总结(干货满满)--

1 Greenplum整体架构信息

1.1 架构图示

在以上的架构中可以看出Greenplum主要是由Master和Segment组成的，Master承担生成查询计划并派发汇总执行结果，Segment是执行查询计划及数据储存管理。集群可以直接加载外部的数据。

官网请查看:https://greenplum.org/

Greenplum官方文档:https://gp-docs-cn.github.io/docs/common/gpdb-features.html

1.2 Master主机与Segment主机任务

1.3 数据库分布键分布数据策略

由于greenplum数据库是个分布式数据库,数据分布在每一个segment节点上，其中数据的分布策略有两种分别是hash分布于随机分布。

1.3.1 HASH策略

Hash分布是利用Distributed by (filed1,filed2....) 做为数据分布的条件，计算hash值,并通过hash值路由到制定的segment上,如果不指定分布键,默认的是获取第一个字段作为分布键。在字段作为分布键时，该字段的值尽量是唯一的，这样才能分布的均匀，效率会更高，否则会降低数据库的想能。

1.3.2 随机分布

随机分布也叫平均分布。数据会随机的落在每一个segment节点上,不管数据内容是什么格式都会落到segment上，在SQL查询数据,数据会重新分布，性能会比较差，随机分布的用法为Distributed randomly;

1.4 master主节点获取segment节点上的数据顺序

Master在执行sql语句时由于数据切分放在每个segment上,master获取结果的顺序是segment提交的顺序，segment提交到master的顺序是随机的,就会导致一样的数据每次的查询结果顺序不一致，这也是与其他的数据不一样的地方。

2 Greenplum数据库常用知识

2.1 Greenplum 概念

Greenplum的架构采用了MPP(大规模并行处理)。在 MPP 系统中，每个 SMP节点也可以运行自己的操作系统、数据库等。换言之，每个节点内的 CPU 不能访问另一个节点的内存。节点之间的信息交互是通过节点互联网络实现的，这个过程一般称为数据重分配(Data Redistribution) 。与传统的SMP架构明显不同，通常情况下，MPP系统因为要在不同处理单元之间传送信息，所以它的效率要比SMP要差一点，但是这也不是绝对的，因为 MPP系统不共享资源，因此对它而言，资源比SMP要多，当需要处理的事务达到一定规模时，MPP的效率要比SMP好。这就是看通信时间占用计算时间的比例而定，如果通信时间比较多，那MPP系统就不占优势了，相反，如果通信时间比较少，那MPP系统可以充分发挥资源的优势，达到高效率。

中国已有：中信实业银行，东方航空公司，阿里巴巴，华泰保险，中国远洋(Cosco)，李宁公司等大型企业用户选择Greenplum的产品。

2.2 OLTP与OLAP的理解

2.2.1 描述概念

Greenplum 支持OLTP与OLAP机制，同时也支持AO表与堆方式储存，其中OLTP与OLAP的特点如下:

OLTP（On-Line Transaction Processing，联机事务处理）系统也称为生产系统，它是事件驱动的、面向应用的，比如电子商务网站的交易系统就是一个典型的OLTP系统。OLTP的基本特点是：

数据在系统中产生,

基于交易的处理系统（Transaction-Based）,

每次交易牵涉的数据量很小,

对响应时间要求非常高,

用户数量非常庞大，主要是操作人员,

数据库的各种操作主要基于索引进行。

OLAP（On-Line Analytical Processing，联机分析处理）是基于数据仓库的信息分析处理过程，是数据仓库的用户接口部分。OLAP系统是跨部门的、面向主题的，其基本特点是：

本身不产生数据，其基础数据来源于生产系统中的操作数据（OperationalData）

基于查询的分析系统,

复杂查询经常使用多表联结、全表扫描等，牵涉的数据量往往十分庞大,

响时间与具体查询有很大关系,

用户数量相对较小，其用户主要是业务人员与管理人员,

由于业务问题不固定，数据库的各种操作不能完全基于索引进行。

2.2.2 图示解释

OLTP与OLAP的比较

OLTP与OLAP对于硬件的要求

2.3 其他名词概念

2.3.1 HTAP概念

HTAP（Hybrid Transactional / Analytical Processing）

一份数据，支持在线事务与在线分析

分布式share nothing架构，线性扩展

3-15倍压缩

https://yq.aliyun.com/articles/193401?utm_content=m_29900

2.3.2 Append-only 的概念

AO表为追加存储，当删除、更新记录时，有一个BITMAP对象来存储对应的记录是否被删除。对于AO存储，虽然是appendonly，但实际上GP是支持DELETE和UPDATE的，被删除或更新的行，通过BITMAP来标记，性需要用vacuum来释放。

2.4 数据仓库设计规则

2.4.1 数据仓库概念

数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。

2.4.2 数据仓库设计规则相关资料

具体的可以参考数据仓库之父Bill Inmon在1991年出版的"Building the Data Warehouse"，下载地址为:链接: https://pan.baidu.com/s/1I5ImKxDv0Jbx3psqTY2TzQ 提取码: gm8k

2.4.3 数据仓库设计规范参考

详细资料请参考:https://blog.csdn.net/xfg0218/article/details/85092196