如果Greenplum是单节点的安装或者想单台机器运行pxf，可以把cluster命令是pxf init/pxf start/pxf stop等
行为日志在这个大数据时代的作用日益重要，怎样更好的收集、存储、管理日志也是值得研究的一个问题，大型互联网公司一般都有成熟的日志聚合方案，但是每个公司尤其是中小型公司都要针对自己的应用场景来做技术选型，本文主要针对中小型公司如何以较小的成本快速构建一个行为日志聚合体系以及在建立日志聚合过程中要处理哪些问题。
内容来源：2017 年 10 月 21 日，深奇智慧联合创始人高扬在“PostgreSQL 2017中国技术大会”进行《基于Greenplum,postgreSQL的大型数据仓库实践》演讲分享。IT 大咖说（微信id：itdakashuo）作为独家视频合作方，经主办方和讲者审阅授权发布。
传统的数据仓库架构一般有由源系统、ODS、EDW、Data Mart几部分组成。源系统就是业务系统、管理系统、办公系统等等；ODS是操作数据存储；EDW是企业级数据仓库，Data Mart是数据集市。
简介及适用场景 如果想在数据仓库中快速查询结果，可以使用greenplum。 Greenplum数据库也简称GPDB。它拥有丰富的特性： 第一，完善的标准支持：GPDB完全支持ANSI SQL 2008标准和SQL OLAP 2003 扩展；从应用编程接口上讲，它支持ODBC和JDBC。完善的标准支持使得系统开发、维护和管理都大为方便。而现在的 NoSQL，NewSQL和Hadoop 对 SQL 的支持都不完善，不同的系统需要单独开发和管理，且移植性不好。 第二，支持分布式事务，支持ACID。保证数据的强一
Greenplum是老牌的MPP数据仓库，查询稳定性很强，SQL支持非常全面（支持ANSI SQL 2008和SQL OLAP 2003扩展；支持ODBC和JDBC应用编程接口。完善的标准支持使得系统开发、维护和管理都大为方便。），基于PostgreSQL构建而成，主要面向结构化数据OLAP计算，Greenplum在6.0版本大大的提高了对OLTP的支持，tpcb性能提升60倍，单节点查询达到80000TPS（Transactions Per Second，数据库每秒处理事务数），插入操作达到18000TPS，更新操作约7000TPS。
Greenplum是一个分布式大规模并行处理数据库，在大多数情况下适合做大数据的存储引擎、计算引擎和分析引擎，尤其适合构建数据仓库。本篇重点介绍Greenplum的系统架构和主要功能。我们先从历史演进和所采用的MPP框架对Greenplum做一个概要说明，然后描述其顶层架构，之后详细介绍存储模式、事务支持、并行查询与数据装载、容错与故障转移、数据库统计、过程化语言扩展等方面的功能特性，正是它们支撑Greenplum成为一款理想的分析型数据库产品。本篇最后简单对比Greenplum与另一个流行的大数据处理框架Hadoop，进而阐述可以选择前者的理由。
Greenplum数据库是典型的主从架构，一个Greenplum集群通常由一个Master节点、一个Standby Master节点以及多个Segment实例组成，节点之间通过高速网络互连，如下图所示。Standby Master节点为Master节点提供高可用支持，Mirror Segment实例为Segment实例提供高可用支持。当Master节点出现故障时，数据库管理系统可以快速切换到Standby Master节点继续提供服务。
个人觉得GP目前比较尴尬。性能比Presto稍差点，唯品会已经把GP改用Presto替换看了。另外数仓/数据集市方面还有性能强悍的HAWQ ，支持更大数据规模Hadoop。
如果说Hive是离线数仓的代表，那么Greenplum就是MPP数据库的代表。在离线数仓的年代，以Hive为核心的数据仓库席卷数据仓库市场，几乎成为了离线数仓的代名词。但是Hive的查询能力非常弱，通常需要其它计算引擎辅助才能完成OLAP查询。
随着大数据在越来越多的企业当中落地，企业要开展大数据相关的业务，那么首先要搭建起自身的数据平台。而企业搭建大数据平台，往往需要结合成本、业务、人员等各方面的因素，来规划数据平台建设方案。今天我们就来聊聊数据平台建设的几种方案。
当前数据仓库的主流架构：分为两个方向一个是 hadoop 体系，一个是 MPP 数据库
Greenplum数据库于2015年由Pivotal公司开源，遵循Apache Licence 2.0协议，官方网站为：
导语 | 分析型数据仓库经历了共享存储、无共享MPP、SQL-on-Hadoop几代架构的演进，随着云计算的普及，传统的数据仓库架构在资源弹性，成本等方面已经很难适应云原生的要求。本文由偶数科技 CEO，腾讯云TVP 常雷在 Techo TVP开发者峰会「数据的冰与火之歌——从在线数据库技术，到海量数据分析技术」 的《新一代云原生数据仓库的应用》演讲分享整理而成，为大家详细剖析新一代云原生数据仓库的架构、原理和实现技术，以及如何充分应用云原生数据仓库的特点来实现云上大数据应用。 点击可观看精彩演讲视频
Pivotal正着手对自家定价计划作出重新调整，旨在为客户提供更加简单易懂的技术产品采购流程——这一思路与甲骨文的当前方案如出一辙。 调整后的定价方案于本周三正式公布，我们看到Pivotal为每一家选择了两到三年订购计划的客户提供了同样的计费模式——以CPU数量为基本单位进行软件授权。 适用于以上计费模式的软件为“大数据套件”，其中包括Pivotal Greenplum数据库、GemFire、SQLFire、GemFire XD、HAWQ以及Pivotal HD。该套件同时也提供全部软件包所必需
数据仓库选型是整个数据中台项目的重中之重，是一切开发和应用的基础。而数据仓库的选型，其实就是Hive数仓和非Hive数仓的较量。Hive数仓以Hive为核心，搭建数据ETL流程，配合Kylin、Presto、HAWQ、Spark、ClickHouse等查询引擎完成数据的最终展现。而非Hive数仓则以Greenplum、Doris、GaussDB、HANA（基于SAP BW构建的数据仓库一般以HANA作为底层数据库）等支持分布式扩展的OLAP数据库为主，支持数据ETL加工和OLAP查询。
以上是在大数据处理方面常用的四种技术原理， 上面这些处理数据的方式极大程度的提高了单位时间内数据处理的能力， 但是其还是没有摆脱数据量和查询时间的线性关系。 于是在OLAP处理方式上， 我们多了一种：
OLAP的标准概念叫作“联机分析处理系统”，与之对应的是OLTP“联机事务处理系统”。OLTP对于事务性的要求非常高，常用于银行、证券等系统，但运行速度相对有限。有感于此，关系数据库之父Codd便在1993年提出了OLAP的概念，认为用户的很多决策需要依赖大量的计算与多维的分析才能解决，并作为一类单独的产品，与OLTP区分开来。
数据迁移的目的是为了给数据找一个更合适的归宿，让其满足当前及未来某段时间内业务场景的使用需求，使数据更安全，更可靠，更有效的为客户服务。
某天，老板让你分省统计口罩最近的订货数据，以快速决策需要向哪里调货。你发起查询，全部订单数据多达数亿甚至更多，TiDB 不得不花费一小段时间。由于存储节点在全力计算，你的集群波动的监控哔哔作响，主站的订单提交也一下子变得慢起来。倒了杯咖啡回来，你得到了结果。
Greenplum（以下简称GPDB）是一款开源数据仓库。基于开源的PostgreSQL改造，主要用来处理大规模数据分析任务，相比Hadoop，Greenplum更适合做大数据的存储、计算和分析引擎。
说到 Why HTAP Matters，其实包含两部分，一部分是说为什么我们叫 HTAP，另外一部分是说 TiDB 怎样在 HTAP 架构下发挥它的优势。
前面已经完成了HAWQ的安装部署，也了解了HAWQ的系统架构与主要组件，下面开始使用它。HAWQ作为Hadoop上的一个服务提供给用户，与其它所有服务一样，最基本的操作就是启动、停止、
Oushu Database（简称OushuDB）是新一代极速云数仓，让企业用户轻松构建核心数仓、数据集市、实时数仓以及湖仓一体数据平台。OushuDB由国人自主研发，符合国家信创标准；通过计算存储分离架构解决了传统数据仓库高成本、高门槛、难维护、难扩展的问题。同时支持各大公有云和私有云。
本文以我个人的理解简单分析下并行数据库的技术要点以及对未来并行数据库的发展做下展望，理解有偏差的地方，欢迎各位指正。 并行数据库的定义 在维基百科上，并行数据库被定义为通过并行使用多个CPU和磁盘来将诸如装载数据、建立索引、执行查询等操作并行化以提升性能的数据库系统。其中最重要的关键词是并行，分布式。 并行数据库的技术要点 并行数据库主要由执行引擎、存储引擎和管理功能模块组成，它们的不同技术风格形成了各个有特色的并行数据库产品。随着Hadoop的兴起，目前MPP数据库主要分成两类
大数据领域，实时分析系统（在线查询）是最常见的一种场景，前面写了一个《实时分析系统(HIVE/HBASE/IMPALA)浅析》讨论业界当前常见的方案。互联网公司用得比较多是HIVE/HBASE，如腾讯基于HIVE深度定制改造，改名为TDW，小米等公司选用HBASE等。关于HIVE/HBASE/IMPALA介绍等可以看我前面的文章。 当前在实时分析系统中，最难的是多维度复杂查询，目前没有一个很好的解决方案，这两天和人讨论到MPP DB（分布式数据库，以Greenplum为最典型代表）。如果从性能来讲，MPP
产品经理要不要懂技术的问题一直有很多的观点和讨论，一般来讲产品懂技术是有一定的优势，但不是充分必要条件。而数据产品是B端更偏底层的工种，有一定技术基础后，开展工作更顺利。找工作的经历里面，有被问到过你
关于转载授授权 大数据文摘作品，欢迎个人转发朋友圈，自媒体、媒体、机构转载务必申请授权，后台留言“机构名称+文章标题+转载”，申请过授权的不必再次申请，只要按约定转载即可，但文末需放置大数据文摘二维码。 作者：WilliamMarkito 翻译：姜咏耀, Helen 审校：Rebecca，Shawn 素材来源：https://blog.pivotal.io/big-data-pivotal/case-studies/an-open-source-reference-architecture-for-real
开源大数据OLAP组件，可以分为MOLAP和ROLAP两类。ROLAP中又可细分为MPP数据库和SQL引擎两类。对于SQL引擎又可以再细分为基于MPP架构的SQL引擎和基于通用计算框架的SQL引擎：
Tableau是一款优秀的数据可视化分析软件，这几天安装之后，感觉它不仅可以实现对各种数据的可视化绘制操作，并支持多个视图按照故事进行组织，同时具有强大的数据连接操作。支持各种数据源。当然最强大的肯定还是它的server版，可以实现与desktop版的无缝对接。
森哥大作，接上一篇：SQL on Hadoop技术分析（一） SQL on Hadoop 技术分析（二） 本篇继续分析SQL on Hadoop的相关技术，本次分析的重点是查询优化器（技术上的名词叫SQL Parser），在SQL on Hadoop技术中有着非常重要的地位，一次查询SQL下来，SQL Parser分析SQL词法，语法，最终生成执行计划，下发给各个节点执行，SQL的执行的过程快慢，跟生成的执行计划的好坏，有直接的关系，下面以目前业界SQL onHadoop 使用的比较多的组件Impala、H
如果您用的是Oushu Lava公有云，或者私有云2.0+，您可以通过Lava UI自动部署OushuDB，详情请见： http://oushu.io/docs/ch/lava-...。
2003年至今淘宝网从零开始飞速发展，走过了13个年头，支撑淘宝业务野蛮式生长背后是一套不断完善的技术平台，淘宝大数据平台，就是其中非常重要的一个组成部分，承担了数据采集、加工处理、数据应用的职责，淘
参考文章：https://doc.huodongjia.com/detail-3839.html Hashdata 简丽荣
这个从上至下都在强调数字化转型的时代，越来越多公司重视数据，也越来越多的企业有数据建设的需求。
内容来源：2017 年 11 月 18 日，北京偶数科技创始人兼CEO常雷在“第七届数据技术嘉年华”进行《云数据库的本质》演讲分享。IT 大咖说（微信id：itdakashuo）作为独家视频合作方，经主办方和讲者审阅授权发布。
在Greenplum的4.x版本之后，加入了资源队列的概念，其主要作用就是限制用户或者单个SQL对资源的消耗。避免出现消耗过多资源，影响其他用户或者SQL计算。这里的资源限制主要是指系统内存资源。
我们很高兴向大家宣布，2023年4月14日，Taier 正式发布 1.4 版本。自2022年2月份 Taier 正式开源以来，收到了很多开发者和行业用户的积极评价，在诸多生产环境中已得到充分应用。Taier 1.4版本正是吸收了各类实践经验及大家的建议，进行了此次迭代优化。
关于数据仓库的概念、原理、建设方法论，网上已经有很多内容了，也有很多的经典书籍，本文更想聊聊企业数据仓库项目上的架构和组件工具问题。
MPP (Massively Parallel Processing)，即大规模并行处理，在数据库非共享集群中，每个节点都有独立的磁盘存储系统和内存系统，业务数据根据数据库模型和应用特点划分到各个节点上，每台数据节点通过专用网络或者商业通用网络互相连接，彼此协同计算，作为整体提供数据库服务。非共享数据库集群有完全的可伸缩性、高可用、高性能、优秀的性价比、资源共享等优势。
一、SQL on Hadoop 过去五年里，许多企业已慢慢开始接受Hadoop生态系统，将它用作其大数据分析堆栈的核心组件。尽管Hadoop生态系统的MapReduce组件是一个强大的典范，但随着时间的推移，MapReduce自身并不是连接存储在Hadoop生态系统中的数据的最简单途径，企业需要一种更简单的方式来连接要查询、分析、甚至要执行深度数据分析的数据，以便发掘存储在Hadoop中的所有数据的真正价值。SQL在帮助各类用户发掘数据的商业价值领域具有很长历史。 Hadoop上的SQL支持一开始是Apache Hive，一种类似于SQL的查询引擎，它将有限的SQL方言编译到MapReduce中。Hive对MapReduce的完全依赖会导致查询的很大延迟，其主要适用场景是批处理模式。另外，尽管Hive对于SQL的支持是好的开端，但对SQL的有限支持意味着精通SQL的用户忙于企业级使用案例时，将遇到严重的限制。它还暗示着庞大的基于标准SQL的工具生态系统无法利用Hive。值得庆幸的是，在为SQL on Hadoop提供更好的解决方案方面已取得长足进展。 1. 对一流的SQL on Hadoop方案应有什么期待 下表显示了一流的SQL on Hadoop所需要的功能以及企业如何可以将这些功能转变为商业利润。从传统上意义上说，这些功能中的大部分在分析数据仓库都能找到。
##引言 前文回顾：《数据智能时代来临：本质及技术体系要求》作为本系列的第一篇文章，概括性地阐述了对于数据智能的理解以及推出了对应的核心技术体系要求：
上世纪60年代，网状和层状数据库揭开了数据库系统发展的帷幕；1970年，来自IBM实验室的Edgar F. Codd发表了《大型共享数据库数据的关系模型》论文，提出基于集合论和谓词逻辑的关系模型，为关系型数据库技术奠定了理论基础。之后关系型数据库快速发展，并为整个数据库生态培育了坚实肥沃的发展土壤。
在过去的 12 个月里，笔者一直在大数据的战壕里挖掘。好吧，其实大部分时间我只是坐在比我更聪明的人旁边，看他们怎么在战壕里挖掘数据，再把所做的事情进行简化以上报给管理层。 很少有真正独具一格的 IT 项目，那些听起来比较特别的项目最终也只是大同小异。不过你们今天有眼福了，因为我决定出来冒个泡儿，跟大家分享一下过去 12 个月里接触到的8大项目类型。 1 探索交易周期 那些做电子商务的公司想当然地认为，装几个工具就能掌握网页访客从销售到付款的成交情况。但是很多公司处理的数据集远远不止网页成交率，而且这些数据集
据中国信通院发布，2012 年到 2021 年 10 年间，我国数字经济规模由 12 万亿元增长到 45.5 万亿元，在整个 GDP 中的比重由 21.6% 提升至 39.8%。顺应时代发展新趋势，“数据” 成为新的生产要素已是毋庸置疑的共识。
1、Redis的官网：https://redis.io/ Redis的测试网站：http://try.redis.io/
Greenplum数据库支持并行和非并行方法来备份和还原数据库。并行操作可扩展，而与系统中段的数量无关，因为段主机各自将数据同时写入本地磁盘存储中。对于非并行备份和还原操作，必须通过网络将数据从网段发送到主服务器，主服务器将所有数据写入其存储中。除了将I/O限制在一台主机之外，非并行备份还要求主服务器具有足够的本地磁盘存储空间来存储整个数据库。
https://gpdb.docs.pivotal.io/510/utility_guide/admin_utilities/gptransfer.html
以前写过一篇文档讨论MPP DB的发展，《MPP DB 是 大数据实时分析系统 未来的选择吗？》，当时主要是想讨论下Greenplum数据库是否合适做数据存储，以及实时查询。文章我主要提的MPP DB短板是扩展性和对并发的支持，从目前Pivotal公司主推的HAWK，已经可以清楚的看到，业界主流的思路是SQL onhadoop，用传统引擎的高性能加上hadoop 存储的鲁棒性，来构建大数据实时分析。 一、为什么SQL on hadoop会流行？ SQL其实也是一种DSL，将复杂的数据操作抽象成几个关键字（i
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
