高级工程师

助理工程师

后台开发工程师

云数据仓库 PostgreSQL

代码在线跑，知识轻松学

Python精品学习库

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

博客搬家 | 分享价值百万资源包

往期视频·干货材料·成员作品 最新动态

技术创作特训营·精选知识专栏

新邀入驻腾讯云开发者社区，福利多多！

如何运用「云、端融合的数智化安全体系」高效护航数据安全

左手AI，右手安全 —— 一汽丰田数字化转型之路

基于规则的优化器，就是优化器在优化查询计划的时候，是根据预先设置好的规则进行的，这些规则无法灵活改变。举个例子，索引优先于扫描，这是一个规则，优化器在遇到所有可以利用索引的地方，都不会选择扫描。这在多数情况下是正确的，但也不完全如此：

Greenplum性能优化之路 --（三）ANALYZE

在数据仓库的建设中，通常我们使用Hive处理原始数据（PB级别），进行耗时较长的ETL工作，再将结果数据（TB级别）交由准实时的计算引擎（如Snova）对接BI工具，保证报表的准实时展现。

EMR数据导入Snova云数仓

Greenplum作为数据仓库的计算引擎，其数据来源多是业务数据，其中以MySQL为主。那如何将数据从MySQL同步到Greenplum中？如果是离线同步，比如每小时，每天，可以参考前一篇文章 Greenplum数据导入系列 -- （一）DataX，那如果需要实时同步呢，最常见的就是解析MySQL的binlog然后写入到Greenplum中，本文就描述了一种实现方法。

Greenplum数据导入系列 -- （二）数据库实时同步

Greenplum（以下简称GP）支持多种数据导入方法，比如GP自带的gpfdist，通过gpfdist+外部表的形式将远端服务器上的数据并行导入到GP中，再比如GP自带的COPY命令，能够将本地的数据按照一定格式导入到GP中。除此之外，还有一些比较优秀的第三方导入工具，本文主要介绍DataX。

Greenplum数据导入系列 -- （一）DataX

Azkaban是LinkedIn开源的任务调度框架，类似于JavaEE中的JBPM和Activiti工作流框架。

基于Azkaban的任务定时调度实践

Snova是腾讯云上的一款数仓产品，兼容Greenplum 开源数据仓库，是一种基于 MPP（大规模并行处理）架构的数仓服务。

自建Greenplum迁移到Snova云数仓

腾讯云无服务器云函数（Serverless Cloud Function，SCF）是腾讯云为企业和开发者们提供的无服务器执行环境。

基于云上scf的定时任务设计方法

DataX使用记录

Greenplum（以下简称GP）有2种存储格式，Heap表和AO表（AORO表，AOCO表）。

Greenplum性能优化之路 --（二）存储格式

Greenplum（以下简称GP）是基于PostgreSQL的MPP数据库。在使用方式和语法上和PostgreSQL基本一致，而PostgreSQL与MySQL在使用上还是有一些差异。本文在操作层面列举了一些最基本的差异，让MySQL用户能够快速上手GP。

MySQL用户入门Greenplum

https://github.com/gregs1104/pgbench-tools

Greenplum基于pgbench的性能测试

分区表就是将一个大表在物理上分割成若干小表，并且整个过程对用户是透明的，也就是用户的所有操作仍然是作用在大表上，不需要关心数据实际上落在哪张小表里面。Greenplum中分区表的原理和PostgreSQL一样，都是通过表继承和约束实现的。

Greenplum性能优化之路 --（一）分区表

在Greenplum的4.x版本之后，加入了资源队列的概念，其主要作用就是限制用户或者单个SQL对资源的消耗。避免出现消耗过多资源，影响其他用户或者SQL计算。这里的资源限制主要是指系统内存资源。

Greenplum资源队列初识

  Snova客户端工具目前包含pg_dump，pg_dumpall ，psql 3个可执行文件。

Snova客户端工具

GP集群的 Primary MasterA节点部署一个备份节点，即Slava Master B节点。

Greenplum的HA实践

Snova云数仓支持直接分析或者导入腾讯对象存储COS里的数据，本文列举了在使用COS场景下的一些技巧和注意事项。

云数据仓库 PostgreSQL COS使用经验

  DBA在管理数据仓库的时候，往往会创建多个帐号，每个帐号有不同的用途。因此这里就有不同帐号间表授权的需求。

Greenplum中对表批量授权

具体包括不限于以下内容： 创建用户名，设置环境变量，创建数据目录，安装greenplum软件包，解压目录路径。

gpexpand分析

在用户列表中，选择需要授权的子用户。关联snova相关读写权限。策略关联成功后，子用户即获取相关资源权限。

Snova添加子用户及策略操作指南1

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

腾讯云开发者社区推出了云数据仓库 PostgreSQL专栏，为你提供了云数据仓库 PostgreSQL的相关文章，致力于帮助开发者快速成长与发展。

云数据仓库 PostgreSQL

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐