Spark SQL(五)：基本概念-物理属性&Shuffle

是一个核心抽象，用于描述数据在分布式环境中的物理分布方式，确保数据在分布式处理中的高效性和正确性。它的主要作用包括：

Spark SQL(四)：基本概念-Join连接

Spark SQL(三)：基本概念-查询重写

查询重写(query rewrite)：按照一系列关系代数表达式的等价规则，对查询的关系代数表达式进行等价转换，从而提高查询执行效率。逻辑优化的本质：基于查询重...

Spark SQL(二)：基本概念-关系代数

关系代数：描述关系数据库操作的集合，其运算对象和结果都是关系(表)。Edgar F. Codd 在1970 提出的原始关系运算包括：选择（Select）、投影（...

Spark SQL(一)：基本流程

Spark SQL在Spark项目定位如下，基于Spark Core提供结构化和半结构化数据的SQL处理能力[1]。 Spark SQL优化器实现框架称为

StarRocks 查询优化&执行调度

，表示一个优化器操作节点/算子。OptExpression主要是用在传递计划树的接口上，在Memo/Group/GroupExpression中都不会存在该结构...

Calcite物化视图查询改写

论文[1]提出SPJG查询改写，是SQL Server 2000视图改写的理论基础，高效实现基于selection, project, join, group-...

Iceberg表格式

Iceberg是介于上层计算引擎与底层存储格式之间的中间层，定义为一种"数据组织格式"并称为表格式，它并不定义数据存储方式，而是定义了数据、元数据的组织方式，向...

解读 Optimizing Queries Using Materialized Views: A Practical, Scalable Solution

原文链接：Optimizing Queries Using Materialized Views:A Practical, Scalable Solution

因果推断常用计量方法

因果推断(Causal Inference): 是关联分析的一种统计方法，在大型系统中，试图指定/干预 “因” 而观测影响/改变 “果”的过程。因果推断不仅关注...

Calcite Lattice物化视图选择

物化视图(Materialized View，简称MV）：是一种特殊的物理表，本质是预计算。通过多个计算过程之间的联系建立，从数据组织层面优化数据访问效率，把某...

Spark Gluten 向量化执行框架

向量化执行模型已在现代数据库引擎被广泛应用，例如ClickHouse、TiDB、StarRocks等。为进一步提升计算性能，充分利用CPU计算能力，大数据计算引...

向量化计算

SIMD(Single Instruction Multiple Data) 单指令流多数据流，是一种采用一个控制器管理多个处理器，同时对一组向量数据中每个数据...

因果推断框架

结构因果模型（Structure Causal Model）：该框架核心是在一个已知的因果图中去做推断，其中因果图一般由专家知识定义，用DAG有向无环图表示，其...

因果推断概览

因果推断(Causal Inference)：是关联分析的一种统计方法，在较大系统内部，试图指定/干预 “因” 而观测影响/改变 “果”的过程，推断变量之间的因...

解读 Implementing data cubes efficiently

预计算基于空间换时间实现查询性能提升，物化视图是数据立方体(data cubes)的一种实现方式。如何有效选择数据立方体进行物化是一个NP难问题，对于n维数据集...

SQL多维分析

早在 1993年，关系数据库之父 E.F.Codd[1] 提出了 OLAP 概念，不遗余力指出面向记录的OLTP关系型数据库从根本上不适合查询分析的需求。