暂无搜索历史
可能很多程序员和我一样,一直在一次次地重新入门函数式编程(和设计)。因为我们总是学了就忘。
本文主要讲讲,spark 3.0之后引入的动态分区裁剪机制,这个会大大提升应用的性能,尤其是在bi等场景下,存在大量的where条件操作。
元数据目录通过 FE 的配置项 meta_dir 指定。 bdb/ 目录下为 bdbje 的数据存放目录。 image/ 目录下为 image 文件的存放目...
最近在学习Doris FE源码,按照Doris官网开发者手册下载源码时,出现了很多问题,比如Jar包无法加载、编译项目报错、Thrift 插件无法引用等等,导致...
Rollup 可以理解为 Table 的一个物化索引结构。物化 是因为其数据在物理上独立存储,而 索引 的意思是,Rollup可以调整列顺序以增加前缀索引的命中...
主题是在较高层次上将企业信息系统中的数据进行综合、归类和分析利用的一个抽象概念,每一个主题基本对应一个宏观的分析领域。主题域是业务对象高度概括的概念层次归类,目...
在文章中,我们说到Hive 3.0.0版本开始,其单独提供了standalone metastore服务以作为像presto等处理引擎的元数据管理中心。
8月份 FlinkCDC 发布2.0.0版本,相较于1.0版本,在全量读取阶段支持分布式读取、支持checkpoint,且在全量 + 增量读取的过程在不锁表的情...
本文将演示如何使用 Flink DataStream API 开发一个 Flink CDC 应用。
本文通过 Local mode 执行如下 Spark 程序详解 commit 原理
本文介绍了Spark SQL的Join实现原理、不同Join方式的实现流程、优化策略以及社区现状,为Spark SQL的Join实现提供了全面且深入的解析,有助...
将外层查询块的 WHERE 子句中的谓词移入所包含的较低层查询块(例如视图),从而能够提早进行数据过滤以及有可能更好地利用索引。
ANY关键字与比较操作符一起创建谓词(量化比较条件),如果标量表达式的值匹配子查询检索到的一个或多个对应值,则该谓词为真。 ANY谓词将单个标量表达式项与单个...
ALL关键字与比较操作符一起创建谓词(量化比较条件),如果标量表达式的值与子查询检索到的所有对应值匹配,则该谓词为真。 ALL谓词将单个标量表达式项与单个子查...
IN谓词用于将值匹配到非结构化的项系列。 通常,它将列数据值与以逗号分隔的值列表进行比较。 IN可以执行相等比较和子查询比较。
spark sql谓词下推逻辑优化器PushDownPredicates包含了三个规则:
词法语法解析—>语义解析—>生成逻辑执行计划—>优化逻辑执行计划—>生成物理执行计划—>优化物理执行计划
经常听到【谓词下推】这个词,却从来没有对它进行全面的深入的研究,直到前些天,我们的数据产品跑过来跟我讨论 他写的一个sql,这个sql最终出现的结果并不是他想要...
本文编译自IBM开发者社区,主要介绍了HDFS中小的ORC和Parquet文件的问题,以及这些小文件如何影响Big SQL的读取性能,并探索了为了提高读取性能,...
暂未填写公司和职称
暂未填写个人简介
暂未填写学校和专业
暂未填写个人网址
TA 很懒,什么都没有留下╮(╯_╰)╭