后台开发工程师

大数据&分布式

代码在线跑，知识轻松学

Python精品学习库

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

博客搬家 | 分享价值百万资源包

往期视频·干货材料·成员作品 最新动态

技术创作特训营·精选知识专栏

新邀入驻腾讯云开发者社区，福利多多！

如何运用「云、端融合的数智化安全体系」高效护航数据安全

左手AI，右手安全 —— 一汽丰田数字化转型之路

是一个核心抽象，用于描述数据在分布式环境中的物理分布方式，确保数据在分布式处理中的高效性和正确性。它的主要作用包括：

Spark SQL(五)：基本概念-物理属性&Shuffle

Spark SQL(四)：基本概念-Join连接

查询重写(query rewrite)：按照一系列关系代数表达式的等价规则，对查询的关系代数表达式进行等价转换，从而提高查询执行效率。逻辑优化的本质：基于查询重写获取最优的逻辑计划树。等价规则(equivalence rule)：声明不同形式的表达式是等价的。通过等价规则调整关系代数运算的顺序，最优化运算处理逻辑，从而提高运算效率。

Spark SQL(三)：基本概念-查询重写

关系代数：描述关系数据库操作的集合，其运算对象和结果都是关系(表)。Edgar F. Codd 在1970 提出的原始关系运算包括：选择（Select）、投影（Project）、笛卡尔积（Cartesian Product）、并集（Union）、差集（Difference）以及重命名（Rename）。随着关系模型的不断发展，更多的关系代数运算被提出，常用的关系代数运算如下表所示：

Spark SQL(二)：基本概念-关系代数

Spark SQL在Spark项目定位如下，基于Spark Core提供结构化和半结构化数据的SQL处理能力[1]。 Spark SQL优化器实现框架称为

Spark SQL(一)：基本流程

，表示一个优化器操作节点/算子。OptExpression主要是用在传递计划树的接口上，在Memo/Group/GroupExpression中都不会存在该结构。

StarRocks 查询优化&执行调度

Iceberg是介于上层计算引擎与底层存储格式之间的中间层，定义为一种"数据组织格式"并称为表格式，它并不定义数据存储方式，而是定义了数据、元数据的组织方式，向上提供统一的“表”的语义。

Iceberg表格式

向量化执行模型已在现代数据库引擎被广泛应用，例如ClickHouse、TiDB、StarRocks等。为进一步提升计算性能，充分利用CPU计算能力，大数据计算引擎的不同厂商也针对向量化计算进行多样化探索。

Spark Gluten 向量化执行框架

Lucene作为最优秀的开源搜索引擎，内部实现了复杂的架构和算法，用来支撑对海量数据的存储和搜索。Lucene的存储和搜索都与底层的索引文件息息相关，Lucene发展过程中，也不断对索引文件格式进行优化和调整：

Lucene索引文件解析

Lucene是一款高性能、可扩展的信息检索工具库，是用于全文检索和搜寻的Java开放源码程序库，最初是由Doug Cutting所撰写，2000年发行了第一个开源版本，2005年成为Apache顶级项目。虽然经过近20年，Lucene在全文检索领域还是独领风骚，蓬勃发展。

大数据组件：Lucene全文索引与搜索

数据血缘(Data Lineage)：是数据治理中元数据管理领域下的一个子范畴，是数据的溯源过程，获得数据产生链路，发现数据的关联关系，目的是解决"数据的哲学三问"：我是谁，我从哪里来，我到哪里去。

统一元数据：数据血缘

元数据管理可分为如下5个流程步骤：元模型定义、元数据采集、元数据加工、元数据存储、元数据应用。其中，元模型定义是整个元数据管理的前提和规范，用于定义可管理的元数据范式。元数据采集是元数据来源的重要途径，提供可管理的元数据原料，而如何进行可扩展且高效的元数据采集也是元数据管理的难点之一。本文将主要针对元模型定义、元数据采集两个模块进行详细说明。

统一元数据：元模型定义、元数据采集

针对元数据管理系统，各类开源方案在业界层出不穷，本文将列举和对比几个业内比较流行的元数据管理组件：

统一元数据：业界方案设计概览

元数据管理包括元数据采集、存储、管理及应用等关键环节，是数据治理的基础与核心。但元数据管理实践过程中通常会面临元数据来源众多且分散在不同系统中、元数据类型多样以及元数据频繁变更等问题。因此构建一个基于统一标准规范实现的，通用可扩展的元数据管理体系是至关重要。

大数据平台：统一元数据管理

数据资产管理（DAM，Data Asset Management）是指规划、控制和提供数据及信息资产的一组业务职能，包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序，从而控制、保护、交付和提高数据资产的价值。数据资产管理需要充分融合业务、技术和管理，以确保数据资产保值增值。《数据资产管理实践白皮书》

数据资产管理体系与标准

大数据平台的资源管理组件主要针对存储资源与计算资源进行分析优化。前文《大数据平台：资源管理及存储优化技术》主要介绍了存储资源优化，本文主要介绍大数据平台构建过程中，计算资源相关的优化技术。

大数据平台：计算资源优化技术&作业诊断

Smart Storage Management (SSM) 项目是Intel开源的HDFS存储管理系统，致力于提供HDFS数据的智能管理方案。SSM有如下几个重要的功能：

SSM(HDFS智能存储管理) 系统剖析

大数据平台的资源管理组件主要涉及存储资源和计算资源管理两部分，属于大数据平台运维管理系统。基于资源管理系统，大数据平台的开发运维人员能够清晰掌控平台的资源使用情况和资源在不同时间段下的变化趋势，能对资源使用异常进行及时发现并定位处理，避免造成更严重的影响，如磁盘空间撑爆，计算资源无空余，任务长时间等待不运行等造成业务阻塞。

大数据平台：资源管理及存储优化技术

Ambari是Hortonworks主导发行的开源管理平台，作为Apache顶级项目，Ambari也是最早且最成熟的大数据集群管理开源组件，可类比于Cloudera研发的CDH Manager。在容器化未盛行的时候，是商用(toB/toC)大数据平台构建的不二选择，用于简化Apache Hadoop集群的配置和管理。除了Hadoop集群，基于可扩展配置文件，用户可扩展自定义组件的部署和运行管理。Ambari 提供了一个易于使用的Web UI和API，使得系统管理员可以对集群进行监控、配置和管理。

大数据平台：Ambari集群管理

Presto：2012年秋季Facebook内部开始研发，2013年正式对外开源。Presto是Facebook用于补充和替代Hive的产品，主要用于实时场景的交互式数据分析。相比于Hive的SQL on Hadoop，Presto不与Hadoop(MapReduce计算/HDFS存储)的框架模型绑定，其设计目标是SQL on Everything。

Presto CBO统计元数据

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

腾讯云开发者社区推出了大数据&分布式专栏，为你提供了大数据&分布式的相关文章，致力于帮助开发者快速成长与发展。

大数据&分布式

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐