高级AI工程师

数据仓库工程师上手指南

从部署到实践，即刻拥有你的专属龙虾助手

OpenClaw开发者专区🦞🦞🦞

自行/邀约他人一键搬运博客，享价值百万资源包

腾讯云自媒体同步曝光计划

往期视频·干货材料·成员作品 最新动态

腾讯技术创作特训营知识专栏

新邀入驻腾讯云开发者社区，福利多多！

在技术人的世界里，“写代码”是起点，但“重构代码”才是成长的开始。 ​ 写一个能跑起来的项目并不难，尤其在开源社区里，快速验证想法、实现功能是最常见的节奏。但当项目逐渐成型、功能越来越多、用户越来越多时，你会突然发现：它开始变慢了、变乱了、变得难以维护。那一刻，重构的信号就响了。这次我选择重构的，是一个我自己曾经开源出去的项目——SQL 血缘解析系统。 ​ 这个系统的核心目标其实很简单：从 SQL 语句中提取表、字段之间的依赖关系，并以可视化的方式呈现出“数据的流向”。

开源项目重构我们应该怎么做-以 SQL 血缘系统开源项目为例

最近要搭某个业务域的数仓，本来设计规划的挺好的，该搭DIM,DWD,DWS的也都设计好了，结果一跑数仓，全是大大小小的1BUG，最后揪出来整个过程，最大的烦人东西就是设计ETL数据入库分区的问题。那么这时候肯定有人说：咳，小事，不整那么多分区表，整全量表就不行了吗？但事实就是如果业务实际到前后两天必须要作环比审核的时候，就不得不做分区了，这几天对每个业务表设计分区有感，对数仓分区概率又多了很多新的认知和理解。

真的懂数据库分区吗？数仓为什么要作分区处理不麻烦吗？一文详解数仓分区

前言这次想聊点出工作技术方面外的内容，DWD该层在写CDM层的时候就提及很多次了大差不差，近期让我感悟较多的话那是那句宁愿犯错也不愿意什么都不做，说这句话如果能够做到，那么执行力也远超过其他人，能力和远见也会在历练中得到充分的成长。但是这也是要区分领域来说，一般我认为这句话的适用程度在自己的技术工作领域上面，可以去尝试换个技术，换个主题或者是从事新的第二事业，而不是在目前大环境下面去犯错，因为现在给你的容错机会极少，凡事还是要注意量与度。好了废话不多说，现在开始DWD层的数据建模。

数据开发/数仓工程师上手指南(六)CDM-DWD层搭建规范及流程

在上篇文章的进度和基础之上，我们已经算是构建好了ODS数据引入层，ODS这一层构建的比较简单，没有很多限制规范，但是CDM数据公共层可以算得上是数据仓库的主题，之前我们也将DWD数据明细层、DIM数据维度层和DWS公共汇总层都归纳为这一层层级结构。所有在构建这一层中需要注意的规范和事项比较多，当然对以后数据仓库的维护和优化也会起到很大的帮助，需要细心耐心的搭建规划。那么我们将在本章完成DWD/DIM/DWS这三层的具体搭建和设计规范。

数据开发/数仓工程师上手指南(五)CDM-DIM层搭建规范及流程

此系列的前三篇文章已经将整个数据仓库的所有构建逻辑流程讲的十分清晰，等于是我们已经把框架搭建好了，接下来就是填充框架内各个组件层级的内容了。我们已经将数据仓库分为三层，分别是ODS数据引入层、CDM数据公共层和ADS数据应用层，现在我们需要根据业务来逐渐将这三个层面给丰富起来。首先由下到上需要先构建ODS层，那么本章内容我们就来了解ODS数据引入层的搭建规范和对应需求业务的搭建流程。

数据开发/数仓工程师上手指南(四)ODS层搭建规范及流程

此系列的上篇文章通过拆解电商业务数仓系统，通过数仓分层概念对整个业务进行拆解分层，那么本章节将沿着上一篇的数仓概念分层切割电商业务，去具体构建电商业务的数据仓库，我们将按照行业认可标准的流程去构建较为完整的数据仓库。

数据开发/数仓工程师上手指南(三)数仓构建流程

在了解了数仓的基本架构之后，我们还需要掌握数仓构建方法，也就是了解数仓是如何建模的，有什么规则和通用方法。我们应该如何去构建一个性能良好、稳定高效、契合业务的数据仓库。

数据开发/数仓工程师上手指南(二)数仓构建分层概念

笔者毕业最开始从事的就是大数据开发和数据仓库建设工作，途中曾担任过人工智能工程师和计算机视觉工程师，没想到最后兜兜转转还是回到了最原本的工作数据开发工程师。但很少有写关于本职工作的技术内容输出。

数据开发/数仓工程师上手指南(一)数仓概念架构

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

腾讯云开发者社区推出了数据仓库工程师上手指南专栏，为你提供了数据仓库工程师上手指南的相关文章，致力于帮助开发者快速成长与发展。

数据仓库工程师上手指南-腾讯云开发者社区

数据仓库工程师上手指南

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐