维度缓慢变化为SCD
(Slowly Changing Dimensions)一些维度表的数据不是静态的,而是会随着时间而缓慢地变化
(这里的缓慢是相对事实表而言,事实表数据变化的速度比维度表快,如果还不知道什么是事实表和维度表请看→数仓模型设计详细讲解)把处理维度表数据历史变化的问题,称为缓慢变化维问题,简称SCD问题。
例如:用根据用户维度,统计不同出生年份的消费金额占比。(80后、90后、00后)。而期间,用户可能去修改
用户数据,例如:将出生日期改成了 1992年。此时,用户维度表就发生了变化
。当然这个变化相对事实表的变换要慢。但这个用户维度表的变化,就是缓慢变化维。
这个用户的数据不是一直不变,而是有可能发生变化。例如:用户修改了出生日期、或者用户修改了住址。
以下为解决缓慢变化维问题的几种办法:
某一个属性值绝不会变化。事实表始终按照该原始值进行分组。
例如:出生日期的数据,始终按照用户第一次填写的数据为准
重写维度行中的旧值,以当前值替换。因此其始终反映最近的情况
。用户维度表
修改前:
修改后:
没有保留历史数据,无法分析历史变化信息
数据仓库系统的目标之一是正确地表示历史
。典型代表就是拉链表
保留历史的数据,并插入新的数据
。
用户维度表
修改前:
修改后:
用不同的字段来保存不同的值,就是在表中增加一个字段,这个字段用来保存变化后的当前值
,而原来的值则被称为变化前的值。总的来说,这种方法通过添加字段来保存变化后的痕迹。
用户维度表
修改前:
修改后
另外建一个表来保存历史记录
,这种方式就是将历史数据与当前数据完全分开来,在维度中只保存当前最新的数据。
用户维度表
用户维度历史表
这种方式的优点是可以同时分析当前及前一次变化的属性值,缺点是只保留了最后一次变化信息。
我在这里给大家提个场景题,比如我们在淘宝上够买了一件商品,从下单-支付-发货-配送-确认收货这个几步流。需求:统计出在发送到配置过程中转了几次?
今天给大家分享了SCD解决方案,但是其实以上的解决方案不是很好,其实数仓有一个非常好的解决缓慢变化维拉链表
既保留了历史数据又不会造成数据冗余,拉链表我们下期讲。信自己,努力和汗水总会能得到回报的。我是大数据老哥,我们下期见~~~
获取Flink面试题,Spark面试题,程序员必备软件,hive面试题,Hadoop面试题,Docker面试题,
简历模板等资源请去GitHub自行下载 https://github.com/lhh2002/Framework-Of-BigData
领取专属 10元无门槛券
私享最新 技术干货