如何在informatica中对FlatFile目标进行SCD Typ1

在Informatica PowerCenter中，Slowly Changing Dimensions (SCD) 是一种处理数据仓库中随时间变化的数据的技术。SCD Type 1 是其中一种类型，它通过覆盖旧数据来处理数据的变化，即最新的数据会替换掉旧的数据，而不保留历史记录。

基础概念

Slowly Changing Dimensions (SCD): 用于处理数据仓库中的维度表，这些表中的数据随时间变化。
SCD Type 1: 数据发生变化时，直接更新现有记录，不保留历史数据。

类型

SCD Type 1: 直接覆盖。
SCD Type 2: 保留历史记录。
SCD Type 3: 部分保留历史记录。

应用场景

适用于数据变化不频繁，且不需要查看历史数据的场景，例如当前状态的数据报告。

实现步骤

创建维度表: 在数据库中创建维度表。
配置映射: 在Informatica中配置源表到维度表的映射。
设置SCD Type 1: 在映射中设置SCD Type 1 的处理逻辑。

示例

假设我们有一个FlatFile源文件 customer_src.txt，内容如下：

ID,Name,Address,EffectiveDate,EndDate
1,John Doe,123 Main St,2020-01-01,
2,Jane Smith,456 Elm St,2020-01-01,

维度表 customer_dim 结构如下：

CREATE TABLE customer_dim (
    ID INT PRIMARY KEY,
    Name VARCHAR(100),
    Address VARCHAR(100),
    EffectiveDate DATE,
    EndDate DATE
);

配置映射

创建源定义: 在Informatica中创建源定义，指向 customer_src.txt。
创建目标定义: 创建目标定义，指向 customer_dim 表。
创建映射: 创建一个新的映射，将源定义连接到目标定义。
设置SCD Type 1:
- 在映射中添加一个 Expression Transformation。
- 设置 Update Strategy 为 Overwrite。
- 配置 EffectiveDate 和 EndDate 字段的处理逻辑。

示例代码

<Mapping>
    <Source Qualifier="SRC_CUSTOMER">
        <SourceDefinition>Customer_Source</SourceDefinition>
    </Source>
    <Target LoadOrder="1" Name="TGT_CUSTOMER_DIM">
        <TargetDefinition>Customer_Dim</TargetDefinition>
    </Target>
    <Transformation Type="Expression" Name="EXP_SCD_TYPE1">
        <InputParameters>
            <InputParameter Expression="IIF(TARGET.EndDate IS NULL, TODAY(), TARGET.EndDate)" Name="EndDate" Type="DATE"/>
            <InputParameter Expression="SRC.EffectiveDate" Name="EffectiveDate" Type="DATE"/>
        </InputParameters>
        <OutputParameters>
            <OutputParameter Expression="SRC.ID" Name="ID" Type="INTEGER"/>
            <OutputParameter Expression="SRC.Name" Name="Name" Type="VARCHAR(100)"/>
            <OutputParameter Expression="SRC.Address" Name="Address" Type="VARCHAR(100)"/>
            <OutputParameter Expression="#Parameters.EndDate" Name="EndDate" Type="DATE"/>
            <OutputParameter Expression="#Parameters.EffectiveDate" Name="EffectiveDate" Type="DATE"/>
        </OutputParameters>
    </Transformation>
    <Joiner JoinType="Left" Name="JOINER_SCD">
        <Input>
            <JoinCondition>SRC.ID = TGT.ID</JoinCondition>
            <LeftInput>
                <RefEntity>SRC_CUSTOMER</RefEntity>
            </LeftInput>
            <RightInput>
                <RefEntity>TGT_CUSTOMER_DIM</RefEntity>
            </RightInput>
        </Input>
    </Joiner>
    <Expression Transformation="EXP_SCD_TYPE1">
        <Input>
            <RefEntity>JOINER_SCD</RefEntity>
        </Input>
        <Output>
            <RefEntity>TGT_CUSTOMER_DIM</RefEntity>
        </Output>
    </Expression>
</Mapping>