商业智能BI中有许多定义,诸如数据仓库、数据挖掘、OLAP等,还有一个不得不提的定义,那就是ETL。在BI工程师或相关的职位招聘中,ETL也是必不可少的一项技能。那么,ETL到底是什么呢?
ETL 的英文全称叫做 Extraction(抽取),Transformation(转换),Loading(加载)。
抽取主要是针对各个业务系统及不同服务器的分散数据,充分理解数据定义后,规划需要的数据源及数据定义,制定可操作的数据源,制定增量抽取和缓慢渐变的规则。
转换就是指数据的清洗、合并、拆分、加工、数据逻辑计算处理的过程,通常会按照一定的业务逻辑规则进行计算,最后转换成符合业务模型、分析模型的规范性的数据。简单来说,不管是大数据、小数据,都是将不规范的、不可分析的转换成规范的、可分析的数据。转换是ETL中花费时间最长的部分,一般情况下工作量是整个ETL的2/3。
加载主要是将经过转换的数据加载到数据仓库里面,可以通过直连数据库的方式来进行数据加载,可以充分体现高效性。在应用的时候可以随时调整数据抽取工作的运行方式,可以灵活的集成到其他管理系统中。
ETL的目的是将企业中分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据。 ETL是商业智能BI项目重要的一个环节。通常情况下,在BI项目中ETL会花掉整个项目的1/3的时间,ETL设计的好坏直接关系到BI项目的成败。
ETL是实现BI的基础,因为保证了数据的质量与正确性。如果质量出现问题,最后的报表做出来也是错的。
市面上很多商业智能BI工具并不自带ETL,而是搭配开源ETL。这样可能会节省一部分费用,但是一旦出现问题就比较麻烦,用户需要将问题反馈到开源社区等待处理,在等待处理的过程中可能会浪费大量的时间,反而得不偿失。亿信ABI就是一款自带ETL的商业智能BI工具。其数据整合功能充分结合了大量项目人员的实施习惯,在整个数据建模的过程中,可以快速创建ETL过程和构建数据模型,操作简单,敏捷易用,提高效率,降低实施难度。
本文系转载,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文系转载,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。