需求场景:
数据来源有不同的DB,以及提报的EXCEL,转到分离的数据库中分析。
ETL(Extract抽取+Transform转换+Load加载)
一、下载
(支持Linux\Windows)
2、下载所用到JDBC驱动到lib目录下,如Microsoft SQL是jtds-1.3.1.jar
二、运行
1、运行Spoon(若有闪退需要配置好java环境)
三、转换
1、首先可以先建一个转换“文件-》新建-》转换”
2、在转换下选择“DB连接”,将源数据库及目的数据库分别连接起来
3、在核心对象中,选择输入--表输入和EXCEL输入
可选择SQL表、EXCEL首行为字段
4、在核心对象中,选择输出--表输出
输出表需提前建立
5、将输入和输出连接起来(在输入图标上按shift指向输出可建立连接)
6、点击运行,如果出现打勾及日志没错误,即可手工完成数据的迁移。
三、作业
目的以上手工变成定时自动
1、首先可以先建一个转换“文件-》新建-》作业”
2、将通用下“Start"和”转换“拖入后侧并建立连接
3、双击”Start"
4、验证输出端数据
四、报表平台
服务端:
Microsoft (SSRS)SQL Server ReportingServices是一种基于服务器的报表平台.
如果是配合低版本SQL 2008等是集成在SQL安装盘里;
高版本已有独立产品可搜索安装。
生成端:
报表生成器report builder 3.0
使用端:浏览器或应用系统集成应用
五、数据仓库+挖掘
如何建立数据集市、如何建立数据仓库、如何建立分析主题
用成熟产品(比如帆软)+开源配合可以加快进度。
(备注:对数据挖掘,涉及很多数学算法。
上面解决方案,仅仅只适合中小企业参考)
领取专属 10元无门槛券
私享最新 技术干货