138_尚硅谷_CDH数仓_业务数仓完结

好，那下面呢，我们为了这个业务数据，数据里面啊，需要导入导出数据啊，用到的是scoop，我们要把这个scoop呢，给它安装起来，那s school安装来到这个cloud manager。回到这。之后点击添加服务。呃，我们要选择的是scoop scoop下面呢，只有一个一和二，那我们选择的是一，嗯，一哈，继续。选择主机102确定继续。开始启动school啊，非常简单，你会发现这些组件啊，就在页面上点吧点吧就完事了。可以过，趁着这几会过一下文档哈，School二过一啊，它里面这个架构啊，其实是不太一样的哈，啊，目前呢，用这个一的相对来说还是多一些啊，目前选择一，嗯，选择这里面有详细的步骤哈，然后之后呢，这里面创建scoop导入脚本，那这个scoop呢，主要承担的是将MYSQL里面的数据导入到啊HDFS先导到HTPS这么一个过程，那OK，先创建这个脚本好。

拿过来。垂帽的777SCO，嗯，OK，那这样的这个导入脚本我们就做好了，做好了之后别着急，看看这边进程，诶SCO呢已经搞定了。哎，完成。

那这样呢，这个scoop我们就已经安装完成了，安装完成之后刚才那个scoop。脚本我们已经写完了，那这个脚本主要用来将MYSQL的数据导入到APS啊这么一个过程。那我们就先倒呗，啊，用一下这个脚本。那这个脚本的参数是这样的，呃，SCHOOL22019-0210，因为我们生成的数据就是2月10号的，所以说直接执行脚本。来到这儿执行。这个执行过程当中啊，需要花费一点时间，这个时间呢还比较长啊。这个时候你可以过一下这个文档，按照这个文档去做哈，其实跟我们之前讲的这个书仓这个脚本啊，都是一模一样的哈，都没有没有动，嗯，只不过安装的这安装scoop是用的CDH安装啊，以前呢，我们是阿帕奇去安装的这个scoop啊。

那是过完成之后，我们就可以在ODI层去各种建表，诶，那这个期间我们可以去它在导入的过程当中，我们可以在把O层的表建了，Ods层一共有八张原表啊建好，建好之后就可以把HDFS里的数据导入到。这个是表里面啊，最开始原始数据在MYSQL里面，现在呢，我们导的就是把MYSQL里面导到ADS，再下一步是a dys到have啊在导航，那现在呢，要往have里面去导，需要得有表，那表的话来到hill啊，还这里面，然后先创建。致敬。诶，第一张表创建完了节省时间啊，这样，然后接下来第二张表。

OK。第二张表结束之后，第三张表。这就是细致活啊，别着急。慢慢去做就没问题。第四张表，用户表。好，接下来第五张表。一级分类表。第六张表二级分类。第三张表，第七张表，三级分类。第八张表，支付流水。嗯，之后呢，Ods这个脚本我们也可以提前给他做好ods。

哎呀，他执行他的哈，不耽误CDB目录。来到这，OK，把这脚本。拿过来，其实还是回到了这个一层倒一层这个过程哈。改下权限。好，准备工作已经准备好了，就等这边运行完成了。这边呢，第一第一次倒呢，确实花费时间会长一些哈，因为有八张表。刚才的准备工作别别成混了哈，其实呢，现在我们是在导的是这个过程，用s school去导，将100SQ的数据导入到a dys，那接下来我刚才创建的这个ods的表啊，是为了将刚才导入到APS的数据再导入到这个have里面啊，这个别着急哈，别整混了。

好，经过大概五六分钟的时间，那这个呢，数据呢也已经导入成功了，那他这个导入成功之后，那下面呢，我们就开始处理这个OD城的数据，那刚才呢，我们把准备工作都做好了，那接下来继续去导ods。执行ods，那同样他在执行ods过程当中，哎，我们把这个DWD层的表再给创建了啊，为了节省时间哈，好拿过来，仍然来到hill里面去创建表。

OK，这是下一集的哈。再创建第二章。OK，接下来第三章。之后第四章。接下来是第五章。诶，第五章建完之后，把这个脚本提前写好。这个倒的快已经倒完了，那也行，那我们把这个脚本做了。

77DW。DB，嗯，好，那这一层脚本已经做完了，做完之后我们就立刻执行一下DWD层脚本，嗯，OK，它跑它了之后呢，我们现在就可以创建DWS层对应的表啊DWS层，那我们继续创建。OKDW层表已经建好了，那再往下，下面呢，我们要建DW层对应的S脚本。CD。

顺着帽子，777DWS。DBOK，那这样呢，这层表呢，我们已经创建完了，创建完成之后准备执行脚本，看看这边执没执没执行完啊，还在执行啊，一定要等待他执行完之后，你再执行DWS。别着急。你可以先放在这儿啊DWS关表层。

好，那现在呢，这个DWD城已经跑完了，那接下来我们跑DWS。那DWS层在跑的过程当中，哎，我们把ADS对应的表创建好。创建。OK，然后向adi上导入的脚本我们也提前装建行。这个是GMV的哈，就以这个GMV为例。

这个脚本准备好。快要结束了哈。好，那现在呢，DW层我们已经搞定了，那DW层搞定之后，那前面接下来ad层啊，导一下ad数据。

ADS在导的过程当中，接下来我们准备一下数据，把这个最终的结果导出到MYSQ当中啊，也就说导出到买车空，买车扣，用于日后的可视化。好，来到这里面，那这里面你就需需要提前创建一张表，用来接收对应的指标数据。好，创建好了之后，下面我们用scoop再把它导出去。创建脚本。嗯。他跑他的哈。设777SCHOOL，修改一下权限。

OK，它搞定之后等待执行，把所有的数据导出到MYSQL里面。等待这一程执行完哈。好，这边执行完了，我们回来执行，把所有的数据导出到MYSQL，那MYSQL里面我们可以先查一下，看这里面有没有数据哈，S select行from。暂停。目前这里面没有数据，看一下等待它执行完。其实这里面就是一个整个的一个导入导出了哈，从ods啊，从产生数据啊，然后呢，呃，Scope把数据导入到ods和OD s DW d dws ADS，然后再通过这个scoop把数据导出到MY口，整个一个闭环，你可以认为买口产生数据到adys adys进入到ods层，Ods层进入到DWD。

DWD到DWSDWS到ADSADS再把结果输出到MY口啊，就这么一个流程啊，一个闭环，那前面这个MYS口真正在开发中，这个MYSQ其实是业务数据仓库的MYS口，那这个口呢，其实是用于可视化的MYS口，如果在实际的生产环境下，这是两个买射口，一定要注意哈，只不过呢，我们现在用于测试啊，放在了同一个买射口里面去，这个不要误解哈。行，看一看导入结果，诶已经结束了，结束之后呢，这边呢，我们再查一下看有没有数据。

好，那我们执行这个查询语句，就能看到对应的这个，嗯，结果数据，那也是现在到目前为止，相当于我们从买这从这个产生业务数据，到把通过school把数据传到ods dwd，以及到dws sads，再之后通过scope把这个数据导出到MYSQL，整个一个闭环系统就已经完全建立起来了。嗯，好。