55_尚硅谷_用户行为数仓_Hive运行引擎Tez

好，那下面呢，我们看一下T的运行引擎T这一块啊，那这个呢，属于这个have优化的一个重要手段啊，首先来看一下什么是T啊。它呢是一个have的运行引擎，性能应用于M2 m2快，为什么，因为MR呢，它前面这个图。这是一个mmr运行式啊，这是一个mmr，这是中间的是啊U盘MMRMMR啊，然后最终会有得出这个结果，那这个呢，是。在。啊，你看中间有没有停盘的过程，没有啊，没有啊，那看用还直接编写这个MR程序，假设有四个依赖关系短，那说音上图中绿色的是reduce啊，这呢是那个阶段，那云状呢表示就是写平B，其实就是这个是啊是吧？那需要将中间结果持久化到A定单，那PA呢，可以将多个依赖作业这么多个作业作为一个作业来运行。

哎，只需要写一次连接板，最终这个结果需要写到连接板上，写中间节节点较少，从而大大提高作业的运速度，它中间这些结果全部放在类型当中进行计算啊，而且你看它是不是这个对应的这个，嗯。这这个这个是不是优化了证券结果这一块合并成了这一个。啊，优化中间过程啊，减少中间环节，所以说这就是这个tag引擎它的特点啊，运行速度快，记忆内存的好，那下面呢，我们开始安装一下这个TD，安装之前看一下官网。哎呀，我各种看这个阿帕奇，阿帕奇的贡献是真大啊。嗯，这个呢，就是官方的图啊，整个整个又来源于官方啊，它的内部原理就是这样。那在这里面呢，它有这个不同的这个版本啊，你可以去下载，比如说这里面这么多版本啊，还且全是这有这有稳定版啊，稳定版下来，那这里面呃，我们下了是一个0.9.1这么一个版本，那这个版本呢，我把它上传到I豆的，就是咱红model了是吧。

一会它解压到北京嘛，把它解压到最终的是。带拨到这个步骤下啊，然后修改名称叫T0.9.01啊说一下呗，CDOD算半啊，我们这个呢，是上传到这个位置。二杠ZZF。好看发题。康大奥王总。修改还没章问下。太子。

啊。好，好吧，起。这样的这个看点平啊，我们就加完成了，加完成之后啊，继续按照它这个文档去配置了，好首先呢，是进入到这个have的配置啊，因为这个派典引擎呢，是作为have的一个优化引擎哈，好进到这里面之后。打开还因为还因为之前我们在配置have的时候，配置了两个路径分别是。Hi home和hiph框点。那接下来我们在这里要配置一些东西，那配置的是什么呢？能看到这上。首先定义了个T后，T后是报告这个我们刚出现的对吧？啊，就是它之后这来了一个太子贾斯。价包，那这个价包这个变量，你看它是跟着一个循环。

那这个循环里面能不能读懂。这是首先for循环价in in的话是FX telephone home，然后gra价，那我们就来到这个telephone下看看有什么。心态。来到这里面，你发现这里面有N多少多少价，对吧，还有一些其他文件，那我们需要的是声明价啊价，那那就简单了，那你看这句话叫MS，然后这个路径下的gra价过滤出来，价来了写一下。MS。Grab。那是不是就是所有的以价结尾的内容啊，都过出来了，然后对他们进行统一的一个负循环声明。

这是一次取出一个价，然后取出来就对它进行一个全局变量声明，对吧？啊，就是这样的啊，对它一个声明，OK，那这个完事之后，下边还有一个这个T后下边还有一个立，那我们看看这个立方向味什东。比如说这里面有一个它这个CD这个。那你发现这个力方式下是不是没有其他的全是价热啊，那就直接循环便利，把它里面内容全部循环生成一遍，如果不采用循环的方式，我们需要干嘛？是不是一个一个生成也一样的啊，一个一个生成一样的啊，那只不过在生面过程当中啊，这是这种方式巧妙一些，巧妙一些好，那最后呢，这里面还上明了一个。啊，谁呢，拉着罗压缩，因为我们后来这个have要支持拉着啊直拉罗有在市场里面是有压缩这种方式的，所以我们生明了一个外部的这个价包啊压缩，所以说这整个这个因为里面就是做了。

这些声明变量的工作呢？认识。还有因为。好，就到这里面再还。因为OK进来来大范围。OK，那这样呢就OK了啊，声明一些架构底部。生明完这些下方之后，下面继续，那我们要想让这个have跟T关联上。嗯，采用的是T引擎，就需要改变一下have的执行引擎叫T。

默认什么？包对，然后呢，放到这个have这个包下，把这个文件夹上。M还有在的，再进来再改这个文件。执行引擎。OK，那这个T表达之后继续再往下，再往下还是来到have的open model have come下创建一个T。在这么一个长白。那我们就创建一个了。这些都是按照这个官网要求啊，他。点time。啊，然后呢，把这些内容粘过去，那这些内容它是什么呢？我们来一一看，这里面说第一个叫T子立us，嗯，那是FS的，FS熟悉吗。

是不是配置high路的时候啊，那个一个路径啊路径，然后下边跟上T什么T0.9.0啊9.1。其实是未来这个态度，我要把它上传到集群上，你就上传到面板上。在进行上运行，那所以说这里的路径就要变成。集群的路径，方便能找到这个T，比如说未来我要把这个T这个价包放到根路上。好，那这个是Fi报的，那下一个呢是那us class，那仍然是T0.6.0，然后下面立你说把这些价包全部让集群能够找到，那之后这又来了一个说柚子class，还你如说你是否应用开动的一些叫号啊，那这里面我是用到啊这个to，那之后呢，还有一个历史日志的服务的一个记录。

那这个要配一下啊，记住这个拿过来。所以说这是集群的路径，注意。那我们未来是要把tag上传到集群上的。每个节点都能运行了，好那之后你看下面就来了，上传这个T到集群啊，那首先在这个题上创建一个目录态。之后在创建一个，呃，再把它上传到这主机上。这个要注意啊，跟这个东西要配上，你现在这地方是加了一个东共线有一个T，然后之后是T0.9.09.1这样啊。能听见吗？开版FS杠那个D啊，然后T。那你看这边声明什么声没声啊。

好，那这有了T，比如说未来我把那个价包放在这个下面。同学们继续创建完它之后，那我就要上传了，那上传的命令是对吧？啊，Word标这个本地目录的数据到这。他都把FS杠负的，负的谁呢它啊，结果负的它大。太子下面啊，这。看一下这边有没有。看有了，嗯，那这样呢，就把这个T啊，整个引擎就上传到这个集群上啊，它就能够分布式预算了啊好，上传成功也查看到，那之后呢，我们就可以启动一下这个have，嗯，看到它是否就支持了这个太典型的一个运行啊这个。

能不能成功呢？那猜能不能成功。一呢？要是能成功博了啊。不面积啊。这个T啊，它是完全基于内存的啊，那它就会耗内存啊，然后我的机器的内存呢，又没那么多。他就会报错，但报错不要慌，你们的特点呢，就是在学习过程当中遇到N多bug，一到面试的时候会郁闷，遇到bug从来没有。是这样，从来没有遇到过，因为想不起来，哎，包强吧，啊，那包子一查，不要慌啊，找呗，看见吗？

啥意思？那use的啊，这是2.6括2.1什么虚拟内存用了啊，就是它这个内存呢，使用不够了啊，不够了怎么办呢？他就把它给我给退掉了是吧，退掉了其实并不是真的不够了，只是他在运行之前，他要检查一下你的内存啊，是否跟他设想的预料是一样的，他发现一检查时候不够。啊，其实呢是够的啊，或者差一些啊，不有啊，不是有特别大的一个影响啊，啊那这块怎么办呢？看这块有一个啊说明那遇到这个问题直接关闭它的，那虚拟内存的一个检查啊，这个呢是要在亚恩塞，记住这是开动作里面的配置，对吧？把这个检查干掉，在18号的时候你们还会再加一个东西啊。

把它干掉是办更好的一些好阳晒了。真正在开发的时候没有这问题啊，不用担心。凉菜。打开。就是没钱嘛，是吧，有钱就好了。有同学说，老师你别打来服气啊。说行，学费再涨个2000就可以了，就那么简单。盐菜。好，分发完了，分发完它不能立刻生效，要求重启集群啊啊一定要重新集群，否则的话是不生效。

咱们端午节去干啥呀？有3000吗？我今晚不敢不胖啊，不胖真罚钱呢。肯定。你们是，哎呀，我学习老师，我要学习是吧，其实过节的时候比这玩。回来自己啥都知道，你像那个上个班哈，我上个班这个学习氛围特别好，好到什么程度啊，周我上完课之后，所有的周四周日全部来上自习。而且班长五酒店给每个人买一瓶，那家有20来人知道是吧，嗯。每周只要来的话，来上就得买奶茶。还有。

啊，那这个停止完我们再启动。你看人家班长是这个套路很深的，现在你觉得每个人贡献给他买20块钱对吧，而且一共也就一个人身上花了100块钱，未来呢。未来你能收获多少？至少你所有人的项目都能收获来，所有人的经验你能掌握，有没有bug的话，还是有同学帮你去拿，那得多爽啊。那现在你再问问自己，现在是没出没没没付出，那最来的结果是逆到8UG之后没人搭理你。那很痛苦是吧，周老师，老师在上课。一般情况遇到什么紧急情况，对吧，肯定很紧急。你要是晚上吧，偶尔还行，那你能不能扛到晚上，这是一个问题，对吧，白天这着电脑跟大发呆，说发呆到晚上，那终于又精神了，你好好呆，其实是这样，白天的时候他真是无所事事啊，到晚上的时候赶忙是吧，走到学生那个宿舍，或者找老师各种爱你啊，开始。

我现在每天就是至少要应付30多个学生。你看我手机一整就不离手是吧，没办法，我要，我要是你拿着这个手机，那就有N多的同学可能这一天就难过了。行，那这是这个啊，然后再请动下。上服讲究的就是售后，售后服务，好多同学这个毕业一年两年了，还一样一样高。包括还帮你们找对象呢，5520呢，然后还有好多女同志主动说，老师，我也要找对象。

然后我就给他推荐给那个打那个副镇长啊，非常非常开心啊，终于有男朋友了。你班你班女生穿多的吧？还有三个，三个大鲤鱼。一直感觉没有昵，这是你单身的原因，行，那这个呢，就启动起来了哈一下。那目前呢，只有一个高的数据库，后面呢，我会再创建我们的书商啊，所以说现在呢，就支持这个太典型了。