21_尚硅谷_数仓采集_项目经验之基准测试

好，接下来呢，我们继续讲啊，那问大家一个问题，我们这个哈德堡集群答完了，那这个集群性能怎么样呢？它的读写速度是什么样的，能不能满足我们的这个需求呢？那怎么能获取这些信息，那这个信息就需要我们这个集群进一步的一个测试啊测试，那这个测试啊，啊不需要我们自己去写这个测试代码，还的已经默认给我们提供了一些测试的架构啊，测架构啊，那这里面首先做的测试呢，就是测试HDS的写性能啊，什么叫写性能呢？向这个HT上写十个128兆的文件，看它的写速度是多少。啊，这个是看它的写的能力是快还是慢好的，那它这个测试价包在什么位置呢。Op往走这个啊，下边还是S，然后MAP6 map6下的，还做过六客户端job collect，然后测试啊，我们找到它啊找到它。

DWDCD啊，CD6麦六是下的。哪一个呢，客户端。Gd bc client啊，Test啊，测试的价包啊，就用这个价包对它进行测试，那测试的参数叫test dfl。测试A，然后杠right啊，是写啊，那写几个文件呢？十个文件，每个文件大小都大呢，杠吧，是可以根据你的需求进行设置的。那我们来看执行一下，看看我们目前大堆集群能不能扛得住。

谢谢舒总，那我先把我这个集群呢，看一下这个里面有没有东西啊。目前根目录下是没有任何信息啊好，我们开始测试。是这会比较慢啊，个别电脑有可能把你的，呃，机器跑崩了是正常的啊，对呀。就说明你这个集群达不到这个读写性能，那怎么办？咋电脑啊，剩的这个增加服务器内存啊，或者这个呃，磁盘啊，包括你这个提高你这个CPU啊运行能力啊。对，CPU。那你看目前是呃，t1.8啊，十个文件，每个文件128兆，现在呢，开始运行MR任上传。

我百度去喝杯咖啡。看一看。看有东西了吧，哎，开始有东西了，Test的DFIO，那这里面就有数据了，IO date right还是临时文件呢，没上传成功了啊。好，麦克计算结束啊，结束了，上传成功，上传成功之后这一段你看TDMSL，呃，Right啊，这是测试日期，然后呢，十个文件，这是每个文件1228个日结，其实对应的是128兆啊，啊，不对，这是总大小啊，总大小是十乘以128兆啊，128兆，OK，那下边呢，还有一个S，这是吞吐量啊，它的吞吐量，那这是多少？每秒13.9兆啊吞吐量还有那平均这个IO使用情况是每秒钟14兆啊，十兆，还有这个IO啊，什么stage啊，这是二点几，然后下面这个呢，是总运行时间，一共运行了57秒啊57秒，那这里面我们可以关注一下，像它的这个吞吐量啊，还有这个平均的这个IO啊，速度。

就OK了，好，那这个是测试它的上传写功能，那接下来有写就得有读读啊读。那刚才在用上刷什么啊。出来了吧，出来了，这个真没响啊。很少这里面是吧，128 128呀，啊，测试数据是十个吧，十个啊。那行，那接下来呢，就是测试它的读啊读，那读呢，还是这个加号啊，然后呢，是test的DL-read，一次读十个文件，每个文件大小128兆，OK，还是刚才那文件继续杠C。

感觉电脑性能还没问题是吧，还不错。因为他测试的路径是这个路径啊。这是读的速度啊，马上就读完了。谁想我了，想的起。下回来回也得穿羽绒服了，为了照顾女同志我也没办法好，现在呢，我们这个测试结果已经搞定了啊，读那个速度啊，刚才叫什么名了，应该是找不到工作了吧？行，那这是十个文件啊，这个大小一百一百二十八兆啊，这是1028兆啊，然后它的吞储量啊，这个是61兆每秒，读的速度不是比写的速快啊，快快倍啊。

啊，然后运行时间39秒秒，还有呢，IO这个使用率是这个117兆每秒，是不是很快，比刚才那快多了啊，这是这个它的读速啊，读写速度我们都可以测出来啊，出来那你知道它的读速度和写速度之后，你就能评估出你日后下个月天海针的传输速度，每天能传多少了。或者一个小时之内能传多少，如果人家极限要求你必须在那个一个小时内传100个T的数据。

那你是不是得算一算，那你这个写速度够不够啊，是这样吗？啊对，可以通过它去算啊。那这个，然后下边还有这个呢，是删除测试生成的数据，刚才我们产生了十个一百八的数据啊，那这个设置数据你不要了，可以把它删掉啊，还是通过刚才那加包，然后加了一个杠clean啊，可以衍生删掉。把它删掉啊，这个这个暂时的升盘空间。直接把你给删掉了啊，接下来就删除完了给刷一下没有了吧，啊就删除掉了啊好删除完之后下边继一个。读写可以测，同时呢，你还可以测一下它的。排序啊，测试排序程序，那这个排序程序主要测试它的就是计算能力，计算能力你看一下它这个整体这个测试的过程啊，使用run right。

那是不是随机写啊啊来产生随机数。每个节点运行十个map任务，那我们三个节点吧，每个map产生大约1G大小的二进制随机数，那你说每一个节点要跑10G的数据，然后那下边你可以去跑，那这个呢是先生成随机数据，然后执行上。对这个数据随机数进行排序，排完序之后，这是一个验证是否真正的排好啊，你可以对他进行一个输出查看。啊，可以这么说。我不演示了，为什么不演示了呢？我是吧，跑了两个小时后来崩了，对跑不动啊，这个集群明显跑不了这么多任务啊，我还尝试去改这个参数，还没找到这个改这个参数这个啊这个值啊，他默认就是跑这些没办法，那一跑我就不，那不能我就不跑了，那你们在企业开发的时候，那时候呢，资源呢，肯定是够的啊，跑这点任务是没有任何问题的啊，那你可以去执行这个任务啊，大概今天你们可以试一下嘛，是吧，可以试一下啊，万一自己电脑OK呢，比我电脑强呢，可以证明一下自己是吧？啊不虚的一个证明方式就是跑一下它看行不行，行。