39_尚硅谷_数仓采集_项目经验之Kafka压力测试

好，刚才呢，我把这个卡普卡和卡卡班车都已经安装完成了，那正常情况下呢，如果是一个比较小的一个金融公司，那可能这些东西就已经OK结束了。但是呢，对大家要求高一点的，或者说对这个项目的这个质量要求不高一些，你必须要对这个项目进行一个测试，或者一些优化方面的一个考虑啊，那比如说这个就是咱们从企业老师那嗯拿到的这个东西。他们在做完这个卡帕搭建完，要对这个卡帕进行测试。测试它的生产能力和消费能力，能不能满足我们日后的这个数据量的一个情况啊来看。那谈判压秤压秤。非常的亮点啊，这是非常亮点啊，其他地方是没有的啊，用卡卡官方自带的脚本对卡卡进行压测，卡卡压测时可以查看哪个地方出现了瓶颈，通常情况下的瓶颈就是CPU、内存、网络IO，那一般情况下都是网络IO啊，达到一个瓶颈，因为CPU可以加，内存我可以提高，但是网络这个。

提高它的性价比很差啊，很贵，就是一个带宽很贵。行，那之后呢，这里面呃，卡卡的测试的脚本有这么两个，那这两个脚本在什么位置，带大家去看一下。CD看在B步数来。卡夫卡测试测试了吗？Java什么文？来来家了一下啊，我们这个是卡夫卡的测试，生产能力的测试，还有一个是consumer能力的一个测试，这是这么两个测试脚本，都是它自己给你提供的，跟开头的那个是一样的，那好，那先呢，我们先测了一下它的生产能力，那生产能力呢，就是其他系统向这个卡发里面去写数据的能力。

写的数啊。那看一下。那首先是这个脚本，然后杠杠topic，它默认呢，会有一个test的一个topic，然后杠杠record size100，那record size就是一条信息多大，那就是100个字节。一条信息100个字节，然后number告你是总共发送了多少条，那发送多少条呢？这是10万条啊，10万条100个字节的数据，那好，那它这个呢，是吞吐量，你说每秒多少条。啊，你是每条这么大，一共这么多条，那你发送多长时间啊，其实就是每秒发送的是1000条的吞吐量。OK，那这个是broke，这个是连接的，那下面我们就运行一下，看看我们这个性能怎么样。

这个咱们可以测啊，这个应该。我的机器没问题啊，你们那应该没问题，可以进行的测，因为卡夫卡对这个性能要求啊，不特别高，嗯，三台就够啊，一会告诉你为什么三台就够啊。这是你看这是发送了这么多条。然后。这是每秒钟接收将近1000条啊，这是每秒钟多少兆啊，然后平均的延时时间，最大的延时时间。就说啊，相当于他自己给自己去写啊。

每次都是第一条，它会在延迟啊，相对来说会大一些，因为他要建立一些网络连接，建立连接之后，哎呀，我这电脑现在挺差呀。之前反正都没出现过这种情况。都是一千一千的。那里边儿咋回事。我就查了一下万能电脑那个U盘呢。别的啥也没干呢，你看呢是吗是吧。有图有真相。咱俩自己拍片。自拍的。看到女主角漂亮，漂亮不漂亮，男主角怪不得频道。

好，那后面呢，它会有一条总结，你看这个总结呢，是这样的啊，这总结这样，这是10万条数据吧，啊发送，然后每秒钟发送是不是将近1000条啊啊990条啊，那这些信息后面那个啊，你看这个，如果你记不太清楚的话，我已经给你放到这个位置了。嗯，你之前可以看这块儿解释。就是那这块的解释呢，就是他一共发送了这个18条，每两项卡法写入。是多少啊，就是这一块就是0.1兆每秒的数据，那平均是这是平均啊。不是这个啊。啊是这个是吧，啊是这个，那平均是这个1000条每秒，1000条每秒，然后每次写入的平均延迟。那这个挺难的。

的这是总结，那总结对应的这是每一共发送了10万条，对吧？啊然后呢，这是每秒钟大概发送的条数接近1000条，然后呢，转换成这个呃，兆每秒的话就是每秒钟0.1兆，嗯，然后呢，这个是平均的延迟在5.34毫秒。然后这是最大的延迟是561毫秒，就是第一条对不对啊，第一条好，然后这是测试的日期秒啊日期啊，创建时间啊，就这么一个东风，那这也能反映出什么呢。那这样就能看出来。这么每秒钟0.1兆，能不能满足你的？七九。嗯，能不满足的需求，然后还有。这里面这个延时时间你能不能接受。

那你觉得这个时间能不能接受呢？是多是少啊，有概念吗？非常高，对呀，只才五毫秒对不对，它不是五秒了啊，五毫秒这么多数据，那已经是非常可以的了啊，非常非常可以的了啊，所以说是很快的啊，这个性能是很高了，并不是很低哈，要注意这个行，那这个呢，就是这个卡法的一个测试，首先测试它的生产能力啊生产能力那这相当于每秒钟向内卡化里写入的速度是0.1兆每秒，那这里面要注意一个啊上下上面这些参数就说每条。100个之节，然后一共发生了10万条啊，然后这个是增么量，你说每秒钟发生多少条，这个参数是灵活调整的，跟什么有关系，它跟你这个公司的当前这个生产环境，或者说你未来要做的这个生产环境有关系，比如说你未来你预计预计。

这个是一共要发送一天，比如说1亿条，那这块就要写1亿对吧，啊1亿条，然后这块呢，是每秒钟发送多少，比如说在现在这1000，那你可以每秒钟发一半或者10万，对吧，你都可以去测试，大不了它满足不了要求，你可以增加卡马塔机器和地存啊去调整啊，所以说你这块的舒适完全是按照生产环境的数适去给的啊，这要注意啊，OK，那个就是这个卡法压力，生产压力的一个测试，那下面呢，我们再来看一看它的消费压力的一个测试，比如说在卡法里面这么多数据。我后边这个consumer如何把这个快速的消费掉啊，他每把都能消费多少数据呢？那这边问一个常识，这边是往里面生产，这边消费，那谁的速度得大于谁呀。消费的速度一定得大于生产的速度，否则数据就会编辑啊OK啊，没问题，那下面来看这块这几个参数，首先呢，前面这应的是消费的脚本啊，刚刚主一一起配置没问题，然后消费的topic test fe size这是多少？

一半，那会计赛的表示就是指定每次抓取的数据的大小啊，这是多少？一次1万个吧，一次一半，然后一共有多少个班形式呢？总共消费的message个数就是1000万对吧？啊，1000万个message啊，每次抓取一个好，那线程数几个一个，另一个线程去抓来看一看这个性能怎么样，这个数据上还是可以的啊。

啊，1000万条数据啊，看看的消费能力快吧，啊，直接给你出了这么一个结果，那那个结果是这样的，你看这是开始时间到这，然后结束时间到到这儿啊，然后下边是这个消费的这些数据还在哪呢？我给你写个文档，方便去理解啊在这块。这块，那这块呢，这是开始时间到这，结束时间到这，然后这一块是什么呢？这是9.5368最大的消费吞吐量，你说每秒消费是零点，呃，9.53兆每秒。消费这么多，那再之后这就是平均的一个消费，平均每秒钟消费两兆啊，平消费两兆，还有最大的每最大每秒消费的条数啊，前面是按照这个数据量，那后面是条数，这是多少？十十万嘛，10万条，平均每秒消费2万多条。

啊，这么一个数值。那这个你就知道你这个消费能力OK了，前面我的生产能力是0.1兆每秒，那这块的最大消费。都是这些啊，这是平均平均都是两到每秒，是不是稳稳的把它消费掉啊，这个非常OK啊，所以这个呢，是卡瓦的一个性能测试，在你搭完机器之后，一定要对它进行一个测试啊。