22_尚硅谷_数仓采集_项目经验之HDFS参数调优

好，接下来我们看一下啊，另一个重要的参数啊，那这个呢，就是IDFS参数的一个调用，在企业开发当中，这个参数是必配的。但是你现在还不知道啊，DS内的handle啊，这个参数呢是比如集群是斯带服务器的话，那我使一个参数设置成60。那这个60怎么来的呢？是20乘以log吧啊，以二为底三的对数啊，LA为底，三的对数是多少？八吧？嗯，啊八，那八的话相当于是接近于这个时态服务器啊，那也说三二十乘以这个集群的数量啊，乘以三等于60。啊，你说这个机这个是这样，Log以二为底，十这个是方程，方程八是不是得出是三呢？啊得出三，那就是20乘以三等于60啊等于60，那你这块如果放那个嗯十的话，应该是三点多一些是吧？啊就不合适了啊，那你这块要乘以个四的话，那这块你可以配成80啊，如果积续积续越多的话配成它，那这个参数是干嘛的啊？给大家说一下，它是内部有一个工作线程池，用来处理不同data豆的并发心跳。

啊，以及客户端并发的原数据操作，比如说并发访问内部漏的这么一个情况，控制他的对于大集群或者大量客户端的集群来说，通常需要增加参数与增加这个参数，那它的默认值是多少呢？十默认值值是十啊，设置该值一般原则是将其设置为集群大小自然对数乘以20。进20乘以log nn为集群的大小啊，那这个参数啊。

我带大家去看一下。孩子们，第二官网。好开始往下找，找到它的这是H键盘是吧。打开看这里方默认值的是十啊，你看这个含义，The number of not name rpc rpc呢是远程过程调用啊，它是它底层的一个通讯机制啊，内的和内的一个通讯啊，好，Server线程啊，Listen to the request请求啊，接收请求from客户端啊，If这个参数is not conflict the name everything service right listen to request from all啊not大概的含义就是这一块，你要这个我们可以看一些网上一些帖子吧。

者，你可以看这。嗯。这个绿十来算的话，你选则就是60。来啊，看看打开一个。那这是啊，这是有一个参数，那这个参数是怎么产生的啊啊啊这个地方对。论这个参数配置的重要性啊，网上你能看到N多个关于这个参数的一个配置啊，这篇文章故障一次还洞奇异故障治理的问题中，虽然分批启动data动的节点的方法避免了重启HTS出现的内存问题，但是指标不是，风险依然存在，所以从根本上去根治这个疑难杂症要从参数上配置啊，那最终锁定的参数就是这个。

啊，这个参数，那这个参数它是有一个工作线程池，用来处理客户端远程过程调用及集群守护进程的调用。处理程序数量越多，意味着就要更大的线程池来处理，你说集群数量越多，所以说它才是20乘以LOG2的N次啊，跟你这个集群数量有关系啊，然后来处理不同的对的并发新调以及go端开发的元数据操作，对大数据集群或者大量客端的集群来说，通常需要增加这个默认值啊，设置该值一般原则是将其设置为集群大小自然对数。乘以20啊，那就是20的log n啊，Log n，然后N为集群的大小啊，如果该值设置为设置太小，明显的状况就是内个漏的，在连接内扣的时候总是超时或者连接再进行，也就是说它俩的通信时间会。

变长啊，而且失败的次数会变多啊，不能稳定可靠的连接，因为它是控制这个工作线程的，你说这是内到的，你开的现场少，那你接待的这个内not就少，那就不能你访问就能有及时的应答啊，那这个就会导致一些问题啊，就是设置这个值的哈，行，那这个参数呢，也是咱们这个企业老师他在内部啊，公司他们也这么设的，他那个设置的是它这个是四。啊，20乘以四十八十啊是80个啊，比咱们那个机器数量多一些，它是将近呃，将近20台不到20台啊的一个参数啊行，那下面还有一个重要的参数，这么两个叫编辑日志存储的路径。边界日还有印象吗？边辑日和镜像文件OK了吧？啊，想起来了啊，那么他们这两个值呢，要尽量的。

分开啊，尽量分开啊，那你可以看一下。这个路径。也是这个A加配置再来。好，那这个呢，看内啊边辑日志，它的默认路径是DMS内到。点点二，也就是我们下面说的最个径默认是它啊，那但是呢，在配置当中尽量把它分开啊，这块right on local system the name啊，Should start file啊，一个什么list the trans file is replace in the develop。For这个default value save跟它，那么你要放在一起的话，就会影响它的这个读写速度啊，相对来说效率低一些，那你为了这个降低这个延迟，那你可以把它们分开啊，大数据场景这里面记住能分开的路径尽量全部分开啊，这是a as，后面我们还会遇到flu，还会遇到卡不卡啊，都是把它的这个路径分开去处理啊，这样能提高你的这个性能啊，啊优化的一个手段。

成，那这是这么两个参数啊，非常重要，一个在这个面试过程当中，至少你可以说呢，是啊，这个参数我要增大，另一not和电动通讯的这个工作线程池里的线程的个数，另一个呢，是可以控制。将编辑日志和镜像文件的存储路径尽量分开啊，降低这个访问的延迟啊。