11_尚硅谷_数仓采集_测试集群服务器规划

好，刚才呢，我是已经算好了，我们目前这个数据量呢，买十台服务器就OK了，那我再给大家提一个问题，买回来这十台服务器。我要装这么多框架，哪些框架呢？这里面这么多框架。我十台服务器，我怎么把这些框架装在这十台服务器上？对吧，这是一个问题吧，嗯，你得给这个领导报方案吗？那这怎么报啊。啊，又跑路，遇到这个就剧吗？行，那下面我们就来看一下这个问题啊，看没问题，那目前这呢是给出大家，哎左侧的这呢是服务的名称啊，我们用到了这么多服务啊，中间这一块这是对应的哪一个服务框架，对应的纸服务，对吧？比如说AKS里面有内到的对应到的和sanary not，雅安呢有not manager resource manager啊等等这种方式。

那后边这个呢，是我这是假设有三台服务器啊啊，因为确实没有那么多啊，如果对应十台的在什么时候给大家讲呢？在面试的时候我给大家讲啊，而且我这个面试题4.0给大家放过，应该有可能有吧，啊有啊，因为我最近我要更新这个点记，是不是也就得给他放。要么西，要么。大家先看一下啊。如果我要打，肯定要GP吗？点也涉及到我每台上选哪一个服务吗？不涉及吗？不会有。不，你那个是从代码上去，你会看出来是这样的，那其实这个东西你看这个进行规划呢，这机行规划我告诉你我是用命令完去实现，还是用图形化去实现吗？没有没有吧，那都是可以配置的吧，我在club manager上能能不能配置，我在哪哪选哪一个可以吧，哎，同时娃娃题是不是也可以配置啊，都可以啊，这个不是本质问题，本质问题是我到底往往哪男的出性说对吧。

然后还有你看这里面涉及到了。这块啊，这里面给大家列了一个十台服务器，这是十台服器上，那十台服务器，我在哪台服务器上应该装哪些框架啊，做哪一框架这个部署，这是一台两台制造十台啊，整机窗的后面可以来说哈，那我们就先以三台为例，为什么以三台为例呢？真正的在企业开发的时候。其实是有一套叫生态集群，一套叫测试集训啊，是两套集群，那生态集群呢，就像我们经常说的时态不信啊，与我目前是一账就OK了，那么为什么还有一套生式集群呢？

你像那边生产能正在运行的指标呢，然后你这边你说我每天我要干活，我要分析新的指标，新的任务，我是不是不能在生产环境上去运营啊，哎，我说在提前拿几台服务器进行测试演示啊，测试演示那通常情况下这个测试进行的数量就是三台啊，三台来居多啊，非常非常多三台的，那我们现在呢，以我们目前场景也是这样的，我们没有那么多福务气，那我们就自己虚拟出三台啊，运于我们这个项目，这个学习足够了啊，三台服务器啊，那即使是三台服务器的话，我们如何来启动这些呢？那比如说在海诺102上。我配置了这么多书，12个啊，139个，149个，原则是什么呢。帅，看到了。内存啊，内存啊，尽量让那个耗内存。

的服务分开是这原则吧，啊是原则啊好，那我们看一下谁放内存，嗯，这一个A电X里当中哪个放内存内的和30内的，那么它们两个必须分开啊，而且我这里面有个前提哈，我102上的内存是8g 103是4G，这边是4G啊，当然在后边这块我可以调成8G，你们应该调混个六啊，所以说你可以这样啊，844或者824，因为103上的运行的东西不多啊，不多啊，主要的内容呢，都放在这个102上啊，这零二上啊。那这是那块啊，那到的啊和它分开，同时这个下一个沿上谁放电源谁耗谁源，上单这他们三个必须分开啊分开啊，那像这个主keepper我就给这三台，那是三台都有啊，啊三在都有room room呢这个里面分两块，一个是负责采集的，你说直接对着文件的去读的，另一个浮中呢，是消费卡巴达里面数据的啊那两块，那这两个尽量不要放在一起，你看我这。

是不是分开了，哎，分开处理好，那这里面卡夫卡呢，我们用了三台，那所以说三台我就都配成啊继续模式，那还有还的话，其实它本质是一个。客户端啊，那它的运行是基于什么呢？底层的还动是吧MR啊，所以说它客户端你放在哪都还好啊，所以说不要当成笑话，说这个害我要搭一个机器啊，那就完蛋了啊，它其实就是一个客户端啊，真正的机群是发动问题。啊，那这个我就放在这个102层，因为它内存多一些，还有这个MYSMYS我给它放到了这个S102层啊，内存多一点啊，那我问大家一个问题，有没有想过如果买蛇突然有一天挂了。

咋办？跑路。那它是一个很重要的东西吧，里面存储原数据的，它是不允许挖的，好，那我们要对它进行一个备份处理啊，啊行，那下一个呢，就是这个S啊，那我们还是啊102上资源多，我列放在102上啊，还有这个pre part呢，这里面分Co和worker，也如说一个是资源分配的老大啊，一个呢是干活的啊，那这里面呢，把这个老大放在这个102上啊的多一些，那还有呢，是这个阿斯卡班啊，阿斯卡班，阿尔斯卡班很耗支援啊，很耗很耗支援，那之后我们在运行的时候，其实是要停掉一些进程才能跑它的，否则的话一般就常跑不动它跑动，那这里面呢，是它有三个这个服务啊，我们都要把它拆开，1020304全配。

登录一啊也是它的也是基于内存运算，那肯定很耗内存，没办法把这三台全部使用啊，全部使用啊，那这里面你只要在分配的过程当中记住一条原则，尽量把内存多了啊，放在一台服务器上啊，还有有的时候是什么呢？那他会单独把这种客户端操作的。啊，比如说这一也后在，嗯，这种单独放在一台服务器上。啊，这种是有的啊，单独把客户端的操作，只不过我这里面是三台，没办法没办法分，如果再来一台服务器的话，那这台服务器我专门就放pad啊，这不少了啊或者Spark circle。啊，单独去查。啊，这个规行，那这就是这个集群规划，也就是说你在企业开发时候，给领导提完这个上班这个方案选型之后，你是要给出这么一套东西的。

懂吧，啊，这个好，那我给大家看一下咱们刚毕业的一个老学员，他们领导给他提的任务，然后他是怎么做的。啊，我这个里边是各大公司的项目质量啊。好看，哎呀，不好好，这是某公司的对吧？啊某公司的，然后呢，他要求你提供的机器人的配置，你看刚才我就涉及到了CPU的一个选型吧，啊也是服务器的选择，你买什么样的服务器，那你看它这里面是16核，64G内存没问题啊，64G的也可以啊，硬盘10G，机器数量九台，带宽啊是有网络带宽的，是要买的啊100兆，它这个选择配置呢，是我记得应该是绿云嘛。环长运啊，然后下面这这个服务器系统，这哥们用的三大S7.5啊，这个就是我说的，他选择的所有的框架全部是最新的啊，很崩溃啊，我会不要学它，不要学他跑路了，这然后呢，这个集群6.2.0绝对当前最新的啊，咱们用的是5.12.1啊，这个全部最新，那孩子们这个就是3.0对应的孩子。

你看然后呢，Cloud manager啊，对应的这个核数啊六个啊，内存8G啊，存是8G啊，这存磁盘1.5g，占用空间大概比如说老板要细化到你每一个框架，他的使用内存和是吧。啊，因为内存这内存这块对应的，因为你的总内存是128G乘以十啊，磁盘总值盘是，呃，8G乘以十啊，这是有数的。啊，那HTS啊在多少啊，Have power卡普卡啊，这是search啊查询的啊，SPA啊SPA啊主体本。

所以说这是你到企业当中面临的第一道作业啊，第一个需求能不能扛下来。感情没问题吧？然后之后服务器角色，服务器角色十台服务器啊，这是他放了九台服务器啊，它这个不是特别特别标准啊，然后左侧这么多服务，然后每台上。不知什么东西。应该。啊。还啊对，还有最好是放在弹独定，而且他那有一个问题，什么问题呢？他把这个这个叫top head topca是啥呢？就是那个日志服务器啊，不能单独放在这里面，我这个你给他提这个改进意见啊，不能放在这啊，因为日服务器是单独的，单独的我不用管它，其实日志服务器这应的我就符合我去采就行了啊采的数据好，那下边看你对领导你还要提一个。

架构图就是你这个东西是怎么走的啊，读到哪的数据最终去到哪啊，这数据怎么过来的，你看数据源在每cel里面，通过搜库导啊，导入到分信美S，那这块呢，数据呢是外B师把这数据导入到HS走的school走的school啊，然后边这是你可以认为这是have分析，没写用他啊没问题，写完之后的数据可以存到S或者my circle啊都可以啊都可以，当然你可以存到S，其他地术的啊，还有什么circle，还有进行查询，那这边是不是数据可视化呀，可视化那下边这一块是不是实时的啊，卡0S。整个这一套就是咱们上课讲的那一套啊，但是这一套框架目前能解决掉企业当中80%~90%的企业。

这是主流框架啊，并不是说咱们讲了就觉得这东西是不是不一定那么好啊，我可以告诉你很多大企业都这么用的，包括这你们看没看这个苏宁电器它的大数据的平台架构啊。你们可能没看啊，到时候给你发一下，跟咱们上课讲的那个平台架构基本是一样的，因为我们就是参考人的命令，对不对，你像数宁电器内部的这个价格文档，我这有全套的。