TDSQL安装部署实战原创

2024-04-302024-04-30 11:30:05播放3.8K

TDSQL是腾讯云自研的企业级分布式数据库，它涵盖了金融级分布式、云原生、分析型等多引擎融合的完整数据库产品体系。在安装部署TDSQL时，需要遵循一定的步骤和准备条件。首先，安装部署前的准备包括准备三台主机（虚拟机或物理机均可），并在这些主机上安装CentOS 7.x系统。同时，需要确保yum源可用、外网可用以及时间同步。其次，安装部署过程中，需要从腾讯云下载TDSQL的软件介质（例如通过wget命令），并在主节点上进行解压。之后，需要配置免密钥登陆，将主机IP地址和密码填写到指定的配置文件中。在TDSQL的架构中，主要包含了管理节点、计算节点和存储节点。存储节点又分为Noshard数据库和分布式数据库（Shard版TDSQL）两种形态。Noshard是一个单机版的TDSQL，在MySQL的基础上做了一系列的改造和改良，支持TDSQL的一系列特性，如高可用、数据强一致性和7×24小时自动故障切换等。而分布式数据库则通过Shard技术实现数据的分布式存储和计算。此外，TDSQL还引入了ZK（Zookeeper）来存储类似于路由这类元数据信息。ZK负责静态存储和管理这些元数据，而调度和接口组件（如OSS、Manager/Schedule）则负责维护和管理这些元数据。总的来说，TDSQL的安装部署需要一定的技术储备和操作经验。建议在安装部署前仔细阅读相关文档和教程，并遵循操作指南进行操作。同时，也可以参考腾讯云官方提供的支持和帮助，以确保安装部署的顺利进行。

视频文本

温馨提示：文本由机器自动转译，部分词句存在误差，以视频为准

00:00
OK啊，我们马上开始啊，大家能不能听到我的声音啊，在群里面回一下666，我们马上开始啊，OK啊啊，大家能听到吧。我看一下这个。OK, 看一下啊，稍等啊嗯，好好，我们马上开始，我今天给大家分享的主题呢，主要是腾讯TTC口分布式数据库集群安装部署，那么现在这个。
01:02
国产数据库很多啊，那我们怎么去学习找到一个方向啊，那今天我在上课之前啊，我先给大家呃简单讲一下啊，我们怎么去，就是说你要做这块数据库这一块，那我们这么多数据库我们怎么去选对吧？呃，今天分享的目录呢，主要是呃，TTC口的核心架构的一个回顾，然后TTC个部署的规划，我要部署这么大一个集群，我要怎么规划啊，我要哪装哪些组件，需要哪些机器，呃，然后最后主要是核心还是要给大家讲部署的一个演示啊，实际上操作一下啊，那么在这。分享这个技术之前啊，啊，我先给大家讲讲未来这个分布式数据库，它未来的趋势啊，它肯定是大厂国产啊这种分布式，那我这里啊，刚刚列出是有三国鼎立，也就是说现在分布式数据库有很多啊，那对于未来的趋势，我觉得肯定是这种以大肠为主的啊，以为代表的，比如说像阿里的OS base啊，像腾讯的TC口啊，像华为的高斯DB，我觉得这些都值得去学习，因为未来你学这个的话，你肯定无非就是我为了我的职业发展是吧，我要去找份好更好的工作，或者说我要去学主流的技术啊，如果说你现在学的东西啊，过两年这个比如说小的公司，他可能数据库啊，搞着搞着搞不下去了，是吧，那可能那啊就这个产品就没了啊，那些在数据库产品太多了啊，那未来肯定是就像Oracle是吧，就是类似这样的，呃，公司他肯定长期的啊，是在呃这种数于所2的。
02:48
所以我们选型的时候要注意啊，比如说那我现在给大家讲的是腾讯的TTC口，那腾讯的TTC口他的这个现在也做了非常非常有有非常非常多案例啊，比如说像第7次人口普查用的就是腾讯的TC口啊，还有呃，这种疫情码啊，防疫情码跟扫码啊，还有一些各种各样的银行进券都在用啊TC口，所以呢，呃，今天啊，还是继续给大家分享腾讯的TTC口，好，那我们进入我们的主题，那在安康之前，我们还是简单快速的来回复一下TTC的核心架构啊，那这个核心架构里面，我们上次讲过，它主要是什么呢？我们的SQL引擎，我们的数据库以及through keep这三个核心啊那。
03:48
一个应用啊，它要访问数据库，它是一般会先通过负载均衡LVS，然后。流量到我们的呃，SQL引擎，SQL引擎经过SQL解析，然后根据路由的策略，然后再去反映我们不同的分片啊，分片我这里写错了啊，那整个这个集群以围绕的以租keep啊为依赖的这种啊，管理组件管理整个集群，那上面还有我们的一些管理组件啊，包括以呃自动化运维可视化的制度平台啊，那么它呃通过OSSAPI调用，然后呢，访问我们的集群啊，那么整个数据备份啊，什么都放在我们hdi上面啊，那在这个里面还有可以做一些这个数据的迁移，多多元同步，我可以通过T可以切到orac马screen啊，以及我可以通过electric search来做in记啊，那么在这个当中呢，我们都要用到很核心的一个叫消息，消息队列，卡不卡OK。
04:53
OK.
05:02
啊，大家屏幕看不到吗？OK, 那我看一下啊，屏幕看不到是不是我分享有问题啊，我是没没啊我这个PP没打开PPT是吧，我打开PPT啊，不好意思啊，PPT好像是不是没打开啊，OK.嗯啊，那这个PPT没这个PPT没看到是吧，这为你看到刚才我讲了，就是说在讲课之前啊，我这个刚才讲了就是三三个数据库是吧，大厂国产分布式的三国鼎立啊，阿里的奥斯贝斯，腾讯的TTC口，华为的高STVB啊，然后啊，刚才我讲到的是啊，基于这个L的核心架构啊，这个架构里面啊三块啊，社后引擎数据库以及周keep本啊这三块，然后它整个的一个模块。那么。
06:09
哎，大家能看到我的桌面吗？我看一下你能看到吗？我这个都能看得到，我分享一下看不到屏幕。是你看不到吧，别人能看到吗？我这个一个是分享屏幕或者说用PPT都可以看到的，看不到吗？其他同学有没有问题啊，不是语音上课啊，其他同学你看到吗？我看其他同学没有人回应啊，就一个同学说看不到，是不是你网络有问题啊，我都可以的，OK.好，呃，那这个呢，就是呃TTCQ的核心架构啊，我就不多说了，因为我们今天重头戏还是做安装啊，那么在安装之前我们要怎么去规划啊，刚才这么多组件是吧？这么多组件那我要怎么去规划啊，那么我现在用的什么四台服务器啊，四台服务器啊，那么我这四台服务器啊，配置是4 4个CPU啊，就是四个逻辑的VCPU啊，四个线程嘛，可以理解两个核或者两个进制，两个线超线程的这样四个靠啊四个线程，然后8g内存和100GB啊这样做一个测试库，给大家去演示一下，当然我们生产上肯定不是这样的是吧？那这个呢，我之前讲过高可用架构的时候呢，啊，大家可以看一下那个照片，就是看一下那个视频，就我讲过生产商它的配置是吧，至少有16个16个靠或30个靠的这种CPU的主啊，主机这里我也是是是啊，有这样的四台机器配置。
07:41
嗯，那这里是我的要部署的这个组件有这么多，就是说我装一个TPC口，我需要部署这么一些组件啊，才能把所有的这些功能都乱起来啊，那第一个呢，是我们的zoo keepper是吧？Zoo keep我装三台，我们说zoo keepper它可以做，呃，这种啊投票啊这种，呃，它需要有这个一三五啊这种基数的三台啊，基基数的啊，要么一台，要么五台，要么三台啊那我这里是三台，第一台服务器，第二台服务器，第三台服务器，我放在这个租keep里面，然后就是我们的schedule schedule主要做任务调度啊，那我做一个主备啊，高可用啊这样一个主备，然后oss做一个，呃，通过租keep来啊，要要通过啊测兔来访问我们的集群的话，要通过oss这个接口，那我们oss也做了一个一组啊，这个主备啊，然后测兔就是我们的，呃，自动化运维的可视化平台，我是两台啊，这样的话一台挂了可以去到另外一啊，那monitor就是我们的监控采集收集，我是搞两台，这样你看我这里的功能啊，这种管理。
08:41
管理节点我都是用两台，除了这个猪keep它的特殊性，它是要基数的是吧，我搞了三台或者5台或者一台啊，那DB啊DB呢，我是搞了三台啊，比如说做一组两重，这样可以实现它的数据的强一致性啊po就是我们的呃计算引擎，它可以做CQL的解析啊啊数据聚合以及路由策略等等，那我用三台啊相当于三台，那其实我一台我可以呃管理呃多套这个DB，当然我这里也装了三台啊，然后卡夫卡是三台啊，它主要做卡夫卡是依赖于这个租keep的啊，卡夫卡是依赖于租KEEP3台，然后大数据呢，本来呃我要去部署三台是吧，这种，但是资源问题的话，我就用一台来代表它啊，来做一个备份啊，它作为分布式啊，然后还有我们的consumer休嘛，Consumer修主要做这个，呃。
09:33
数多元同步啊，说数据消费啊这样的一个进程啊，我用一台，然后我们的electric search啊，就是我们的呃，ELK啊，Electric search log key巴这三啊，这三个组件啊，我放在一台上面啊，这三个组件也是比较好内存的它主要做啊，我拿来做这个SQL审计使用啊，那当然啊，最好还要装一下LS啊LVS就是做负载均衡用的啊，两台做一个，嗯，高可用啊，中间用keep plus这种技术来做，OK, 好，这就是我的一个，呃，这些组件，以及我这些组件在我这个机器上面呢，一些分布啊这样的一个界面，好，这个大概了解了之后呢，我们就回到我们的安装啊，这个大家有没有什么问题啊，好，如果没问题的话，我们就啊直接就进入安装啊，进行演示安装啊，那么安装这个，我是放在这一个，呃，一个技一个网站上啊，网站上啊。
10:33
那怎么去装，大家可以打开这个网址，也可以看到我的安装步骤，那我现在切到我的屏幕上面来，我就啊大家看能不能看到，分享一下屏幕，这个屏幕应该能看得到吧，我刚才就打开这个屏幕，大家看不到吗？好，然后我安装，我就根据这个步骤来啊，根据这个步骤来啊，这个步骤啊这个步骤，那这个呢，大家可以，如果我真的要去安装的话，我会把这个步骤啊复制粘贴到什么呢？捏，贴到我这个文本里面来啊，为什么粘贴到文本里面来，因为这里面有很多ID址和端口，然后你要去部署的时候，那么这么多ID址下面有很多ID地址是吧，那我要手工去一个一个改的话，太麻烦了，所以我一般是什么呢？我把这个，呃，以这个为基础，这么一个呃，文档，简单的文档，我把它复制进去到一个text里面来，然后比如说我有4台机器，然后我把这4台机器啊的IP纸替换掉，那么我这4台机器呢，我为了方便。
11:33
B的话，我用了这个腾讯云的啊，这个CVM啊，就是虚机啊，这样比较方便，我就开启了四台虚机啊，大家可以开启四虚机，然后里面有公网和私网，OK好，那我这个文档我就完全按照这个来安装部署，好好那首先我刚才还是一样，就是我这四台机器的配置，然后这四台机器对应的IP地址啊，172.17.16.4，这是第一台啊，第一台啊我我把它命名成TTC和1啊，然后装这些组件啊，主主K为第一台卡普卡第一台proc第一台和DB第一台，然后172.17.16.10，就是作为TTC和第二台，那么啊装这个，呃，第二台的这个to keep, 卡夫卡PRO DB啊，还有我们的一些管理组件啊，Oss s schedule, 车图啊，监控啊，Los, 然后172.17.116.11啊这个呢，我嗯，我把它装成这个，呃，TTC的第三台啊一个。
12:33
只安装我们的租keep的第三台，卡夫卡第三台，Proc的第三台，DB的第三台，然后后面啊管理组件啊，那还有最后一台，我主要是呃1呃172.1172.17.16.13啊这个呢TTC4啊，安色部啊，主要是装让我们的安色部管理机做啊这个软件啊，安装时这个分啊分发啊，自动化安装，然后装我们的大数据ES和consumer啊这样的一个分布啊，那接下来我要开始安装，你不按照这个做来群了，首先第一个呢，你安装的时候你肯定要规范化，你要把你的主机命名成啊叭较标准的一些名字，比如说我把我的主机命名成TTC1T，第一台叫TTC1，第二台叫TTC2，第三台叫TTC，你就复制一些这个命令行，就是Linux的命令是吧，啊，现在S7的命令啊，那我这个已经命名好了，就是说我的这个主机名我已经写好了啊host name的话就TTC个1第一台，然后我的标好，然后TTC2第二。
13:33
台啊，然后TDC3第三台啊，TDC4第4台OK啊这样的话比较一看就清楚，你自动化运维的时候就非常非常方便啊，你就用这个面令执行啊，第一台第二台这样子啊，然后呃，那么我们在使用过程当中，可能我要用到这种啊主机名是吧，那所以呢，我这里没有用DNS，我就把这个主机名放到这个ETC host里面，作为本地的，这样的话，我每啊这四台上面的ETC host, 我把这四台机器的IP地址和主机名字啊，这给它加进去，OK, 这个我事先都加好了啊，就不在直接那个，这个就相当于我我已经加了，大家没加，如果没加好的同学，那你把它加进去，加到这个配置里面啊，这样的话我就能通过主机名来解析IP地址，OKOK, 好，这个我已经加好了啊，加好了，那接下来呢，就是说我们要配置一下啊，这个时钟同步啊，就是说在我们TTCQ里面，你的服服务器分布式数据库啊，服务器之间你的。
14:33
时间不能超过三秒钟啊，所以呢，我这里用了这个NTP的技术，也是Linux自带的啊很简单，因为呃，如果说你这个没装这个组件，你可以用yaming star装一下MTP这个服务啊，服务装好之后，然后在这个呃这个里面啊，比如说我现在有四台机器是吧，四台机器，然后我把第一台服务器啊TC1这台服务器作为一个时间服务器，然后我把后面这三台服务器都啊时间跟以第一台为主啊啊那要去配置啊，只要你配置完了之后，最好呢，要跑一个c table啊，就是呃呃这种自动化这个呃执行执行计划是吧，让他每比如说像我们以前一下每5分钟我让他去再去执行一下时间同步，因为时间长了时你不同步的话，它可能时间会有偏差啊，所以呢，配置怎么配呢？就在第一台上面，你就编辑这个，呃，ETC下面的这个mtp.comfa啊，我已经编好了第一台，我把它作为一个时间服务器，那主要是加这一条命令啊，这样的话，它作为一个时间服务器啊啊这台。
15:33
添加了之后，然后把这个MTP服务给重啊启一下，通过这个命令啊，System CTR这个star m t pd service啊，重启一下就相当生效了啊，然后第二台，第二台配置的时候注意，那你这里面要配server等于什么，等于第一台的啊，对标第一台，对标第一台，然后后面要一个严格啊对标第一台，然后它的直板页码啊，对应的这个啊，这样的话就把这这两行写到什么第二台的这个里面配置里面啊，写到他的任何位置都可以，OK, 这个我已经写好了，就是把这里这两个东西写进去啊，这里IP址是指向第一台了啊，然后依次把第三台第4台给这样配进去啊，配了完了之后，然后在每台上面重启一下MTPD服务啊，启动完之后。
16:21
我重新呃，我重新登录了一下啊，刚才那个电脑完全啊完全卡了，不知道怎么回事啊，就就没法操作了啊，谢谢大家能看到吗？我就那个打开一下我的那个四台机器。我把电脑重启了一下。谢谢大家，能听到吗？好，我重新重新打开我的机器，然后我打开我的安装，安装的那个。啊，安装的那个目录是吧，安装安装目录我已经有了啊。
17:09
好，加一经给你看了。那这样你看得到吧，嗯，好，那我先，呃。看看有没有人，群里有没有人回啊。现在可以了是吧，大家重进一下吧，不好意思啊，我刚才电脑突然间卡了，我就点了一下画板就不行了，这个是不知道怎么回事，本来我想用这个画板就就卡了，就到这里就不动了，嗯嗯，好，刚才我讲到哪里呢，讲刚才我讲的那个。就是说呃，我用这个SSH是吧，我要去配这个SSH，两边要配通啊，要配通的话，那你这个呃，在这个ASC上面啊，我第4台TDCQL4这台机器做为一个管理机，作为一个管理机，它要去连啊，我下面的三台是吧？TCQ1TDCQ2 TDCQ3，那我去连的时候呢，我要把这台机器跟它打通，那我要在这台机器上面创建一个公钥和密钥啊私钥啊，然后呢，把公钥拷到啊，把第4台的公钥拷到这三台机上面去啊，那这样的话就是说我第4台去访问啊，我第一台，第二台，第三台的时候就不需要密码了，因为他这个时候去访问的时候，因为拷过来公钥就是呃，第4台的啊，他的用户名和这个一串码很长的码。
18:50
啊，那我过来的时候，我会去请求的时候，那他会去在呃，第呃第一台上面会拿他的这个公钥，然后去验证啊是不是OK的，如果OK的话，它生成一个一串码，再给到第4台，第4台然后确定的话没问题，这个就是就可以连接了啊就这么一个原理，那么用这个命令是吧，在第4台上面做一个操作，然后申请公钥密钥，然后在第4台，就是说把它的公钥拷到各台机器上面去啊，然后啊，连它自己本机也要拷贝啊，那这个我已经拷好了，拷好之后呢，拷好之后那你在这个下面，你在第4台上面，你可以用SSH对吧，SSH啊，TDCL可以测一下TCQ1，那就可以免密了，对吧？然后SH，呃，TDCQL2对吧，然后SHTDCQL3是吧，那这样的话，那这样的话，这3台就可以都可以同时连是吧，都可以同时连啊，那就是这台是管理。
19:50
机啊，那么这个我就做好了，好完了之后，那我要开始装之前，那我要在这个上面把什么呢？把这个服务器啊数据，数据放哪里，我的软件放哪里，我先分两个目录，一个是干data跟下面的data，我就要放软件啊跟DATA1我就要放数据啊，那这样的话，我在三台啊四台上面都创建啊两个目录啊，一个放软件，一个放数据，OK好好呃，然后呢，我这个时候我要去这个第4台上面，我要去部署IM'an部，然后把一些环境都初始化好，那我在第4台上面，我已经把那个包已经准备好了，因为这样你样如果说呃第4呃第4呃这是诶第三是第4台吧。
20:45
这个不对啊，这第三台第4台。我看一下是不是进错机器了，我看一下啊11104啊这一台啊，这台这台是13啊13那我的那我的软件已经下好了，OK, 好软件一个是answer部，一个是TTC的包，那我把它解开，按zip安色部啊，我把它解开，把安色部去解好去解好啊安色部解好之后，然后把安色部的安设部接好之后，然后把安设部的这个呃，操作系统所啊依赖的一些依赖包给装起来，OK, 那我CD到这个answer部的script下面去是吧，截好之后CD到answer部的脚本里面去啊。
21:51
然后去什么，这个里面有很多包是吧，那我们有不同的操作系统，你装apt的，比如说DB，或者说UB UB to的是吧，还有我们的simple s Linux红包这个用下面这个是吧，所以我用这个来啊，下面这个脚本来安装我们的啊，新S的啊，这个它的这个操作系统的一些依赖包，我用这个命令去执行一下就好了啊。
22:13
好，然后这个依赖包装好之后，我们还要去装一下这个派YTHON3，我们把派YTHON3啊环境装好，然后装好之后，然后把它在ETC profile five里面的这个操作系统的环境变量生效一下，然后确认一下这个环是不是用PYTHON3，呃，下面是这个命令啊，好，然后这个装好之后，然后下面就可以把那个answerable的这个软件装好，好那现在他这个比较慢是吧，然后我再打开一个TTC口L的另外一个窗口，然后把那个啊TTQ下面的另外一个包给解一下，就是我们要把TTC口的这个安装包啊t TC pack这个包也解一下，OK, 好，然后这边在跑这个呃环境是吧，找到系统环境，好，这个安装可能需要。
23:05
啊，应该很快就装好了啊，就是把这个依赖包就装一下啊，依赖包装好了对吧，这个依赖包装好了，超讯统依赖包装好了，看到的还是，嗯，不是直播吗？看不到我的直播吗？你们你们看不到我我不是在直播吗？看到的还是录像，不是直播吗？我我我现在人在这里直播啊，是录像吗？什么情况。您看不到，看不到我桌面吗？我桌面已经共享了呀。直播的看得到是吧，那跟你今天是不是网络有问题啊，好，那我先继续了，回头你们再看那个今天肯定会效效果不太好，为什么今天我那个服务器刚我的笔记本刚才看住了，然后我就直接重启啊，直接重启了可能效果会不会太特别特别好啊好，我们先不管它，我现在就开始啊，回头你们根据我这个参考，然后再去研究一下，然后我再把那个什么拍成3啊给装一下啊，拍成3这个包装一下，装完之后然后去，呃，在他这个环境下面把ETC PRO five这个文件啊这个。
24:13
生效一下，就是把一些这个pass下面的一些这个一些那个路径啊啊一些让它生效下来啊，这样的话我可以直接用啊，相对相对路径下面我直接给你敲命令就直接找到了，对吧？啊然后这个可能也需要哎一分钟吧啊呃，是不是进错地方了，你们啊呃，现在在安装了是吧？在安装了啊在安装这个PYTHON3，把PYTHON3那个包全部打上，那么我这里呢，比较比较顺利的话，是因为我用了这个什么腾讯云的这个啊服务器啊，我我在把腾讯云的服务器这里是吧，所以他的这个养母园的包啊，非常丰富啊，就不需要我自己再去。啊，配置yam远啊，Yam包如果你是要部署在你的VMVR虚拟机里面，或者你的物理机上面也是可以的，只要把你的一些yam包都准备好，就不会有什么报错，OK, 好，我装好了之后，然后我啊让这个呃，ETC profile这个稳健生效，然后呢，再去测一下我的PYTHON3这个啊是不是PYTH3的版本，是哪个版本，我来确定一下，好比如说我这个版本是Python的3.8.2，说明我这个answerable基本环境已经装好了，这个时候我再来装一下anemable这个软件啊，我通过我小面已经写好了啊啊，然后S啊，这样的话就开始安装这个anable的工具啊，它的工具。
25:38
工具装好之后，然后刚才我们这个包不是解好了吗？这两个包一个是安，这个包解好了，还有一个TTC口的安装包已经解好了，好然后这里面很重要的一点是什么呢？我们要去配。配什么呢？我们要配这个answerable啊，TTC口是吧。
26:06
我们要去配TTC口。啊，要到那个什么t TC in install这个包解啊这个啊包解好之后啊，会这个包解好之后里面有两个文件，一个是TTC的pack，一些安装包啊，然后呢，TTC的安装从这个地方开始，就是TTC的INS installt这个你进去啊，那这里面非常非常重要，有一个这样的一个文件啊，叫TTC啊host这个呢，你用an去装的时候，你要知道我有哪些服务器，我们把服务器全部扔到这个配置里面，叫t TC host这个文件很重要啊，这个文件里面有很多我的配置文件啊，配置文件我几台机器啊，然后呢，这个是一个模板是吧，然后我我是不会用这个模板，我把这个模板去备份一下，比如说TTC，我重新取个名字，然后TT这个点BK啊，那这个没了是吧，我重新编辑一个新的TTC口host啊，一个空的文件，空的文件我刚才说呃，刚才说我说呃，我拿这一段，为什么这一段呢？因为呃就是我说网站上面我已经把安装包安装都配好了。
27:10
是吧，这些脚本，那你拿到这个IP址，如果说你的机器跟我的IP址不一样，没关系，你做一个替换是吧？文本做一个替换，用这里面的替换命令，那你拿四台机器对应的我这四台把它替换掉，那你这个模板就跟我一样了啊，那我这个模板解释一下，就是说一共我有啊4台机器啊，比如说这个命令是TTC口下火键啊主机这里注意一啊，这里这里的这个名字要跟你的那个主机名要一致啊TTC1TC2TC3TTC4，然后对应的是啊IP地址也有三四啊四台啊然后呢，我的租keepper啊4台三台啊是吧，第一台，第二台第三台，然后我的schedule两台，我的oss两台是吧，第二台第三台，然后我的车兔第二台第三台，然后我的monitor也是第二台第三台，然后DB，第一台第二台第三台，然后PRO是第一台第二台第三台，然后HDFS，因为我资源有限，我就把HDF装到第4台啊，113这两上面，然后iOS啊，第二台第三台，然后我的卡夫卡啊，113啊，然后我的卡修嘛啊第4台，然后ES。
28:10
是第4台，然后这个是这个是啊跨层的一个集群啊，不就我刚才第4台啊，还有这两个是，呃后面你要添加资源时要用到啊，这个我不管它了，然后我把这一段直接贴到那个里面，因为我IP纸全部对好就好了啊好，然后我把这个贴进去啊，贴到这个里面啊贴到这个这个里面，OKOK好啊很多是吧，很多好然后我就赶紧装了，这果时间来不及了，一个小时好那么呃，这个配好之后呢，呃，配好之后，然后第8步不管它自动会它自动会会那个啊会会啊默呃这个用户啊，这个有个自动，呃有个OC的这个它自动会申请用户为密码，这个不用管它，然后我们要确定一下我们的网卡的呃型号以天网灵还是倚天王几啊，比如倚天王，倚天王灵是吧？OK, 倚天王灵啊，这这是四台都一样的，应该是倚天王灵啊。
29:10
RPA啊呃，这里是也是以太烷啊，以太烷里啊，以太烷里就是说我每台都是以太烷，你要确定一下，如果说你的以太烷1的话，就要就要填以T万一啊，就是好我都是以T万零，那还要改什么东西呢？还要改一个文件，很重要的一个文件啊，这个改完之后还要改一个group下面的哇，S下面有个R这个文件，那这个文件里面我要们下配置么？TTC的环境啊，CPU是X86的啊，我们不是用来啊其他的什么ARM啊或者什么啊其他的是吧，然后我是用这个申通S是吧，YAMIN2，然后CK有三台，然后我以太网是以太网0啊，不是1，所以这里要改掉，然后这两个密码是名密码是吧，你可以自己去改啊，一个密码一个是JK的啊跟下面，然后这这个先不管它，因为这个是跟测兔的数据库连数据库的这个PRO啊proc啊，地址我先不管它啊，然后呢，大数据我是一台，然后端口我是用22的OK啊，然后下面。
30:10
C不管它了，下面下面这里有还有一个以太网，给它改一下，改成0嘛啊然后下面是那个JK的端口，以及下面这密码，我就不管它了，OK好，我完了之后，那么我们就可以啊开始安装啊，就是要配一下这个，一个是配主机列表啊，还要配一下这个呃主的一个环境啊变量啊，这些东西配完之后，然后我就开始装了，装的话呢，你先执行一下这个脚本，这个脚本是把我们刚才看到配置文件的一些明码做一个加密啊呃啊做一个加密，然后就主要是跑这个脚本啊，跑这个脚本用anm来跑，跑这个脚本来，呃，对我们的这个呃测测度进行呃这个初始化，进行一些主机进行初始化啊，然后让它跑起来啊跑起来，那么这个跑呢，就可能需要时间比较长啊，时间比较长，然后这个跑的过程当中可能会有一些报错，所以大家对安不可能要比如说了了解，比如说怎么报错，然后他包括怎么装是吧等等啊，那实际上这个里面啊有很多东西，就是说可能对安。
31:10
淄博的一个理解是吧，你的包在哪里啊，等等啊，这个你在安博是吧，安色博这个。安是我这个安装里面对吧，然后里面有呃脚本啊呃定的安装的脚本，然后有一些这个包啊啊这安装的包啊，这是一个，那么然后我TTC口啊，TC口我去安装是吧，那我这里最主要它的一些安装包，有一些是放在这个下面的啊这个下面，比如说我要去装呃嗯卡夫卡或者呃其他的东西是吧，那你TTCQ啊卡夫卡什么啊，然后在包是放在temple下面模板下面啊，会拿这个包去装的等等，就是你要会了解这个as，包括它怎么配置的host啊，就是还有那个playbook啊playbook是吧？啊这个就是要还是用啊。
32:08
压模这个语言来写的吧，啊，这个就是说这个安装肯定时间比较长啊，然后我们那让他跑的吧，因为这里面如果有报错的话，要看具体日志，然后再去啊，一般来说不太会有错，只要你前面按照我的这个方法来做啊，基本上不太会有错啊，那如果这个装好之后，我们先把这个下面的这个呃解释一下，然后我等会就嗯很快速的装了，就不给大家这么这么解释了，因为时间肯定有限啊，然后这个如果跑完之后，那我们就可以打开那个测兔，就是我们说自动化运维平台啊，测兔这边可以通过HTP，然后对应的测兔，比如说我装在啊，我在这里的规划，我的测兔是装在啊这一台上面啊，这一台是等于啊171.16点啊171.17.16.10，也就是我的这个云上面的什么10，这台机器也就是公网是这台机器啊，我把它拷过来啊啊等会儿我去访问这台页面啊，就是81.69.236.21 OK, 那我把这个测兔的公网地址拿过来。
33:09
OK, 好吧，拿过来，然后等会去，呃去访问就可以了，访问会有一个界面，然后再把呃，他两台的这个oss的这个地址给输进去啊，这样的话就可以去啊，进到车图里面，然后进行这个初始化车兔的这个数字库实例啊，这样的话我们要把数据啊，这个车兔的自动化运维平台装好，然后把它的数据库先创建出来，这样的话车兔它会能管理这个集群，会把一些监控的信息，包括整个集群的信息会写到数据库里面去啊这个完了之后，然后我们要测兔，你要去连呃测兔这个平台，要去连数据库的话，它是通过这个polo，然后我们在还是在group的瓦S下面把侧兔所对应的PRO两台，因为为什么是两台，不是三台一组一从啊，一一背一个组一个背啊，组挂背离上对吧，用proc这样的话就保证这个测度里这个数据库不会有有问题啊，这样的话我就把那个。
34:06
对应的这个配置啊，我要到时候要改一下，要改一下，那这个第一个呢，就是呃，第第一个proceed的ID地址，然后proceed的这个端口，然后第二个proceed的IP地址，第二个呃呃PRO端口，然后这个是你测出的啊用户名密码，这个可以自定义啊，这个完了之后，然后再跑第二个脚本，第二个脚本主要是对啊我们的JK啊，一些相关的管理组件的服务的启动啊，一些一些部署啊配置这个完了之后，基本上这个呃TC个基本的组件啊，最主要核心的组件就装好了啊，装好了我们看看这里还在跑是吧，这个跑的比较慢啊啊希望不不要报错啊，然后呢，呃，然后呢，后面这个装好之后，那后面我要去装啊这个呃，HD的大数据啊啊还有这个。呃，卡LS是吧啊，还有卡夫卡啊，还有这个consumer啊，还有这个ES啊，所以这样装下来估计一个小时还是差不多啊，就是应该可以装好，如果中间不会有太大的问题，当然这个配置确实也挺多的啊，如果呢，大家拿到这样的一个文档去装啊，如果你自己这样一步装，可能第一次还不一定真的能装的成功，因为你要对每一个组件都比较了解，然后对每一个命令都比较清楚，你才能把这个啊部署起来啊，才能把那个部署起来，好吧。
35:30
好，那呃，哦，现在还在跑是吧，现在还在跑，可能大概要需要这个呃。9分钟啊左右的样子啊，那么他在跑的话，如果跑出有什么问题啊等等，大家比如说那个安博在哪里啊是吧，你肯定要知道一下，比如说安博的一些配置的东西是在这个啊这个下面是吧？安这个配置的啊呃，配置文件的这这里啊，那么那实际上它这里面也装了很多东西，Data下面也装了什么tos啊等等这里啊装在这个下面，然后tos下面有很多啊检查环境啊等等啊都在这些啊，这个包里面，如果有什么问题的话，我们根据这个啊，这里面的提示的错误是在哪个路径下面啊，是这个内存不够，还是说这个路径有问题，还是说啊这个其他资源不够啊，会有报错啊，非常清楚的，我们可以看到那具体情况再去看，所以这个地方就是会比较慢啊这一步啊，那么在安装当中，大家看看有没有啊，大家有没有装过的，有没有同学装过的，有没有问题啊，大家有没有装过。
36:39
有没有人转过来，我觉得这个脚面跑的话肯定还是啊，这个跑起来之后啊，它其实会在我们的这三台上面推送安装包啊，比如说安装包会推送到我们的data下面啊，你看刚才我接了一个data是吧，那下面就会对应的会有一些安装的一些包，比如说在data下面的home下面啊，那它会这个TCQ啊，下面会有比如说有Java啊这种环境，包括其他还有很多它现在还没装完啊，装完之后这里面有很多很多对应的这个文件，把安装包全部推到你的各个节点的本地的路径下面啊，Data下面，那么呃，DATA1下面啊，应该现在啊，没什么文件啊，因为我们数据库啊还没创建完是吧，没有创建，所以这个data一下面现在还没有数据库的一些文件日志啊，数据啊，就没有啊，等会我们装好之后，Data一下面就会有啊一些文件啊。
37:40
好，呃，那么呃，我们让他跑着跑着之后呢，然后啊，刚才我讲了一个非常重要的一个文件，还是要需要修改的哪个文件呢？嗯。就是TDCQ，然后TD CQ in install啊这个文件那下面有一个group啊，哇，下面的哦，我先把它改了，因为等会也来不及啊，然后这个地方呢，要改什么东西呢？这几个地址啊，就这几个地址啊，不能也不能随便改，其实要装好之后才能改，因为你现在也不确定，当然我现在。
38:13
啊，先把它改了吧，你最好是装好之后改，为了节省自己，我就去把它先改了，一般这个地方你要去用改什么呢？就是啊把它改成这个啊PRO啊，你要拿两台拍摄来改，不要上台，因为只要一组一统就行了，所以我可以拿拿这个啊1171.17.16.4这个作为一个PRO的第一台在啊它这个呢，是连这个通过测兔，通过proc这里到测出的啊配置数据库里面，然后端口默认是15001，然后第二台。啊，第二台，第二台我是用这个吧，啊这个。啊，然后这个数据库里的账户，比如说我叫TD cqp cloud啊，然后密码也跟他一样啊，这样TDC口p cloud OK啊两个一样吧，TDC口p cloud TD c口p cloud好嗯。
39:12
好吧，然后我就改这个，就改这个，等把这个这个改完啊好嗯，其他的先不改了，这个等会要第一步装好之后，我再来看一下啊，还没装好，还没装好啊，你可以尝试的呃。到这部是DB的模块了，拷贝DB的，呃，TTC的安装包到它的目标机器啊，也就是安装包状态一下扔到这个地方来，就是会放到啊安装目录的啊DB啊跟跟下面的data下面的home啊，这下面会有。啊，你看到没有，这里面有TDC的什么安装，这在有了吗？然后这里面有DB的，有DB的，有我们的database的啊，比如说有me DB啊，或者说呃，Po可是吧，我们这个分布式用po可的，然后还有一些po啊，都会扔过来，都会扔过来，所以它为什么比较慢，你看它在，然后还有去擅长schedule的啊，Schedule我们放在哪里呢？放在第二台和第三台上面，Schedule的啊，Schedule就是啊，调度调度的啊，一般都放在这个，他会扔到这个第啊根据下面的data的application下面啊，OK啊，应用啊，应用下面都会放，比如说我们的主keep啊，Schedule啊都放在各个啊，我们是用了两台做一个oss，一组一组吧，啊啊，这个应该也快了啊，快了。
40:39
嗯。你这个第一个脚本跑的时间比较长，大概如果你资源比较长，OK, 如果这样跑下来之后，如果跑下来之后这个field的这个失败这个地方都是0于0的话，说明没问题，如果说你的失败这个地方等于1的话，那说明你要看上面的错误了啊，所以我这里非常顺利，OK了，OK了，OK完了之后呢，怎么办呢？然后我们要呃，这个都跑完了是吧，第一个脚本跑完了，第一个脚本跑完之后，然后我们就打开这个测度的界面啊，刚才我已经把对应的测度是我们的第二台是吧，对应的四网，那我们打开的时候肯定公网嘛，然后杠DTC的p cloud用这个界面打开好，我开浏览器好。
41:21
好打开之后全部通过，然后下一步啊，下一步之后，然后我命名一下我的集群，OK, 好比如说我行叫CLASS01，然后呢，我输入啊，因为因为我们的车兔去访问呃，数据库访问我们的资源的话，通过oss，那这个呢，作为oss两台一主一统，Oss的端口默认是8080，然后点一下点测试测试服务，这样的话把三台租people信息打印出来，好下一步那这样的话我们一般呃，因为我们要做这个高可用啊这种是吧，我们要通过这个IDC机房把它啊分离开，分开来，比如说我三台机器分别放在三个机房啊，一组两重放在这啊，三个机房啊这一啊一般也有这么做的啊，就是三台机器放在三个不同机房啊，一个机房啊，大概40km或者50km啊，这样的一个来回的一个啊，网络延迟也不到一毫秒啊。
42:09
那这样的好处呢，就是我的这个机房炸了是吧，那也没关系啊，那我机数据还在，所以我这里设三个机房啊，我这里设的是三个机架，因为我的机机架号是一样的，后面这个呃，机房号，机房房间号是一样的，当然这里面有很多意义，我就不讲了啊，也是到时候呃，如果呃要讲开课的时候，我会详细讲这个IDC怎么规划，这个名字怎么命名啊，就不管它了，然后把我们机型啊配进去，比如说我的机型啊，数据库的机型是吧，比如说我刚才是四个CPU啊，然后是8g内存的，然后呃，我数据盘，比如说我放在60g，因为我是测试，测试库嘛，然后20，然后我把数据放到这个datat一下面啊，数据放到DATAT1下面，然后这样的话啊，这是8个G的。啊，这样的话确定OK，好，这样的机型就好了，然后再配一个机型是PRO的啊，刚才是DB的是吧的PRO这个无所谓，它这个可以随便写啊，我随便写了，然后DATAT1啊，DT1啊PRO啊两个机型，然后把我们的DB资源上报上去，DB资源刚才我是啊4呃4台呃3台啊DB资源是3台，是171.17.16.4啊，然后点10.11是吧，OK.
43:18
啊，然后我分别把这三台机器啊，放在三个不同的机房啊，然后是数据库的啊，这个是DB的机型，然后第一个机房OK，下一步确定好，然后就会把这个资源啊添加进去啊，第一个资源添加进去了，然后在第二个资源添加进去，第二就是120是吧，那1205这台机器放在机型是DB的，然后放在第三第二个机的，OK, 好。好，然后呢，把第三台，第三台我是11吧，11我这个也是滴滴的机型，然后放到第三个机房，OK.OK, 然后把PRO的啊PRO为是三三台是吧，啊一个是第4台，然后PRO反正就是分别这样借吧PRO。
44:07
第一个，然后第二个120啊，然后对你的第二个积分。然后呃，第三个pollutcy啊，放在第三个机能好，然后呢，我让这三个UT呢组成一个资源池，就是这三个机房组成一个资源池，这样我掌握这个资源池就可以啊访到这个机器，比如说从三个IDC机房取三台机器组成一个资源池，作为一个pollut的一个资源池OOKOK，这个时候我可以创建这个数据库实例，这个数据库实例指的是我要给那个测兔使用啊，这里比如说我这样创建啊，比如说这个这个创建里面是什么啊版本的数据库啊，然后呃，什么机型是吧，然后配置内存CPU磁场，OK, 下一步啊，然后我这里是强同步，那么我一组两重，OK, 那我直接配了啊，我就接去让他，让他重新安装啊，直接装它，这样的话，因为它里面有三台机器，它自动会去组这三台机器啊，比如说这三台机器，它如果找到的话，就会把这三台机器进行组合，这样会变成一个一组两重的一台机器自动会以生成出来啊。
45:18
呃，这里呢，这个现在的这个机器啊，注意它创建会比较慢，因为他要去创建，因为我们的DB啊，我们的应用是不能直接访问到我们的DB的，我们的。第一用要访问我们的DB，它首先要访问我们的啊POC啊，当然这POC是好几台，如果是POC是好几台的话，那你proc前面最好还要放一个什么附载均衡啊，比如说用LS啊，F5啊等等这样的，所以这里创建会比较慢，它会创建啊，首先它会创建这个POC啊，Po创建好之后，它他才会去创建DB啊。好好，那我们让他创建啊，创建这个DB，可能这个金阶时间还是不太够啊，中间断了一会儿，然后呢，这个内容确实太多了啊，一个小时把啊上一天安装的课能讲完呢，这个是很快很快的是吧，所以我们很多细节没讲没讲啊，其实这个地方跑完之后，这个地方跑完之后啊，就是说把我们的侧兔的库啊，现在现在正在创建我们测图这个可视化界面的自动化运维的平台的这个数据库，它正在创建，正在创建，创建完了之后，那么我们才能啊，然后数据库保定连接没问题的话，我们才能去啊安装第二个脚本，就是把因为装第二个脚本的时候，就把一些那个安装组件，什么租keep啊，这种oss啊，Schedule这些啊的信息给写到这个库里面去啊，所以呢，我们在跑第二个角面之前，把第二个角面去跑好，数据库配好，然后再去跑的话，这样的话，这个数据库里面记录我们整个。
46:52
集群的信息啊，它是这么个管理关系，OK, 也快了啊，到最后一步啊，到。
47:01
啊，现在安装这个PRO的端口啊，PRO端口啊。啊。大家在这个安装过程中有没有什么问题啊，我看看大家有没有，我看看有没有人回答我，我看有没有人回答有，有没有什么问题啊，看有没有人再听啊，大家有没有什么问题，大家如果有问题的话，可以在群里面啊，可以在微信群里面说吧，我就懒得切屏了，因为这个屏幕切起来啊，这个字源比较大，然后怕切切错问题，我就不切屏幕了。我们再看一下啊，这个地方还没好，有点慢，然后我们可以看一下这底层啊，这样的话，它会在三个节点分别安装啊出我们的啊这个数据库啊，TDC口，我们来看一下它在哪里呢？它会装在我们的data下面啊，Data下面啊，Data下面会有一个TDC口啊，乱啊乱在这个下面有一个啊，有一个两个端口，一个是我们的C啊，就是我们的C通过POC里的数据库啊，那另外一个是我们的数据库啊，比如说像马S库的3306，这里我们叫4000是吧，4001啊，那这里面就有我们的啊，比如说我底层用的是po克的啊，那我们可以看到啊，这就是我们的安装文件，安装文件那么数据放哪呢？放在Data下面，Data好，OK data1啊就不好意思，DATA1是吧，DATA1下面4001啊，这个是我们的呃，数据库数据是吧，比如说像我们的一些数据放在我们的data DB data下面的low allow下面啊，那这里面呢，有我们的data啊。
48:36
啊，这个下面有我们的这个数据库的数据是吧，都放在这个地方，好，我们创建完了，创建完了就是说把我们车图库的这个库已经创建好了，创建好之后初始化一下，初始化呢，就是确定一下这个，呃，数据库的字符集自符集，我建议5.7用这个UTF8MB4啊，它支持表情，这是不是自自己的啊，然后这个好了之后，然后我们下一步，下一步就把测图库啊配一下就好了，车图库就是测图库的这个用户名密码是吧，最入个用户密码点一下测试看行不行，OK, 如果行的话点。
49:10
啊下一下一啊，这样的话就打开我们的啊车兔啊平台啊，这样的话就如果OK了，那我们就可以打开我们的测兔平台啊管了啊1234，默认密码是123456啊当然大家不要登我的啊，这样的话进了我们的测兔的整个界面啊就行了，是吧，我们就行了，好，然后我们先我们先我们先不看我们先装，赶紧装，呃这个完了之后啊，这入完了之后，然后可以通过呃类似这样的命令，可以看看数据库里能不能正常登录，就是我要验证一下我通过这个命令对吧？呃，MYSQL这个命令看能不能登到我们的测试库里面去，OK, 没问题啊，MYSQL-U就是我们的用户，杠H就是我们这台机器，杠P就是我们的呃，Pollut的端口，然后杠P就是密码，OK, 进去可以进去的话，那那我们就可以跑第二个脚本了，那么跑第二个脚本机器刚才我们已经把这个配好了是吧，把这个刚才那个呃，Group group哇下面配好了之后，然后我们就啊先在跑第二个角密之接，再把密码啊，因为我们把管理节点那个里什么大数据等等密码都要加密一下，所以我们再跑一下。
50:11
然后把呃，然后把这个第二个角面跑一下，第二个角面跑什么意思呢？就是把那个管理组件啊管理组页给做进去，因为现在在我们这个可视化的车度里面，我们的管理组件在哪里啊，在这个调度管理里面有这个呃，To keep都没有了是吧？To keepper schedule manager oss都没有，都没有，只是把界面啊那需要跑什么呢？跑第二个脚本的时候，跑完之后，那么才会把这个管理啊主机给装好，因为因为我们测兔啊是个可视化界面，然后它有自己的数据库也打好了，然后这个时候我再跑第二个脚本的时候，那么就会把一些JK啊这些信息都注入，注入到我们的呃测度平台里面去，这样的话管理整个的话就非常非常方便啊，啊，第二个脚本跑完之后呢，整个安装基本上就OK了，基本上就OK了啊，基本上就OK了，就整个安装啊就。主要的安装就装好了啊，主要安装装好了，我们看一下刷一下看有没有啊。
51:06
好，你看现在来了是吧，你看到吗？呃，租keep啊，三台一个leader，两台follow，然后schedule啊，一个master，一个slave，然后manage，一个组一个背，然后skating啊是不是两台OK，那基本上说明这个跑应该没问题了，好那呃基本上我能用了啊，能用了那下面我们要装一下我们的快速的装一下我们的啊这个其他可选的组件，比如说我们的啊啊哈do htfs啊HD干嘛呢？它是做备份，就把我们数据库的数据啊备份到HDFS上去，OK, 那你首先呢，你要装这个东西啊，你还是一样，就是你要确定你的。这个TCV里面那个，呃安里面那个啊清单这个主机清单，你的HTF装哪里对吧？比如说HTFS我转到这一台是吧？13这台我配好了，然后呢，然后注意一下，还有一个是group的5r下面的哦，这里面有一个大数据的东西啊，一个大数据一台哦是吧，你三个目录是吧，三个目录要定好啊，如果这个没问题的话，OK, 那我就可以装了，我看这个装好了没，这个没问题，OK, 说明这个全部装好了，第啊就就是我整个的啊T实C的主机全部装好了，那我现在装可选的，呃呃，大数据这个目录主呃，主机配好了，然后这个也配好了，这个也配好了，那我现在我要在第4台上面创建三个目录这样的群发我们的大数据的组件啊。
52:30
OK, 然后就跑一下第二个脚本好了啊，这样因为我这个是一个单节点的一个尾分布式，尾分布式的一个大数据啊，就以这呃直接这样跑一下就好了啊，跑了跑完之后，然后切到那个呃STCQ用户下面去，然后去呃格式化一下我们的name notd去存放我们的大数据源数据，然后再启动啊namenod和datalod啊这样的话把整个啊大数据的服务给起来啊。
53:00
啊，大数据如果装好之后呢，数据就可以备份了啊，就是你那当然备份也不一定说要放到啊哈，多上面去是吧，可以放到这个，呃，腾讯云的这个OS呃，这个cos上面对象存储或者放到本地的拉S文件系统也是可以的啊，这是可以它是可以配的啊。那我们建议呢，就是呃，放到这个最好是放到远端去，因为你放到本地呢，如果你是DBA，你既能操作本地的就比较码了，那你如果放到哈多的话，如果你只有管理员就DDBA的权限的话，是拿不到他都会的权限的啊，一般然我们是分开的嘛，像我们一起我们公司就是备份的人的账户啊，别人是不知道的，专门有人做备份啊，而且这个备份有很多是自动备份的啊。好，这个起来之后。啊，我们跟我们稍微讲的话，稍微延迟一点啊。呃，我稍微延迟一点啊，就是可能稍微延迟10分钟吧啊，我把它全部装好啊啊这个大数据跑起来有点慢啊，不过也很快快好了，好了之后呢，等会我就把它切到那个TTC用户上面啊，现在在root下面去安装包，然后等会去切到这个root下面，呃，TTC下面操作，然后然后呢，切进去之后，然后把我们的name notd进行格式化啊差没还差一点啊，他现在安装这个HTFS的，呃，信息配置好了，如果这个等于0的话，说明都是0.0，这个等于0的话，那么OK，说明没问题，然后切过去，切到这个，切到那个TTCQL下用户下面去，然后再执行一下这个命令，这个命令下的格式化啊name啊name notd啊name not格式化之后，然后启动啊name not和data not就好，就可以了，应该。
54:43
好。然后我们怎么来判断，呃，我这个这个呃哈多不是好的，一般用这个HDFS啊DFS fis看一下有没有。
55:01
啊，DFS写错了，DFS啊，JLLS杠的话，如果有这么一个目录的话，说明是没问题的啊，你还可以用HDFS的d FS and me是吧，然后比如port命令啊，也可以看一下我整个啊，我整个这个大数据的一个基本情况啊，它的整个分布空间啊等等，当然你也可以用什么呢？呃，可以用这个可视化界面，比如说我大数据线这第4台是吧，123这台公网是这，呃，这个是吧，那我直接就通过可视化的web界面啊，也可以打开我的这个大数据啊，我装单台的话，它的端口是9870 OK, 那其实这也是个大数据的一个，呃，可视化界面是吧，我能看到我整个大数据的一个情况啊，然后呢，我大数据这里面啊，Did not的是吧，就not的整个这个空间情况，然后其实这个文件我在这里面也可以浏览，对吧，当然这个大数据这个东西呢，是另外一门课，当然如果你更了解的话呢，你装的时候用的时候就比较方便一些，当然我们也可以通过命令去让它备份，备份这里怎么备我先不讲了，我们就直接只讲装2啊，那大数据装好了大数据装好了大数据。
56:02
装好之后，呃，然后LVS啊LVS我这里要么先不装了啊呃，这个因为这个其实los真正要装的时候，最好建议大家要跟滴滴PRO这个分开啊，如果你装在一起的话，可能后面会有一些冲突，因为它是一个入口啊，而且它最好是生产上，它最好是用啊物理机续装啊，这里我就不给大家装，大家自己转一下怎么配，我这里不说了，我们这台卡夫卡卡夫卡卡夫卡你要装的话三台是吧，三台啊，三台我已经配好了，这三台在我们的这个还是在这个，我们其实就回到路特下面是吧，还是一样叫TTC的host上面，我们来确认一下我们的卡夫卡是不是三台啊，四十十一三台，OK, 然后卡夫卡配完之后，然后还要在我们的group的呃，袜S下面的哦啊下面OK，这里面呢，有一个。呃，卡夫卡的啊，卡夫卡它它配三个目录，就是说卡夫卡它是一个消息队列嘛，它有存储数据嘛，呃，这这三个目录，这三个目录它自动会创建啊，其实说白了，卡夫卡你要去装的话，就呃去跑这条命令就可以了啊，你要确定好两个配置文件，两边的配置文件，然后去跑这个脚本，那它自动就会把卡夫卡装好，那现在我们来看一下，就是说我们我正在装之前我们的卡夫卡有没有OK，嗯。
57:15
那这里是吧，卡夫卡是没了是吧，那等会它这个装好之后，那卡夫卡就有了，那卡夫卡就这么进场的话，我们要看一下卡夫卡的日志文件，有的时候呢，就是说呃，可能卡不卡，它比较消耗这个什么呢？消耗这个内存字源，所以有的时候就可能你你装，如果说你的配置很差，比如说你放在你的VMVR里面，你只搞了两个CPU4G，那很容易啊，装不起来很容易报错，因为这么多组件是吧，什么大数据啊，Electric search区啊，什么卡夫卡，呃，滴滴啊，然后PRO啊是吧，等等是吧，这么多组件如果你去装的话，很有可能质源不够，那OK，以这个也没问题，对方0的话都没问题，那我通过这条命令可以啊，通过这个命令看看每个节点它的卡夫卡啊，是不是正常是吧，那如果说包这个的话，那说明卡夫卡是进常的，就是你有呃去去执行这个的话。
58:01
好，那这样的话，我卡夫卡基本上也也装好了，所以说安装其实很方便啊，方便那在这个界面里面，应该你看到3台卡夫卡啊嗯。啊，在这几年没这么快，可能还没起来吧。状态都是好的嘛。啊，可不可能。转这个是吧。啊，卡回来了是吧，3台嘛，3台啊三台好，这是卡夫卡，呃卡夫卡完了之后，然后我们再抓一下consumer修ma consumer修比较做多元同步啊，就是说我要把这个呃TTC体成就是马嘛，通过B劳日志拎到这个卡夫卡，然后卡夫卡这边啊呃，消费者是吧，Orac马啊，还有那个PG等等啊这些肯定是消费，那通过这个进程啊消费我这个进品已经配好了，然后之后只要跑一下这个安顺博这个啊脚本就好了。
59:09
它自动就会把这个，嗯，这个砍胸的装好啊，砍胸的装好之后，然后你CD到这个目录下面去，然后启动一下啊，这个进程就OK了啊，那启动的时候注意一下，这后面因为这个consumer，它这个要去消费这些东西啊，它要用到这里面的什么zoo keep, 所以说要把这个zoo keep的I地址端口IP址三台IP端口，然后租keep的跟下面的TC的JK，然后卡夫卡的租keep的列表也是这个啊三台然后弄好就可以了。啊，然后后面对应的这个网卡的这个设备是与天网领啊，这个要配好对应好对应好啊。这个有点慢啊，你看看这个目录有没有，这个目录已经有了啊，这个目录有了之后，等会就执行一下这个就可以了，等下跑完啊，等下跑完执行一下这个就好了。
60:01
嗯。那跑完了是吧，跑完之后，然后在这个目录下面啊，跑完了是吧，00是吧，OK, 那执行一下就好了，好如果包这两呃如果写示这两个的话，说明就OK了啊这样看修也装好了，那最后我们再装一个这个ES electric search啊就是呃三个主页是吧？呃Log station啊呃electric search给K8了啊呃装这个呢，注意这个比较换内存啊，然后我们呃首先就是一样，就是在呃这个里面是吧，TCQL这个列表里面啊，你要先看一下ES几台机器啊，这里放在这一台，这一台完了之后，然后呢，要到那个group的瓦S下面瓦下面哦下面OK，诶写错了。就是group上会有wass好吧，这个下面有一个ES啊。SESSESSES跟内存是4的话啊，意思就是一台是4，那我一般我们的ES是两个副本的是吧？啊一般默认是两个副本，那就8g内存，那这个两个副本8g的话呢，太大了，我这个嗯也没那么大，然后所以我是2，嗯这样的话两二二的话，4个G内存为台也是应该可以撑一下啊，所以我这里要改一下，改完之后主要是这里要改一下，不改的话，你可能跑起来可能会内气会不够啊好。
61:25
补完了之后，然后呢，呃啊改完之后，然后直接去跑就可以了啊，直接去跑，这样的话，一条命令下去就把那些主件全部啊一次性的装好啊。目录记得不要装错啊，目录你目录要你要要找到对应的目录帮要你执行这个你所有的操作都是在这个目录下面操作的，都是在这个目录下，我都是在这个目录下面，我先把这个包放在根下面TTC口，然后T解开之后就TTC口以下会in到主要是这这个配置文件，然后这个目录下面一个配置文件啊在这个下面跑了啊好这个这个如果跑完之后，那么嗯嗯，那么你这个跑完之后，然后就把那个三个进行起来，三拿三个进行来，一个是我们的这个什么，呃，Electric search electric search就是一个搜索引擎啊，它主要做呃，大数据日志分析啊，监控啊这种啊呃非常非常好的一个啊工具啊，也是不管是哪互联网都在用是吧，像滴滴啊，这种车的定位啊是吧，车的轨迹啊，运动日志啊，包括我们原来我在吉利的话，我们用那个啊，整个集团啊，我们很多很多机板，我们的物理机有啊五六千台是吧，那这么多机器我们都要监控它的CPU内存啊，那我把这些信息都漏到那个我们的。
62:40
E electrictic search区里面啊，包括做安全审计啊，它是到底你怎么访问是吧，操作系统的日志，应用的日志，数据库的日志啊等等都可以放到我们的E赖那在这个，呃呃，在我们这里呢，我们主要是做这个CQ的审计，就是把这个应用层访问数据库这里的这些CQL语句啊扔到这里来，然后我们通过这里来看啊，然后通过这里可以把这些一些CQL放到我们的一些性能啊，呃，就是我们的这个扁区的那个平台里面去分析这个CQL啊，一些性能问题啊，诊断啊等等，非常非常方便啊，所以我们这个要装一下啊，那这个装也装好了，OK, 两个零啊，然后装好之后，然后就启动一下，那么启动的时候要注意就是呃，可能一些环境变量这些问题还是比较麻烦，所以说我们环境变量这些都要弄好，SS0呃1TCM面profile，然后切切过去啊，切到这个下面去，呃，然后再去执行下SS，我觉得这个里面肯定是有一点小问题吧，所以我要执行两次，然后呢，我们执行完之后，然后我。
63:38
然后我要去，呃，因为ES的话，它有两部分，一个是管理节点跟数据节点，所以我要先进进到那个管理节点里面去，把管理节点服务给打开，通过这个no HUB的命令后台把它打开，嗯，好。Elastic.
64:00
Search啊？啊，感觉这个一起来吧，应该。啊好，这个起起起完这个之后，然后再把他的那个数据节点给起一下数据节点，把数据节点起一下。好，这个是electric search啊，Electric search取完了之后我们还要去啊，去请那什么采集数据和数据格式转换的lock啊，Lock我们在root上面执询，OK.啊，之前我做过这么一些项目啊，就像electric search啊哈，我都做过一些项目，所以这些用起来都比较都比较比较清楚吧。那我就直接就装吧，我就把它装好啊，那这样的话啊，然后呢，我们再把那个K吧，那就是那个可视化界面也给打开啊，一个一个打开，就是那个可视化界面啊。
65:13
啊，这样的话，那基本上就OK了，基本上OK了，基本上OK之后，那么我们要确定一下这几个进程有没有起来，是不是正常的，比如说我们的ES啊，这是不是四个进程啊，他是一个父亲一个儿子嘛，因为有一个master的一个啊一个数据数据集的一个master解释是四个，然后我们的lock station一个有两个，一个父亲一个儿子啊这样有如果是两个就没问题了，然后我们的呃，Key巴那是吧，呃，我们的儿还有亲属进城的一个一个一个，然后还有一个KEY8纳，如果这几个都没问题的话，OK, 那我们就可以，呃打开P8纳的啊可视化界面啊，那P8纳的可视化界面，那其实他用的就是这台机器吧，这台机器它只要打开这台机器就可以了，他端口是80啊，所以不需要后面不要再端口了，打开就可以了，那这个就是啊P8呢，可视化的啊。
66:02
当然你这个啊，可视化的打开之后，你要看到这个CQL一些那个的话，其实还有很多地方要设置啊，这里呢，嗯，我们只是说把这个ES啊装好，然后您打开啊，您打开它服务您打开，但是数据我们现在没有，是因为有地方要去做一些设置啊，这里我们时间关系我就不讲了啊，那这样的我今天呢，就把这个整个安装啊啊做了一遍啊，所以大家呢，可以呃参考我这边的这个呃信息啊，就是大家如果有兴趣的同学啊，可以找到我们的对应的这个呃这个呃目录是吧，然后网站的目录，然后把这个对应的拷过去啊，当然这个呃，你安装的时候可能安装包这个不太好弄啊，这个安装包就是参考可以参考一下安装的不行啊，今天我今天我就啊把整个过程演示了一下，OK, 看看大家有没有什么呃问题。啊，今天的分享基本上就这些啊，主要是把整个过程装了一遍，大概用了一个小时左右吧，就从讲到安装，其实真正安装也就用了半个小时吧，因为我中间那个电脑啊，呃，那个卡了是吧，后来我重启了一下，然后又进去OK，看看大家有没有什么问题。
67:18
我我退出这个界面，我到那个回答界面里面看一下，看看大家有没有什么问题啊，我们装了一遍，我们los我没转算了，这个反正也简单，就跑个脚本就好了，是吧，里面配一下就好了，也没装大部分就装了啊是这么一个情况好吧，然后大家要去安装那个的话，你可以参考我这个，呃，这个。这个网站上面这个什么这个步骤啊，然后去大家去看一下啊，然后呢，根据今天我讲的这个，如果你有没拿到安装包，我觉得可以做个做个测试好吧。行吧，好，那大家如果没什么啊，其他问题的话，我们今天就讲到这里啊，非常感谢啊大家就是说，然后呃，我们明天也开课了啊，如果大家需要的话也可以啊，找找我们的小姐姐是吧？啊就是呃，大家如果有需要的话，就是这个看看大家的那个啊，明天我们就开课了啊TTC的课程，一共5天的一个实战课程啊好非常感谢，非常感谢，好，我下了啊嗯，下课了。

展开

我来说两句

0 条评论

登录后参与评论

作者

云贝教育

TDSQL安装部署实战原创

我来说两句

作者

相关推荐

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐