前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >hadoop-3.2.0------>入门十 完全分布式环境搭建

hadoop-3.2.0------>入门十 完全分布式环境搭建

作者头像
用户5899361
发布2020-12-07 15:28:31
6513
发布2020-12-07 15:28:31
举报
文章被收录于专栏:学习java的小白

一、将虚拟机全部设置为静态ip

详情查看:https://my.oschina.net/u/3535099/blog/3125614

二、将主机的host文件中添加所有子节点

命令:vi /etc/hosts

三、编写集群分发脚本scp

1、scp 安全拷贝

scp定义:scp可以实现服务器之间的的数据拷贝

语法:scp -r pdir/fname user@hadoophost:pdir/fname

scp:命令

-r:递归

pdir/fname:要拷贝的文件夹路径/名称

user@hadoophost:pdir/fname:目的用户@主机/目的文件夹路径/名称

例子:将hadoop上的java文件夹拷入hadoop01(相当于hadoop主动将文件推送到hadoop01上)

获取hadoop上的java文件夹并拷入hadoop02(相当于hadoop02从hadoop中拉取这个文件)

注意:hadoop的主机名称及ip需要在hadoop02的/etc/hosts文件中进行配置(如第二步配置)

图中的./代表拉取到当前目录中

四、编写集群分发脚本rsync

1、rsync远程同步工具

rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号连接的优点。

2、rsync和scp的区别:用rsync做文件的复制要比scp速度快,rsync只做差异文件更新,scp是将所有文件复制过去

3、语法:rsync -rvl pdir/fname user@hadoophost:pdir/fname

rsync :命令

-rvl:选项参数

pdir/fname:要拷贝的文件夹路径/名称

user@hadoophost:pdir/fname:目的用户@主机/目的文件夹路径/名称

4、选项参数说明:

-r:递归

-v:显示复制过程

-l:拷贝符号连接

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 一、将虚拟机全部设置为静态ip
  • 二、将主机的host文件中添加所有子节点
  • 三、编写集群分发脚本scp
  • 四、编写集群分发脚本rsync
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档