Loading [MathJax]/jax/output/CommonHTML/config.js

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >专栏 >用NC或rsync传文件和目录

用NC或rsync传文件和目录

用户1148526

发布于 2020-03-18 09:44:34

发布于 2020-03-18 09:44:34

8370

举报

文章被收录于专栏：Hadoop数据仓库Hadoop数据仓库

目标机（172.16.1.125）：

nc -l 12345 | tar zxvf -

源机（172.16.1.124）：

tar cfz - * | nc 172.16.1.125 12345

rsync --hard-links -ropgt --bwlimit=100000 -v --progress -e "ssh" -o "GSSAPIAuthentication=no" * mysql@140.210.73.69:/data/18252/

说明：

--hard-links：保留硬链接

-ropgt：递归、保留属主、权限、组、时间

--bwlimit：限速100M/S

--progress：显示进度

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

评论

登录后参与评论

暂无评论

编辑精选文章

换一批

万字详解高可用架构设计

Go 开发者必备：Protocol Buffers 入门指南

10分钟带你彻底搞懂分布式链路跟踪

多租户的 4 种常用方案

亿级月活的社交 APP，陌陌如何做到 3 分钟定位故障？

60页PPT全解：DeepSeek系列论文技术要点整理

Linux中使用rsync数据备份工具和实例

unix ipv6 tcp/ip

对于运维不得不得做的就是备份，增量备份与全量备份，通过rsync工具可以快速做到远程备份。

星哥玩云

2022/05/23

1.6K0

linux之rsync远程同步文件

原文链接:https://rumenz.com/rumenbiji/linux-rsync.html

入门笔记

2021/10/25

3K0

Linux远程拷贝数据-限速和断点续传

Linux scp 命令用于 Linux 之间复制文件和目录。scp 是 secure copy 的缩写, scp 是 linux 系统下基于 ssh 登陆进行安全的远程文件拷贝命令。scp 是加密的，rcp 是不加密的，scp 是 rcp 的加强版。

Power

2025/02/28

3070

rsync 实现文件同步

rsync是linux系统下的数据镜像备份工具。使用快速增量备份工具Remote Sync可以远程同步，支持本地复制，或者与其他SSH、rsync主机同步。

Li_XiaoJin

2022/06/10

1.3K0

SCP和Rsync远程拷贝的几个技巧

scp是secure copy的简写，用于在Linux下进行远程拷贝文件的命令，和它类似的命令有cp，不过cp只是在本机进行拷贝不能跨服务器，而且scp传输是加密的。可能会稍微影响一下速度。当你服务器硬盘变为只读 read only system时，用scp可以帮你把文件移出来。另外，scp还非常不占资源，不会提高多少系统负荷，在这一点上，rsync就远远不及它了。虽然 rsync比scp会快一点，但当小文件众多的情况下，rsync会导致硬盘I/O非常高，而scp基本不影响系统正常使用。scp在夸机器复制的

洗尽了浮华

2018/03/28

5.9K0

常用rsync命令操作梳理

作为一个运维工程师，经常可能会面对几十台、几百台甚至上千台服务器，除了批量操作外，环境同步、数据同步也是必不可少的技能。说到“同步”，不得不提的利器就是rsync。rsync不但可以在本机进行文件同步，也可以作为远程同步工具。前面提到了rsync+inotify实时同步方案部署，下面结合本人近几年运维工作中对这一工具使用的经验，简单在此梳理下： rsync同步命令中常用的几个参数说明： -a, --archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD -v, --

洗尽了浮华

2018/01/22

1.8K0

Linux下使用rsync同步文件

遇到的问题是几台游戏服务器，有一台新的服务器之前已经copy(Linux的scp命令)过文件上去，但在测试的过程中发现还是图片无法正常不显示出来，然后用httpwatch去分析请求的资源，发现有一个图片请求的地址是404（文件不存在），然后ssh登录上去，找到指定目录，发现确实是没有这个文件。。。

meteoric

2018/11/15

3.5K0

Ubuntu 文件同步工具 rsync

cp和scp是ubuntu中文件拷贝常用的两个命令，一般在同一台服务器上我们是用cp命令，跨服务时使用过scp命令，但是如果做文件同步的话，rsync要比上述两个命令更好用一些，跨不跨服务器都是如此。因为rsync可以只同步需要更新的文件，而不是将所有的指定路径内的文件都拷贝一份，然后再目标路径下去覆盖源文件，比如本地的/mnt/tem文件夹要和远程xx.xx.xx.123的/mnt/tem路径做同步，可以使用：

chaibubble

2020/08/10

3K0

rsync备份大量数据_SnapShot能做增量备份吗

数据库云数据库 SQL Server sql https unix

sync 是一个常用的 Linux 应用程序，用于文件同步。它可以在本地计算机与远程计算机之间，或者两个本地目录之间同步文件（但不支持两台远程计算机之间的同步）。它也可以当作文件复制工具，替代 cp 和 mv 命令。它名称里面的 r 指的是 remote，rsync 其实就是 “远程同步”（remote sync）的意思。与其他文件传输工具（如 FTP 或 scp）不同，rsync 的最大特点是会检查发送方和接收方已有的文件，仅传输有变动的部分（默认规则是文件大小或修改时间有变动）。

全栈程序员站长

2022/11/08

1.1K0

linux rsync 命令解释

在对rsync服务器配置结束以后，下一步就需要在客户端发出rsync命令来实现将服务器端的文件备份到客户端来。rsync是一个功能非常强大的工具，其命令也有很多功能特色选项，我们下面就对它的选项一一进行分析说明。

葫芦

2019/04/17

1.8K0

rsync+sersync数据同步

Author： Andrew Tridgell, Wayne Davison, and others

胡齐

2019/09/23

1.4K0

rsync+sersync数据同步

rsync 客户端命令详解

rsync客户端参数的具体解释如下： -v, --verbose 详细模式输出 -q, --quiet 精简输出模式 -c, --checksum 打开校验开关，强制对文件传输进行校验 -a, --archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD -r, --recursive 对子目录以递归模式处理 -R, --relative 使用相对路径信息 -b, --backup 创建备份，也就是对于目的已经存在有同样的文件名时，将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。 --backup-dir 将备份文件(如~filename)存放在在目录下。 -suffix=SUFFIX 定义备份文件前缀 -u, --update 仅仅进行更新，也就是跳过所有已经存在于DST，并且文件时间晚于要备份的文件。(不覆盖更新的文件) -l, --links 保留软链结 -L, --copy-links 想对待常规文件一样处理软链结 --copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结 --safe-links 忽略指向SRC路径目录树以外的链结 -H, --hard-links 保留硬链结 -p, --perms 保持文件权限 -o, --owner 保持文件属主信息 -g, --group 保持文件属组信息 -D, --devices 保持设备文件信息 -t, --times 保持文件时间信息 -S, --sparse 对稀疏文件进行特殊处理以节省DST的空间 -n, --dry-run现实哪些文件将被传输 -W, --whole-file 拷贝文件，不进行增量检测 -x, --one-file-system 不要跨越文件系统边界 -B, --block-size=SIZE 检验算法使用的块尺寸，默认是700字节 -e, --rsh=COMMAND 指定使用rsh、ssh方式进行数据同步 --rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息 -C, --cvs-exclude 使用和CVS一样的方法自动忽略文件，用来排除那些不希望传输的文件 --existing 仅仅更新那些已经存在于DST的文件，而不备份那些新创建的文件 --delete 删除那些DST中SRC没有的文件 --delete-excluded 同样删除接收端那些被该选项指定排除的文件 --delete-after 传输结束以后再删除 --ignore-errors 及时出现IO错误也进行删除 --max-delete=NUM 最多删除NUM个文件 --partial 保留那些因故没有完全传输的文件，以是加快随后的再次传输 --force 强制删除目录，即使不为空 --numeric-ids 不将数字的用户和组ID匹配为用户名和组名 --timeout=TIME IP超时时间，单位为秒 -I, --ignore-times 不跳过那些有同样的时间和长度的文件 --size-only 当决定是否要备份文件时，仅仅察看文件大小而不考虑文件时间 --modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口，默认为0 -T --temp-dir=DIR 在DIR中创建临时文件 --compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份 -P 等同于 --partial --progress 显示备份过程 -z, --compress 对备份的文件在传输时进行压缩处理 --exclude=PATTERN 指定排除不需要传输的文件模式 --include=PATTERN 指定不排除而需要传输的文件模式 --exclude-from=FILE 排除FILE中指定模式的文件 --include-from=FILE 不排除FILE指定模式匹配的文件 --version 打印版本信息 --address 绑定到特定的地址 --config=FILE 指定其他的配置文件，不使用默认的rsyncd.conf文件 --port=PORT 指定其他的rsync服务端口 --blocking-io 对远程shell使用阻塞IO -stats 给出某些文件的传输状态 --progress 在传输时现实传输过程 --log-format=formAT 指定日志文件格式 --password-file=FILE 从FILE中得到密码 --bwlimit=KBPS 限制I/O带宽，KBytes per second -h, --help 显示帮助信息

一见

2019/03/14

1.1K0

rsync远程同步文件_通过ssh传输文件

unix https 网络安全

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至举报，一经查实，本站将立刻删除。

全栈程序员站长

2022/11/04

1.7K0

大点干！早点散----------rsync+inotify实现远程实时同步

unix 文件存储 linux

rsync是linux系统下的数据镜像备份工具，使用快速增量备份工具remote sync可以远程同步，可以在不同主机之间进行同步，可以实现全量备份与增量备份，保持链接和权限，且采用优化的同步算法，传输前执行压缩，因此非常适合用于架构集中式的备份或异地备份等应用。同时rsync支持本地复制，或者与其他ssh、rsync主机同步。

不吃小白菜

2020/09/15

7340

【玩转服务器】CentOS通过rsync实现文件同步（SSH方式）

rsync是Liunx下的远程数据同步工具，可快速同步多台主机间的文件和目录，并可实现增量同步以减少数据的传输。

参谋带个长

2023/11/10

8560

利用Rsync同步备份服务器数据

转载请备注出处：[狂码一生 ] http://www.sindsun.com/article-details-117.html

Sindsun

2019/12/11

2.8K0

Rsync服务简介部署使用及原理详解

Rsync简介什么是rsync? Rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。Rstync软件适用于unix/linux/windows等多种操作

iginkgo18

2020/09/27

2.5K0

Linux下搭建 rsync服务

2、-z，--compress　　传输是进行压缩以提高传输效率，--comperess -level = NUM可以按级别压缩

星哥玩云

2022/07/25

2.2K0

Linux下搭建 rsync服务

同步文件Rsync命令

环境 A:10.200.11.224 B:10.200.11.230 需求：将A机器上文件推送到B机器将A机器的pubkey添加到B机器authorized_keys当中执行命令 rsync -az /home/test/ root@10.200.11.230:/home/test/ 命令参数： -v, –verbose 详细模式输出 -q, –quiet 精简输出模式 -c, –checksum 打开校验开关，强制对文件传输进行校验 -a, –archive 归档模式，表示以递归

苦咖啡

2018/04/28

1.6K0

【linux命令讲解大全】130.rsync：快速远程数据同步工具

linux rsync 工具数据同步同步

rsync命令是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件。rsync使用所谓的“rsync算法”来使本地和远程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。rsync是一个功能非常强大的工具，其命令也有很多功能特色选项，我们下面就对它的选项一一进行分析说明。

全栈若城

2024/03/02

6310

相关推荐

Linux中使用rsync数据备份工具和实例

更多 >