前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >转 | Linux大文件(比如ISO)的拆分、合并、校验

转 | Linux大文件(比如ISO)的拆分、合并、校验

作者头像
create17
修改于 2019-03-13 01:16:57
修改于 2019-03-13 01:16:57
4.5K00
代码可运行
举报
运行总次数:0
代码可运行

原文链接请参考:https://www.cnblogs.com/oyym/p/3261015.html

大文件在实际应用传输过程中往往经历拆分、合并的过程。文件在多次传输后有可能会损坏,在使用前可以进行完整性校验。

1. 文件生成MD5码

使用md5sum命令来生成MD5码:

代码语言:javascript
代码运行次数:0
运行
复制
[root@liuyzh1 ~]# md5sum rhel-server-6.3-x86_64-dvd.iso
d717af33dd258945e6304f9955487017  rhel-server-6.3-x86_64-dvd.iso
2. 文件拆分

使用split命令来拆分文件:

代码语言:javascript
代码运行次数:0
运行
复制
split -b 600m -d rhel-server-6.3-x86_64-dvd.iso redhat6.3_x

参数说明:

  • -b:600m 表示文件以600mb为单位分割
  • -d:分割后子文件名以数字作为后缀,默认两位
  • redhat6.3_x:子文件前缀
3. 拆分后生成子文件MD5码
代码语言:javascript
代码运行次数:0
运行
复制
[root@liuyzh1 ~]# for var in $(ls redhat*); do md5sum $var; done
b9440b925d9e9bc640fd23ff00e15450  redhat6.3_x00
af4985a9aa1bc557b5a05de3cdad026b  redhat6.3_x01
2433ab29a85789f4aca21421307ed788  redhat6.3_x02
8cbccc256b1da1014f07e9142cf2fc4c  redhat6.3_x03
962e79bceacef5c1fa9336e4a21ce995  redhat6.3_x04
22a68fb82aaa7c8d516897740ebf052f  redhat6.3_x05
#可以直接将MD5值重定向到文件
[root@liuyzh1 ~]# for var in $(ls redhat*); do md5sum $var >> s_sub.md5; done
4. 子文件远程传输
代码语言:javascript
代码运行次数:0
运行
复制
scp redhat6.3_x00 redhat6.3_x01 redhat6.3_x02 redhat6.3_x03 redhat6.3_x04 redhat6.3_x05 user@192.168.122.36:~
5. 在接收端校验子文件完整性
代码语言:javascript
代码运行次数:0
运行
复制
#5.1 在接收端生成子文件
[root@liuyzh1 ~]# for var in $(ls redhat6.3_x*);do md5sum $var ;done
b9440b925d9e9bc640fd23ff00e15450  redhat6.3_x00
af4985a9aa1bc557b5a05de3cdad026b  redhat6.3_x01
2433ab29a85789f4aca21421307ed788  redhat6.3_x02
8cbccc256b1da1014f07e9142cf2fc4c  redhat6.3_x03
962e79bceacef5c1fa9336e4a21ce995  redhat6.3_x04
22a68fb82aaa7c8d516897740ebf052f  redhat6.3_x05
for var in $(ls redhat*); do md5sum $var >> d_sub.md5; done
#5.2 比较源子文件MD5码,相同说明完整
[root@liuyzh1 ~]# diff s_sub.md5 d_sub.md5 > /dev/null && echo true || echo false
true
6. 大文件合并

使用cat命令来合并文件

代码语言:javascript
代码运行次数:0
运行
复制
cat redhat6.3_x00 redhat6.3_x01 redhat6.3_x02 redhat6.3_x03 redhat6.3_x04 redhat6.3_x05 > rhel-server-6.3-x86_64-dvd.iso
7. 合并后的大文件生成MD5码与源MD5值比较,值相同表示完整无损
代码语言:javascript
代码运行次数:0
运行
复制
md5sum rhel-server-6.3-x86_64-dvd.iso
d717af33dd258945e6304f9955487017  rhel-server-6.3-x86_64-dvd.iso
# 比较:(字符串比较)

原文链接请参考:https://www.cnblogs.com/oyym/p/3261015.html


本文系转载,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文系转载,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
在 Linux 中生成 JAR 文件的 MD5 校验和 | Linux 技巧分享
本文将详细介绍如何在 Linux 系统中使用 md5sum 命令生成 JAR 文件的 MD5 校验和。MD5 校验和常用于验证文件的完整性,特别是在文件传输、备份和发布时,确保文件未被篡改。通过这篇教程,即使是小白用户,也能轻松掌握这一技能。
默 语
2024/12/24
3030
md5sum 和 sha256sum用于 验证软件完整性
md5sum 和 sha256sum 都用来用来校验软件安装包的完整性,本次我们将讲解如何使用两个命令进行软件安装包的校验:
西湖醋鱼
2020/12/30
2.5K0
md5sum命令的使用
md5sum命令可以同时对一批文件进行256位的MD5编码,并可以通过比较前后二次编码值来检测一个文件是否给修改过。由于此命令执行效率较高,所以常可用于大批文件的编译过程中,比如执行第一次编译时,产生每个文件的MD5编码,当第二次或以后编译时,通过MD5编码来确定一个文件是否有修改,而只对有变化的文件进行编译,这样可以大大节省编译的时间。 假设所有需要编译的文件名列表在文件allfiles.txt中: cat allfiles.txt | xargs md5sum > md5sum_result.txt m
老七Linux
2018/05/09
1.2K0
Linux中文件MD5校验[通俗易懂]
md5sum命令用于生成文件的md5数字摘要,并可以验证文件内容是否发生了改变,间接地还可以检验两个文件内容是否完全相同。因为md5sum是读取文件内容来计算校验码的,因此只能验证文件内容,而无法验证文件属性。
Java架构师必看
2022/02/03
5.9K0
md5校验数据的完整性
最近在分析数据的时候,属实是一波好多折,在数据传输的时候也遇到了这么离谱的速度(使用的是国家重点实验室的集群)。
小汪Waud
2023/02/16
1.6K0
md5校验数据的完整性
Linux系统自定义制作ISO安装镜像
在CentOS6系列版本系统在安装完成后会自动生成一个install.log文件,然后在CentOS7系列版本中就变化为anaconda-ks.cfg文件,它可以作为类似于Windows自动化安装的应答文件,只不过此处是用于Linux系统自动化安装的应答文件即无人值守自动化安装配置文件;
全栈工程师修炼指南
2022/09/29
11.7K0
Linux系统自定义制作ISO安装镜像
在CentOS6系列版本系统在安装完成后会自动生成一个install.log文件,然后在CentOS7系列版本中就变化为anaconda-ks.cfg文件,它可以作为类似于Windows自动化安装的应答文件,只不过此处是用于Linux系统自动化安装的应答文件即无人值守自动化安装配置文件;
全栈工程师修炼指南
2020/10/26
16.6K0
Linux 7.7 源码安装 MySQL 8.0.26
CentOS 7 或 RHEL7 版本的系统默认自带安装了 MariaDB,需要先清理。
JiekeXu之路
2021/10/12
2.4K0
利用 Linux 查找重复文件
本部分算是对find强大功能的扩展使用方法说明。在find的基础上,我们可与(如xargs命令)等其它基本Linux命令相结合,即能创造出无限的命令行功能,比如:可以快速查找出Linux某个文件夹及其子文件夹中的重复文件列表。要实现这个功能在流程上是比较简单的,只要查找遍历出所有文件,再通过命令去比较每个文件的MD5就OK啦。
杰哥的IT之旅
2021/09/27
5.9K0
Linux 查找重复文件方法汇总
本部分算是对find强大功能的扩展使用方法说明。在find的基础上,我们可与(如xargs命令)等其它基本Linux命令相结合,即能创造出无限的命令行功能,比如:可以快速查找出Linux某个文件夹及其子文件夹中的重复文件列表。要实现这个功能在流程上是比较简单的,只要查找遍历出所有文件,再通过命令去比较每个文件的MD5就OK啦。
IT运维技术圈
2022/06/27
2.5K0
20.linux 文件管理命令【md5sum】MD5 函数值计算和检查【awk】模式匹配语言
linux 文件管理命令:【md5sum】MD5 函数值计算和检查【awk】模式匹配语言
度假的小鱼
2025/01/10
2470
20.linux 文件管理命令【md5sum】MD5 函数值计算和检查【awk】模式匹配语言
Windows 11 22H2 最新官方正式版 ISO 镜像下载
Windows11 正式版首次发布时间为2021年10月5日,终于今天2022/09/21微软发布了Windows 11 重磅的大型更新,并重新命名为——Windows11 2022 (22H2) 正式版
yuanfan2012
2022/12/06
7.3K0
Windows 11 22H2 最新官方正式版 ISO 镜像下载
对下载软件/文件进行校验的工具(Checksum and GPG)
之前装软件一直都没有验证安装文件的习惯,信息安全意识不高,碰巧最近没啥事,微微写篇文章记录下校验工具(互联网http、https、ftp 服务并没有那么安全,是可以被劫持篡改。老装软件选手了,是该养成个校验文件的习惯了)。
Cloud-Cloudys
2023/10/21
2.6K0
对下载软件/文件进行校验的工具(Checksum and GPG)
Linux 挂载光盘镜像配置本地 yum 源安装软件
Yum(全称为 Yellowdog Updater, Modified)是一个在 Fedora 和 RedHat 以及 CentOS 中的 Shell 前端软件包管理器。CentOS 和 Redhat 版本的 Linux 一般安装软件包选择 rpm 和 yum 安装方式,这也是比较常见的方式。不过 rpm 安装时如果有其他依赖的包则需要先安装依赖包,比较麻烦, yum 则可以解决依赖关系,也可同时安装多个 rpm 包。当然 deb 软件包安装以及源码方式安装也有使用。deb 软件包一般以 .deb 后缀结尾,dpkg -i 包名即可安装。源码方式的包一般都以.tar.gz 或者 .tar.bz2 结尾,下载后校检md5值,解压后经过配置(./configure)、编译(make)、安装(make install)便可以完成。
JiekeXu之路
2019/09/16
12K0
Linux 挂载光盘镜像配置本地 yum 源安装软件
linux解压分卷压缩文件zip_ubuntu zip解压命令
本文关键词:linux合并zip文件、linux下zip分卷压缩及linux下zip分卷解压、linux下zip分卷解压、linux下zip分卷压缩。
全栈程序员站长
2022/09/27
4.6K0
linux解压分卷压缩文件zip_ubuntu zip解压命令
比较下载的多层目录文件的完整性
最近我需要从服务器上下载到本地windows系统中,本来想的是校验文件的md5值,就可以对比下载的文件完不完整了,其实在linux系统中,我们可以采用递归的命令来计算md5值,如下:
生信喵实验柴
2023/09/04
2770
比较下载的多层目录文件的完整性
探索Linux的md5sum命令:保障数据完整性的利器
在数据处理和分析中,数据的完整性和准确性是至关重要的。为了确保数据在传输或存储过程中没有被篡改,我们通常会使用哈希函数来生成数据的唯一“指纹”。在Linux系统中,md5sum命令就是这样一个强大的工具,它使用MD5算法为文件或数据块生成哈希值。
听风的鱼鱼儿
2024/06/20
2940
陇剑杯复现
在wireshark中输入tcp.port eq 2333可以看到跟反弹的ip的通信
用户9691112
2023/09/04
5140
陇剑杯复现
正版哈希值校验工具_哈希校验
现在从网络下载文件,为了安全起见很多平台都会提供哈希校验码,来提供所下载文件的内容摘要,下载完成后只要本地的文件具有一样的哈希码,就能够确保你下载的东西没有被替换。所以养成随手校验哈希是很一个很好的习惯。
全栈程序员站长
2022/09/30
1.3K0
编码加密核验类命令
描述:使用 Base64 编码/解码文件或标准输入输出,数据以 RFC 3548 规定的 Base64 字母格式进行编码。 解码时输入数据(加密流)可能包含一些非有效 Base64 字符的新行字符。
全栈工程师修炼指南
2022/09/28
1.2K0
编码加密核验类命令
相关推荐
在 Linux 中生成 JAR 文件的 MD5 校验和 | Linux 技巧分享
更多 >
目录
  • 1. 文件生成MD5码
  • 2. 文件拆分
  • 3. 拆分后生成子文件MD5码
  • 4. 子文件远程传输
  • 5. 在接收端校验子文件完整性
  • 6. 大文件合并
  • 7. 合并后的大文件生成MD5码与源MD5值比较,值相同表示完整无损
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档