首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Rdfind - Linux查找重复文件

背景 前段时间遇到一个问题,服务器下面一个文件夹下面的图片越来越多,由原来的5G,达到了现在的94G,其中这个文件夹下面有好多重复的图片,文件多了之后造成图片备份困难,图片迁移困难,浪费了大量的空间和IO...本文中将介绍rdfind命令工具linux查找和删除重复的文件,使用之前请先在测试环境跑通并对测试环境进行严格的测试,测试通过之后再在生产环境进行操作,以免造成重要文件的丢失,数据是无价的。...Rdfind来自冗余数据查找,用于多个目录或者多个文件查找重复的文件,它使用校对和并根据文件查找重复项不仅包含名称。 Rdfind使用算法对文件进行分类,并检测那些是重复文件,那些是文件副本。...root@ds Image]# drfind /Image/ [root@ds Image]# Rdfind 命令将扫描 /Image 目录,并将结果存储到当前工作目录下一个名为 results.txt 的文件...你可以 results.txt 文件中看到可能是重复文件的名字。 通过检查 results.txt 文件,你可以很容易的找到那些重复文件。如果愿意你可以手动的删除它们。

5.2K60

关于vim查找替换

1,查找 normal模式下按下/即可进入查找模式,输入要查找的字符串并按下回车。 Vim会跳转到第一个匹配。按下n查找下一个,按下N查找上一个。...例如当前为foo, 可以匹配foo bar的foo,但不可匹配foobar的foo。 这在查找函数名、变量名时非常有用。 按下g*即可查找光标所在单词的字符序列,每次出现前后字符无要求。...即foo bar和foobar的foo均可被匹配到。 5,查找替换 :s(substitute)命令用来查找替换字符串。...还有很多其他有用的替换标志: 空替换标志表示只替换从光标位置开始,目标的第一次出现: :%s/foo/bar i表示大小写不敏感查找,I表示大小写敏感: :%s/foo/bar/i # 等效于模式的\...^E与^Y是光标移动快捷键,参考: Vim如何快速进行光标移 大小写敏感查找 查找模式中加入\c表示大小写不敏感查找,\C表示大小写敏感查找

24.3K40
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    linux查找文件

    随着时间的推移,您的磁盘驱动器可能会被大文件占用大量磁盘空间,不必要文件弄得乱七八糟。通常是因为大型日志文件或备份文件,导致Linux系统的磁盘空间不足。...本教程介绍如何使用find和du命令Linux系统查找最大的文件和目录。 使用find命令查找文件 find命令是Linux系统管理员工具库中最强大的工具之一。...如要搜索其它目录替换.为要搜索目录的路径。 输出将显示的文件列表,不会包含其它信息。...-xdev -type f -size +100M -print 仅搜索当前工作目录(.)文件(-type f),大于100MB(-size +100M),不要查找其他文件系统上的目录(-xdev...例如,您可以搜索超过多少天的大文件,具有特定扩展名的大文件或属于特定用户的大文件。 使用du命令查找文件和目录 du命令用于估计文件空间使用情况,对于查找占用大量磁盘空间的目录和文件特别有用。

    8.7K10

    Linux文件查找技巧

    前言 Linux常用命令,有些命令可以帮助我们查找二进制文件,帮助手册或源文件的位置,也有的命令可以帮助我们查找磁盘上的任意文件,今天我们就来看看这些命令如何使用。...which which命令会在PATH变量指定的路径,搜索某个系统命令的位置。...终端敲入一个命令,但是PATH包含的路径下没有时并且也不是内置命令时,就会提示:command not found。...i locate.zip /home/hyb/workspaces/shell/locate/LOCATE.zip 使用正则表达式 普通的查找是模糊匹配的,因此只要目标名称包含要搜索的名称,都会被搜索出来...find find命令是linux下一个强大的查找命令。与locate命令相比,它需要遍历磁盘文件,因此查找速度较慢,但正因如此,它的实时性比locate好得多。

    5.6K10

    vivim 文件查找替换【vim】

    有时候我们需要整个文件或者整个目录替换一些字符, vim强大的替换查找便派上用场了、 一、介绍 语法:[搜索范围]s/[源字符]/[目的字符]/[参数] s标示替换 搜索范围: "1,n":表示从第...1行到n行 "%":表示整个文件,同"1, 参数: g:globe,表示全局替换 c:confirm,表示进行确认 p:表示替代结果逐行显示(Ctrl + L恢复屏幕) i:ignore,不区分大小写...参数省略时仅对每行第一个匹配串进行替换 扩充: s:表示替换操作,其为substitute的缩写 源字符串和目的字符串若有特殊字符,加反斜杠\进行转义 二、实例 1.当前行的第一个a替换为b :s.../a/b/ 2.当前行的所有a替换为b :s/a/b/g 3.整个文件的a替换为b :%s/a/b/g 4.一到三行的第一个a替换为b :1,3s/a/b/ 5.找到包含字符a的行并删除 :g/a/d

    1.8K30

    Linux 批量查找替换文件夹下所有文件的内容

    Linux 命令 sed 和 grep 命令结合可以对文件夹下的所有特定字符串进行快速替换,本文记录方法。...具体操作 批量查找某个目下文件的包含的内容 cd etc grep -rn "查找的内容" ./ 例如: grep -rn "cdn.jsdelivr.net/gh/zywvvd/HexoImages...批量替换某个目下所有包含的文件的内容 cd etc sed -i "s/查找的内容/替换后的内容/g" `grep -rl "查找的内容" ./` 例如当前我需要将当前文件夹下所有子目录的所有子文件的...gitee.com\/zywvvd\/HexoImages\/raw\/main/g" `grep -rl "cdn.jsdelivr.net\/gh\/zywvvd\/HexoImages" ./` 批量查找替换任意文件夹下的文件内容...sed -i "s/要找查找的文本/替换后的文本/g" `grep -rl "要找查找的文本" /任意文件夹` 参考资料 https://www.cnblogs.com/aqicheng/p/11446791

    7.2K20

    vim和vi查找替换字符串

    它预装在macOS和大多数Linux发行版上。Vim查找替换文本非常容易。 基本查找替换 Vim,可以使用:substitute(:s)命令来查找替换文本。...替换命令的一般形式如下: :[range]s/{pattern}/{string}/[flags] [count] 该命令[range]的每一行搜索{pattern},并将其替换为{string...例如,要在当前行搜索字符串 foo的第一个匹配项,并将其替换为 bar,则可以使用: :s/foo/bar/ 要替换当前行中所有出现的搜索模式,请添加g标志: :s/foo/bar/g 如果要搜索并替换整个文件的所有匹配的模式...当你搜索模式包含 /字符或替换字符串时,此选项很有用。...要忽略搜索模式的大小写,请使用i标志: :s/Foo/bar/gi 强制忽略大小写的另一种方法是搜索模式后附加\c。例如,/Linux\c执行忽略大小写搜索。

    14.4K21

    如何在 Linux 查找文件

    Linux 系统,有时候我们需要查找并识别占用大量磁盘空间的文件。这些大文件可能导致磁盘空间不足或性能下降。本文将详细介绍 Linux 中使用不同的命令和工具来查找文件的方法。图片1....使用 find 命令find 命令是一个功能强大的工具,可以用于文件系统搜索和查找文件。结合 -size 选项,我们可以使用 find 命令来查找指定大小的文件。...目录查找大于 100 MB 的文件。...然后,根据文件大小进行降序排序,并显示最大的 10 个文件。6. 使用图形化工具除了命令行工具,Linux 还提供了一些图形化工具来帮助您查找文件。...结论 Linux ,有多种方法可以查找文件。您可以使用 find 命令、du 命令、ncdu 命令或 ls 命令来查找和显示文件的大小。

    17.3K41

    Linux如何查找最大的10个文件方法汇总

    本教程,我们将教您如何使用以下四种方法 Linux 系统查找最大的前 10 个文件。 方法 1 Linux 没有特定的命令可以直接执行此操作,因此我们需要将多个命令结合使用。.../:整个系统(从根目录开始)查找 -type:指定文件类型 f:普通文件 -print0:标准输出显示完整的文件名,其后跟一个空字符(null) |:控制操作符,将一条命令的输出传递给下一个命令以供进一步处理...:输出文件开头部分的命令 n -10:打印前 10 个文件 方法 3 这里介绍另一种 Linux 系统搜索最大的前 10 个文件的方法。...:仅显示每个参数的总和 -h:用可读格式打印输出 {}:递归地查找目录,统计每个文件占用的磁盘空间 方法 4 还有一种 Linux 系统查找最大的前 10 个文件的方法。.../:整个系统(从根目录开始)查找 -type:指定文件类型 f:普通文件 -ls:标准输出以 ls -dils 的格式列出当前文件 |:控制操作符,将一条命令的输出传递给下一个命令以供进一步处理

    9K31

    linux替换文件内容,Linux批量替换文件内容

    今天测试人员一不小心把导航的地址改错了,大约6000多个导航文件,要通过后台配置的话也很麻烦,可以通过linux命令实现对批量文件进行内容替换,但是技术经理不在,我对linux命令不熟,没办法只好硬着头皮来...经在网上一番辛苦搜索,找到以下几个命令,并尝试执行……最终终于实现效果,哎,“书到用时方恨少”,特此针对今天的情况总结了一下Linux批量替换文件内容的命令, 第一种: 格式:sed -i “s/oldstr...: 如果我想把ST_*.json下面的文件里的“today” 替换为“tomorrow”,那就是: sed -i “s/today/tomorrow/g” ST_*.json 但是这种命令有一个缺陷,就是替换文件数量有限制...替换后的新字符串 yourdir 文件路径名称 注意: `grep oldstr -rl /path` ` 为1前边的翻引号`,而不是enter 前的 ‘ 但是执行出错,说是找不到路径,但是路径也正确...替换后的新字符串 path 文件路径名称 案例: 如果我想把/app/web/sitemap下面的文件里的“today” 替换为“tommorow”,那就是: grep today -

    8.7K30

    Linux查找文件方法

    Linux的四种查找文件方法 ? 一、which which命令的作用是,PATH变量指定的路径,搜索某个系统命令的位置,并且返回第一个搜索结果。 也就是说它返回的是你该命令所处的位置。...上面说了locate是一个库里查找文件,因此对于一些有新变动的文件,而你的库还没更新时,这些文件你是用locate找不到的,这时find就派上用场了,它可是从硬盘里一个一个进行查找的,正因为这样它的速度也会相当慢...,-n指n天以内,+n指n天以前 -nogroup #查无有效属组的文件,即文件的属组/etc/groups不存在 -nouser...#查无有效属主的文件,即文件的属主/etc/passwd不存在 -ctime -n +n #按文件创建时间来查找文件,-n指n天以内,+n指n天以前 -nogroup...#查无有效属组的文件,即文件的属组/etc/groups不存在 -nouser #查无有效属主的文件,即文件的属主

    6.6K10

    linux(八)linux系统查找文件

    一、grep命令   1.1、作用   Linux系统grep命令是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹 配的行打印出来。     ...1   1.4、实例     1)显示所有以d开头的文件包含test的行 ?...2)显示aa,bb,cc文件匹配test的行     $ grep ‘test’ aa bb cc     3)显示所有包含每个字符串至少有5个连续小写字符的字符串的行        $ grep...‘[a-z]\{5\}’ aa     4)查找pass和passwd.txt文件包含root的行         cat passwd passwd.txt |grep -i root      ...5)查找pass和passwd.txt文件包含root的行      grep -i root passwd passwd.txt  二、wc命令   2.1、作用 统计文件里面有多少单词,多少行

    4.4K70

    linux(七)之linux系统查找文件

    -nogroup 查找无有效所属组的文件,即该文件所属的组/etc/groups不存在。     -nouser 查找无有效属主的文件,即该文件的属主/etc/passwd不存在。     ...-depth:查找文件时,首先查找当前目录文件,然后再在其子目录查找。     ...-fstype:查找位于某一类型文件系统文件,这些文件系统类型通常可以配置文件/etc/fstab中找到,该配置文件包含了本系统中有关文件系统的信息。     ...4.2)/logs目录查找更改时间5日以前的文件并删除它们         记住:shell中用任何方式删除文件之前,应当先查看相应的文件,一定要小心!...4.3)在下面的例子, find命令在当前目录查找所有文件名以.LOG结尾、更改时间5日以上的文件,并删除它们,只不过删除之前先给出提示。

    5.6K100

    使用 Ruby 或 Python 文件查找

    对于经常使用爬虫的我来说,大多数文本编辑器都会有“文件查找”功能,主要是方便快捷的查找自己说需要的内容,那我有咩有可能用Ruby 或 Python实现类似的查找功能?这些功能又能怎么实现?...问题背景许多流行的文本编辑器都具有“文件查找”功能,该功能可以一个对话框打开,其中包含以下选项:查找: 指定要查找的文本。文件筛选器: 指定要搜索的文件类型。开始位置: 指定要开始搜索的目录。...解决方案Python以下代码提供了指定目录搜索特定文本的 Python 脚本示例:import osimport re​def find_in_files(search_text, file_filter...file_filter, start_dir, report_filenames, regex_search)​for result in results: print(result)Ruby以下代码提供了指定目录搜索特定文本的...上面就是两种语实现在文件查找的具体代码,其实看着也不算太复杂,只要好好的去琢磨,遇到的问题也都轻而易举的解决,如果在使用中有任何问题,可以留言讨论。

    9210

    vim优雅地查找替换

    这篇文章来详细介绍 Vim 查找相关的设置和使用方法。包括查找替换查找光标所在词、高亮前景/背景色、切换高亮状态、大小写敏感查找等。...即foo bar和foobar的foo均可被匹配到。 其他设置 :set incsearch 可以敲键的同时搜索,按下回车把移动光标移动到匹配的词;按下 Esc 取消搜索。...:set wrapscan 用来设置到文件尾部后是否重新从文件头开始搜索。 查找替换 :s(substitute)命令用来查找替换字符串。...还有很多其他有用的替换标志: 空替换标志表示只替换从光标位置开始,目标的第一次出现: :%s/foo/bar i表示大小写不敏感查找,I表示大小写敏感: :%s/foo/bar/i # 等效于模式的\...按下y表示替换,n表示不替换,a表示替换所有,q表示退出查找模式, l表示替换当前位置并退出。^E与^Y是光标移动快捷键,参考:Vim如何快速进行光标移动。

    3.4K20
    领券