我有两个句子包含重复的单词，例如，文件my_text.txt中的输入数据。
，Unix和Linux操作系统。
Unix和Linux系统旨在创建一个促进高效程序的环境。
我用了这个脚本：
while read p
do
echo "$p"|sort -u | uniq
done < my_text.txt
但是输出是输入文件的相同内容：
，Unix和Linux操作系统。Unix和Linux系统旨在创建一个促进高效程序的环境。
我如何从这两个句子中删除重复的单词？
浏览 2提问于2020-12-18得票数 6
回答已采纳
1回答
我有12个文本文件都在一个文件夹中，每个文件都有大约500万行，每个文件本身没有重复行，但是在多个文件中重复，我想删除每个文件中的重复行，但仍然单独保存它们，我尝试了许多Linux排序命令，它不断地将文件合并在一起，我有Windows、Linus和Mac，有任何代码或应用程序可以这样做吗？
浏览 0提问于2022-01-14得票数 -1
回答已采纳
我正在使用linux。我想递归删除目录中的重复文件。
我有100个文件".html“。
我在使用fdupes命令。
fdupes -r -d dirname
[1] 9/7.htm
[2] 9/6-7.htm
[3] 9/6.htm
Set 1 of 25, preserve files [1 - 3, all]:
因此，如果您看到输出，我希望保留包含"-“的文件名，并允许删除其他重复文件。因为有上百个重复的文件。我不能输入要删除每个号码的号码。
浏览 2提问于2014-03-20得票数 1
回答已采纳
2回答
在Linux中，如何从bash中打印文件内容并从文件中删除刚才打印的内容？
我有一个程序，把文字写到一个文件反复。在Linux提示符上，我希望打印文件的内容，然后从文件中删除打印出来的内容。我想重复这样做，使我的文件大小足够小。
我们是否有bash命令行或组合来这样做？
浏览 0提问于2015-03-27得票数 2
1回答
当我试图用欺骗的方式备份我的ubuntu桌面时，我收到了这个消息.
另一个重复实例已经在此存档目录下运行。
我的伪善版本是..。
dara@laptop-20-04:~/git_repos/olf_git$ duplicity --version
duplicity 0.8.12
我的ubuntu版本是..。
dara@laptop-20-04:~/git_repos/olf_git$ uname -a
Linux laptop-20-04 5.4.0-52-generic #57-Ubuntu SMP Thu Oct 15 10:57:00 UTC 2020 x86_64 x86_64 x
浏览 5提问于2021-07-01得票数 0
在我的源树中，我有一些重复名称的文件。不是真正的问题，因为它们是独立于每个平台的，即"FileReader.cpp“存在于android/和linux/中，但在为linux构建时，android/目录从未被触及过。
现在，当在Eclipse (在Linux上)中调试时，Eclipse打开了错误的文件！不太确定是如何实现的，因为GDB似乎正在发送完整的路径名。
有什么想法吗？我知道我可以通过重命名这个文件来解决这个问题，但我不想这样做。
浏览 1提问于2011-02-20得票数 2
回答已采纳
3回答
我在我的硬盘上存储了一个大型的音乐收藏，然后浏览它，我发现在一些相册目录中有很多重复的文件。通常，副本与原始目录一起存在于同一个目录中。
通常格式为filename.mp3，重复文件的文件名为1.mp3。有时可能有一个以上的重复文件，我不知道是否有重复的文件跨文件夹(例如，重复的相册目录)。
有没有任何方法可以扫描这些重复的文件(例如比较文件大小，或者比较整个文件以检查它们是否相同)，检查结果，然后删除重复的文件？具有较长名称的或具有最近修改/创建日期的名称通常是删除的目标。
是否有一个程序可以在Linux上完成这个任务？
浏览 0提问于2015-05-06得票数 9
回答已采纳
我是使用Heroku进行rails开发和部署的新手。
所以最近我发现一些JavaScript文件似乎是重复的。例如，我在一个文件(sample.js)中创建了一个javascript函数，然后删除了该文件，并将该函数放入了application.js中。
在我的测试开发下，它工作得很好。但是，当我提交对heroku的更改时，我最终得到了两次相同的函数！
javascript文件位于文件夹/app/assets/javascripts/下
那么我该如何告诉heroku删除重复的文件呢？
在将我的应用程序的新版本发送到heroku之前，我是不是错过了一些步骤？
任何帮助都将不胜感激。
ruby 1
浏览 1提问于2013-03-26得票数 0
回答已采纳
我编写了一个安装google-musicmanager的脚本，并在测试中设法将它添加到/etc/apt/sources.list.d/google-musicmanager.list中两次，因此文件现在如下所示：
deb http://dl.google.com/linux/musicmanager/deb/ stable main
deb http://dl.google.com/linux/musicmanager/deb/ stable main
我的问题是，解决这个问题的最好方法是什么？手动删除源列表中的重复行可以吗，还是会破坏apt？
添加这一行的代码是
sh -c 'ech
浏览 0提问于2017-01-27得票数 0
回答已采纳
在更新GRUB配置文件(例如，在内核更新后自动更新)时，我会得到一个输出，其中两次提到所有Linux内核( vmlinuz和initrd文件)：
$ sudo update-grub
Generating grub configuration file ...
Found linux image: /boot/vmlinuz-4.2.0-19-generic
Found initrd image: /boot/initrd.img-4.2.0-19-generic
Found Windows 7 (loader) on /dev/sda1
Found linux image: /boot/vm
浏览 0提问于2015-12-03得票数 1
使用Buildroot，我正在为嵌入式Linux硬件制作图像。主要是我试图加快引导序列(在降低内存使用量的同时)，在这里我成功地尝试了许多技术。
我想做的是:最近我听说过删除目录中重复的文件(例如用符号链接替换这些文件)，我想把这个方法应用到我的rootfs中。
环境:使用Buildroot，我可以有许多不同类型的rootfs格式(rootfs、cpio、ext2 2/3/4等)，这些格式在make期间创建为1(打包)文件(例如：rootfs.cpio)。现在我真的不知道该如何：
打开图像
删除重复文件(我一般知道如何删除重复文件)
再次打包rootfs，这样我仍然可以使用它在硬件上闪存并执行
浏览 0提问于2014-09-16得票数 1
在RHEL Linux中，如果我从saXX文件中读取历史数据，它会在每45行之后打印标题(例如%user %nice %system )。我们是否可以改变这种行为？(就像在hp-ux中一样，description头只打印一次-它不会重复)。
浏览 1提问于2015-12-16得票数 2
3回答
我有一个wordpress设置，它是在Linux上制作的，现在我正在Windows上尝试使用svn结帐。
这造成了一个问题，因为在Linux上进行安装的人为某些文件保留了相同的名称，但是用不同的大小写(文件名类似于File_name.jpg &file_name.jpg)。现在，在Windows上进行更新时，它会抛出一个错误，因为它认为该文件已经存在。
有什么简单的方法来解决这个问题吗？目前，我正在删除SVN中的重复文件，将其重命名并在以后添加它们。
浏览 2提问于2012-12-06得票数 1
可能重复: mysql的多文件系统
嗨,
如何将mysql数据库放在不同的分区(linux )中？
谢谢你，尤瑟夫
浏览 0提问于2011-03-20得票数 3
1回答
可能重复：
嗨。我对在linux中显示输出ls -la的信息很感兴趣。所以，默认大小是4K。但是如果有很多文件，可能是零大小的，比如PHP sessions =)，那么这个大小就是!= 4K。-la给我看了什么？之后，当我清理这个文件夹时，我看到了最后的最大尺寸。
浏览 2提问于2010-06-05得票数 1
1回答
在安装带有可引导usb的ubuntu20.04lts桌面时，我在windows上使用了easyBCD (免费版本)来添加/管理启动菜单。我在安装时选择了linux (/)的根分区来编写引导。现在我有了三个窗口和两个linux的引导选项(我在easyBCD中无意中添加了一个副本)。我尝试用easyBCD和删除重复的linux菜单，但没有成功。重复的linux启动菜单困扰着我，我希望它消失。
任何建议和帮助都将受到高度赞赏。感谢期待！
浏览 0提问于2020-06-28得票数 4
回答已采纳
可能重复: Linux服务器超出空间
我删除了一个打开的文件，磁盘使用率没有减少。
如果我删除/proc/PID/fd/N中的链接，它会释放空间吗？这个过程会发生什么(一般的)？
具体来说:服务器正在运行Zimbra，而sync.log只是偶尔变得疯狂(这是Zimbra的bug)。
浏览 0提问于2012-04-30得票数 3
我一直在使用Module::Build来管理我的模块安装，我发现我在库的不同部分中有给定模块的重复版本：
./site_perl/5.14.2/i686-linux/site_perl/Support/Dump.pm
./site_perl/5.14.2/Support/Dump.pm
这对我来说是一个担忧，因为我不能确定它们是否会保持同步。
有没有办法找到并删除这种重复的文件？或者这些都是因为我做了什么，我能控制吗？
浏览 0提问于2011-10-12得票数 6
回答已采纳
可能重复：
我在处理一个在工作中可能会被杀死的过程。我想重命名一个文件。Java的重命名操作是原子操作吗？
我对Linux、HP、Solaris和AIX的情况很感兴趣。
浏览 6提问于2011-05-24得票数 1
回答已采纳
假设我有一个文件，其中包含一堆行，其中一些重复：
line1
line1
line1
line2
line3
line3
line3
我应该使用什么linux命令来生成唯一行的列表：
line1
line2
line3
如果文件未排序，即重复行可能不在块中，这种情况会发生变化吗？
浏览 2提问于2013-05-31得票数 14
回答已采纳
我有一个大文件50G，我想得到文件的重复行和其余部分，我使用两个命令来获得结果，这需要很长时间。
sort file.tsv | uniq -d > duplicateList.tsv
sort file.tsv | uniq -u > clean_List.tsv
由于您可以看到这个过程重复了两次，所以我希望只执行一个命令，并返回这两个结果，而不使用重复的命令。
注意:我可以使用linux命令或Python脚本。
浏览 5提问于2021-10-22得票数 4
我在Linux机器上的目录中有重复的文件，如下所示：
ltulikowski@lukasz-pc:~$ ls -1
abcd
abcd.1
abcd.2
abdc
abdc.1
acbd
我想删除所有文件巫婆不是单一的，因此，我应该有：
ltulikowski@lukasz-pc:~$ ls -1
acbd
浏览 0提问于2016-03-17得票数 0
回答已采纳
1回答
我正在使用Ubuntu 20.04。在过去的4到5次中，我一直使用升级APT来升级以下内容
linux-headers-5.4.0-96 linux-headers-5.4.0-96-generic
linux-image-5.4.0-96-generic linux-modules-5.4.0-96-generic
linux-modules-extra-5.4.0-96-generic
当我使用autoremove时，它说这些相同的包将被删除。我对ubuntu并不熟悉，我不确定我是否在我的日常工作中使用这些包。但我想知道这是怎么回事？
可能重复。
谢谢!
浏览 0提问于2022-02-14得票数 2
回答已采纳
1回答
Linux 如此处所列有两个重复的文件查找器。我已经试过了。但是，据我所见，这些文件将找到所选目录结构/搜索路径的所有副本，因此也会发现只存在于其中一个搜索路径中的重复(如果您选择多个路径)。
但是，我需要/想要的是根据引用路径搜索副本，其中我可以定义一个路径作为引用路径，然后在另一个路径中搜索存在于引用路径中的文件，以便删除它们。
我需要这样做，准备两个不同步的大目录结构，其中一个比另一个更新(这将是我的参考)。大多数文件应该是两个文件之间的重复，但我怀疑，仍然有一些文件只在另一个路径上，所以我不想只删除它。
也许我忽略了一些实现这一目标的选择？
我已经尝试过编写Python脚本来清理输出列
浏览 0提问于2017-07-21得票数 1
IntelliJ添加了太多的右复制标题
我将IntelliJ设置为在源代码中包含一个许可证，作为标题中的注释。出于某种原因，IntelliJ对所有文件中的几个重复了copy right语句。
因此，目前所有文件都有一个到五个(或更多)重复的licence头，例如：
/*
* Copyright [2014] [John Doe]
*
* Licensed under the Apache License, Version 2.0 (the "License");
* you may not use this file except in compliance
浏览 4提问于2015-02-20得票数 2
1回答
我在Dropbox文件夹中工作时遇到了一个MinGW64 (gcc 4.6.3, from RTools build on CRAN)问题。我有一个用make文件构建的大型项目。它很好地编译了所有的源文件，但是当我开始将所有的*.o文件添加到库中时，我会得到一条奇怪的消息：
C:\Rtools\gcc-4.6.3\binar.exe:无法重命名“project.lib”；原因:文件存在。
正在执行的命令如下：
ar rcs project.lib func1.o
ar rcs project.lib func2.o
ar rcs project.lib func3.o
...
a
浏览 2提问于2015-04-24得票数 0
我想使用Linux命令从一个以制表符分隔的大文件中删除重复的单词/字符串。
names john, cnn, mac, tommy, mac, patrick, ngc, discovery, john, cnn, adam, patrick
cities san jose, santa clara, san franscisco, new york, san jose, santa clara
以上是文件格式，去掉重复的单词后，我想保留制表符和逗号。
names john, cnn, mac, tommy, patrick,
浏览 1提问于2012-06-06得票数 3
回答已采纳
使用Linux，
我想从包含地址(one address in one single line)但没有特定delimiter的文件中排序和识别重复地址。
重定向文件中每个重复地址的列表，文件名作为重复地址本身。
我尝试了所有使用grep -i "AX.*BY.*CZ"的地址criteria, sed, awk, agrep
但问题是，每次它只在文件中搜索字符串，而不是像AX and then BY and then CZ那样按顺序搜索字符串。这就是为什么输出中有很多异常现象。
请让我知道怎么做？
浏览 0提问于2017-12-23得票数 -1
2回答
我有一个运行Postfix的邮件服务器。每条消息都被保存为文件系统中的一个文件，所以我想知道是否有一种方法可以减少重复的文件，从而减少磁盘空间的使用。
我试着安装和使用opendedup，但我真的不明白它是如何工作的。官方的快速入门指南没有提到它将使用哪个物理磁盘(我希望只在/dev/sdb1上启用dedup )。
我知道在Microsoft Windows Server上使用重复数据删除真的很容易，而且运行得很好，我想知道是否有一种方法可以使用Windows Server制作iSCSI服务器，打开重复数据删除功能，然后将该iSCSI映射到运行Postfix的debian上。但这看起来真的很奇
浏览 30提问于2014-08-04得票数 1
我正在尝试编写一个将在Linux环境中运行的脚本。
它将在目录树中查找.jpeg文件，然后将它们复制到一个名为jpegs的目录中。
我想让它显示重复的文件名，但只在生成的列表中列出重复的文件名一次(因此它不会显示相同的名称两次)，而不是仅仅显示错误。
到目前为止，这就是我的脚本：
#!/bin/sh
if ! mkdir jpegs 2> /dev/null
then
echo " Cannot create directory \"jpegs\" perhaps it already exists."
echo "
浏览 0提问于2018-11-04得票数 -1
3回答
可能重复: 如何做ls，然后按创建的日期对结果进行排序？
Linux中是否有在创建文件时显示的命令？我看到ls -l给出了最后修改的时间，但是我能得到创建的时间/日期吗？
浏览 0提问于2011-11-11得票数 265
1回答
我试图在grep中查找另一个文件中不存在的单词。
grep -v -w -i -r -f "dont_use_words.txt" "list_of_words.txt" >> inverse_match_words.txt
uniq -c -i inverse_match_words.txt | sort -nr
但是我在uniq命令中得到了重复的值。为什么会这样呢？
我想知道这是否是因为grep区分了字符串，例如，在"GIRLAAA“、"AAABOY”、"GIRLAAABOY“中找到的"AAA”，因此，我以重复
浏览 3提问于2018-05-06得票数 0
我有一个linux日志，我只需要获得一个MAC地址的列表。MAC地址的格式为00:ab:27:d8:dd:dd
使用linux命令行工具，解析MAC地址的输入文件并发送到输出文件。其中输出文件只是MAC地址的列表，然后可以删除重复的MAC地址。
我怀疑这可能是一个多步骤，复杂的命令。我已经搜索了网站，但找不到复制regex搜索结果的匹配。我得到了一个reg表达式的混合结果，它甚至可以在文件中找到MAC地址，更不用说将所有正确的匹配复制到文件中了。
浏览 3提问于2015-02-04得票数 1
回答已采纳
我要用解决问题的方法来回答我的问题。
__：我知道在其他不同的线程中讨论了根本原因(这就是我解决问题的方法)。这篇文章更多地介绍了如何使用双引导系统来引导您解决这个问题。因此，不，这个问题/答案不是重复的__，而是一般问题类的一个特定实例，在So的存储库中添加了更多关于这个问题的案例。
in home：i在Linux中编码。LF用作行尾
At the office：i在windows中编码。CRLF用作行尾。
默认情况下，git的autocrlf特性()使事情变得愉快。
但是，如果您使用Linux和Windows运行双重引导系统，您可能会以以下方式陷入困境：
git pull在wind
浏览 4提问于2017-08-09得票数 4
回答已采纳
1回答
可能重复：
我想在我们的代码库里做一些房屋清理。首先，从源文件(*.c和*.cpp)中删除所有不必要的头文件。有人知道这样做的工具或技巧吗？
我们在Mac、Linux和Solaris上使用GCC。在Windows上使用Visual。我查看了这两个编译器的文档，似乎没有一个选项可以对不必要的包含发出警告。
任何想法或建议都很感激。
浏览 1提问于2010-06-30得票数 0
2回答
我的Linux机器上有许多文件，文件名如下：
Veillonella-sp.-AF13-2-AF13-2.Scaf1.faa
Weissella-cibaria-strain-AM27-24-AM27-24.Scaf1.faa
Streptococcus-salivarius-strain-AF24-6AC-AF24-6AC.Scaf1.faa
文件名中有一部分是重复的。我只想知道唯一的名字。我想编辑这个文件名，使其只有以下内容：
Veillonella-sp.-AF13-2.faa
Weissella-cibaria-strain-AM27-24.faa
Streptococcus-sali
浏览 0提问于2020-04-27得票数 0
4回答
删除日志文件中的重复行
、、、
我正试图从重复行中清理日志文件。首先，我使用带有uniq -d标志的排序命令，它帮助我删除重复项，但没有解决我的问题。
sort pnum.log | uniq -d
排序命令的输出。
PNUM-1233: [App] [Tracker] Text
PNUM-1233: [App] [Tracker] Text
PNUM-1236: [App] [Tracker] Text ddfg
PNUM-1236: [App] [Tracker] Text ddfg
PNUM-1234: [App] [Tracker] Tex 123 ssd
PNUM-1235: [App] [Tracker]
浏览 0提问于2020-07-10得票数 2
回答已采纳
3回答
删除一段文字，regex
、、、
给定一个大的日志文件，什么是实现grep的最佳方法？
text to be ignored
more text to be ignored
--- <---- start capture here
lots of
text with separators like "---"
---
spanning
multiple lines
--- <---- end capture here
text to be ignored
more te
浏览 3提问于2013-01-08得票数 0
回答已采纳
1回答
我使用FileBeat通过LogStash将日志消息加载到ElasticSearch中。日志文件位于Windows网络共享上。FileBeat运行在Linux机器上，其中Windows是通过cifs映射的。问题是一些日志文件记录被复制。有趣的是，重复的记录是在时间间隔的瞬间创建的，有时还会被事件隔开。在FileBeat和LogStash的日志文件中，我没有看到任何重要的东西。我知道，不建议使用FileBeat从网络共享加载日志。据说，inode值的重用存在问题。但是我在FileBeat注册表文件中没有看到一个具有不同inode值的文件的记录。FileBeat创建重复消息的原因是什么？
更新.这
浏览 0提问于2019-03-29得票数 1
可能重复：
我正在用Unix辅助编辑器在Windows系统中编辑Linux文件。如何将特定的存储库设置为尊重Linux行尾(即将其视为Linux系统)？
浏览 2提问于2012-02-28得票数 1
回答已采纳
我的linux有个奇怪的问题。如果我运行一个带有节奏框的mp3文件，或者在youtube上运行一个视频，如果我在3秒内不移动鼠标或触摸键盘，声音就会被循环播放(最后2秒继续重复)。(在youtube上，视频也会同时停止)在触摸键盘/鼠标后，它会重复重复，直到再次按压任何东西大约3秒！
有人知道这个问题或解决办法吗？
我的发行版是Ubuntu10.10，它使用脉冲音频。我可以杀死它，但只要重新启动它，我就会遇到同样的问题，我需要一个不同的司机吗？
浏览 0提问于2011-04-11得票数 -1
可能重复: 如何查找(和删除)重复文件
Linux是否有一个可靠的重复文件/文件夹实用程序(带有GUI)可以找到重复的文件或文件夹并将它们移动到不同的文件夹？
浏览 0提问于2011-08-29得票数 28
回答已采纳
可能重复: 我的服务器被黑客入侵
我不明白为什么会有人将php文件上传到我的CentOS 6服务器的statisticsuQPo.php目录中。
这个php文件给我"linux10+cfcd208495d565ef66e7dff9f98764da“
而且是无休止地发送垃圾邮件。
我可能已经删除了文件10次，但我确实每天都拿回来。
我该如何解决这个问题？我的apache配置有什么问题吗？
浏览 0提问于2012-11-29得票数 -1
我有一个Linux服务器，我只存储新文件或重命名目录，从不编辑文件。它包含来自其他Linux服务器的备份。
由于某些情况，有相当多的重复文件，往往有不同的名称。
是否有任何免费的Linux工具定期扫描文件系统，并有一个带有文件名、大小和sha1sums的数据库，然后识别重复的文件并用硬链接替换它们？
浏览 0提问于2013-04-23得票数 0
回答已采纳
1回答
我有一个makefile，我想将几个文件一起压缩，但是使用一个子文件夹作为zip文件的根。目前我使用的是：
kountdown.zip: $(SRCS)
cd $(SRCDIR) && zip -r --filesync ../kountdown.zip .
其中$(SRCS)是我在$(SRCDIR)中的源文件列表。这是可行的，但我只想将$(SRCS)中的文件包含在zip文件中，而不是整个目录中。问题是$(SRCS)中的路径相对于makefile的位置，而不是$(SRCDIR)。我可以为相对于$(SRCDIR)的路径创建第二个变量，但我希望避免重复列表。理想情况下，
浏览 4提问于2013-12-21得票数 0
回答已采纳
我已经从Ubuntu16.04升级到Ubuntu16.10(Linux4.8)。升级后，我的屏幕在启动时会变成黑色。
我尝试了在Linux内核4.4上运行Ubuntu16.10的高级选项，它可以工作。
我知道自从Ubuntu16.04之后就不再支持fglrx了，所以Ubuntu一直在使用开源版本(xserver-xorg-视频-radeon)。
我的问题是，它如何在Linux4.4中工作，而不是4.8 (两者都是Ubuntu16.10)？如何解决这些问题，使其在Linux4.8上工作？
谢谢
编辑1:
这个问题并不像许多人所指出的那样是重复的。在我的例子中，我可以在Linux内核4.4上启动，
浏览 0提问于2016-10-28得票数 4
回答已采纳
我的Virtuoso RDF Store出现问题。
我已经上传了一些带有天气信息的RDF文件。这些信息在RDF文件中重复，所以我决定删除它们。但是，当我执行SPARQL查询时，仍然会检索到已删除的RDF文件中的信息。
这是我正在进行的查询的一个示例：
SELECT *
FROM <miOnt:move>
WHERE
{
?ws <http://www.w3.org/1999/02/22-rdf-syntax-ns#type> <http://www.contextdatacloud.org/ontology/WeatherSituation>
浏览 1提问于2015-06-16得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
