首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

如何从文件中删除重复的行

要从文件中删除重复的行,可以使用编程语言或命令行工具来实现。这里提供两种方法:

方法一:使用Python编程语言

代码语言:python
代码运行次数:0
复制
# 打开文件并读取内容
with open("input_file.txt", "r") as file:
    lines = file.readlines()

# 将内容转换为集合,以删除重复项
unique_lines = set(lines)

# 将结果写入新文件
with open("output_file.txt", "w") as file:
    for line in unique_lines:
        file.write(line)

方法二:使用命令行工具

在Unix/Linux或macOS系统上,可以使用sortuniq命令:

代码语言:bash
复制
sort input_file.txt | uniq > output_file.txt

在Windows系统上,可以使用findstr命令:

代码语言:cmd
复制
findstr /V /L /X /G:output_file.txt input_file.txt > temp_file.txt
move /Y temp_file.txt output_file.txt > nul

这些方法都可以有效地从文件中删除重复的行。如果您需要更多关于编程语言、工具或云计算领域的信息,请随时告诉我。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

  • linux 文件取交集、并集

    (1)两个文件的交集,并集 前提条件:每个文件中不得有重复行 1. 取出两个文件的并集(重复的行只保留一份) cat file1 file2 | sort | uniq > file3 2. 取出两个文件的交集(只留下同时存在于两个文件中的文件) cat file1 file2 | sort | uniq -d > file3 3. 删除交集,留下其他的行 cat file1 file2 | sort | uniq -u > file3 (2)两个文件合并 一个文件在上,一个文件在下 cat file1 file2 > file3 一个文件在左,一个文件在右 paste file1 file2 > file3 (3)一个文件去掉重复的行 sort file |uniq 注意:重复的多行记为一行,也就是说这些重复的行还在,只是全部省略为一行! sort file |uniq –u 上面的命令可以把重复的行全部去掉,也就是文件中的非重复行!

    03
    领券