首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Linux 删除文本的重复

在进行文本处理的时候,我们经常遇到要删除重复的情况。那怎么解决呢? 下面就是三种常见方法? 第一,用sort+uniq,注意,单纯uniq是不行的。...shell> sort -k2n file | uniq 这里我做了个简单的测试,当file的重复不再一起的时候,uniq将服务删除所有的重复。...经过排序后,所有相同的行都在相邻,因此unqi可以正常删除重复第二,用sort+awk命令,注意,单纯awk同样不行,原因同上。...P; D' 最后附一个必须先用sort排序的文本的例子,当然,这个需要用sort排序的原因是很简单,就是后面算法设计的时候的“局部性”,相同的可能分散出现在不同的区域,一旦有新的相同行出现,那么前面的已经出现的记录就被覆盖了...参考推荐: 删除文本的重复(sort+uniq/awk/sed)

8.6K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Linux运维必备技能:如何在 Vim 删除多行?

    如果你在 Vim 中出错,你可以dw在普通模式下使用删除一个单词。您键入dd它会删除当前行。 如果要在 Vim 删除多行,可以使用相同的 dd Vim 命令,将行数添加到该命令。...因此,10dd将从光标底部删除 10 (包括光标所在的)。 让我们详细了解如何在以效率着称的编辑器删除或多行。...删除单行 以下是在 Vim 删除单行文本的步骤: 按 Escape (Esc) 键进入 Normal 模式 确保光标位于要删除上。 快速按下dd 这将删除光标所在的整行。...begin告诉 Vim 从哪一开始 end告诉 Vim删除的最后一是什么 dVim 删除命令 此外,以下是用于指定范围的字符(用于“开始”和“结束”): ....- 反向匹配 PATTERN- 要匹配的模式 d- 删除命令 如果您在 Vim 运行以下命令,它将删除中所有具有“extern crate”模式的

    3.7K00

    linux删除文件的最后N小总结

    现在,假设我们要从rumenz.txt文件删除最后三 ( n=3 ) 。...2 rumenz 3 入门 4 小站 然而,我们的问题是从输入文件删除最后三。...但是,如果我们可以颠倒输入文件顺序,问题就会变成从文件删除前 n 。一个简单的 sed 单行sed 1,n d可以删除前n。之后,如果我们再次反转线条,我们的问题就解决了。...在第一遍,它会找出文件的总行数,在第二,我们打印我们想要保留的那些: $ awk -v n=3 'NR==FNR{total=NR;next} FNR==total-n+1{exit} 1'...在这个过程,awk命令将当前行号保存到一个名为total的变量。第一遍后,total变量保存了输入文件的总行数 FNR==total-n+1{exit} 1:这是第二遍。

    7.6K10

    linuxvi和vim操作

    一.简单介绍 vi 和 vim 类似于windows的文本编辑器 所有的Linux系统都会内置vi文本编辑器 vim可以看做是vi增强版,具有程序编辑能力,支持语法高亮,代码补全,编译及错误跳转等功能,...因此被广泛使用 如果Linux没有vim这个命令,可以手动下载: yum install vim 因为操作都差不多后面就拿vim举例啦 vim 文件名 如果没有就创建并且打开,如果有就打开 vi 文件名...二.三种模式简单介绍 正常模式:我们可以使用快捷键对文本进行操作,比如:复制--yy 粘贴:p 插入模式:按下i,o,a,r,I,O,A,R任意一个键,会进入插入模式....四.正常模式下常用指令 1.拷贝当前行,并粘贴 拷贝 yy 粘贴:p 2.拷贝当前行向下5,并粘贴 拷贝5 5yy 3.删除当前行...删除 dd 4.删除当前行向下5 删除5 5dd 5.光标移至最后一 shift+g

    6.3K20

    Linuxvim的用法

    「#dd」:从光标所在行开始删除# 5). 复制 「yw」:将光标所在之处到字尾的字符复制到缓冲区。 「#yw」:复制#个字到缓冲区 「yy」:复制光标所在行到缓冲区。...A) 列出行号 「set nu」:输入「set nu」后,会在文件的每一前面列出行号。...B) 跳到文件的某一 「#」:「#」号表示一个数字,在冒号后输入一个数字,再按回车键就会跳到该行了,如输入数字 15,再回车,就会跳到文章的第 15 。...从首开始输入 ESC 从输入状态退至命令状态 x 删除光标后面的字符 #x 删除光标后的#个字符 X (大写 X),删除光标前面的字符 #X 删除光标前面的#个字符 dd 删除光标所在的...原创文章采用CC BY-NC-SA 4.0协议进行许可,转载请注明:转载自:在Linuxvim的用法

    2.9K31

    在VimVi删除、多行、范围、所有及包含模式的

    使用linux服务器,免不了和vi编辑打交道,命令行下删除数量少还好,如果删除很多,光靠删除键一点点删除真的是头痛,还好Vi有快捷的命令可以删除多行、范围。 删除Vim删除的命令是dd。...删除范围 删除一系列的语法如下: :[start],[end]d 例如,要删除从3到5的,您可以执行以下操作: 1、按Esc键进入正常模式。 2、输入:3,5d,然后按Enter键以删除。...删除所有删除所有,您可以使用代表所有的%符号或1,$范围: 1、按Esc键进入正常模式。 2、键入%d,然后按Enter键以删除所有。...删除包含模式的 基于特定模式删除多行的语法如下: :g//d 全局命令(g)告诉删除命令(d)删除所有包含的。 要匹配与模式不匹配的,请在模式之前添加感叹号(!): :g!.../foo/d-删除所有不包含字符串“foo”的。 :g/^#/d-从Bash脚本删除所有注释,模式^#表示每行以#开头。 :g/^$/d-删除所有空白,模式^$匹配所有空行。

    92.5K32

    vim多行注释和多行删除命令「建议收藏」

    vim多行注释和多行删除命令 这些命令也是经常用到的一些小技巧,可以大大提高工作效率。...注:在按下esc键后,会稍等一会才会出现注释,不要着急~~时间很短的 2.删除多行注释: 首先按esc进入命令行模式下,按下Ctrl + v, 进入列模式; 选定要取消注释的多行; 按下“x”或者“d”...注意:如果是“//”注释,那需要执行两次该操作,如果是“#”注释,一次即可 ===================== 3.多行删除 1.首先在命令模式下,输入“:set nu”显示行号; 2.通过行号确定你要删除...; 3.命令输入“:32,65d”,回车键,32-65就被删除了,很快捷吧 如果无意中删除错了,可以使用‘u’键恢复(命令模式下) 发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn

    3.7K20

    linuxvim如何显示行数,vimlinux如何设置显示行数「建议收藏」

    nu:表示显示 vimlinux如何设置显示行数 在.vimrc(或/etc/vimrc)文件输入如下文本: set tabstop=4 set softtabstop=4 set shiftwidth...=4 set noexpandtab … Linux下wc命令统计文件行数/词数/字符数/最长字符数 wc命令帮助 $ wc –help Usage: wc [OPTION...,例如预读值和默认文件描述符数目等,会对系统性能有很大的影响. 1.关闭数据库文件的 … linux下PS1命令提示符设置 linux下PS1命令提示符设置 在此文件最后一添加:vim /etc/profileexport...\d :代表日期,格式为 … [工具][vim] vim设置显示行号 转载自:electrocrazy的博客 在linux环境下,vim是常用的代码查看和编辑工具...如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除

    6.5K20

    Linuxvi与vim编辑操作

    G:移动到指定,行号 -G 在命令行输入 vi +26 samp.txt 命令直接打开文件到达 26 ,在 vi 编辑器也可以输入 :26 跳转到 26 {:...常用: x 删除光标后一个字符,相当于del X 删除光标前一个字符,相当于Backspace dd 删除光标所在行 ndd 删除指定的行数 :n1,n2d 删除n1到n2...sky/     替换当前行第一个 vivian 为 sky :s/vivian/sky/g     替换当前行所有 vivian 为 sky :n,$s/vivian/sky/   替换第 n 开始到最后一每一的第一个...vivian 为 sky :n,$s/vivian/sky/g   替换第 n 开始到最后一每一所有 vivian 为 sky n 为数字,若 n 为 ....gcc -o test.o test.c就可以实现编译,编译的警告和错误都会显示,此时不会退出vim,按enter即可回到vim。 3.

    3.1K20

    Linuxvim编辑器命令介绍

    vim编辑器只要涉及到Linux操作系统,都基本逃避不了这个坎,下面介绍几个命令: 1.vim设置文本序号 :set number image.png 2.vim设置翻页 ctrl+f 向前翻页...ctrl+b 向后翻页 3.vim操作 当前光标出现的第一个字符串a被替换为字符串b :s/a/b image.png 当前光标出现的所有字符串a被替换为字符串b :s/a/b/g image.png...y :.,+2s/a/y/g #光标在第一,+2表示第2,3需要被替换 image.png 文件的1-3加上注释 :1,3s/^/#/g image.png 文件的1-3加上注释 :...文件删除每行末尾的空格 :%s/\s\+$//g # \s是正则表达式中空白字符(可能是空格、制表符、其他空白) # \+代表一个或多个\s”,或者用*期待\+ # $ 是正则表达式从字符串末尾进行匹配...image.png 文件删除每行开头的空格 :%s/^\s\+//g image.png 文件删除每行中间的空格 :%s/\s\+//g image.png vim通用操作格式总结 :[range

    1.5K20

    Linuxvim的基本介绍和使用

    1、vim介绍 如果我面想要在Linux上编写代码的话,我就需要vim来帮助我们编写代码。...vim是款编辑器,同时也是多模式的编辑器—命令模式,底模式,插入模式。...yy:复制当前行 p:粘贴到当前光标的下一 u:撤销 dd:剪切/删除 n dd:剪切/删除n n p:粘贴n n yy:复制n $:快速定位光标到当前行的最末尾 ^:快速定位光标到当前行的最开头...(vim 文件(新文件))。 在windows上的图形化界面,想要多文件同时编辑的话,只需要点击相对应的文件图形就能够切换,那么在Linux怎么实现呢?难不成还是保存完之后再进行编辑另一个文件?...这样的话也符合Linux多用户操作系统的作用,每一个人都可以个性化配置vim。可以但不限于set nu。 6、2、一键式配置 在网上寻找例如gitte或者github上的教程。

    10810
    领券