前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Python入门:文件内容去重操作

Python入门:文件内容去重操作

作者头像
py3study
发布2020-01-10 17:31:33
9800
发布2020-01-10 17:31:33
举报
文章被收录于专栏:python3

+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ 学习是一种态度,只要你有态度,学习将会是一种乐趣 +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

应用场景

对行与行之间的重复内容进行删除 如:从网上download几个常用的用户名或密码字典文件,但是合并的时候,肯定有很多是重复的,在使用这些内容进行暴力破解的时候,因为重复行,导致破解效率下降,所以需要进行简单修改,去重:

代码语言:javascript
复制
#user.txt

admin 
root

123
user
password 
 admin

administrator

应用代码

代码语言:javascript
复制
#Author:foryouslg
#python3.5
'''
1、对特定文件内容进行去重操作(行与行之间的重复)
2、请输入需要去重文件的绝对路径
3、删除文件中的空行
4、去除字符串前后空行
5、生成一个以当前日期命名的文件
'''

import time

year = time.localtime().tm_year
mon = time.localtime().tm_mon
day = time.localtime().tm_mday
hour = time.localtime().tm_hour
min = time.localtime().tm_min
sec = time.localtime().tm_sec
nowtime = str(year) + str(mon) + str(day) + str(hour) + str(min) + str(sec)

f = input("please entry the file[absolute path]:")

def openThefile():
    '''
    1、打开要去重的文件
    2、删除每行数据前后的无用字符
    :return:
    '''
    ff = open(f,'r')
    l = []
    #for i in ff.readline():     #readline是文件中的第一行内容
    for i in ff.readlines():    #所有内容中的每一行
        if i != '\n' and i != '\r\n':   #删除空行
            ii = i.replace('\t','').strip()
            l.append(ii)
    ff.close()
    return l

def createNewfile(openThefile):
    '''
    去重操作
    :param openThefile:
    :return:
    '''
    l = []
    for i in openThefile:
        if i not in l:
            l.append(i)
    '''
    创建新文件
    '''
    filename = f[:f.find('.')]
    postfix = f[f.find('.'):]
    theNewfile = open(filename + '_' + nowtime + postfix,'a')
    '''
    写入处理过的内容
    '''
    for i in l:
        theNewfile.writelines(i+'\n')
    theNewfile.close()



if __name__ == '__main__':
    createNewfile(openThefile())

执行后的结果

代码语言:javascript
复制
admin
root
123
user
password
administrator
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2019/08/23 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 应用场景
    • 应用代码
      • 执行后的结果
      领券
      问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档