首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

统计多个日志文件中的行数,按日期过滤,按文件名输出

可以通过以下步骤实现:

  1. 首先,需要获取多个日志文件的路径。可以通过指定一个文件夹路径,然后遍历该文件夹下的所有日志文件,或者手动指定多个日志文件的路径。
  2. 接下来,需要按日期过滤日志文件。可以使用正则表达式匹配日志文件名中的日期部分,然后根据需要的日期范围筛选出符合条件的日志文件。
  3. 读取每个符合条件的日志文件,并统计每个文件中的行数。可以使用编程语言中的文件读取功能,逐行读取每个日志文件,并计算行数。
  4. 最后,按文件名输出统计结果。可以将每个日志文件的文件名和对应的行数保存在一个数据结构中,然后按照文件名的顺序输出统计结果。

以下是一个示例的Python代码实现:

代码语言:txt
复制
import os
import re

log_folder = "/path/to/log/folder"
date_filter = "2022-01"  # 日期过滤条件,示例为筛选2022年1月的日志文件

log_files = []
log_counts = {}

# 遍历日志文件夹,获取符合条件的日志文件路径
for root, dirs, files in os.walk(log_folder):
    for file in files:
        if file.endswith(".log"):
            log_files.append(os.path.join(root, file))

# 按日期过滤日志文件
filtered_files = [file for file in log_files if re.search(date_filter, file)]

# 统计每个日志文件的行数
for file in filtered_files:
    with open(file, "r") as f:
        line_count = sum(1 for line in f)
        log_counts[file] = line_count

# 按文件名输出统计结果
for file, count in log_counts.items():
    print(f"文件名:{file},行数:{count}")

在这个示例中,我们假设日志文件夹的路径为/path/to/log/folder,日期过滤条件为筛选2022年1月的日志文件。你可以根据实际情况修改这些参数。

请注意,以上示例代码仅为演示如何实现统计多个日志文件中的行数,并按日期过滤、按文件名输出。实际应用中,可能需要根据具体需求进行适当的修改和优化。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

Linux awk命令详细教程

awk通过将文本行读取并以指定分隔符分割成多个字段,使得对文本处理变得灵活高效。...文章还提供了如何打印指定列、过滤日志条件统计、指定多个分隔符、日志切割、匹配指定列和统计文件大小等实际应用示例,以及一个统计nginx日志数据awk脚本示例。...语法 awk [选项参数] 'script' 文件名 awk处理文本时,将每一行视为一条记录,每条记录以分隔符划分为多个字段。awk读取文件后,依次对每一行执行script命令,并输出结果。...-v var=value: 定义变量并赋值,在脚本可直接使用。 -f scripfile: 从脚本文件读取awk命令,免去命令行输入。 -o:输出文件名作为结果保存。...内置变量 变量 描述 $0 整行内容 $1 ~ $n 当前行第1 ~ n个字段 NF 当前行字段个数,即列数 NR 当前处理行数,从1开始 FNR 各文件分别计数行号 FILENAME 当前文件名

26410

Linux基础指令及其作用之文件内容查看和处理

grep 是一个非常强大工具,特别适用于从文件或命令输出查找和过滤特定信息。...文件:是要搜索文件名。 grep 命令会在指定文件搜索匹配模式行,并将匹配到行打印到标准输出。如果不指定文件名,则 grep 将会从标准输入读取数据进行搜索。...-exec:对匹配文件执行指定命令。 wc wc(word count)命令用于统计文件字数、行数、字节数等信息。它是一个非常实用工具,尤其在处理文本文件时。...wc [选项] [文件...] wc filename//统计文件行数、字数和字节数 //输出格式 行数 字数 字节数 文件名 wc -l filename//统计文件行数 //行数 文件名...wc file1 file2//同时统计多个文件 行数 字数 字节数 文件名 行数 字数 字节数 文件名行数 总字数 总字节数 总计 常用选项 -l:显示行数

10410
  • linux 小结

    wc -l 行数 -w 单词数 -c char ## 从第3行开始显示,显示接下来10行内容: cat filename | tail -n +3 | head -n +10 ## 过滤 -...A 后n行 -B 前n行 cat test.log |grep 'xxx' -A10 -B10 ## 日期日志 sed -n "/2022-01-14 15:05:55/,/2022-01-14 15...:15:55/p" test.log ## 统计行数 wc -l file 磁盘操作 查询子级目录大小 du -h --max-depth=1 / 查询磁盘情况 df -h / find -type..." timedatectl ntpdate 管道 管道一般用于过滤, A|b 命令A正确输出作为命令B操作对象 grep 取出含有搜寻内容行 -v 反选,: ## tail 出有关键字日志输出后...变量 var1="xxx" 0 表示获取当前执行shell脚本文件名, n 表示获取当前执行shell脚本第n个参数值 $# 获取当前shell命令行参数总个数, $?

    1.3K10

    探索Linux世界:基本指令(文件查看、时间相关、grep、打包压缩及相关知识)

    输出重定向 语法: command > 文件名 command:要执行命令 文件名:要将输出结果写入目标文件 示例: ls > file.txt 将ls命令输出结果写入到file.txt文件...常用查看日志文件 -f 循环读取 -n 显示行数 5.1输入重定向(<) 输入重定向允许将文件内容作为命令输入,而不是从键盘输入。...基本语法:command < file eg: 统计文件行数: wc -l < file.txt:统计file.txt文件行数。...统计包含关键词行数: grep "error" log.txt | wc -l:统计log.txt文件包含"error"行数。...-y:显示当前年份日历 -j 显示在当年中第几天(一年日期天算,从1月1号算起,默认显示当前月在一年天数) -y 年份:显示指定年份日历 示例: 显示当前月份日历: cal 显示当前年份日历

    19510

    linux 常用命令总结

    head - 10 /etc/passwd tail命令:用于查看文件末尾内容,tail命令一般用于查询系统日志,配合-f可还可以实时跟踪文件尾部内容动态更新。ctrl+C 终止。...tail -f /log/message 统计和检索文件内容 wc命令:统计文件内容单词数量(word count)、行数等信息 wc命令用于统计文件内容包含行数、单词书、字节数等信息,使用文件名作为参数...,可以同时统计多个文件。...-c:统计文件内容字节数 -l:统计文件内容行数 -w:统计文件内容单词个数(以空格或者制表位作为分隔) wc /etc/hosts:不带任何选项默认同时使用-c、-l、-w三个选项 wc -...l /etc/passwd :统计用户数据 find /etc -name "*.conf" | wc -l :可得出符合条件文件数量 grep 命令:检索、过滤文件内容 grep命令用于在文件查找并显示包含指定字符串

    91530

    Linux下常用shell脚本整理

    wc命令功能为统计指定文件字节数、字数、行数, 并将统计结果显示输出。   ...语法:wc [选项] 文件…   说明:该命令统计给定文件字节数、字数、行数。如果没有给出文件名,则从标准输入读取。wc同时也给出所有指定文件统计数。字是由空格字符区分开最大字符串。   ...该命令各选项含义如下:   -c 统计字节数。   -l 统计行数。   -w 统计字数。   这些选项可以组合使用。 输出顺序和数目不受选项顺序和数目的影响。...总是下述顺序显示并且每项最多一列。 行数、字数、字节数、文件名 如果命令行没有文件名,则输出不出现文件名。...14、运用tee命令将日志同时输出多个文件   tee用法功能说明:读取标准输入数据,并将其内容输出文件

    4.1K40

    Linux进阶命令-sort&wc

    sort -o sorted_file.txt file.txt 示例 对文件 file.txt 字母顺序排序并输出到终端: sort file.txt 对文件 numbers.txt 数字数值大小降序排序...数据处理:在数据处理流水线,用于处理和整理输出结果。 文件比较: 将文件排序后与其他文件进行比较,查找差异或合并操作。 wc wc 命令是一个用于统计文件字节数、字数、行数工具。...基本语法 wc [options] [file] options:可选参数,用于指定输出格式或增加额外统计信息。 file:要统计文件名。如果不指定文件名,则从标准输入读取数据。...常用选项 -l:统计文件行数。 wc -l file.txt -w:统计文件字数(单词数)。 wc -w file.txt -c:统计文件字节数。...总结 1.sort主要是用于排序,现在主要用于对前面输出部分通过管道进行排序,已经对于文件统计操作比较少。 2.wc 我用得比较多就是统计文件行数

    5010

    Linux系列 目录和文件管理

    在阅读界面,可以Enter键向下逐行滚动查看,Space键可以向下翻一屏b键向上翻一屏,q键退出并返回原来命令环境。...例如,以下操作可以查看系统公共日志文件/var/log/messages最后十行内容,并在末尾跟踪显示该文件中新记录内容 (Cul+C组合键终止)。...---- 1.wc命令—统计文件内容单词数量(Word Count)行数等信息 wc命令用于统计文件内容包含行数,单词数量,字节数等信息,使用文件名作为参数,可以同时统计多个文件,较常用选项如下所述...-c:统计文件内容字节数. -1:统计文件内容行数. -w:统计文件内容单词个数《以空格或制表位作为分隔)....当文件行数,单词数或字节数具有特定意义时,使用 wc命令可以巧妙地获得一些特殊信息 例如:Linux操作系统用户账号数据保存在/etc/passwd文件,其中每一行记录对应一个用户则以下操作可以统计出当前

    21040

    主流日志框架使用及性能对比,看这篇就够了!

    例如: console:输出到屏幕; file:输出文件; socket:通过网络输出到远程计算机; jdbc:输出到数据库 在输出日志过程,通过Filter来过滤哪些log需要被输出,哪些log...%l 输出语句所在行数, 包括类名、方法名、文件名行数 --> <!...-- 如果启用此配置,则日志文件名生成新文件, 即如果filePattern配置日期格式为 %d{yyyy-MM-dd HH} ,则每小时生成一个压缩文件...%l 输出语句所在行数, 包括类名、方法名、文件名行数 --> <!...-- 如果启用此配置,则日志文件名生成新文件, 即如果filePattern配置日期格式为 %d{yyyy-MM-dd HH} ,则每小时生成一个压缩文件

    4.6K30

    linux简单介绍以及常用简单命令

    指令 注:文中所有的 括号 [] 表示可选 基本 commond not found 指令没有找到 一个完整指令基本格式 # 指令 [选项] [操作对象] 一个指令可以包含多个选项 操作对象也可以是多个...输出重定向 一般命令输出都会显示在终端,有些时候需要将一些命令执行结果想要保存到文件中进行后续分析/统计,则这时候需要使用到输出重定向技术。...# tail -f 文件路径 退出 q less 指令 作用:查看文件,以较少内容进行输出下辅助功能键查看更多 辅助键:数字+回车,空格(翻页),上下键 # less 需要查看文件路径 wc...指令 作用:用于统计文件内容信息(行数 -l,单词数 -w,字节数 -c) # wc -lwc 文件路径 ?...# ls 路径 |grep y grep 作用就是过滤 过滤当前路径下面有 0 文件 ?

    1.1K20

    全网最全Log配置教程及框架性能比较,看这篇就够了!

    例如: console:输出到屏幕; file:输出文件; socket:通过网络输出到远程计算机; jdbc:输出到数据库 在输出日志过程,通过Filter来过滤哪些log需要被输出,哪些log...%l 输出语句所在行数, 包括类名、方法名、文件名行数 --> <!...-- 如果启用此配置,则日志文件名生成新文件, 即如果filePattern配置日期格式为 %d{yyyy-MM-dd HH} ,则每小时生成一个压缩文件...%l 输出语句所在行数, 包括类名、方法名、文件名行数 --> <!...-- 如果启用此配置,则日志文件名生成新文件, 即如果filePattern配置日期格式为 %d{yyyy-MM-dd HH} ,则每小时生成一个压缩文件

    76020

    AWStats简介

    ,缺省统计输出是按月汇总;对于日志非常大最好选择 统计输出,并 修改awstats.pl: 设置LIMITFLUSH加10倍; $LIMITFLUSH = 50000;...因此有可能比其他日志统计工具统计数字要低,来自公司内部访问也可以通过IP过滤 设置过滤掉。...对于IIS:缺省有比较好日志天截断规则,但是IIS日志格式比较不适合AWStats统计, 因此最好直接去掉所有日志字段,然后严格按照以下列表设置 日期 date 时间 time 客户IP地址...,月份,日期拼出日志文件名; SiteDomain=”www.chedong.com” 站点名称,缺省是空,如果为空,AWStats将拒绝运行; 对于统计IIS日志需要多修改一个: LogFormat...等,用户请求一个页面是,如果页面包含图片等,所以对服 务器会发出多次文件请求,文件数一般远远大于文件数; 字节:传给客户端数据总流量; 来自REFERER数据:日志参考(REFERER)

    43630

    Linux基本指令(二)

    前言 在Linux系统,一切皆文件 Linux中一切皆文件可以使得Linux可以以统一方式来进行文件/设备访问 echo 输出操作,输出到显示器文件 输出重定向(>) 将本来要写入到显示器文件内容...选项: -n 显示行数 默认提取文件前十行 head -5 filename 前五行 (其他同理) tail 默认提取后十行 用法与head相同 tail 命令从指定点开始将文件写到标准输出...管道把上一条指令对应输出数据交给管道,下一条指令再从管道拿取数据,所以采用管道方式级联两个指令 wc 用来统计文本行数 可以使用管道对多条指令进行级联 时间相关指令(date) date...-j 显示在当年中第几天(一年日期天算,从1月1号算起,默认显示当前月在一年天数) -y 显示当前年份日历 find Linux下find命令在目录结构搜索文件,并执行指定操作。...’ 内容那一行 此指令只针对文本文件 包含关键字保留,不包含去掉 正向匹配(关键字过滤文本行) 逆向过滤(把不包含关键字显示出来) 匹配时默认严格匹配,分辨大小写 grep -

    21110

    Log4j自定义Appender介绍

    Appender:负责日志输出,Log4j已经实现了多种不同目标的输出方式,可以向文件输出日志、向控制台输出日志、向Socket输出日志等。 Layout:负责日志信息格式化。...%C 调用logger全名(包含包路径)。 %d 日志记录时间,{}使用ISO8601定义日期格式。 %F 调用logger文件名。...%l 日志事件发生位置,包括类目名、发生线程,以及在代码行数。 %L 调用logger代码行 %m 输出消息。 %M 调用logger方法名。...%x NDC(Nested Diagnostic Context,线程堆栈)顺序输出日志。 %X MDC(Mapped Diagnostic Context,线程映射表)输出日志。...3、在 Appender 调用 Filter 对日志信息进行过滤,调用 Layout 对日志信息进行格式化,然后输出。 图示: ?

    2.1K20

    工作常用linux命令「建议收藏」

    背景:CentOS 6.3 持续更新,作为我速查小词典 文章目录 基础必备 vim命令 Question 查磁盘、文件大小、查大文件 统计文件行数、字数、字节数 重命名 环境变量添加 让代码在后台运行...直接修改文件 awk awk 过滤某一列数字大于10行 边启动边看日志 根据端口查进程 传文件 通过HTTP split大文件分割为小文件 排序 sort 选项总结 a.每行首字符排序...-h | sort -r 统计文件行数、字数、字节数 wc 文件名 返回:行数 字数 字节数 文件名 还可以一次查多个文件 wc 文件名1 文件名2 文件名3 cat 20210620 | grep...-l 50000 大文件名 5W行一个小文件 split -l 50000 大文件名 filen_ -d -a 2 5W行一个小文件 -l:行数分割 file_:定义分割后文件命名前缀为file...如果你想把排序结果输出到原文件,用-o。

    2.8K30

    常用Bash命令整理之查看文件和目录

    cat命令让我们可以看看文件内容、连接文件、创建一个或多个文件和重定向输出到终端或文件。...cat -b /etc/fstab # -e 选项,将在每一行结尾显示“$”字符 cat -e /etc/fstab 当你只输入 cat 命令,而没有任何参数时,它只是接收标准输入内容并在标准输出显示...file -N * 7.wc - 查看文件统计信息 wc命令用于查看文件行数、单词数和字符数等信息。...语法类似如下所示: wc filename X Y Z /etc/inittab 其中X表示行数,Y表示单词数,Z表示字节数,filename表示文件名。...# -l选项,可以只统计文件行数信息 wc -l /etc/inittab # -w选项,可以只统计文件单词数信息 wc -w /etc/inittab # -c选项,可以只统计文件字节数信息

    2.3K20

    Linux 常用命令

    常用参数: -f 循环读取(常用于查看递增日志文件) -n 显示行数(从后向前) (1)循环读取逐渐增加文件内容 ping 127.0.0.1 > ping.log & 后台运行:可使用 jobs...grep 工作方式是这样,它在一个或多个文件搜索字符串模板。如果模板包括空格,则必须被引用,模板后所有字符串被看作文件名。搜索结果被送到标准输出,不影响原文件内容。...-i 忽略大小写 -l 只列出文件内容符合指定样式文件名称 -f 从文件读取关键词 -n 显示匹配内容所在文件行数 -R 递归查找文件夹 grep 规则表达式: ^ #锚定行开始 如:...ed 或者 at 字符内容行 grep -E 'ed|at' test.txt 27、wc 命令 wc(word count)功能为统计指定文件字节数、字数、行数,并将统计结果输出 命令格式:...命令参数: -c 统计字节数 -l 统计行数 -m 统计字符数 -w 统计词数,一个字被定义为由空白、跳格或换行字符分隔字符串 实例: (1)查找文件 行数 单词数 字节数 文件名 wc text.txt

    1.1K62

    Linux常用命令

    常用参数: -f 循环读取(常用于查看递增日志文件) -n 显示行数(从后向前) (1)循环读取逐渐增加文件内容 ping 127.0.0.1 > ping.log & 后台运行:可使用 jobs...grep 工作方式是这样,它在一个或多个文件搜索字符串模板。如果模板包括空格,则必须被引用,模板后所有字符串被看作文件名。搜索结果被送到标准输出,不影响原文件内容。...-i 忽略大小写 -l 只列出文件内容符合指定样式文件名称 -f 从文件读取关键词 -n 显示匹配内容所在文件行数 -R 递归查找文件夹 grep 规则表达式: ^ #锚定行开始 如:...ed 或者 at 字符内容行 grep -E 'ed|at' test.txt 27、wc 命令 wc(word count)功能为统计指定文件字节数、字数、行数,并将统计结果输出 命令格式: wc...命令参数: -c 统计字节数 -l 统计行数 -m 统计字符数 -w 统计词数,一个字被定义为由空白、跳格或换行字符分隔字符串 实例: (1)查找文件 行数 单词数 字节数 文件名 wc text.txt

    73110

    收藏 | 97条 Linux 常用命令总结

    21.which 可执行文件名称 | 查看可执行文件位置,在PATH变量指定路径查看系统命令是否存在及其位置 22.whereis [-bmsu] [BMS 目录名 -f ] 文件名| 定位可执行文件...-name "*.log" | xargs -i mv {} test4 25.grep ‘正则表达式’ 文件名 | 用正则表达式搜索文本,并把匹配行打印出来 -c 只输出匹配行计数。...-n 显示匹配行数据及其行号 25.file | 判断文件类型 26.gzip [-cdtv#] 檔名 | 压缩、解压缩,源文件都不再存在 -d 进行解压缩 -c 将压缩数据输出到屏幕上 -v...bzip2 支持进行压缩/解压缩:此时档名最好为 *.tar.bz2 -z 透过 gzip 支持进行压缩/解压缩:此时档名最好为 *.tar.gz -v 在压缩/解压缩过程,将正在处理文件名显示出来...62.wc 统计指定文件字节数、字数、行数, 并将统计结果显示输出 -l filename 报告行数 -c filename 报告字节数 -m filename 报告字符数 -w filename

    1K20

    linux20个常用命令_常用shell命令

    # 代表有 root权限, 代表普通用户) 格式3:#mkdir 路径1+空格+路径2 ——一次性创建多个目录 5.touch指令——创建文件 格式1:#touch 文件路径(路径可以是文件名,也可以是带有文件名完整路径...,回车) 10.输出重定向 一般命令输出显示在终端窗口,当需要保存命令结果到指定文件进行后续分析统计时,需要使用输出重定向技术。...,可以看到变化) #tail -f 一般是用于查看系统日志,这个文件经历了哪些操作(类似历史记录) ---- 补充:查看某条指令操作手册:#man+指令 5.less指令 作用:查看文件 (以较简洁方式进行输出内容...,只显示一页,下辅助功能键查看更多信息,q退出) 辅助功能键: 数字加回车:从某行开始展现 空格:一页一页展示 上下方向键:上一行,下一行 格式:#less + 文件路径 6.wc指令——统计 作用...:统计文件内容信息 (类似word左下角统计字数什么,行数,单词数,字节数,需要配合管道使用) 格式: #wc 文件路径 ——行数,单词数,字节数 #wc -l 文件路径 ——行数(常用)

    3.2K20
    领券