借助 DeepSeek-V3 优化 Shell 脚本：从日志分析工具的性能提升实践

#!/bin/bash
# 原始脚本：analyze_nginx_log.sh
LOG_DIR="/var/log/nginx"
OUTPUT_DIR="/tmp/nginx_analysis"
TODAY=$(date +%Y%m%d)

# 分析函数
analyze_log() {
    local log_file=$1
    
    # 提取TOP 10访问URL
    echo "TOP 10 URLs:"
    grep -v "127.0.0.1" "$log_file" | awk '{print $7}' | sort | uniq -c | sort -nr | head -10
    
    # 统计404错误
    echo -e "\n404 Errors:"
    grep "404" "$log_file" | awk '{print $7}' | sort | uniq -c | sort -nr
    
    # 更多分析逻辑...
}

# 主循环：处理所有日志文件
for logfile in "$LOG_DIR"/access.log*; do
    echo "Processing $logfile..."
    analyze_log "$logfile"
done > "$OUTPUT_DIR/report_$TODAY.txt"

# 优化后分析函数
optimized_analyze() {
    local log_file=$1
    local temp_file="/tmp/$(basename "$log_file").$$.tmp"
    
    # 单次读取完成多项分析
    awk '
    {
        # 排除本地IP
        if ($1 !~ /127\.0\.0\.1/) {
            urls[$7]++
            if ($9 == 404) errors[$7]++
        }
    }
    END {
        # 输出TOP 10 URL
        print "TOP 10 URLs:"
        for (url in urls) {
            print urls[url], url
        }
        # 使用系统sort进行外部排序
        for (url in urls) {
            print urls[url], url | "sort -nr | head -10"
        }
        
        # 输出404错误
        print "\n404 Errors:"
        for (url in errors) {
            print errors[url], url | "sort -nr"
        }
    }' "$log_file" > "$temp_file"
    
    cat "$temp_file"
    rm -f "$temp_file"
}

# 使用GNU parallel并行处理
if command -v parallel >/dev/null 2>&1; then
    export -f optimized_analyze
    find "$LOG_DIR" -name "access.log*" -type f | \
        parallel -j $(nproc) optimized_analyze {} > "$OUTPUT_DIR/report_$TODAY.txt"
else
    # 回退方案：使用后台进程
    for logfile in "$LOG_DIR"/access.log*; do
        optimized_analyze "$logfile" &
    done wait
fi

# 针对超大文件使用专门工具
if [ -f "/usr/bin/mlr" ]; then
    # 使用Miller进行更高效的数据处理
    process_with_miller() {
        mlr --tsv --implicit-csv-header \
            filter '$1 != "127.0.0.1"' then \
            top -n 10 -g 7 then \
            sort -nr 7 "$1"
    }
    export -f process_with_miller
    find "$LOG_DIR" -name "access.log*" | parallel process_with_miller
fi

# 安全的临时文件处理
create_tempfile() {
    local prefix=$1
    mktemp -p "/tmp" "${prefix}.XXXXXX"
}

# 在子进程中使用
optimized_analyze() {
    local temp_file=$(create_tempfile "nginx_analysis")
    # ...处理逻辑...
    # 确保临时文件清理
    trap "rm -f '$temp_file'" EXIT
}

# 分块处理大文件
chunk_analysis() {
    local file=$1
    local chunk_size=1000000  # 每100万行一个块
    
    split -l "$chunk_size" "$file" "${file}.chunk."
    
    for chunk in "${file}.chunk."*; do
        process_chunk "$chunk" &
    done wait
    
    # 合并结果
    merge_results
}

#!/bin/bash
# 优化版本：high_performance_log_analyzer.sh

set -eu -o pipefail
export LC_ALL=C  # 提高排序性能

# 配置项
readonly LOG_DIR="${LOG_DIR:-/var/log/nginx}"
readonly OUTPUT_DIR="${OUTPUT_DIR:-/tmp/nginx_analysis}"
readonly TODAY=$(date +%Y%m%d)
readonly CONCURRENCY=$(nproc)

# 导入优化函数
source optimizations.sh

main() {
    prepare_environment
    local log_files=($(find_log_files))
    
    if use_parallel_processing; then
        parallel_analysis "${log_files[@]}"
    else
        sequential_analysis "${log_files[@]}"
    fi
    
    generate_final_report
}

# 其余函数实现...