如何获取nodejs readline的进度或其他逐行读取大文件的方式？

在Node.js中，readline模块是一个非常实用的工具，用于逐行读取文件流。如果你想要获取逐行读取的进度或者其他相关信息，可以通过以下几种方式实现：

基础概念

readline模块允许你创建一个接口，该接口可以逐行读取流（如文件流）。这对于处理大文件特别有用，因为它不需要将整个文件加载到内存中。

类型与应用场景

日志处理：实时分析日志文件。
数据清洗：处理大型CSV或JSON文件。
监控系统：实时监控文件变化并进行相应处理。

示例代码

以下是一个使用readline模块逐行读取文件并跟踪进度的示例：

const readline = require('readline');
const fs = require('fs');

const fileStream = fs.createReadStream('path/to/largefile.txt');

let lineCount = 0;
const totalLines = 100000; // 假设我们知道文件总行数

const rl = readline.createInterface({
  input: fileStream,
  crlfDelay: Infinity // 识别所有CR LF ('\r\n') 为单个换行符
});

rl.on('line', (line) => {
  lineCount++;
  const progress = (lineCount / totalLines) * 100;
  console.log(`Progress: ${progress.toFixed(2)}%`);
  // 在这里处理每一行的数据
});

rl.on('close', () => {
  console.log('Finished reading the file.');
});

rl.on('error', (err) => {
  console.error('Error reading file:', err);
});

遇到问题及解决方法

问题：如何知道文件的总行数？

如果你事先不知道文件的总行数，可以通过先遍历一次文件来计算总行数，然后再进行逐行处理。

const countLines = (filePath) => {
  return new Promise((resolve, reject) => {
    let lineCount = 0;
    const fileStream = fs.createReadStream(filePath);

    const rl = readline.createInterface({
      input: fileStream,
      crlfDelay: Infinity
    });

    rl.on('line', () => {
      lineCount++;
    });

    rl.on('close', () => {
      resolve(lineCount);
    });

    rl.on('error', (err) => {
      reject(err);
    });
  });
};

(async () => {
  try {
    const totalLines = await countLines('path/to/largefile.txt');
    console.log(`Total lines: ${totalLines}`);
    // 现在可以使用totalLines来进行进度跟踪
  } catch (err) {
    console.error('Error counting lines:', err);
  }
})();