Java读取200万行文本文件的最快方法

基础概念

读取大文件时，Java中最快的方法通常是避免将整个文件加载到内存中，而是逐行或逐块读取。这样可以减少内存占用，提高处理速度。

类型

逐行读取：使用BufferedReader逐行读取文件。
逐块读取：使用FileInputStream和BufferedInputStream逐块读取文件。
NIO（New I/O）：使用Java NIO的Files和Channels API进行高效的文件读取。

应用场景

适用于需要处理大文件的场景，如日志分析、大数据处理、文件转换等。

示例代码

逐行读取

import java.io.BufferedReader;
import java.io.FileReader;
import java.io.IOException;

public class FastFileReader {
    public static void main(String[] args) {
        String filePath = "path/to/your/file.txt";
        try (BufferedReader br = new BufferedReader(new FileReader(filePath))) {
            String line;
            while ((line = br.readLine()) != null) {
                // 处理每一行数据
                processLine(line);
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    private static void processLine(String line) {
        // 处理每一行的逻辑
        System.out.println(line);
    }
}

使用NIO逐块读取

import java.io.IOException;
import java.nio.ByteBuffer;
import java.nio.channels.FileChannel;
import java.nio.file.Paths;
import java.nio.file.StandardOpenOption;

public class FastFileReaderNIO {
    public static void main(String[] args) {
        String filePath = "path/to/your/file.txt";
        try (FileChannel fileChannel = FileChannel.open(Paths.get(filePath), StandardOpenOption.READ)) {
            ByteBuffer buffer = ByteBuffer.allocate(8192); // 8KB buffer
            while (fileChannel.read(buffer) != -1) {
                buffer.flip();
                while (buffer.hasRemaining()) {
                    byte b = buffer.get();
                    // 处理每个字节或字符
                    processByte(b);
                }
                buffer.clear();
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    private static void processByte(byte b) {
        // 处理每个字节的逻辑
        System.out.print((char) b);
    }
}