Spring Boot通过EasyExcel异步多线程实现大数据量Excel导入,百万数据30秒

IT_陈寒

发布于 2025-06-01 04:50:23

18000

代码可运行

运行总次数：0

代码可运行

当处理大数据量的Excel导入时，效率和性能是至关重要的。Spring Boot结合EasyExcel库，通过异步多线程方式能够显著提升Excel导入的速度和效率，特别是在处理百万级数据时，可以在短短几十秒内完成导入任务。本文将深入探讨如何利用Spring Boot和EasyExcel实现这一目标，并介绍其中的关键技术和实现细节。

引言

在企业应用开发中，Excel文件作为数据交换的重要载体之一，经常用于数据导入导出。然而，当面对大量数据时，传统的Excel处理方式往往效率低下，甚至可能导致内存溢出或超时错误。为了解决这些问题，本文将介绍如何利用Spring Boot和EasyExcel库实现高效的大数据量Excel导入。

技术选型

在实现大数据量Excel导入的方案中，我们选择了以下技术：

Spring Boot: 提供了快速开发的框架和丰富的生态系统，支持异步和多线程处理。
EasyExcel: 一个基于Java的简单、快速、方便的开源Excel工具，支持读写Excel文件，处理效率高，内存消耗低。

实现步骤

1. 引入依赖

首先，在Spring Boot项目中引入EasyExcel依赖：

<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>easyexcel</artifactId>
    <version>2.3.0</version>
</dependency>

2. 编写Excel导入服务

创建一个Excel导入的服务类，处理Excel文件的读取和数据解析。假设我们有一个UserService，用于处理用户数据的导入：

@Service
public class UserService {
    
    @Async
    public CompletableFuture<Integer> importUsers(MultipartFile file) throws IOException {
        InputStream inputStream = file.getInputStream();
        ExcelReader excelReader = EasyExcel.read(inputStream, User.class, new UserDataListener()).build();
        excelReader.readAll();
        excelReader.finish();
        return CompletableFuture.completedFuture(1);
    }
}

上面的代码中，我们使用了@Async注解来实现异步处理，这样可以避免请求阻塞，提升系统并发能力。

3. 编写数据监听器

定义一个数据监听器类UserDataListener，用于处理Excel数据的具体逻辑，例如将数据保存到数据库或者进行业务处理。

public class UserDataListener extends AnalysisEventListener<User> {

    private static final int BATCH_COUNT = 1000;
    List<User> userList = new ArrayList<>();

    @Override
    public void invoke(User user, AnalysisContext context) {
        userList.add(user);
        if (userList.size() >= BATCH_COUNT) {
            saveData();
            userList.clear();
        }
    }

    @Override
    public void doAfterAllAnalysed(AnalysisContext context) {
        saveData();
    }

    private void saveData() {
        // 将数据保存到数据库或其他业务处理
    }
}

4. 控制器层处理上传请求

在Spring Boot的控制器中处理Excel文件上传请求，并调用UserService进行导入操作。

@RestController
@RequestMapping("/api/users")
public class UserController {

    @Autowired
    private UserService userService;

    @PostMapping("/import")
    public ResponseEntity<String> importUsers(@RequestParam("file") MultipartFile file) throws IOException {
        userService.importUsers(file);
        return ResponseEntity.ok("Excel import started successfully.");
    }
}

5. 配置异步线程池

为了更好地控制异步任务，我们可以在Spring Boot配置类中配置一个线程池。

@Configuration
@EnableAsync
public class AsyncConfig implements AsyncConfigurer {

    @Override
    public Executor getAsyncExecutor() {
        ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
        executor.setCorePoolSize(10);  // 设置核心线程数
        executor.setMaxPoolSize(20);   // 设置最大线程数
        executor.setQueueCapacity(100);  // 设置队列容量
        executor.initialize();
        return executor;
    }
}