网页实现批量数据导入功能

场景

       我有一批平铺数据放在txt文件，其量大概在10W条，接下来我们希望将这10W条记录进行切割获取，并且将单条数据分析校验，然后插入到DB中。前提是我们使用的是HTTP文件上传方式来导入数据。现在的问题是：如果用户直接上传，然后我们一条条数据读取、校验并将其插入数据库，这个过程将会耗费非常长的时间（大概在1小时以上），而这么长的时间等待会导致apache、nginx或者浏览器端（一般情况下是60分钟）的超时。那么我们应该如何的解决这个问题呢？

分批次处理

       分批次解决办法意思就是，将文件的大数据转化为多个块，例如10W条分成20块，每块处理5K数据，这样每次处理的时间将会缩短，用户也可以实时的看到交互过程而不至于超时无法知晓结果。

1、使用本地读取文件数据方法，将数据分批次传递到服务端，服务端接手数据后处理返回，客户端获取到执行结果后批次的展示给用户结果。

2、Socket解决办法，服务端和客户端使用socket机制，客户端一次性将文件传递到服务端，服务端接受数据后批次处理，每次处理完成一部分将会通过socket通知前端部分处理结果完成。

       这种方法用户必须在前端等待查看执行结果，如果用户关闭则会导致只上传或者处理了部分数据，当然这种用户可以直接的看到运行过程。

异步过程处理

       异步的解决过程主要是，一次性上传到服务端，服务端接受数据后不立即执行，而是放在一个DB的队列中或者异步执行队列中，当执行完成后通过在DB中回调写入执行过程，而客户端则只需要在用户主动查询时，才会去查询结果。

1、通过使用异步函数，例如Node.js中的一些异步文件读取操作来异步执行，而同步则直接提示用户文件数据正在上传中。

2、通过队列任务模式，如果这种数据上传比较频繁，那么建议是使用队列任务模式，当前端有上传时，就将任务放在任务队列中，而再需要开启一个进程专门的去负责任务的读取以及解析执行过程，执行完成后再写入执行结果。

       这种方法用户无法实时的查看结果，服务端只能通过文件的大小来预估执行结束时间，这种方案的最大优点就是保证文件可以完成的上传和数据导入完成，缺点就是用户无法准确的知道执行结束的时间点。

欢迎提供更好的解决办法。

blog.lovedan.cn