在 Node.js 里处理大文件、日志转发或数据库导出时，很多人会直接用 `fs.createReadStream` 接上 `fs.createWriteStream`，或者把可读流的数据手动 `push` 到另一个可写流里。代码跑起来没问题，但文件一大、消费者一慢，进程内存就一路涨到 OOM。根本原因是忽略了 stream 的背压机制：可读流生产速度快于可写流消费速度时，数据会在内部缓冲区堆积。Node 的 stream 虽然提供了 `pipe` 和 `pipeline` 自动处理背压，但一旦自己写 `data` 事件监听、手动调用 `write` 而不检查返回值，或者在高阶函数里把流重新包装，背压就断了。这篇文章从一次日志聚合服务的内存问题入手，讲清楚背压的触发条件、`write` 返回 false 之后该怎么等 `drain`、`pipeline` 为什么更可靠，以及 Transform 流里容易踩的 push 返回值坑。

日志聚合服务里有一段代码要把多个上游推送的日志块写入同一个文件，简化后大概是这样：

```js
const fs = require('fs');
const writeStream = fs.createWriteStream('app.log');

function handleChunk(chunk) {
 writeStream.write(chunk);
}

process.stdin.on('data', handleChunk);
```

当上游发送速度远高于磁盘写入速度时，`writeStream.write()` 返回 `false`，表示内部缓冲区已经超过 `highWaterMark`，但代码完全没有理会这个返回值，继续读、继续写。`process.stdin` 也不会暂停，于是数据在 `writeStream` 的缓冲区里越积越多，`process.memoryUsage().heapUsed` 和外部内存同步上涨。这个问题在本地小文件测试时几乎看不出来，一上生产接上高吞吐日志源就暴露。

修复的第一步是尊重 `write` 的返回值。可读流在 `data` 事件里拿到数据后，如果 `write` 返回 `false`，就 `pause()` 可读流，等可写流触发 `drain` 再 `resume()`：

```js
const { createReadStream, createWriteStream } = require('fs');
const readStream = createReadStream('source.log');
const writeStream = createWriteStream('target.log');

readStream.on('data', (chunk) => {
 if (!writeStream.write(chunk)) {
 readStream.pause();
 }
});

writeStream.on('drain', () => {
 readStream.resume();
});

readStream.on('end', () => {
 writeStream.end();
});
```

这段代码能工作，但手工管理 `pause`/`resume` 和错误处理很容易漏掉边界情况，比如可写流出错后可读流还在暂停状态、`end` 之后还有未 flush 的数据。Node 提供的 `stream.pipeline` 把这些都处理了，包括背压、错误传播和销毁清理：

```js
const { pipeline } = require('stream/promises');
const { createReadStream, createWriteStream } = require('fs');

async function copyFile() {
 await pipeline(
 createReadStream('source.log'),
 createWriteStream('target.log')
 );
}

copyFile().catch(console.error);
```

如果中间还需要做转换，用 `Transform` 流时同样要注意背压。常见错误是在 `_transform` 里调用 `this.push()` 后不检查返回值，然后继续同步塞数据。`push` 返回 `false` 表示可读端缓冲区已满，应该停止继续 push，等下游消费后再通过 `_read` 恢复。下面这个按行拆分的转换流，如果一次性把大块数据拆成很多行再逐行 push，就很容易忽略返回值：

```js
const { Transform } = require('stream');

class LineSplitter extends Transform {
 constructor(options) {
 super(options);
 this.buffer = '';
 }

 _transform(chunk, encoding, callback) {
 this.buffer += chunk.toString();
 const lines = this.buffer.split('\n');
 this.buffer = lines.pop();

 let canContinue = true;
 for (const line of lines) {
 if (canContinue) {
 canContinue = this.push(line + '\n');
 } else {
 this.buffer = line + '\n' + this.buffer;
 break;
 }
 }
 callback();
 }

 _flush(callback) {
 if (this.buffer) {
 this.push(this.buffer);
 }
 callback();
 }
}
```

这里用 `canContinue` 在 `push` 返回 `false` 时把剩余内容放回 `buffer` 并退出循环，下一轮 `_transform` 或 `_read` 被调用时再继续处理。更简洁的做法是只在 `_read` 里驱动数据，但实现起来更复杂，实际项目里用现成的 `readline` 或者成熟的 split 库更省事。

背压问题不只在文件 IO 上。用 `http` 模块手动转发响应、用 `net` 写 TCP 代理、把数据库查询结果流式导出成 JSON，都会遇到同样的模式：生产者快、消费者慢。判断是否需要处理背压有一个很直接的信号，就是所有 `write`、`push`、`end` 的返回值是否被检查过。如果代码里这些调用都是裸调用，那多半在某个流量峰值会出问题。`pipeline` 能覆盖大多数场景，自己写流的时候把返回值当回事，基本就能避开这类内存暴涨。

 推荐查看：https:://www.52cha.cn/hanzi/11396.html
 推荐查看：https:://www.52cha.cn/hanzi/11397.html
 推荐查看：https:://www.52cha.cn/hanzi/11398.html
 推荐查看：https:://www.52cha.cn/hanzi/11399.html
 推荐查看：https:://www.52cha.cn/hanzi/11400.html
 推荐查看：https:://www.52cha.cn/hanzi/11401.html
 推荐查看：https:://www.52cha.cn/hanzi/11402.html
 推荐查看：https:://www.52cha.cn/hanzi/11403.html
 推荐查看：https:://www.52cha.cn/hanzi/11404.html
 推荐查看：https:://www.52cha.cn/hanzi/11405.html
 推荐查看：https:://www.52cha.cn/hanzi/11406.html
 推荐查看：https:://www.52cha.cn/hanzi/11407.html
 推荐查看：https:://www.52cha.cn/hanzi/11408.html
 推荐查看：https:://www.52cha.cn/hanzi/11409.html
 推荐查看：https:://www.52cha.cn/hanzi/11410.html
 推荐查看：https:://www.52cha.cn/hanzi/11411.html
 推荐查看：https:://www.52cha.cn/hanzi/11412.html
 推荐查看：https:://www.52cha.cn/hanzi/11413.html
 推荐查看：https:://www.52cha.cn/hanzi/11414.html
 推荐查看：https:://www.52cha.cn/hanzi/11415.html
 推荐查看：https:://www.52cha.cn/hanzi/11416.html
 推荐查看：https:://www.52cha.cn/hanzi/11417.html
 推荐查看：https:://www.52cha.cn/hanzi/11418.html
 推荐查看：https:://www.52cha.cn/hanzi/11419.html
 推荐查看：https:://www.52cha.cn/hanzi/11420.html
 推荐查看：https:://www.52cha.cn/hanzi/11421.html
 推荐查看：https:://www.52cha.cn/hanzi/11422.html
 推荐查看：https:://www.52cha.cn/hanzi/11423.html
 推荐查看：https:://www.52cha.cn/hanzi/11424.html
 推荐查看：https:://www.52cha.cn/hanzi/11425.html
 推荐查看：https:://www.52cha.cn/hanzi/11426.html
 推荐查看：https:://www.52cha.cn/hanzi/11427.html
 推荐查看：https:://www.52cha.cn/hanzi/11428.html
 推荐查看：https:://www.52cha.cn/hanzi/11429.html
 推荐查看：https:://www.52cha.cn/hanzi/11430.html
 推荐查看：https:://www.52cha.cn/hanzi/11431.html
 推荐查看：https:://www.52cha.cn/hanzi/11432.html
 推荐查看：https:://www.52cha.cn/hanzi/11433.html
 推荐查看：https:://www.52cha.cn/hanzi/11434.html
 推荐查看：https:://www.52cha.cn/hanzi/11435.html
 推荐查看：https:://www.52cha.cn/hanzi/11436.html
 推荐查看：https:://www.52cha.cn/hanzi/11437.html
 推荐查看：https:://www.52cha.cn/hanzi/11438.html
 推荐查看：https:://www.52cha.cn/hanzi/11439.html
 推荐查看：https:://www.52cha.cn/hanzi/11440.html
 推荐查看：https:://www.52cha.cn/hanzi/11441.html
 推荐查看：https:://www.52cha.cn/hanzi/11442.html
 推荐查看：https:://www.52cha.cn/hanzi/11443.html
 推荐查看：https:://www.52cha.cn/hanzi/11444.html
 推荐查看：https:://www.52cha.cn/hanzi/11445.html
 推荐查看：https:://www.52cha.cn/hanzi/11446.html
 推荐查看：https:://www.52cha.cn/hanzi/11447.html
 推荐查看：https:://www.52cha.cn/hanzi/11448.html
 推荐查看：https:://www.52cha.cn/hanzi/11449.html
 推荐查看：https:://www.52cha.cn/hanzi/11450.html
 推荐查看：https:://www.52cha.cn/hanzi/11451.html
 推荐查看：https:://www.52cha.cn/hanzi/11452.html
 推荐查看：https:://www.52cha.cn/hanzi/11453.html
 推荐查看：https:://www.52cha.cn/hanzi/11454.html
 推荐查看：https:://www.52cha.cn/hanzi/11455.html
 推荐查看：https:://www.52cha.cn/hanzi/11456.html
 推荐查看：https:://www.52cha.cn/hanzi/11457.html
 推荐查看：https:://www.52cha.cn/hanzi/11458.html
 推荐查看：https:://www.52cha.cn/hanzi/11459.html
 推荐查看：https:://www.52cha.cn/hanzi/11460.html
 推荐查看：https:://www.52cha.cn/hanzi/11461.html
 推荐查看：https:://www.52cha.cn/hanzi/11462.html
 推荐查看：https:://www.52cha.cn/hanzi/11463.html
 推荐查看：https:://www.52cha.cn/hanzi/11464.html
 推荐查看：https:://www.52cha.cn/hanzi/11465.html
 推荐查看：https:://www.52cha.cn/hanzi/11466.html
 推荐查看：https:://www.52cha.cn/hanzi/11467.html
 推荐查看：https:://www.52cha.cn/hanzi/11468.html
 推荐查看：https:://www.52cha.cn/hanzi/11469.html
 推荐查看：https:://www.52cha.cn/hanzi/11470.html
 推荐查看：https:://www.52cha.cn/hanzi/11471.html
 推荐查看：https:://www.52cha.cn/hanzi/11472.html
 推荐查看：https:://www.52cha.cn/hanzi/11473.html
 推荐查看：https:://www.52cha.cn/hanzi/11474.html
 推荐查看：https:://www.52cha.cn/hanzi/11475.html
 推荐查看：https:://www.52cha.cn/hanzi/11476.html
 推荐查看：https:://www.52cha.cn/hanzi/11477.html
 推荐查看：https:://www.52cha.cn/hanzi/11478.html
 推荐查看：https:://www.52cha.cn/hanzi/11479.html
 推荐查看：https:://www.52cha.cn/hanzi/11480.html
 推荐查看：https:://www.52cha.cn/hanzi/11481.html
 推荐查看：https:://www.52cha.cn/hanzi/11482.html
 推荐查看：https:://www.52cha.cn/hanzi/11483.html
 推荐查看：https:://www.52cha.cn/hanzi/11484.html
 推荐查看：https:://www.52cha.cn/hanzi/11485.html
 推荐查看：https:://www.52cha.cn/hanzi/11486.html
 推荐查看：https:://www.52cha.cn/hanzi/11487.html
 推荐查看：https:://www.52cha.cn/hanzi/11488.html
 推荐查看：https:://www.52cha.cn/hanzi/11489.html
 推荐查看：https:://www.52cha.cn/hanzi/11490.html
 推荐查看：https:://www.52cha.cn/hanzi/11491.html
 推荐查看：https:://www.52cha.cn/hanzi/11492.html
 推荐查看：https:://www.52cha.cn/hanzi/11493.html
 推荐查看：https:://www.52cha.cn/hanzi/11494.html
 推荐查看：https:://www.52cha.cn/hanzi/11495.html
 推荐查看：https:://www.52cha.cn/hanzi/11496.html
 推荐查看：https:://www.52cha.cn/hanzi/11497.html
 推荐查看：https:://www.52cha.cn/hanzi/11498.html
 推荐查看：https:://www.52cha.cn/hanzi/11499.html
 推荐查看：https:://www.52cha.cn/hanzi/11500.html
 推荐查看：https:://www.52cha.cn/hanzi/11501.html
 推荐查看：https:://www.52cha.cn/hanzi/11502.html
 推荐查看：https:://www.52cha.cn/hanzi/11503.html
 推荐查看：https:://www.52cha.cn/hanzi/11504.html
 推荐查看：https:://www.52cha.cn/hanzi/11505.html
 推荐查看：https:://www.52cha.cn/hanzi/11506.html
 推荐查看：https:://www.52cha.cn/hanzi/11507.html
 推荐查看：https:://www.52cha.cn/hanzi/11508.html
 推荐查看：https:://www.52cha.cn/hanzi/11509.html
 推荐查看：https:://www.52cha.cn/hanzi/11510.html
 推荐查看：https:://www.52cha.cn/hanzi/11511.html
 推荐查看：https:://www.52cha.cn/hanzi/11512.html
 推荐查看：https:://www.52cha.cn/hanzi/11513.html
 推荐查看：https:://www.52cha.cn/hanzi/11514.html
 推荐查看：https:://www.52cha.cn/hanzi/11515.html
 推荐查看：https:://www.52cha.cn/hanzi/11516.html
 推荐查看：https:://www.52cha.cn/hanzi/11517.html
 推荐查看：https:://www.52cha.cn/hanzi/11518.html
 推荐查看：https:://www.52cha.cn/hanzi/11519.html
 推荐查看：https:://www.52cha.cn/hanzi/11520.html
 推荐查看：https:://www.52cha.cn/hanzi/11521.html
 推荐查看：https:://www.52cha.cn/hanzi/11522.html
 推荐查看：https:://www.52cha.cn/hanzi/11523.html
 推荐查看：https:://www.52cha.cn/hanzi/11524.html
 推荐查看：https:://www.52cha.cn/hanzi/11525.html
 推荐查看：https:://www.52cha.cn/hanzi/11526.html
 推荐查看：https:://www.52cha.cn/hanzi/11527.html
 推荐查看：https:://www.52cha.cn/hanzi/11528.html
 推荐查看：https:://www.52cha.cn/hanzi/11529.html
 推荐查看：https:://www.52cha.cn/hanzi/11530.html
 推荐查看：https:://www.52cha.cn/hanzi/11531.html
 推荐查看：https:://www.52cha.cn/hanzi/11532.html
 推荐查看：https:://www.52cha.cn/hanzi/11533.html
 推荐查看：https:://www.52cha.cn/hanzi/11534.html
 推荐查看：https:://www.52cha.cn/hanzi/11535.html
 推荐查看：https:://www.52cha.cn/hanzi/11536.html
 推荐查看：https:://www.52cha.cn/hanzi/11537.html
 推荐查看：https:://www.52cha.cn/hanzi/11538.html
 推荐查看：https:://www.52cha.cn/hanzi/11539.html
 推荐查看：https:://www.52cha.cn/hanzi/11540.html
 推荐查看：https:://www.52cha.cn/hanzi/11541.html
 推荐查看：https:://www.52cha.cn/hanzi/11542.html
 推荐查看：https:://www.52cha.cn/hanzi/11543.html
 推荐查看：https:://www.52cha.cn/hanzi/11544.html
 推荐查看：https:://www.52cha.cn/hanzi/11545.html
 推荐查看：https:://www.52cha.cn/hanzi/11546.html
 推荐查看：https:://www.52cha.cn/hanzi/11547.html
 推荐查看：https:://www.52cha.cn/hanzi/11548.html
 推荐查看：https:://www.52cha.cn/hanzi/11549.html
 推荐查看：https:://www.52cha.cn/hanzi/11550.html
 推荐查看：https:://www.52cha.cn/hanzi/11551.html
 推荐查看：https:://www.52cha.cn/hanzi/11552.html
 推荐查看：https:://www.52cha.cn/hanzi/11553.html
 推荐查看：https:://www.52cha.cn/hanzi/11554.html
 推荐查看：https:://www.52cha.cn/hanzi/11555.html
 推荐查看：https:://www.52cha.cn/hanzi/11556.html
 推荐查看：https:://www.52cha.cn/hanzi/11557.html
 推荐查看：https:://www.52cha.cn/hanzi/11558.html
 推荐查看：https:://www.52cha.cn/hanzi/11559.html
 推荐查看：https:://www.52cha.cn/hanzi/11560.html
 推荐查看：https:://www.52cha.cn/hanzi/11561.html
 推荐查看：https:://www.52cha.cn/hanzi/11562.html
 推荐查看：https:://www.52cha.cn/hanzi/11563.html
 推荐查看：https:://www.52cha.cn/hanzi/11564.html
 推荐查看：https:://www.52cha.cn/hanzi/11565.html
 推荐查看：https:://www.52cha.cn/hanzi/11566.html
 推荐查看：https:://www.52cha.cn/hanzi/11567.html
 推荐查看：https:://www.52cha.cn/hanzi/11568.html
 推荐查看：https:://www.52cha.cn/hanzi/11569.html
 推荐查看：https:://www.52cha.cn/hanzi/11570.html
 推荐查看：https:://www.52cha.cn/hanzi/11571.html
 推荐查看：https:://www.52cha.cn/hanzi/11572.html
 推荐查看：https:://www.52cha.cn/hanzi/11573.html
 推荐查看：https:://www.52cha.cn/hanzi/11574.html
 推荐查看：https:://www.52cha.cn/hanzi/11575.html
 推荐查看：https:://www.52cha.cn/hanzi/11576.html
 推荐查看：https:://www.52cha.cn/hanzi/11577.html
 推荐查看：https:://www.52cha.cn/hanzi/11578.html
 推荐查看：https:://www.52cha.cn/hanzi/11579.html
 推荐查看：https:://www.52cha.cn/hanzi/11580.html
 推荐查看：https:://www.52cha.cn/hanzi/11581.html
 推荐查看：https:://www.52cha.cn/hanzi/11582.html
 推荐查看：https:://www.52cha.cn/hanzi/11583.html
 推荐查看：https:://www.52cha.cn/hanzi/11584.html
 推荐查看：https:://www.52cha.cn/hanzi/11585.html
 推荐查看：https:://www.52cha.cn/hanzi/11586.html
 推荐查看：https:://www.52cha.cn/hanzi/11587.html
 推荐查看：https:://www.52cha.cn/hanzi/11588.html
 推荐查看：https:://www.52cha.cn/hanzi/11589.html
 推荐查看：https:://www.52cha.cn/hanzi/11590.html
 推荐查看：https:://www.52cha.cn/hanzi/11591.html
 推荐查看：https:://www.52cha.cn/hanzi/11592.html
 推荐查看：https:://www.52cha.cn/hanzi/11593.html
 推荐查看：https:://www.52cha.cn/hanzi/11594.html
 推荐查看：https:://www.52cha.cn/hanzi/11595.html

在 Node.js 里处理大文件、日志转发或数据库导出时，很多人会直接用 fs.createReadStream 接上 fs.createWriteStream，或者把可读流的数据手动 push 到另一个可写流里。代码跑起来没问题，但文件一大、消费者一慢，进程内存就一路涨到 OOM。根本原因是忽略了 stream 的背压机制：可读流生产速度快于可写流消费速度时，数据会在内部缓冲区堆积。Node 的 stream 虽然提供了 pipe 和 pipeline 自动处理背压，但一旦自己写 data 事件监听、手动调用 write 而不检查返回值，或者在高阶函数里把流重新包装，背压就断了。这篇文章从一次日志聚合服务的内存问题入手，讲清楚背压的触发条件、write 返回 false 之后该怎么等 drain、pipeline 为什么更可靠，以及 Transform 流里容易踩的 push 返回值坑。

Node.js 中 stream 背压处理不当导致的内存暴涨与修复

在 Node.js 里处理大文件、日志转发或数据库导出时，很多人会直接用 fs.createReadStream 接上 fs.createWriteStream，或者把可读流的数据手动 push 到另一个可写流里。代码跑起来没问题，但文件一大、消费者一慢，进程内存就一路涨到 OOM。根本原因是忽略了 stream 的背压机制：可读流生产速度快于可写流消费速度时，数据会在内部缓冲区堆积。Node 的

编程语言

后端

Node.js流背压处理不当导致内存暴涨，核心在于write()返回false后未暂停读取。通过pause()等待drain事件或使用stream.pipeline自动管理背压，并检查Transform流的push返回值，可避免高吞吐场景下的OOM风险。

代码解释

数据库

JSON

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

Node.js 中 stream 背压处理不当导致的内存暴涨与修复-腾讯云开发者社区-腾讯云

Node.js 中 stream 背压处理不当导致的内存暴涨与修复

Node.js 中 stream 背压处理不当导致的内存暴涨与修复

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐