Loading [MathJax]/jax/input/TeX/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Node.js C++ 层的任务管理

Node.js C++ 层的任务管理

作者头像
theanarkh
发布于 2022-12-06 01:38:01
发布于 2022-12-06 01:38:01
1.4K00
代码可运行
举报
文章被收录于专栏:原创分享原创分享
运行总次数:0
代码可运行

好久没更新了,今天写个笔记。

我们都知道 Node.js 是基于事件循环来运行的,本质上是一个生产者 / 消费者模型,所以就少不了任务的管理机制,不过本文不是介绍事件循环中的任务管理,而是 C++ 层的任务管理。本文主要介绍 SetImmediate、SetImmediateThreadsafe、RequestInterrupt、AddCleanupHook 这四个 API 产生的任务。时间关系,随便写写,权当笔记。

任务管理机制的初始化

首先来看一下 Node.js 启动的过程中,和任务管理相关的逻辑。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
uv_check_start(immediate_check_handle(), CheckImmediate)
uv_async_init(
    event_loop(),
    &task_queues_async_,
    [](uv_async_t* async) {
      Environment* env = ContainerOf(&Environment::task_queues_async_, async);
      env->RunAndClearNativeImmediates();
    })

CheckImmediate 是在 check 阶段执行的函数,task_queues_async_ 则用于线程间通信,即当子线程往主线程提交任务时,通过 task_queues_async_ 通知主线程,然后主线程执行 uv_async_init 注册的回调。上面的代码就是消费者的逻辑。后面再详细分析里面的处理流程。

提交任务

接下来逐个看一下生产者的逻辑。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
template <typename Fn>
void Environment::SetImmediate(Fn&& cb, CallbackFlags::Flags flags) {
  auto callback = native_immediates_.CreateCallback(std::move(cb), flags);
  native_immediates_.Push(std::move(callback));
  // ...
}

SetImmediate 用于同线程的代码提交任务。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
template <typename Fn>
void Environment::SetImmediateThreadsafe(Fn&& cb, CallbackFlags::Flags flags) {
  auto callback = native_immediates_threadsafe_.CreateCallback(
      std::move(cb), flags);
  {
    Mutex::ScopedLock lock(native_immediates_threadsafe_mutex_);
    native_immediates_threadsafe_.Push(std::move(callback));
    if (task_queues_async_initialized_)
      uv_async_send(&task_queues_async_);
  }
}

SetImmediateThreadsafe 用于子线程给主线程提交任务,所以需要加锁。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
template <typename Fn>
void Environment::RequestInterrupt(Fn&& cb) {
  auto callback = native_immediates_interrupts_.CreateCallback(
      std::move(cb), CallbackFlags::kRefed);
  {
    Mutex::ScopedLock lock(native_immediates_threadsafe_mutex_);
    native_immediates_interrupts_.Push(std::move(callback));
    if (task_queues_async_initialized_)
      uv_async_send(&task_queues_async_);
  }
  RequestInterruptFromV8();
}

RequestInterrupt 用于子线程给主线程提交代码,他和 SetImmediateThreadsafe 有一个很重要的区别是调用了 RequestInterruptFromV8。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
void Environment::RequestInterruptFromV8() {
  isolate()->RequestInterrupt([](Isolate* isolate, void* data) {
    std::unique_ptr<Environment*> env_ptr { static_cast<Environment**>(data) };
    Environment* env = *env_ptr;
    env->RunAndClearInterrupts();
  }, interrupt_data);
}

RequestInterrupt 可以使得提交的代码在 JS 代码死循环时依然会被执行。接着看 AddCleanupHook。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
void Environment::AddCleanupHook(CleanupQueue::Callback fn, void* arg) {
  cleanup_queue_.Add(fn, arg);
}

AddCleanupHook 用于注册线程退出前的回调。生产者的逻辑都比较简单,就是往任务队列里插入一个任务,如果是涉及到线程间的任务,则通知主线程。

消费者

接下来看一下消费者的逻辑,根据前面的分析可以知道,消费者有几个:CheckImmediate,task_queues_async_ 的处理函数、RequestInterrupt 注册的函数、退出前回调处理函数。先看 CheckImmediate。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
void Environment::CheckImmediate(uv_check_t* handle) {
  Environment* env = Environment::from_immediate_check_handle(handle);
  env->RunAndClearNativeImmediates();
}

void Environment::RunAndClearNativeImmediates(bool only_refed) {
  RunAndClearInterrupts();

  auto drain_list = [&](NativeImmediateQueue* queue) {
    while (auto head = queue->Shift()) {
        head->Call(this);
    }
    return false;
  };
  while (drain_list(&native_immediates_)) {}
  NativeImmediateQueue threadsafe_immediates;
  if (native_immediates_threadsafe_.size() > 0) {
    Mutex::ScopedLock lock(native_immediates_threadsafe_mutex_);
    threadsafe_immediates.ConcatMove(std::move(native_immediates_threadsafe_));
  }
  while (drain_list(&threadsafe_immediates)) {}
}

void Environment::RunAndClearInterrupts() {
  while (native_immediates_interrupts_.size() > 0) {
    NativeImmediateQueue queue;
    {
      Mutex::ScopedLock lock(native_immediates_threadsafe_mutex_);
      queue.ConcatMove(std::move(native_immediates_interrupts_));
    }
    while (auto head = queue.Shift())
      head->Call(this);
  }
}

CheckImmediate 函数中处理了SetImmediate、SetImmediateThreadsafe 和 RequestInterrupt 产生的任务。但是如果主线程阻塞在 Poll IO 阶段时,只有子线程提交任务时会唤醒主线程,具体是通过 task_queues_async_ 结构体,看一下处理函数。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
env->RunAndClearNativeImmediates();

可以看到这时候也是处理了SetImmediate、SetImmediateThreadsafe 和 RequestInterrupt 产生的任务。最后来看一下处理退出前回调的函数,具体时机是 FreeEnvironment 函数中的 env->RunCleanup()。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
void Environment::RunCleanup() {
  RunAndClearNativeImmediates(true);
  while (!cleanup_queue_.empty() || principal_realm_->HasCleanupHooks() ||
         native_immediates_.size() > 0 ||
         native_immediates_threadsafe_.size() > 0 ||
         native_immediates_interrupts_.size() > 0) {
    // 见 CleanupQueue::Drain
    cleanup_queue_.Drain();
    RunAndClearNativeImmediates(true);
  }
}

// cleanup_queue_.Drain();
void CleanupQueue::Drain() {
  std::vector<CleanupHookCallback> callbacks(cleanup_hooks_.begin(),
                                             cleanup_hooks_.end());
  std::sort(callbacks.begin(),
            callbacks.end(),
            [](const CleanupHookCallback& a, const CleanupHookCallback& b) {
              return a.insertion_order_counter_ > b.insertion_order_counter_;
            });

  for (const CleanupHookCallback& cb : callbacks) {
    cb.fn_(cb.arg_);
    cleanup_hooks_.erase(cb);
  }
}

RunCleanup 中同时处理了 SetImmediate、SetImmediateThreadsafe、 RequestInterrupt 产生的任务和注册的退出前回调。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2022-12-02,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 编程杂技 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
如何实现一个 APM watchdog
Hello,大家好,之前说不打算更新公众号了,后面有时间的话还是会偶尔更新下,记录和分享下一些技术相关的内容,今天分享下如何实现一个 APM watchdog。
theanarkh
2023/10/30
2830
如何实现一个 APM watchdog
nodejs之启动源码解析浅析
int main(int argc, char *argv[]) { #if defined(__linux__) char** envp = environ; while (*envp++ != nullptr) {} Elf_auxv_t* auxv = reinterpret_cast<Elf_auxv_t*>(envp); for (; auxv->a_type != AT_NULL; auxv++) { if (auxv->a_type == AT_SECURE) {
theanarkh
2019/03/19
2.6K0
nodejs之启动源码解析浅析
Node.js 内核的幕后英雄 --- 子线程
前言:Node.js 为人所知的是单线程应用,也为人所知的是底层其实利用了多线程。单线程会使得代码实现上变得容易好理解,但是带来好处的同时,也往往会存在一些限制,这些限制导致在 Node.js 内核中,不得不引入其他子线程,最终形成多线程。本文介绍 Node.js 中的这些幕后英雄。
theanarkh
2022/03/30
1.6K0
Node.js 内核的幕后英雄 --- 子线程
鸿蒙(HarmonyOS)安全和高效的使用N-API开发Native模块
N-API 是 Node.js Addon Programming Interface 的缩写,是 Node.js 提供的一组 C++ API,封装了 V8 引擎 的能力,用于编写 Node.js 的 Native 扩展模块。通过 N-API,开发者可以使用 C++ 编写高性能的 Node.js 模块,同时保持与 Node.js 的兼容性。
小帅聊鸿蒙
2024/07/24
4910
鸿蒙(HarmonyOS)安全和高效的使用N-API开发Native模块
Node.js 子线程 crash 问题的排查
前言:昨天碰到了一个 worker_threads crash 的问题,最终经过阅读源码和调试找到了具体原因。不得不说,阅读源码是解决问题的非常有效的方法。
theanarkh
2022/07/01
7750
Node.js 的 trace events 架构
前言:trace 系统用于收集内核的数据,本文介绍在 Node.js 中 trace 的架构和实现,因为 Node.js 的 trace 系统是基于 V8 的,所以也会介绍 V8 部分。因为实现细节比较多,逻辑也比较复杂,有兴趣的同学可以配合源码一起阅读或者看一下前面的相关文章。
theanarkh
2022/03/30
1.3K0
Node.js 的 trace events 架构
libuv线程池和主线程通信原理
代码很简单,就是设置一下async_io_watcher的fd和回调,在epoll_wait返回的时候用到。再看uv__io_start。
theanarkh
2020/01/15
1.5K0
HarmonyOS 开发实践 —— C++子线程与UI主线程通信方案
ArkTS是单线程的,其通过事件循环机制来处理异步任务,这一特性,同样也深入影响了Node-API的模块开发。在Native线程中既要保证没有多线程问题,又要保证任务的正确执行。
小帅聊鸿蒙
2024/12/20
2760
深入理解Node.js的Async hooks
前言:虽然Async hooks至此还是实验性API,但是他的确可以解决应用中的一些问题,比如日志和调用栈跟踪。本文从应用和原理方便介绍一下Node.js的Async hooks。
theanarkh
2021/08/24
1.7K0
深入理解Node.js的Async hooks
深入nodejs的event-loop
event loop是指由libuv提供的,一种实现非阻塞I/O的机制。具体来讲,因为javascript一门single-threaded编程语言,所以nodejs只能把异步I/O操作的实现(非阻塞I/O的实现结果的就是异步I/O)转交给libuv来做。因为I/O既可能发生在很多不同操作系统上(Unix,Linux,Mac OX,Window),又可以分为很多不同类型的I/O(file I/O, Network I/O, DNS I/O,database I/O等)。所以,对于libuv而言,如果当前系统对某种类型的I/O操作提供相应的异步接口的话,那么libuv就使用这些现成的接口,否则的话就启动一个线程池来自己实现。这就是官方文档所说的:“事件循环使Node.js可以通过将操作转移到系统内核中来执行非阻塞I / O操作(尽管JavaScript是单线程的)”的意思。
coder2028
2022/10/21
8010
Nodejs探秘:深入理解单线程实现高并发原理
从Node.js进入我们的视野时,我们所知道的它就由这些关键字组成 事件驱动、非阻塞I/O、高效、轻量,它在官网中也是这么描述自己的。 Node.js® is a JavaScript runtime built on Chrome’s V8 JavaScript engine. Node.js uses an event-driven, non-blocking I/O model that makes it lightweight and efficient.
IMWeb前端团队
2019/12/03
1.2K0
Nodejs探秘:深入理解单线程实现高并发原理
Node.js子线程调试和诊断指南
调试、诊断子线程最直接的方式就是像调试、诊断主线程一样,但是无论是动态开启还是静态开启,子线程都不可避免地需要内置一些相关的非业务代码,本文介绍另外一种对子线程代码无侵入的调试方式,另外也介绍一下通过子线程调试主线程的方式。
theanarkh
2021/08/25
1.3K0
Node.js子线程调试和诊断指南
Vue你不得不知道的异步更新机制和nextTick原理
异步更新是 Vue 核心实现之一,在整体流程中充当着 watcher 更新的调度者这一角色。大部分 watcher 更新都会经过它的处理,在适当时机让更新有序的执行。而 nextTick 作为异步更新的核心,也是需要学习的重点。
WahFung
2020/08/22
1.4K0
nodejs之setImmediate源码分析
从上面的代码中我们知道,调用setImmediate函数后,nodejs会把回调和参数存在一个队列里。等待回调。然后处理队列里的每个节点。下面我们看一下处理函数的代码。
theanarkh
2019/03/19
9720
深入理解 Node.js 的 trace_event
前言:trace event 简单来说就是在代码里静态插入埋点,当开启 trace event 的时候,每次经过这些埋点,就会记录执行的相关数据,通过这些数据,我们可以对系统进行分析。Node.js 内核支持 trace event 的功能,并实现了对某些模块的 trace 能力。本文介绍 trace event 在 Node.js 中的实现。
theanarkh
2022/03/30
8730
深入理解 Node.js 的 trace_event
Nodejs探秘:深入理解单线程实现高并发原理
前言       从Node.js进入我们的视野时,我们所知道的它就由这些关键字组成 事件驱动、非阻塞I/O、高效、轻量,它在官网中也是这么描述自己的: Node.js® is a JavaScript runtime built on Chrome’s V8 JavaScript engine. Node.js uses an event-driven, non-blocking I/O model that makes it lightweight and efficient.       于是
用户1097444
2022/06/29
2.5K0
Nodejs探秘:深入理解单线程实现高并发原理
node.js 中的进程和线程工作原理
进程是对正在运行中的程序的一个抽象,是系统进行资源分配和调度的基本单位,操作系统的其他所有内容都是围绕着进程展开的
ACK
2024/09/18
2660
node.js 中的进程和线程工作原理
Node.js 的微任务处理(基于Node.js V17)
前言:Node.js 的事件循环已经老生常谈,但是在 Node.js 的执行流程中,事件循环并不是全部,在事件循环之外,微任务的处理也是核心节点,比如 nextTick 和 Promise 任务的处理。本文介绍 Node.js 中微任务处理的相关内容。网上文章和很多面试题中有很多关于 Promise、nextTick、setTimeout 和 setImmediate 执行顺序的内容。通过本文,让你从原理上理解他们,碰到相关的问题就引刃而解,不再拘泥于背诵和记录。
theanarkh
2021/12/28
8640
Node.js 的微任务处理(基于Node.js V17)
为什么要学习《精进C++》?
在没学习《精进C++》课程完整版上线了之前,大家先来看看下面这段代码。是否上头?挠头?不知所云?
用户9831583
2022/12/04
1.1K0
原 结合源码分析 setTimeout /
环境准备 工具: git/cmake/vscode(安装js和C++插件)/python vscode :https://code.visualstudio.com/Download 编译参考:https://github.com/nodejs/node/blob/master/BUILDING.md 需要注意的是为了调试方便,需要在make命令中开启debug,如果觉得编译过程慢也可以适当调大并发数。 make -d j4 命令行:在根目录输入: gdb node // 调试目标
魂祭心
2018/05/17
1.2K0
相关推荐
如何实现一个 APM watchdog
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档