C++高性能多线程任务队列系统的实现，可以写进简历

内容来自：程序员老廖

0. 需求

1. 项目功能概述

这是一个高性能的多线程任务队列系统，主要提供以下功能：

1. 支持多个命名任务队列的创建和管理
2. 支持异步任务的提交和执行
3. 支持延迟任务的调度
4. 保证任务的FIFO（先进先出）顺序执行
5. 支持多线程并发提交任务
6. 线程安全的任务管理

开源项目源地址： https://github.com/ouxianghui/task-queue.git

视频讲解：别盯着C++线程池了，来看看C++高性能多线程任务队列系统的实现，可以写进简历的项目

（非老廖开源，老廖这里只是加以分析和改进，让大家更容易掌握）

2 整体设计思路

1. 单例模式设计

• TaskQueueManager 采用单例模式
• 使用 std::once_flag 确保线程安全的初始化
• 通过全局宏 TQMgr 提供便捷访问
• 线程安全考虑
• 使用互斥锁保护队列映射表
• 所有对队列表的操作都是线程安全的
• 使用智能指针管理资源生命周期
• 任务队列管理
• 使用 unordered_map 存储命名任务队列
• 支持动态创建和管理多个队列
• 每个队列都是独立的执行单元

3. 核心组件设计

3.1 系统架构图

不同的队列使用的线程是独立的，可以根据不同的业务投递到对应的队列，比如有些队列专门执行耗时的任务。

3.2 核心组件说明

TaskQueueManager

• 全局单例管理器
• 管理多个命名任务队列
• 提供队列的创建、获取、检查等功能
• 线程安全的队列管理

TaskQueue

• 任务队列的高层封装
• 提供任务提交接口
• 支持普通任务和延迟任务
• 支持Lambda表达式和自定义任务

TaskQueueBase

• 任务队列的底层实现
• 管理任务的实际执行
• 保证任务的FIFO顺序

QueuedTask

• 任务的基类
• 支持自定义任务实现
• 提供任务执行接口

TaskQueueSTD

• 单独的工作线程
• 支持即时任务和延迟任务
• FIFO（先进先出）执行顺序
• 基于事件的任务通知机制
• 线程安全的任务管理

4. 工作流程图

5. 类关系图

6. 关键特性实现

6.1 任务提交

6.2 延迟任务处理

7. 本项目C++新特性使用要点

现代C++特性在项目中的使用原因和优势：

std::unique_ptr 的使用

void postTask(std::unique_ptr<QueuedTask> task);

使用原因：

• 明确所有权语义：任务队列接管任务的所有权
• 防止内存泄漏：智能指针自动管理资源释放
• 避免共享所有权：任务只能被一个队列持有和执行
• 强制移动语义：不能意外地复制任务
• 零开销抽象：性能与原始指针相当

std::move 的使用

pending_queue_.push(std::pair<OrderId, std::unique_ptr<QueuedTask>>(order, std::move(task)));

使用原因：

• 避免不必要的复制：直接转移资源所有权
• 提高性能：减少内存分配和复制操作
• 配合 unique_ptr：实现资源的转移
• 确保资源安全：防止多次释放同一资源

std::forward 的使用

template <class Closure>
void postTask(Closure&& closure) {
    postTask(ToQueuedTask(std::forward<Closure>(closure)));
}

使用原因：

• 完美转发：保持参数的值类别（左值/右值）
• 支持通用引用：使模板更灵活
• 优化性能：避免不必要的复制
• 类型推导：支持不同类型的任务封装

string_view 的使用

TaskQueueSTD(std::string_view queueName);

使用原因：

• 性能优化：避免字符串复制
• 灵活性：可以接受字符串字面量、std::string等多种类型
• 只读访问：明确表明不会修改字符串
• 零开销抽象：不会产生额外的内存分配

其他现代C++特性的使用

a. Lambda表达式

thread_ = std::thread([this]{
    CurrentTaskQueueSetter setCurrent(this);
    this->processTasks();
});

• 简化代码：方便地创建临时函数对象
• 捕获上下文：访问外部变量
• 提高可读性：就地定义行为

b. RAII模式

std::unique_lock<std::mutex> lock(pending_mutex_);

• 资源安全：自动管理资源的生命周期
• 异常安全：确保资源正确释放
• 简化代码：避免手动加锁解锁

c. 类型推导（auto）

auto tick = milliseconds();

• 简化代码：避免冗长的类型声明
• 维护性：类型变化时无需修改代码
• 泛型编程：支持模板和泛型算法

总体设计意图

1. 安全性：

• 使用智能指针避免内存泄漏
• 强制所有权语义防止资源误用
• RAII确保资源正确管理
• 性能：
• 移动语义避免不必要的复制
• string_view减少字符串开销
• 零开销抽象保持高效性
• 可维护性：
• 现代C++特性提高代码可读性
• 类型安全减少错误
• 自动化资源管理简化代码
• 灵活性：
• 模板和完美转发支持多种任务类型
• Lambda表达式简化任务定义
• 通用引用支持不同参数类型

这些特性的使用体现了现代C++的最佳实践，既保证了代码的安全性和性能，又提高了可维护性和灵活性。

视频讲解与源码领取：别盯着C++线程池了，来看看C++高性能多线程任务队列系统的实现，可以写进简历的项目