首页
学习
活动
专区
圈层
工具
发布

#内存

58: vLLM 核心模块逐文件:kv_cache.py

安全风信子

作者:HOS(安全风信子) 日期:2026-01-21 来源平台:GitHub 摘要: 本文深入剖析 vLLM 核心缓存模块 kv_cache.py,揭示...

500

53. vLLM 核心模块逐文件:block_manager.py

安全风信子

作者:HOS(安全风信子) 日期:2026-01-21 来源平台:GitHub 摘要: 本文深入解析vLLM核心模块block_manager.py,揭示...

100

52. vLLM 核心模块逐文件:scheduler.py

安全风信子

作者:HOS(安全风信子) 日期:2026-01-21 来源平台:GitHub 摘要: 本文深入解析vLLM调度器核心模块scheduler.py,揭示其...

500

CANN 运行时系统深度解析:从 .om 加载到 NPU 执行的全链路剖析

晚霞的不甘

这一过程必须低延迟、高可靠、可并发。本文将揭开 CANN Runtime 的内部工作机制。

2010

守护智能边界:CANN 的 AI 安全机制深度解析

晚霞的不甘

在金融风控、身份认证、军事安防等场景中,这类风险不可接受。 CANN(Compute Architecture for Neural Networks) 不...

2600

CANN 实战:构建高并发智能视频分析系统

晚霞的不甘

相关资源链接 cann组织链接:cann组织 ops-nn仓库链接:ops-nn仓库

1400

揭秘 CANN 内存管理:如何让大模型在小设备上“轻装上阵”?

晚霞的不甘

在 CANN(Compute Architecture for Neural Networks)架构中,内存管理不是简单的“分配-释放”,而是一套基于计算图拓扑...

1200

CANN 编译器深度解析(一):从 ONNX 到 CANN IR 的图优化全流程

晚霞的不甘

相关资源链接 cann组织链接:cann组织 ops-nn仓库链接:ops-nn仓库 当你运行:

2700

多模态大模型落地实战:CANN 如何加速 Vision-Language 推理?

晚霞的不甘

通用推理框架往往在此类任务中“力不从心”。而 CANN(Compute Architecture for Neural Networks) 凭借其全栈协同设...

3600

CANN 实战:自然语言处理(NLP)全链路加速指南

晚霞的不甘

传统通用推理引擎常在此类任务中“水土不服”。而 CANN(Compute Architecture for Neural Networks) 通过一系列 NLP...

1700

深入 CANN 图编译引擎:如何让神经网络“跑得更快、吃得更少”?

晚霞的不甘

CANN 的内存调度器会分析每个张量的生命周期,尽可能复用内存块。同时,它会将 NCHW 格式自动转换为硬件友好的 NHWC 或 FRAC_Z 等内部布局,提升...

1500

Flutter + OpenHarmony 性能优化全链路指南:从启动加速到帧率稳定,打造丝滑鸿蒙体验

晚霞的不甘

本文提供一套覆盖启动、渲染、内存、功耗四大维度的全链路性能优化方案,结合 Flutter 最佳实践 + OpenHarmony 特性适配,助你达成:

3200

[鸿蒙2025领航者闯关]Flutter + OpenHarmony 性能调优实战:打造 60fps 流畅体验与低功耗的鸿蒙应用

晚霞的不甘

更严峻的是,低端设备(如入门级手表)内存仅 128MB,而 Flutter 默认内存占用约 80–120MB。

2300

CANN:迈向 AI 原生计算的新范式

晚霞的不甘

答案显而易见——是的。CPU 和 GPU 最初并非为神经网络而生。它们的指令集、内存层次和调度机制,都是对 AI 工作负载的“妥协适配”。

2600

CANN 编译器深度解析:UB、L1 与 Global Memory 的协同调度机制

晚霞的不甘

NPU 的 Cube 单元理论算力高达 256 TFLOPS(FP16),但若数据供给不足,实际利用率可能低于 20%。

2200

关于 Go、Rust 和 Zig 的一些想法(译)

JanYork_简昀

再加上 Go 会替你管理内存,你的 slice 底层那块数组究竟在栈上还是堆上,由 Go 来决定;而在 Rust 或 Zig 里,你得更费力地思考内存到底“住”...

9410

4:Youtu-Parsing 文档解析模型:2B参数的文档智能解析技术深度解析

安全风信子

作者: HOS(安全风信子) 日期: 2026-02-03 主要来源平台: ModelScope 摘要: 本文深入解析腾讯优图实验室开源的Youtu-Pa...

11310

MySQL 优化从库延迟的一些思路

爱可生开源社区

如果内存空间不足的话,可以适当调整 change buffer 的比例(前提是无读,正常情况下延迟库均为无业务连接)。

7110

Memcache-基本介绍和入门

运维小路

内存存储:所有数据都存储在内存中,读写速度极快(毫秒级),但重启 Memcached 服务或服务器宕机后,数据会全部丢失(非持久化)。

11210

Redis-数据持久化(RBD)

运维小路

前面介绍Redis的各种特性和集群部署方式,Redis虽然作为内存数据库,但是他还是有一定的持久化需求的,接下来两个小节,我们就来介绍Redis的两种持久化方式...

11110
领券