模型 - 标签 - 腾讯云开发者社区-腾讯云

文章/答案/技术大牛

发布

首页标签模型

#模型

57: vLLM 核心模块逐文件：sampling.py

安全风信子 6小时前2026-02-10 08:33:40

作者：HOS(安全风信子) 日期：2026-01-21 来源平台：GitHub 摘要：本文深入剖析 vLLM 核心采样模块 sampling.py，揭示...

1000

56. vLLM 核心模块逐文件：api_server.py

安全风信子 6小时前2026-02-10 08:30:16

作者：HOS(安全风信子) 日期：2026-01-21 来源平台：GitHub 摘要：本文深入剖析vLLM推理引擎中的api_server.py模块，作...

300

54. vLLM 核心模块逐文件：model_runner.py

安全风信子 6小时前2026-02-10 08:25:19

作者：HOS(安全风信子) 日期：2026-01-21 来源平台：GitHub 摘要：本文深入解析vLLM核心模块model_runner.py，揭示其...

600

52. vLLM 核心模块逐文件：scheduler.py

安全风信子 6小时前2026-02-10 08:18:46

作者：HOS(安全风信子) 日期：2026-01-21 来源平台：GitHub 摘要：本文深入解析vLLM调度器核心模块scheduler.py，揭示其...

1000

51. vLLM 核心模块逐文件：engine.py

安全风信子 6小时前2026-02-10 08:16:10

作者：HOS(安全风信子) 日期：2026-01-21 来源平台：GitHub 摘要：本文深入解析vLLM引擎核心模块engine.py，通过源码精读揭...

900

Spring AI系列之RAG（检索增强生成）从原理到实战指南

SmileNicky 6小时前2026-02-10 08:11:13

RAG的工作流程可以分为两大阶段：离线索引（Indexing）和在线检索生成（Retrieval & Generation）。

800

CANN 运行时系统深度解析：从 .om 加载到 NPU 执行的全链路剖析

晚霞的不甘 21小时前2026-02-09 17:32:11

这一过程必须低延迟、高可靠、可并发。本文将揭开 CANN Runtime 的内部工作机制。

2810

CANN 能效分析：如何实现 10 TOPS/W 的极致能效比

晚霞的不甘 21小时前2026-02-09 17:29:42

当一台边缘 AI 盒子部署在无风扇的配电柜中，或一辆无人配送车需连续运行 12 小时，性能不再是唯一目标——能效才是生存底线。

2100

用 CANN 部署大语言模型（LLM）实战指南：让百亿参数“跑”在国产硬件上

晚霞的不甘 21小时前2026-02-09 17:20:51

本文将带你完成一次完整的 LLM 部署实战——以 Llama-2-7B 为例，展示如何利用 CANN 实现：

1710

守护智能边界：CANN 的 AI 安全机制深度解析

晚霞的不甘 21小时前2026-02-09 17:19:30

在金融风控、身份认证、军事安防等场景中，这类风险不可接受。 CANN（Compute Architecture for Neural Networks）不...

3000

CANN 实战：构建高并发智能视频分析系统

晚霞的不甘 21小时前2026-02-09 17:19:25

相关资源链接 cann组织链接：cann组织 ops-nn仓库链接：ops-nn仓库

2100

揭秘 CANN 内存管理：如何让大模型在小设备上“轻装上阵”？

晚霞的不甘 21小时前2026-02-09 17:19:01

在 CANN（Compute Architecture for Neural Networks）架构中，内存管理不是简单的“分配-释放”，而是一套基于计算图拓扑...

1210

深入理解 CANN：为 AI 量身打造的异构计算架构

晚霞的不甘 21小时前2026-02-09 17:18:55

cann组织链接：https://atomgit.com/cann ops-nn仓库链接：https://atomgit.com/cann/ops-nn

3100

Flutter for OpenHarmony3D DNA 螺旋可视化：用 Canvas 构建沉浸式分子模型

晚霞的不甘 21小时前2026-02-09 17:12:14

欢迎加入开源鸿蒙跨平台开发者社区，获取最新资源与技术支持： 👉 开源鸿蒙跨平台开发者社区

2210

CANN 技术全景图：构建自主可控的 AI 全栈底座

晚霞的不甘 21小时前2026-02-09 16:56:45

CANN（Compute Architecture for Neural Networks）正是围绕这三大命题，构建了一套覆盖 “芯片 → 驱动 → 编译器...

1410

CANN 编译器深度解析（一）：从 ONNX 到 CANN IR 的图优化全流程

晚霞的不甘 21小时前2026-02-09 16:56:17

这些优化不是魔法，而是一套精密的基于规则与成本模型的图重写系统。本文将带你走进 ATC 的内部，理解它如何“读懂”模型并“重塑”计算。

2700

CANN × ROS 2：为智能机器人打造实时 AI 推理底座

晚霞的不甘 21小时前2026-02-09 16:53:55

而这些任务往往运行在功耗 ≤ 30W、内存 ≤ 16GB 的嵌入式平台上。通用 CPU 或 GPU 方案要么性能不足，要么功耗超标。 CANN（Comp...

1710

多模态大模型落地实战：CANN 如何加速 Vision-Language 推理？

晚霞的不甘 21小时前2026-02-09 16:53:45

通用推理框架往往在此类任务中“力不从心”。而 CANN（Compute Architecture for Neural Networks）凭借其全栈协同设...

3610

CANN 实战：自然语言处理（NLP）全链路加速指南

晚霞的不甘 21小时前2026-02-09 16:48:26

传统通用推理引擎常在此类任务中“水土不服”。而 CANN（Compute Architecture for Neural Networks）通过一系列 NLP...

2700

深入 CANN 图编译引擎：如何让神经网络“跑得更快、吃得更少”？

晚霞的不甘 21小时前2026-02-09 16:48:20

现代深度学习框架（如 PyTorch、TensorFlow）在运行时通常以动态图或静态图形式表示模型。这些图由大量基础算子（Op）组成，例如：

1910

#模型

57: vLLM 核心模块逐文件：sampling.py

56. vLLM 核心模块逐文件：api_server.py

54. vLLM 核心模块逐文件：model_runner.py

52. vLLM 核心模块逐文件：scheduler.py

51. vLLM 核心模块逐文件：engine.py

Spring AI系列之RAG（检索增强生成）从原理到实战指南

CANN 运行时系统深度解析：从 .om 加载到 NPU 执行的全链路剖析

CANN 能效分析：如何实现 10 TOPS/W 的极致能效比

用 CANN 部署大语言模型（LLM）实战指南：让百亿参数“跑”在国产硬件上

守护智能边界：CANN 的 AI 安全机制深度解析

CANN 实战：构建高并发智能视频分析系统

揭秘 CANN 内存管理：如何让大模型在小设备上“轻装上阵”？

深入理解 CANN：为 AI 量身打造的异构计算架构

Flutter for OpenHarmony3D DNA 螺旋可视化：用 Canvas 构建沉浸式分子模型

CANN 技术全景图：构建自主可控的 AI 全栈底座

CANN 编译器深度解析（一）：从 ONNX 到 CANN IR 的图优化全流程

CANN × ROS 2：为智能机器人打造实时 AI 推理底座

多模态大模型落地实战：CANN 如何加速 Vision-Language 推理？

CANN 实战：自然语言处理（NLP）全链路加速指南

深入 CANN 图编译引擎：如何让神经网络“跑得更快、吃得更少”？

热门专栏

腾讯云 DNSPod 团队

腾讯开源的专栏

腾讯云服务器团队的专栏

云鼎实验室的专栏

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐