首页
学习
活动
专区
圈层
工具
发布

#模型

69: 如何参与 vLLM 社区贡献:跨项目协作

安全风信子

通过以上建议的实施,vLLM 的跨项目协作将更加完善,能够更好地与其他开源项目协作,推动大模型推理技术的发展和生态繁荣。

3510

62: 如何参与 vLLM 社区贡献:PR 提交流程

安全风信子

在大模型推理引擎领域,vLLM 凭借其出色的性能和灵活的架构,已成为云厂商和企业级应用的首选解决方案之一。作为一个活跃的开源项目,vLLM 社区每天都有大量的 ...

3910

DBLens for MySQL 2026.2.7版本:自定义模型配置全指南

用户10315074

在DBLens for MySQL 2026.2.7版本中,自定义模型配置是一项重要升级,它允许您根据不同的业务场景、环境需求和团队规范,灵活配置和使用特定的A...

2610

一周 10 万 Star 的 OpenClaw,我花 4 天把它变成了 80+技能的私人全能助手

孟健

腾讯 | 前端开发工程师 (已认证)

1. 模型必须配fallback链。 没有任何一个模型能保证 100%可用。设主力 + 备用 + 兜底,三层保险。不然关键时刻 AI 断线,你比没有 AI 还惨...

46520

免费接入 Stripe,不到 2 小时搞定:OpenCode + K2.5 实操全流程

孟健

腾讯 | 前端开发工程师 (已认证)

今天尝试用 OpenCode 的免费 K2.5 模型接入 Stripe,整个过程非常丝滑,一分钱没花,不到 2 小时就搞定了。

21310

我给自己部署了一个 7×24 小时的 AI 私人助理(Clawdbot 完整部署指南)

孟健

腾讯 | 前端开发工程师 (已认证)

这两天我一直在折腾一个东西:Clawdbot——一个可以部署在服务器上的 AI 私人助理。

29710

57: vLLM 核心模块逐文件:sampling.py

安全风信子

作者:HOS(安全风信子) 日期:2026-01-21 来源平台:GitHub 摘要: 本文深入剖析 vLLM 核心采样模块 sampling.py,揭示...

12410

56. vLLM 核心模块逐文件:api_server.py

安全风信子

在大模型推理时代,API服务器作为连接模型与用户的桥梁,扮演着至关重要的角色。随着LLM应用的普及,用户对推理服务的性能、可靠性和易用性提出了越来越高的要求。v...

10510

54. vLLM 核心模块逐文件:model_runner.py

安全风信子

在2026年的大模型推理生态中,模型执行是系统性能的核心瓶颈之一。随着模型规模的增长和上下文长度的扩展,如何高效执行模型前向计算和采样生成成为了大模型推理系统的...

9310

52. vLLM 核心模块逐文件:scheduler.py

安全风信子

在2026年的大模型推理系统中,调度器扮演着"交通指挥官"的角色,负责管理和调度大量并发请求,决定哪些请求应该被处理、以何种顺序处理、以及如何分配资源。随着模型...

13310

51. vLLM 核心模块逐文件:engine.py

安全风信子

在2026年的大模型推理生态中,engine.py作为vLLM的核心引擎,扮演着"中央处理器"的角色。它连接了用户请求、模型执行、资源管理等各个环节,直接决定了...

9010

Spring AI系列之RAG(检索增强生成)从原理到实战指南

SmileNicky

RAG的工作流程可以分为两大阶段:离线索引(Indexing) 和 在线检索生成(Retrieval & Generation)。

15910

CANN 运行时系统深度解析:从 .om 加载到 NPU 执行的全链路剖析

晚霞的不甘

这一过程必须低延迟、高可靠、可并发。本文将揭开 CANN Runtime 的内部工作机制。

8510

CANN 能效分析:如何实现 10 TOPS/W 的极致能效比

晚霞的不甘

当一台边缘 AI 盒子部署在无风扇的配电柜中,或一辆无人配送车需连续运行 12 小时,性能不再是唯一目标——能效才是生存底线。

13610

用 CANN 部署大语言模型(LLM)实战指南:让百亿参数“跑”在国产硬件上

晚霞的不甘

本文将带你完成一次完整的 LLM 部署实战——以 Llama-2-7B 为例,展示如何利用 CANN 实现:

8810

守护智能边界:CANN 的 AI 安全机制深度解析

晚霞的不甘

CANN(Compute Architecture for Neural Networks) 不仅关注性能,更将安全视为第一优先级。它从芯片、固件、驱动到应用层...

12510

CANN 实战:构建高并发智能视频分析系统

晚霞的不甘

相关资源链接 cann组织链接:cann组织 ops-nn仓库链接:ops-nn仓库

6010

揭秘 CANN 内存管理:如何让大模型在小设备上“轻装上阵”?

晚霞的不甘

在 CANN(Compute Architecture for Neural Networks)架构中,内存管理不是简单的“分配-释放”,而是一套基于计算图拓扑...

5810

深入理解 CANN:为 AI 量身打造的异构计算架构

晚霞的不甘

无论你是在数据中心部署大模型,还是在边缘设备上运行轻量级视觉算法,CANN 都能提供针对性的优化路径。

11410

Flutter for OpenHarmony3D DNA 螺旋可视化:用 Canvas 构建沉浸式分子模型

晚霞的不甘

欢迎加入 开源鸿蒙跨平台开发者社区,获取最新资源与技术支持: 👉 开源鸿蒙跨平台开发者社区

8610
领券