首页
学习
活动
专区
圈层
工具
发布

#cuda

CUDA Green Contexts把关键内核延迟从0.140毫秒压到0.007毫秒

YourTools

NVIDIA详解Green Contexts机制,通过静态划分SM资源,让GPU上的关键任务不再受批量任务抢占影响,延迟从毫秒级降到微秒级。

13310

关于并行的定律与Python编程性能分析工具

Shalom听雨来

阿姆达尔定律由G.M. Amdahl在1967年提出,用于描述并行处理系统的加速比。其核心思想是:系统的加速比受限于程序中必须串行执行的部分。公式如下:

14110

纯 .NET 手写 CUDA kernel,GLM-5.3-Flash decode 跑出 llama.cpp 的 2 倍

张善友

如果你所在的团队是 .NET 技术栈,又想把大模型推理收进自己的进程里,这篇文章值得你花五分钟。

81710

复现 GitHub 深度学习项目,先别急着装依赖

论文复现现场

从 GitHub 拉一个深度学习项目下来,最容易踩的坑不是代码看不懂,而是环境看起来都对,跑起来却总差一点。

20110

CUDA 护城河崩了 !Claude独自跑通AMD新GPU

Amusi

一句话,一个周末,Claude直接把自家最前沿的模型跑在了一台全新的AMD MI355X机架上!

45510

凯哥讲 AI | Claude 打穿 CUDA 的深度解读:从 All In AI 到 All By AI

凯哥

Claude 一个周末跑通 AMD 新 GPU 之后,真正崩塌的不是 CUDA,而是工业时代关于行业、组织、知识、时间、技术与工程边界的旧假设。

38010

对标英伟达彻底摊牌!AMD Helios硬核革新:架构合并+CUDA级生态突围

GPUS Lady

近期AMD年度AI盛会Advancing AI 2026正式开启,重磅发布全新高端AI集群系统Helios,同时官宣与Anthropic达成50亿美元深度合作协...

53510

CUDA 编程:Tensor Core 与混合精度 GEMM

Michael阿明

30800

ollama v0.32.3发布:模型下载卡顿修复、Windows ARM64 CUDA支持、Laguna工具调用全面升级

福大大架构师每日一题

2026年7月24日,ollama 发布 v0.32.3 版本。本次更新覆盖模型下载、模型集成、GPU 支持、推理引擎、工具调用、聊天能力、命令行与终端交互等多...

71810

CUDA 编程:cuBLAS SGEMM 与手写矩阵乘法性能对比

Michael阿明

矩阵乘法(GEMM, General Matrix Multiplication)是 GPU 计算中最重要的算子之一。

30210

CUDA编程:Histogram 直方图统计与 Atomic 优化

Michael阿明

它在图像处理、推荐系统、日志统计、token 分布统计、排序预处理、采样分析中都非常常见。

23600

Windows平台下CUDA安装及llama.cpp使用教程

王瑞MVP

本文将详细讲解Windows平台下,如何安装与NVIDIA RTX显卡匹配的CUDA工具包,并正确配置、使用llama.cpp加载大模型,实现模型高效运行(将模...

2.7K10

CUDA 编程:Parallel Prefix Sum / Scan 并行前缀和

Michael阿明

所以它天然是链式依赖,不能像 vector add 那样每个线程独立计算一个元素。

31600

CUDA编程:Parallel Reduction 并行归约与 Warp Shuffle 优化

Michael阿明

注意:本实验计时主要是 GPU kernel 计算时间,不包含完整 H2D/D2H 端到端时间。

38000

CUDA 编程:Occupancy、Block Size 与 Kernel 启动配置调优

Michael阿明

前面我们已经看到:TILE、blockDim、shared memory、bank conflict 都会影响性能。

44710

用Rust写GPU内核:CUDA-Oxide完整开发流程与性能优化指南

GPUS Lady

CUDA-Oxide是一套基于Rust语言开发的NVIDIA GPU并行计算开发工具链,区别于传统用C/C++编写CUDA显卡并行程序的方式,它可以让开发者直接...

49110
领券