随着深度学习的广泛应用，硬件加速成为了模型训练的重要因素。GPU凭借其强大的并行计算能力，已经成为深度学习训练的首选设备。然而，在不同的操作系统上，由于硬件厂商...

GPUSTACK 是一款专注于 GPU 集群管理的中间件，旨在简化大语言模型（LLMs）及其他 GPU 密集型应用的部署与运行流程。通过统一的集群管理接口，GP...

文章链接：https://arxiv.org/pdf/2510.05580 项目链接：https://stellar-neuron.github.io/met...

在2025年的今天，大语言模型（LLM）已经成为人工智能领域的核心技术之一。从GPT-5到Llama 4，从专业领域应用到消费级产品，LLM正在以前所未有的速度...

随着2025年大语言模型技术的持续突破和规模化应用，计算资源已成为推动AI发展的关键驱动力。从最初的CPU计算，到GPU加速，再到专用AI加速器的崛起，大语言模...

当你需要处理大规模并行任务，特别是涉及GPU集群的场景时，Ray Serve和Celery是两个主要选择。但它们的设计理念完全不同：

曾经在VDI类的Nvidia vGPU场景，每个GPU核心只能采用1种固定切分模式，例如Nvidia A40只有一个GA102的核心，就只能切分一种模式，48G...

从2017年开始，我陆续在这里分享了一些关于内核/虚拟化、存储虚拟化、KV 数据库和操作系统基础组件相关的文章，也收获了不少读者的好评。如果这些内容能在大家的工...

👉 每秒采样 GPU 活跃度、SM 活跃度、PCIe Tx/Rx，直接保存到 CSV。

随着人工智能技术的飞速发展，云计算行业正经历一场深刻的转型，从传统的通用计算迈向智能化、场景化的智算时代。在这场变革中，众多云服务商积极拥抱机遇，构建面向未来的...

随着蛋白质数据库规模的快速增长，对更快、更敏感的同源性搜索工具的需求愈发迫切。研究人员开发了 GPU 加速版 MMseqs2 (MMseqs2-GPU)，在单一...

随着NVIDIA Blackwell GPU架构赋能的Jetson Thor SoC发布，CUDA 13.0通过一系列创新优化，重新定义了嵌入式与边缘AI的开发...

在人工智能，特别是大语言模型（LLM）和基础模型飞速发展的今天，模型的规模和复杂性呈指数级增长，对内存容量和带宽的需求急剧膨胀，传统CPU-DRAM与块存储的两...

“你买的4090多少钱？”、“H100性能真厉害！” ，GPU的价格性能一直是大家乐于谈论的话题，作者也经常可以在茶余饭后听到这样的讨论。在热火朝天地谈论性能指...

CUDA（Compute Unified Device Architecture），是显卡厂商NVIDIA推出的运算平台。CUDA™是一种由NVIDIA推出的通...

大型语言模型（LLM）部署、AI作画、数据科学项目需要强大的GPU算力支持，但动辄上万的硬件投入和维护成本让人望而却步。现在，腾讯云高性能应用服务HAI为您提供...

起初，我在搜索引擎里输入 “GPU 性能测试工具”，结果跳出的全是需要下载安装的软件。有的工具安装包动辄好几百兆，还附带一堆捆绑插件，一不小心就会把电脑弄得乌烟...

在服务器硬件里，CPU和GPU就像两位各司其职的“核心工匠”：一个擅长处理复杂精密的“细活”，一个精通批量高效的“粗活”。很多人知道它们都是“计算引擎”，却分不...

作者：乔克 公众号：运维开发故事 博客：https://jokerbai.com