在使用CUDA加速库时，特别是在使用CUBLAS库进行GPU加速的线性代数运算时，有时我们可能会遇到CUBLAS_STATUS_NOT_INITIALIZED错误。这个错误通常表示CUBLAS库未正确初始化导致的问题。在本篇文章中，我们将深入探讨这个错误的原因，并给出解决方法。
通过前两章对于triton的简单介绍，相信大家已经能够通过从源码来安装triton，同时通过triton提供的language前端写出自己想要的一些计算密集型算子。这章开始，我们通过构建一套比较标准的batch gemm的benchmark，来看看目前这些主流的代码生成工具，高性能模板库，与厂商提供的vendor library的差距。因为只有明确了目前的差距，后期关于针对性的优化才能做到点上。这一章，我将使用一个batch的gemm作为例子，来看看triton目前对其的优化能力。选batch gemm的原因是因为目前的LLM中不可避免会有对应的attention操作，而attention操作中，核心的计算密集型算子就是batch的gemm，如果你能够对batch的gemm有一个很好的优化思路，那么在MLSys中大部分的算子优化类的工作对你来说将不会显得那么无从下手。
Ndarry是Rust编程语言中的一个高性能多维、多类型数组库。它提供了类似 numpy 的多种多维数组的算子。与 Python 相比 Rust 生态缺乏类似 CuPy, Jax 这样利用CUDA 进行加速的开源项目。虽然 Hugging Face 开源的 candle 可以使用 CUDA backend 但是 candle 项瞄准的是大模型的相关应用。本着自己造轮子是最好的学习方法，加上受到 Karpathy llm.c 项目的感召（这个项目是学习如何编写 CUDA kernel 的最好参考之一），我搞了一个 rlib 库给 NdArray 加上一个跑在 CUDA 上的矩阵乘法。ndarray-linalg 库提供的点乘其中一个实现（features）是依赖 openblas 的，对于低维的矩阵性能可以满足需求，但是机器学习，深度学习这些领域遇到的矩阵动辄上千维，openblas 里古老的优化到极致的 Fortran 代码还是敌不过通过并行性开挂的CUDA。
矩阵乘法是神经网络中最基础、最重要的一个运算。在用CUDA实现矩阵乘法时，不需要我们手动写，cuBLAS库提供了现成的矩阵乘法算子，例如cublasGemmEx和cublasLtMatmul。其中后者是轻量级版本，API调用更灵活。例如对于整数乘法，cublasLtMatmul支持int8的输入输出，而cublasGemmEx只支持int8输入，int32输出。
到 https://developer.nvidia.com/cuda-downloads (旧：URL )去下载。在安装的时候一定要自定义安装，否则将会安装很多无用的东西。安装的选项，可以选择不更新驱动程序。
CUDA 并行计算平台可以使用 C++、Fortran 和 Python 进行编程，但该公司正在寻找其他人来运行其 GPU。
嗨，我们要开始了。我叫马修·尼斯利。我是NVIDIA的深度学习compiler PM，今天我将介绍一些针对NVIDIA Tensorcores的使用方法。首先我要讲一下Cutlass。我会给你一些背景和概述，为什么你可能会使用它，一些最新和即将推出的功能，然后我会概述一下开放平台Triton。如果你刚刚参加了上一场讲座的话那你已经是懂哥了。
这篇文章来解析一下Megaton-LM涉及到的一个优化gradient_accumulation_fusion。这里fusion的意思是在gemm接口中会将当前的结果累加到先前计算的梯度上，所有这些都在一个操作中完成，可以避免多次访问global memory提升算子的带宽。下面解析一下这个优化的调度逻辑和cuda实现。
/home/user4/anaconda3/lib/python3.7/site-packages/torch/include/ATen/cuda/CUDAContext.h:7:10: fatal error: cublas_v2.h: No such file or directory #include <cublas_v2.h> ^~~~~~~~~~~~~compilation terminated.error: command '/usr/bin/nvcc' failed with
本文是对 https://arxiv.org/abs/2108.13191 这篇论文进行解读，学习一下如何基于MLIR编译器基础设施生成高效的GPU代码。本文的阅读的先后顺序分别为：
Tensor Core，也是Volta架构里面最重磅的特性。 Tensor Core实际上是一种矩阵乘累加的计算单元。矩阵乘累加计算在Deep Learning网络层算法中，比如卷积层、全连接层等是
AI 研习社按，日前，阿里机器翻译团队和 PAI 团队发表博文，阐述将 TVM 引入 TensorFlow，可以带来至少 13 倍的 batch 矩阵相乘（matmul）加速。雷锋网 AI 研习社将原文编译整理如下：
在前沿AI大模型规模呈指数级增长的趋势下，仅凭单卡已经很难满足当下的推理需求。 就拿拥有1750亿参数的GPT-3来说。 仅仅是加载模型参数就需要数百GB的存储空间，远超单个GPU的容纳能力。 因此，多卡并行被视为AI大模型推理的必然选择。 但现有的推理系统仍旧存在不少弊端。 比如需要用户对通信、内存等各部分协作进行手动管理，需要额外编译等……导致用户使用门槛居高不下。 为此，大规模并行AI训练系统Colossal-AI团队提出了大模型推理系统Energon-AI。 以“高性能、高可用、可伸缩”的理念，深
2017 年 12 月 Google 在论文「Attention is All You Need」中首次提出了 Transformer，将其作为一种通用高效的特征抽取器。至今，Transformer 已经被多种 NLP 模型采用，比如 BERT 和 XLNet，这些模型在多项 NLP 任务中都有突出表现。
搭建local GPT：https://github.com/PromtEngineer/localGPT ==》本地版的 GPT，可以下載 source code
1.切换为集成显卡 image.png 如果没有，那么先切换到字符界面 2.卸载驱动 sudo apt-get --purge remove nvidia* sudo apt autoremove To remove CUDA Toolkit: $ sudo apt-get --purge remove "*cublas*" "cuda*" To remove NVIDIA Drivers: $ sudo apt-get --purge remove "*nvidia*" 3.然后重装驱动
目前绝大多数LLM模型都是python实现的，运行速度有限（包括ChatGLM2-6b)，幸好有大神将其用C++重写了一遍，让运行速度大大提高。
支持Linux和Windows平台CPU和GPU运算，对mac和手机终端也有相应支持。
text-generation-webui 是一个基于Gradio的LLM Web UI开源项目，可以利用其快速搭建各种文本生成的大模型环境。
CUDA 是“Compute Unified Device Architecture (计算统一设备架构)”的首字母缩写。CUDA 是一种用于并行计算的 NVIDIA 架构。使用图形处理器也可以提高 PC 的计算能力。
这段时间除了开发算子之外，还在做一些推荐系统相关的工作，这期间主要看的是HugeCTR的代码，其性能优异，系统不复杂，代码结构较扁平，整体还是比较清晰。在这段时间看源码的过程中也算是对HugeCTR有一点了解，这篇博客主要梳理下HugeCTR代码的结构，以及他在MLPERF中做的一些优化。
0.导语1.Caffe源码编译1.0 NVIDIA与Anaconda31.1 GCC与G++降级1.2 cuda 9.01.3 cuDNN1.4 caffe-gpu源码编译1.5 python库安装1.6 编译1.7 环境变量1.8 导包测试2.caffe-cifar10测试2.1 获取数据集2.2 转换数据集格式2.3 训练及测试3.Caffe-C3D3.1 下载及配置3.2 安装库与编译4.C3D-cifar10测试4.1 获取数据集4.2 转换数据集格式4.3 训练及测试
这个包添加了对CUDA张量类型的支持，它实现了与CPU张量同样的功能，但是它使用GPU进计算。
选自 OpenAI 作者：Durk Kingma、Scott Gray、Alec Radford 机器之心编译 参与：黄小天、刘晓坤 近日，OpenAI 在其一篇题为《Block-Sparse GPU Kernels》的博文中发布了一个低级别神经网络架构的高度优化 GPU 内核，并且这个神经网络带有「块稀疏」（block-sparse）权重。根据已选的稀疏性，这些内核可以比 cuBLAS 或 cuSPARSE 运行快几个数量级，并在文本情感分析与文本、图像生成建模方面取得了当前最优结果。机器之心对博文进行了
如果系统没有安装 gcc 则会提示 command not found。这时要先安装 gcc。
2）将 BERT 的推理时间缩短到了 2.2 毫秒（10 毫秒已经是业界公认的高水平）；
Release Notes :: CUDA Toolkit Documentation
上文提到显卡驱动和CUDA的安装，你们真的因为一切这么流畅么？当然不是，不然我也不会说是“踩坑”之旅了，因为驱动下错了，就搞了半天，这里记录一下如何卸载驱动和CUDA。
TSN是”temporal-segment-networks”的简称，是视频动作识别任务里面当前最好的方法。虽然这个结构是在ECCV2016的论文里面提出来的，代码也放出来挺长时间了，但是这个项目里面集合了Caffe， OpenCV，CUDA，CUDNN等几大神坑项目，不同版本之间的依赖、选择等问题很麻烦，因此我之前编译了好几次都没有能够编译成功。这次花了近一天的时间来重新编译了一下整个项目，虽然还是有些问题，例如MPI编译没有通过，CUDA8貌似不支持，CuDNN v5好像也不支持，但最后总算是编译通过，可以运行了。所以记录一下整个的过程，期望对自己和别人能够有所帮助。
上一章的反响还不错，很多人都私信催更想看Triton的具体优化有哪些，为什么它能够得到比cuBLAS更好的性能。大家不用急，这也是我为什么要写这一系列文章的初衷，来带着大家从Triton的DSL前端一步一步到最终的machine code生成有一个清晰的理解，从而为大家展示编译在高性能计算中所起到的作用。先来看看openai对Triton所打的广告:
今日，NVIDIA正式宣布可以在官网下载CUDA9.0RC版本，肯定有不少CUDA开发者很想知道CUDA9.0版本到底增加了哪些新的功能。 总的来说，就是这样三点： 支持下一代NVIDIA gpu
无论你喜欢或不喜欢，深度学习就在这里等着你来学习，伴随着技术淘金热而来的过多的可选项，让新手望而生畏。
英伟达不同时代产品的芯片设计不同，每代产品背后有一个微架构代号，微架构均以著名的物理学家为名，以向先贤致敬。当前比较火热的架构有：
扎克伯格亲自宣布，PyTorch基金会已新鲜成立，并归入Linux基金会旗下，管理委员会成员，包括Meta、AMD、AWS、谷歌云、微软和英伟达。Meta表示，PyTorch成功背后的驱动力，是开源社区充满活力的持续增长。成立基金会将确保社区成员以透明和公开的方式作出决定。
最近需要用GPU来进行tensorflow进行训练，发现需要安装cuda 9.0版本才可以，因为tensorflow默认的就是cuda 9.0，为了减少对tensorflow源码进行重构的时间，将之前的cuda8.0版本进行了卸载，然后再安装cuda 9.0
An application can mix runtime API code with driver API code.
AI 科技评论按：本文转自微信公众号 医AI (med-ai)， 来源：arXiv.org，论文作者：Shaohuai Shi, Qiang Wang, Pengfei Xu, Xiaowen Chu，译者：吴博, Elaine, Melody 在 2016 年推出深度学习工具评测的褚晓文团队，赶在猴年最后一天，在 arXiv.org 上发布了最新的评测版本。这份评测的初版，通过国内AI自媒体的传播，在国内业界影响很大。在学术界，其反响更是非同一般。褚晓文教授在1月5日的朋友圈说David Patterso
机器之心发布 机器之心编辑部 这应该是业界第一款完整支持 Transformer、GPT 等多种模型高速推理的开源引擎。 2017 年 Google 提出了 Transformer [1] 模型，之后在它基础上诞生了许多优秀的预训练语言模型和机器翻译模型，如 BERT [2] 、GPT 系列[13]等，不断刷新着众多自然语言处理任务的能力水平。与此同时，这些模型的参数量也在呈现近乎指数增长（如下图所示）。例如最近引发热烈讨论的 GPT-3 [3]，拥有 1750 亿参数，再次刷新了参数量的记录。 如此巨大
新智元报道 来源：research.fb.com 编译：文强 【新智元导读】Facebook今天宣布发布Tensor Comprehensions，能够自动将数学符号快速转换成高性能机器学习代码，将原本几天乃至几周的过程缩短为几分钟，大幅提高生产力。Facebook AI Research（FAIR）今天宣布发布Tensor Comprehensions，这是一个C++库和数学语言，旨在帮助弥合研究人员和工程师在从事机器学习任务时，在沟通上的差距；研究人员习惯使用数学运算，而工程师则专注在不同的硬件
来源丨https://zhuanlan.zhihu.com/p/669610362
论文《ByteTransformer: A High-Performance Transformer Boosted for Variable-Length》提出了字节跳动的 GPU Transformer 推理库 ——ByteTransformer。针对自然语言处理常见的可变长输入，论文提出了一套优化算法，这些算法在保证运算正确性的前提下，成功避免了传统实现中的冗余运算，实现了端到端的推理过程的大幅优化。另外，论文中还手动调优了 Transformer 中的 multi-head attention, layer normalization, activation 等核心算子， 将 ByteTransformer 的推理性提升至业界领先水平。与 PyTorch, TensorFlow, NVIDIA FasterTransformer, Microsoft DeepSpeed-Inference 等知名的深度学习库相比，ByteTransformer 在可变长输入下最高实现 131% 的加速。论文代码已开源。
1、 首先先安装Ubuntu17.10 过程略 只是建议在这个部分为了实践方便，请安装Desktop版本。 2、 安装与配置Python、Pip 这种情况属于python3版本已经安装，安装的是3.6
本文介绍了OpenAI研究团队在神经网络稀疏计算方向上的最新研究成果，主要围绕稀疏计算内核、微缩的LSTM、压缩任务的表现、以及未来的研究方向等方面展开。
在 iPhone 上运行 Stable Diffusion 到底难不难？今天我们要介绍的这篇文章，作者给出了答案：不难，而且 iPhone 还剩余 50% 的性能。
许多初学者觉得深度学习框架抽象，虽然调用了几个函数/方法，计算了几个数学难题，但始终不能理解这些框架的全貌。 为了更好地认识深度学习框架，也为了给一些想要自己亲手搭建深度学习框架的朋友提供一些基础性的指导，日前来自苏黎世联邦理工学院计算机科学系的硕士研究生Gokula Krishnan Santhanam在博客上撰文，概括了大部分深度学习框架都会包含的五大核心组件，为我们详细剖析了深度学习框架一般性的内部组织结构。以下由AI科技评论编译。 Gokula Krishnan Santhanam认为，大部分深度学
英特尔(Intel)上周就这么做了，将两款最昂贵的cpu与英伟达(NVIDIA) gpu的推理性能进行了比较。
本篇文章聊聊网上聊的比较少的具体量化操作，非常见整型位数的量化，来自让各种开源模型能够在 CPU 环境、CPU & GPU 环境混合推理的技术方案：llama.cpp 。
作为一名 AI 技术从业者，你是否经常遇到这样的问题： 好不容易搞懂了一种 AI 算法，代码也写好了，结果 CPU 算力吃紧，跑不起来； 好不容易入门了一种开源框架，模型也搭好了，结果运行了半天，进度
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议
