CUDA是一种通用的并行计算平台和编程模型，可以使用CUDA C/C++编写高性能的GPU加速代码。然而，在使用CUDA进行开发时，有时会遇到"cuda error: device-side assert triggered"的错误。本文将介绍这个错误的原因，以及如何解决它。
在前面的一篇文章中，我们介绍了在C++中使用指针数组的方式实现的一个不规则的二维数组。那么如果我们希望可以在CUDA中也能够使用到这种类似形式的不规则的数组，有没有办法可以直接实现呢？可能过程会稍微有一点麻烦，因为我们需要在Host和Device之间来回的转换，需要使用到很多CUDA内置的cudaMalloc和cudaMemcpy函数，以下做一个完整的介绍。
在前一篇文章中，我们介绍了如何使用 GPU 运行的并行算法。这些并行任务是那些完全相互独立的任务，这点与我们一般认识的编程方式有很大的不同，虽然我们可以从并行中受益，但是这种奇葩的并行运行方式对于我们来说肯定感到非常的复杂。所以在本篇文章的Numba代码中，我们将介绍一些允许线程在计算中协作的常见技术。
PU（图形处理单元）最初是为计算机图形开发的，但是现在它们几乎在所有需要高计算吞吐量的领域无处不在。这一发展是由GPGPU(通用GPU)接口的开发实现的，它允许我们使用GPU进行通用计算编程。这些接口中最常见的是CUDA，其次是OpenCL和最近刚出现的HIP。
在处理大规模数据集或进行复杂计算时，利用 GPU 进行加速是一种常见的优化手段。NumPy 提供了一些工具和技术，可以方便地在 GPU 上执行计算。在本篇博客中，我们将深入介绍 NumPy 中的 GPU 加速，并通过实例演示如何应用这些技术。
使用纹理坐标（x，y，z）从绑定到二维纹理参考texRef的CUDA数组中提取数据。 详细程度由级别给出。 Type与DataType相同，除非readMode是cudaReadModeNormalizedFloat（请参阅Texture Reference API），在这种情况下，Type是相应的浮点类型 tex3DGrad()：
https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/index.html 来阅读原文。
在使用CUDA进行GPU加速的过程中，有时候会遇到类似于"CUDA error: an illegal memory access was encountered"这样的错误信息。这个错误常常涉及到对GPU内存访问的问题，通常是由于访问了未分配或已释放的内存导致的。
持续创作，加速成长！这是我参与「掘金日新计划 · 10 月更文挑战」的第1天，点击查看活动详情
获取GPU卡信息 这也是任何cuda程序的第一步,检查有没有卡,以及卡的计算能力等;使用cudaGetDeviceCount() cudaGetDeviceProperties()等API来获取信息
3.2.11.3. CUDA Arrays CUDA arrays are opaque memory layouts optimized for texture fetching. They are one dimensional, two dimensional, or three-dimensional and composed of elements, each of which has 1, 2 or 4 components that may be signed or unsigned 8-
在前三部分中我们介绍了CUDA开发的大部分基础知识，例如启动内核来执行并行任务、利用共享内存来执行快速归并、将可重用逻辑封装为设备函数以及如何使用事件和流来组织和控制内核执行。
调用GPU的本质其实是调用CUDA的dll 如果你对CUDA编程不熟悉，可以参考CUDA并行编程概述 生成CUDA dll 调用显卡的方法是调用CUDA的dll，因此首先要使用CUDA生成dll 下面是示例CUDA代码 #include "cuda_runtime.h" #include "device_launch_parameters.h" #include <stdio.h> #include <iostream> using namespace std; __global__ void
注意： 这篇文章的 Jupyter Notebook 代码在我的 Github 上：SpeedUpYourAlgorithms-Numba
前两篇文章我们介绍了如何使用GPU编程执行简单的任务，比如令人难以理解的并行任务、使用共享内存归并（reduce）和设备函数。为了提高我们的并行处理能力，本文介绍CUDA事件和如何使用它们。但是在深入研究之前，我们将首先讨论CUDA流。
传给CUDA编译器编译的文件里不能包含boost的头文件，会报错。例如xxCUDA.cuh中最好不要包含boost的头文件。
神经网络的训练中往往需要进行很多环节的加速，这就是为什么我们逐渐使用 GPU 替代 CPU、使用各种各样的算法来加速机器学习过程。但是，在很多情况下，GPU 并不能完成 CPU 进行的很多操作。比如训练词嵌入时，计算是在 CPU 上进行的，然后需要将训练好的词嵌入转移到 GPU 上进行训练。
Tensors类似于numpy的ndarray，但是带了一些附加的功能，例如可以使用GPU加速计算等等。
之前写过一篇讲述如何使用pycuda来在Python上写CUDA程序的博客。这个方案的特点在于完全遵循了CUDA程序的写法，只是支持了一些常用函数的接口，如果你需要自己写CUDA算子，那么就只能使用非常不Pythonic的写法。还有一种常见的方法是用cupy来替代numpy，相当于一个GPU版本的numpy。那么本文要讲述的是用numba自带的装饰器，来写一个非常Pythonic的CUDA程序。
CUDA 是“Compute Unified Device Architecture (计算统一设备架构)”的首字母缩写。CUDA 是一种用于并行计算的 NVIDIA 架构。使用图形处理器也可以提高 PC 的计算能力。
自己一直以来都是使用的pytorch，最近打算好好的看下tensorflow，新开一个系列：pytorch和tensorflow的爱恨情仇（相爱相杀。。。）
今天我将深入探讨MXNet深度学习框架的安装过程。本文将详细介绍不同方式下的安装步骤，以及在安装过程中可能遇到的常见问题及其解决方案，助你在本地顺利搭建MXNet开发环境。
VPI是VISION PROGRAMING INTERFACE的缩写，即视觉编程接口，是NVIDIA 用于高性能计算机视觉处理的下一代 API
计算机组成原理里面提到计算机必须具备五大基本组成部件：运算器、控制器、存储器、输入设备和输出设备，其中运算器和控制器必定存在于 CPU 中。然而，如果 CPU 中运算器数量特别少，我们的程序却需要进行大量的巨型矩阵的运算，使用 CPU 运行时间会特别长。我们先来简单分析一下为什么 CPU 运行时间会特别长，因为运算量非常大，同时 CPU 只能一次运算一条数据，虽然现在 CPU 普遍是多核，但是处理大量的数据还是显得力不从心。这个时候我们就不能使用 CPU 了，而应该使用 GPU，我们首先来看一下 GPU 究竟是个什么东西。
填一下 【BBuf的CUDA笔记】十，Linear Attention的cuda kernel实现解析 留下的坑，阅读本文之前需要先阅读上面这篇文章。这里就不重复介绍背景知识了，只需要知道现在要计算的目标是：
就其自身来说，Numpy 的速度已经较 Python 有了很大的提升。当你发现 Python 代码运行较慢，尤其出现大量的 for-loops 循环时，通常可以将数据处理移入 Numpy 并实现其向量化最高速度处理。
所有的CUDA API返回值都是CUDA中定义的一个错误代码，这种返回值的方式也是我们在写程序中经常用到的。这也意味着我们如果想得到某个结果，只能通过参数引用的方式，而我们定义的dev_a本来就是指针，又加了个&，所以前面是两个*。
作为 Python 语言的一个扩展程序库，Numpy 支持大量的维度数组与矩阵运算，为 Python 社区带来了很多帮助。借助于 Numpy，数据科学家、机器学习实践者和统计学家能够以一种简单高效的方式处理大量的矩阵数据。那么 Numpy 速度还能提升吗？本文介绍了如何利用 CuPy 库来加速 Numpy 运算速度。
torch.Tensor 是默认的tensor类型 (torch.FloatTensor) 的简称.
在GPU上开发大规模并行应用程序时，需要一个调试器，GDB调试器能够处理系统中每个GPU上同时运行的数千个线程。CUDA-GDB提供了无缝的调试体验，可以同时调试应用程序的CPU和GPU部分。
先来看看我的回答：https://www.zhihu.com/question/365763395/answer/2070162652
写在最前 这本书是2011年出版的，按照计算机的发展速度来说已经算是上古书籍了，不过由于其简单易懂，仍旧被推荐为入门神书。先上封面： 由于书比较老，而且由于学习的目的不同，这里只介绍了基础
我们正带领大家开始阅读英文的《CUDA C Programming Guide》,今天是第68天，我们正在讲解CUDA C语法，希望在接下来的32天里，您可以学习到原汁原味的CUDA，同时能养成英文阅读的习惯。
选自TowardsDataScience 作者：Anuradha Wickramarachchi 机器之心编译 参与：Nurhachu Null 在机器学习中，绝大多数任务会涉及到耗费时间的大量运算，
Ndarry是Rust编程语言中的一个高性能多维、多类型数组库。它提供了类似 numpy 的多种多维数组的算子。与 Python 相比 Rust 生态缺乏类似 CuPy, Jax 这样利用CUDA 进行加速的开源项目。虽然 Hugging Face 开源的 candle 可以使用 CUDA backend 但是 candle 项瞄准的是大模型的相关应用。本着自己造轮子是最好的学习方法，加上受到 Karpathy llm.c 项目的感召（这个项目是学习如何编写 CUDA kernel 的最好参考之一），我搞了一个 rlib 库给 NdArray 加上一个跑在 CUDA 上的矩阵乘法。ndarray-linalg 库提供的点乘其中一个实现（features）是依赖 openblas 的，对于低维的矩阵性能可以满足需求，但是机器学习，深度学习这些领域遇到的矩阵动辄上千维，openblas 里古老的优化到极致的 Fortran 代码还是敌不过通过并行性开挂的CUDA。
https://pytorch.org/tutorials/beginner/deep_learning_60min_blitz.html
当处理较大数据量的时候，往往会用GPU进行运算，比如OpenGL或者CUDA。在实际的操作中，往往CUDA实现并行计算会比OpenGL更加方便，而OpenGL在进行后期渲染更具有优势。由于CUDA中的运算结果存储在GPU中，如果将数据download到CPU，然后再将CPU中的数据上传到GPU，使用OpenGL进行渲染，中间的GPU与CPU的交互会很耗时，毕竟使用GPU的目的就是为了加速，这样的数据传输会降低效率。 接下来简要说一下如何使CUDA和OpenGL互操作来实现GPU中数据的交互传输，而不用通过主
CLICK ON THE BLUE WORDS ABOVE TO FOLLOW US
将nvcc的完整路径硬编码到Pycuda的compiler.py文件中的compile_plain() 中，大约在第 73 行的位置中加入下面段代码！
本教程展示了如何从了解张量开始到使用 PyTorch 训练简单的神经网络，是非常基础的 PyTorch 入门资源。PyTorch 建立在 Python 和 Torch 库之上，并提供了一种类似 Numpy 的抽象方法来表征张量（或多维数组），它还能利用 GPU 来提升性能。本教程的代码并不完整，详情请查看原 Jupyter Notebook 文档。 PyTorch 使入门深度学习变得简单，即使你这方面的背景知识不太充足。至少，知道多层神经网络模型可视为由权重连接的节点图就是有帮助的，你可以基于前向和反向传
在CPU上执行的代码是串行的，它的优点在于强逻辑性和强扩展性。代码必须严格按顺序执行，任何次序的错误都可能会导致程序出错。
CUDA用于并行计算非常方便，但是GPU与CPU之间的交互，比如传递参数等相对麻烦一些。在写CUDA核函数的时候形参往往会有很多个，动辄达到10-20个，如果能够在CPU中提前把数据组织好，比如使用二维数组，这样能够省去很多参数，在核函数中可以使用二维数组那样去取数据简化代码结构。当然使用二维数据会增加GPU内存的访问次数，不可避免会影响效率，这个不是今天讨论的重点了。 举两个代码栗子来说明二维数组在CUDA中的使用（亲测可用）： 1. 普通二维数组示例： 输入：二维数组A（8行4列） 输出：二维数
最近在训练大规模数据时，遇到一个【添加复杂数据增强导致训练模型耗时长】的问题，在学习了 MMDetection 和 MMCV 底层关于 PyTorch 的 CUDA/C++ 拓展之后，我也将一些复杂数据增强实现了 GPU 化，并且详细总结了一些经验，分享此篇文章和工程，希望与大家多多交流。
上一篇文章我们介绍了 PyTorch 流水线并行的基本知识，本文我们介绍其自动平衡机制和模型分割。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
