这文档堪称CUDA官方手册里最有用TOP3了。 ps:全文翻译会累死猿哒，意译意译，各位看官凑合一下啦 前言 文档的作用 这文档能干嘛，是用来帮助开发者从NVIDIA GPU上获取最好的性能的。建
近日，TensorFlow模型优化工具包又添一员大将，训练后的半精度浮点量化（float16 quantization）工具。
机器之心报道 机器之心编辑部 99 行代码实现《冰雪奇缘》特效的续集来了，太极编译器再次升级。 得益于计算机仿真技术的不断发展，我们能够在电脑中重建越来越逼真的现实世界，制作出《冰雪奇缘》等优秀的特效电影。 但逼真的场景、丰富的细节离不开超高精度的物理模拟，因此特效的每一帧几乎都是用经费烧出来的。 现代动画电影（包括《冰雪奇缘》等），经常使用基于物理的动画生产特效，丰富感官的体验。基于粒子的表示是其中常用的方法。场景越大，粒子就越多。比如，要模拟一个 300 米长的溃坝场景中的水，可能会需要数千万粒子，
Linux 首席架构师，当今全球最著名程序员之一 Linus Torvalds 最近在邮件列表中的言论再次引起一片哗然。
之前对LLM 推理和应用了解不多，因此抽时间梳理了一下，我们从模型量化，模型推理，以及开发平台等三个层面来梳理分析。
Streamline是一款由ARM公司制作的终极性能测试利器，可以快速定位手游性能问题，甚至可以直接追溯代码。但Streamline需要自行搭建，确实让不少同行止步，无法体会产品的优势。所以，云测为大家整理了如何快速搭建Streamline，方便各位使用体验。
我们非常高兴能够将训练后的 float16 quantization 作为模型优化工具包（Model Optimization Toolkit）的一部分。这套工具包括了：
在前面的一篇文章《TensorFlow.js 微信小程序插件开始支持 WebAssembly》中，我们谈到了 Tensorflow.js（tfjs） 的新后端 WebAssembly（WASM）。这篇文章进一步挖掘 tfjs WASM 后端的更多信息，并探讨一下 tfjs 为何要引入 WASM 后端。
PaddlePaddle Fluid可以支持在卷积神经网络上进行float16模式的低精度预测了！
一个比较容易理解的概念，我们在做计算的过程中，很多时候都要做截断。不同精度的混合计算之间也会有截断，就比如一个float32单精度浮点数，符号占1位，指数占8位，尾数占23位。而一个float64双精度浮点数，符号占1位，指数占11位，尾数占52位。通常情况下，float32的有效数字约7位（按照
作者：Jack Chih-Hsu Lin翻译：陈之炎校对：王紫岳 本文约4600字，建议阅读9分钟18个必须知道的PyTorch提速秘籍：工作原理和方法。 调整深度学习管道如同找到合适的齿轮组合（图片来源：Tim Mossholder） 为什么要阅读本博？ 深度学习模型的训练/推理过程涉及到多个步骤。在时间和资源受限的情况下，实验迭代速度越快，越能优化模型的预测性能。本博收集整理了些许能够最大限度提高内存效率以及最小化运行时间的PyTorch的技巧和秘籍。但为了更好地利用这些技巧，我们还需要了解它的工
得益于海量数据、超强算力和最新技术，深度学习在视觉、自然语言处理等领域都取得了巨大成功。然而，深度学习模型的网络结构越来越复杂、参数越来越多、计算量越来越大，给模型部署应用带来了不小挑战，尤其对于存储、计算资源都有限的手机等边缘设备。于是，工业界和学术界提出了众多深度学习模型的压缩与加速技术，而模型量化就是最常见的技术之一。
GPU是一种专精浮点数运算的硬件设备，显然处理32位浮点数是处理16位浮点数计算量的2倍还多，在愿意损失一些精度的条件下使用fp16可以加速计算，而且也不会对模型最终的效果产生可感知影响。于是就有人提出了采用fp16来进行训练，具体而言在计算激活值和梯度的时候以fp16精度存储，执行优化算法的时候还原为fp32（缺失位补0），这样最终的效果是模型在GPU上以fp16和fp32两种方式加载，这被称为混合精度训练（mixed precision training），这种方式占用了更少的显存（全精度需要保存2份原始模型，混合精度保存1份原始模型，1份半精度模型，是原始模型的1.5倍），也加速了训练过程，即精度损失换时间。
与列表不同的是，张量只能用来处理数值类型，不像Python列表，什么类型都可以往里面放，下面就是tensor中可以处理的数值类型
在前面文章中，我们交代了计算平台相关的一些基本概念以及为什么以GPU为代表的专门计算平台能够取代CPU成为大规模并行计算的主要力量。在接下来的文章中，我们会近距离从软硬件协同角度讨论GPU计算如何开展。跟先前的文章类似，笔者会采用自上而下，从抽象到具体的方式来论述。希望读者不只是对GPU计算能有所理解，而且能够从中了解可以迁移到其它计算平台的知识，此是笔者之愿景，能否实现一二，还恳请各位看官不断反馈指正，欢迎大家在后台留言交流。在本文中，我们首先介绍下GPU及其分类，并简单回顾下GPU绘制流水线的运作，最后又如何演化为通用计算平台。
Practical Aspects of Learning Install Ipython NoteBook 可以参考这个教程 可以直接安装anaconda，里面包含了各种库，也包含了ipython；
导语 ：渲染管线（渲染流水线），一般由显示芯片（GPU）内部处理图形信号的并行处理单元组成。这些并行处理单元两两之间相互独立。不同的型号硬件上独立处理单元的数量有很大差异。 与CPU串行执行不同，渲染
AI 科技评论按：不管是一般的编程还是机器学习，凡是计算机中的数据都是以一定的数据格式表示的。但有些情况下数据格式会带来明显的限制，造成计算结果的异常。 不过在 OpenAI 的研究人员们看来，这种“
今天我们来入门 WebGPU，来写一个图形版本的 Hello World，即绘制一个三角形。
通过量化可以减少大型语言模型的大小，但是量化是不准确的，因为它在过程中丢失了信息。通常较大的llm可以在精度损失很小的情况下量化到较低的精度，而较小的llm则很难精确量化。
如何继续提升速度？降低计算精度是比较直接的方法。2017 年以来，fp16 混合精度技术 [2] 获得了广泛应用。在对模型效果无损的前提下，将模型训练和推理的速度提升了 50% 以上。而为了维持模型效果，更低精度的方法（例如 int8）通常需要使用如下传统方案：
近年来，Transformer 已经成为了 NLP 和 CV 等领域的主流模型，但庞大的模型参数限制了它的高效训练和推理。于是字节跳动在 2019 年 12 月和 2021 年 6 月分别推出了高效推理和训练引擎 LightSeq，大大加速了 Transformer 系列模型的训练和推理，也打通了 Transformer 从训练到推理的整个流程，极大优化了用户使用体验。最近，LightSeq 训练引擎相关论文[1]，被录用难度极高的超算领域国际顶会 SC22 接收，得到了学术界的广泛认可！
ChatGPT于2022年12月初发布，震惊轰动了全世界，发布后的这段时间里，一系列国内外的大模型训练开源项目接踵而至，例如Alpaca、BOOLM、LLaMA、ChatGLM、DeepSpeedChat、ColossalChat等。不论是学术界还是工业界，都有训练大模型来优化下游任务的需求。
| 导语 本文从浮点数精度、实时阴影、合批策略和剔除算法四方面阐述游戏大世界的超远视距处理的常用手法。 当世界足够大的时候，浮点数的精度问题就会呈现出来。浮点数的精度可能带来的问题可谓五花八门，如模型之间出现接缝和穿插、光照计算出现溢出变黑、骨骼动画出现抖动等。如果你在半精度Shader开发中没碰到过这类问题，那不是你的算法太优秀，就是你还没被现实所教育。 位置和计算精度问题 一般来说，在CPU端，游戏中的数学库大多是基于32位浮点数构建，常用的如向量运算、矩阵运算、开方求幂、三角函数、BVH划
当前CNN网络主要的运算集中在实数权值乘以实数激活值或者实数权值乘以实数梯度。论文提出BinaryConnect将用于前向传播和后向传播计算的实数权值二值化为, 从而将这些乘法运算变为加减运算。这样即压缩了网络模型大小，又加快了速度。论文提到，SGD通过平均权重带来的梯度来得到一些小的带噪声的步长，尝试更新权重去搜索参数空间，因此这些梯度非常重要，要有足够的分辨率，sgd至少需要6—8bits的精度。如果对权重进行量化，就会导致无法对权重直接求导，所以我们可以把二值化权重看成是带噪声的权重。论文认为，带噪声的权重往往能够带来正则化，使得泛化能力更好，类似Dropout，DropCconnect这种就是对激活值或者权重加入了噪声，它们表明只要权重的期望值是高精度的，添加噪声往往是有益处的，所以对权重进行量化理论角度是可行的。
Pytorch是python的一个目前比较火热的深度学习框架，Pytorch提供在GPU上实现张量和动态神经网络。对于学习深度学习的同学来说，Pytorch你值得拥有。本文将介绍pytorch的核心张量与梯度，以及如何一步一步的使用GPU训练你的第一个深度神经网络。
雷锋网 AI 研习社按，2012 年，AlexNet 横空出世，以 15.4% 的低失误率夺得当年 ILSVRC（ImageNet 大规模视觉识别挑战赛）冠军，超出亚军十多个百分点。AlexNet 开启了深度学习黄金时代，随之而来是深度学习在图像识别上的蓬勃发展：
我们想让用户用自己喜欢的语言体验我们的产品，同时与世界各地的人们建立联系。为此，我们使用神经机器学习（NMT）自动翻译帖子和内容中的文本。我们之前关于这一课题的研究 fairseq 已经开源，这是一个序列到序列的学习库，可供任何人训练 NMT 模型，完成自动摘要或其他文本生成任务。
我们需要下载 Docker 才能安装它，在本节中，您将看到我们如何在 Windows 上安装 Docker 并使用适合在 Linux 上安装的脚本。
【编者按】深度学习是近年来迅速发展和突破的机器学习领域，具有非常广泛的应用前景。将服务器GPU应用到深度学习过程中，可以更好地推动深度学习技术研究和应用的发展。本文介绍AMD深度学习团队开发的MLP学习工具软件的使用，为深度学习研究人员和开发商提供一个高性能、高易用性的深度学习的软硬件平台方案。AMD-MLP基于OpenCL，支持不同类型的GPU平台，并能通过多GPU扩展学习速度。 深度学习神经网络简介 深度学习是人工智能的学科—机器学习的一个研究领域，是多种学习方法的集合。深度学习的各种学习方法都采用类似
在商城类的项目当中，避免不了钱数的计算，也就会出现所谓的浮点数精度问题，前两天阅文的小哥哥面试我的时候就问到了这个，Mysql怎么去存钱数？PHP又该怎么处理浮点数？
“10b”、“13b”、“70b” 等术语通常指的是大型神经网络模型的参数数量。其中的 “b” 代表 “billion”，也就是十亿。表示模型中的参数量，每个参数用来存储模型的权重和偏差等信息。例如：
在深入探讨 PyTorch 中的 Storage 类以及其在参数 offload 场景中的应用之前，让我们首先了解一下 PyTorch 和它的基础组件。PyTorch 是一个广泛使用的开源机器学习库，它不仅提供了强大的计算图功能和自动梯度计算，还允许开发者直接操作底层数据结构，这其中就包括 Storage。
在Linux系统中，有许多强大的命令可以帮助我们进行数学运算和数据处理。而bc命令就是其中之一，它是一款用于精度计算的工具，特别适用于处理浮点数和高精度数学运算。在本文中，我们将深入探讨bc命令的功能和用法，以及它在bash脚本中的应用，帮助读者更好地掌握这个强大的计算工具。
分布式计算以及高性能计算在机器学习、大数据学习与高级建模与模拟等新兴技术上都有使用。在航天航空、制造业、金融、医疗等多个领域也有着非常重要的作用。
CUDA是一种通用的并行计算平台和编程模型，可以使用CUDA C/C++编写高性能的GPU加速代码。然而，在使用CUDA进行开发时，有时会遇到"cuda error: device-side assert triggered"的错误。本文将介绍这个错误的原因，以及如何解决它。
随着这几年神经网络和硬件（GPU）的迅猛发展，深度学习在包括互联网，金融，驾驶，安防等很多行业都得到了广泛的应用。然而在实际部署的时候，许多场景例如无人驾驶，安防等对设备在功耗，成本，散热性等方面都有额外的限制，导致了无法大规模应用深度学习解决方案。
近年来 AI 领域的发展令人震惊，但为完成这些壮举而训练神经网络的成本也异常巨大。以大规模语言模型 GPT-3 和艺术生成器 DALL-E 2 为例，它们需要在高性能 GPU 集群上训练数月时间，耗资数百万美元，消耗百万亿计的基本计算。
http://cenalulu.github.io/linux/about-denormalized-float-number/
UnixBench是一个类unix系（Unix，BSD，Linux）统下的性能测试工具，一个开源工具，被广泛用与测试linux系统主机的性能。Unixbench的主要测试项目有：系统调用、读写、进程、图形化测试、2D、3D、管道、运算、C库等系统基准性能提供测试数据。
OpenCV是计算机视觉领域使用最为广泛的开源库，以功能全面使用方便著称。自3.3版本开始，OpenCV加入了对深度神经网络(DNN)推理运算的支持。在LiveVideoStack线上交流分享中英特尔
float类型，即浮点数，是Python内置的对象类型；decimal类型，即小数类型，则是Python的标准库之一decimal提供的对象类型，也是内置的。了解decimal类型的最佳资料，就是它的官方文档：https://docs.python.org/3/library/decimal.html。
近年来，基于谷歌Transformer的语言模型在神经机器翻译，自然语言推理和其他自然语言理解任务上取得了长足进展。
选自Baidu Research 机器之心编译 今天，百度研究院开源了新一代 DeepBench，一款深度学习基准测试工具，这次升级加入了推理测量等功能。 1. 介绍 2016 年 9 月，百度推出了第一版 DeepBench，它是一个开源基准测试工具，用于测试训练深度学习神经网络的基本性能指标，可兼容不同硬件平台上的神经网络库。 DeepBench GitHub 地址：https://github.com/baidu-research/DeepBench DeepBench 的主要目的是测试深度学习系统在
在深度学习领域，针对GPU的高性能执行深度神经网络（DNNs）对于现代机器学习应用至关重要。当前的DNN框架通常使用张量程序来指定DNN计算，张量程序是由节点和边构成的有向无环图，其中节点和边分别代表张量代数操作符（如矩阵乘法）和操作符之间共享的张量（即n维数组）。为了优化输入的张量程序，现有的框架（如PyTorch和TensorFlow）使用手动设计的规则将张量程序映射到专家编写的GPU内核。然而，这些方法通常需要大量的工程努力来设计和实施优化规则，并可能错过一些优化机会。
这是渲染系列的第19篇教程。上一章节涵盖了 realtime GI, probe volumes, 和LOD groups，这一节我们来试一下另外一种缩减DrawCall的方法，合批。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
