文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布

《脉动阵列：AI硬件加速的“秘密武器”》

在人工智能飞速发展的今天，硬件加速技术成为了推动AI性能提升的关键力量。其中，脉动阵列（Systolic Array）作为一种高效的并行计算架构，在AI硬件加速领域发挥着越来越重要的作用。...那么，脉动阵列究竟是如何在AI硬件加速中工作的呢？脉动阵列的基本原理脉动阵列的设计灵感来源于人体的血液循环系统。...脉动阵列同样能够高效地加速卷积运算。以一个简单的二维卷积为例，假设有一个输入特征图和一个卷积核。在使用脉动阵列进行卷积计算时，首先将卷积核的权重固定存储在脉动阵列的计算单元中。...例如，在Google的TPU中，就采用了脉动阵列来加速卷积运算，通过巧妙的数据流动设计，实现了高效的卷积计算，大大提升了深度学习模型的训练和推理速度。脉动阵列的优势与挑战（一）优势1. ...脉动阵列作为一种独特的并行计算架构，为AI硬件加速提供了高效的解决方案。通过巧妙的数据流动设计和并行计算机制，它在矩阵乘法、卷积运算等AI核心计算任务中展现出了强大的优势。

83200

学界 | UC Berkeley新研究：通过深度学习建模注意点采样阵列

此外，我们还学习了神经视网膜采样阵列的几何形状。 ?...采样阵列中一个单元的结构化特征 我们模型的视网膜采样阵列是通过反向传播学习的，它就如同神经网络中调整权重的方式，我们调整视网膜并列式感知的参数以优化损失函数。...我们初始化视网膜采样阵列为标准的正方形表格，然后使用梯度下降更新这种排列的参数。 ? 从初始化阵列使用梯度下降学习结构化特征 随着时间的推移，这种排列将会收敛到局部最优的配置以最小化任务损失。...控制注意点的出现 因为我们的模型是通过电脑模拟，所以我们能赋予它自然界找不到的属性以观察是否还有其它的点阵排列模式出现。...在我们的案例中，该模型通过学习将注意点放置在数字上来解决识别任务，这说明注意力能够帮助分类数字。我们还看到最下方模型利用其缩放能力来识别数字。 ? 我们的模型随着时间的注意力移动。

90880
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    利用基于NVIDIA CUDA的点云库（PCL）加速激光雷达点云技术

    主要内容 许多Jetson用户选择激光雷达用于定位和感知的主要传感器，激光雷达将车辆周围的空间环境描述为一组三维点，称为点云，点云对周围对象的表面进行采样，具有远距离和高精度的特点，非常适合用于高级障碍物感知...在这篇文章中介绍了CUDA-PCL 1.0，其这里主要介绍三个CUDA加速的PCL库： 1.CUDA-ICP 2.CUDA-Segmentation 3.CUDA-Filter CUDA-ICP 在迭代最近点...在ICP之后两帧点云的状态 CUDA-Segmentation 点云地图包含许多地面点，这不仅使整个地图看起来凌乱，还给后续障碍点云的分类、识别和跟踪带来了麻烦，因此需要首先将其删除。...图3和图4显示了原始点云数据，然后是仅保留障碍相关点云的处理版本。这个示例在点云处理中很典型，包括去除地面，删除一些点云和提取特征，以及对一些点云进行聚类。 图3....通过滤波可以实现对点云的坐标约束，直接过滤点云的X、Y和Z轴，点云过滤可以仅对Z轴或三个坐标轴X、Y和Z进行约束。CUDA-Filter目前仅支持PassThrough，但以后将支持更多的方法。

    2.1K40

    ACS Omega｜生成模型加速多靶点的新药研发

    图2: 计算物理化学性质在ChEMBL化合物组中的分布 实验结果与分析 本文重点评估了CVAE模型在生成CDK2、DPP-IV和PPARγ三种靶点的分子时的表现。...3.靶点结合力：通过对生成的分子进行分子对接实验，验证了这些分子与CDK2、DPP-IV和PPARγ靶点的结合能力。...2.多靶点药物设计：利用CVAE模型的多变量控制能力，为不同靶点生成优化的候选药物。 3.真实数据反馈：将生物实验数据与模型训练过程结合，提升生成分子的生物活性预测能力。...结论 本文提出了一种基于CVAE的生成模型，成功用于生成多靶点药物分子。...未来，CVAE模型有望在药物研发领域产生更广泛的应用，进一步加速药物发现进程。

    39810

    牛！NumPy团队发了篇Nature

    例如，对d个轴上的n维数组求和得到维数为n-d的数组(f)。 NumPy还包括array-aware函数，用于创建、重构、连接和填补数组；搜索、排序和计数；以及读取和写入文件。...添加快速数组运算和线性代数使科学家能够在一种编程语言中完成所有工作-这种编程语言的优势是非常容易学习和教授，许多大学采用这种编程语言作为主要学习语言就证明了这一点。...此外，最近加速深度学习和人工智能应用的需要导致了专用加速器硬件的出现，包括图形处理单元(GPU)、张量处理单元(TPU)和现场可编程门阵列(FPGA)。...在需要极度优化的地方，可以使用编译语言，如Cython、Numba和Pythran；这些语言扩展了Python并透明地加速了瓶颈。...此外，使用数组协议，可以在对现有代码进行最小改动的情况下，利用全方位的专用硬件加速。

    2.2K21

    从AI加速器，看腾讯ToB生态的点、线与面

    点、线与面，AI加速器折射腾讯ToB的差异化？ ToB阵仗最大、投入最多的腾讯，玩法也和百度、阿里有所不同。...这种体现“加速器”直接价值的“加速”，放到“B”计划语境下，就变成从“点”突破、加快产业变革的过程。如果没有这些点的“加速”，某些产业变革的过程可能还需要等上更久，甚至不会发生。...除了奥本未来，参与三期复试的项目中还有很多这样的“点”，它们或能通过腾讯AI加速器获得“点对点”的加速，从而影响更多产业。...所以，这种玩法直接表现为点与点的串联，即它是“线性”的。...总而言之，点、线、面并非层层递进的关系，它们从不同视角共同描述了腾讯产业互联网加速模式，三位一体，而AI加速器是其集中展现。

    1.5K10

    从企点客服3.7版产品亮点，看智能客服如何加速企业价值落地

    人工智能正在实现全场景落地，而智能客服作为较早出现的AI场景应用更在加速进化。...而这，正是企点客服在3.7版本销售型客服“塑造千人千面的VIP体验”所要解决的。...企点客服3.7版本背后，智能客服三路出击加速企业价值落地 如果我们只是就产品看产品，未免低估了行业领头羊的版本更新动作背后所体现的行业动向。...深究企点客服3.7版本的更新，结合《AI交互与智能客服的变革与发展》报告，可以认为，它反映出的还有智能客服正在三路同时出击加速企业价值的落地。...这背后，其实是企点客服在触达用户这件事上变得更加全面和多元，需要更深一步的客户分配规则来匹配——当前，企点客服支持网页、QQ、微信公众号、小程序、APP、H5、电话等全渠道承接客户咨询，统一接待平台。

    1.6K10

    解密AI芯片的加速原理

    下面我们从以上三点阐述下目前比较主流的深度学习在芯片层面实现加速的方法。 AI 芯片的加速原理 乘加运算硬件加速，脉冲阵列 ? 脉动阵列并不是一个新鲜的词汇，在计算机体系架构里面已经存在很长时间。...所以脉动阵列的逻辑也很简单，既然memory读取一次需要消耗更多的时间，脉动阵列尽力在一次memory读取的过程中可以运行更多的计算，来平衡存储和计算之间的时间消耗。...其实比较主流的方式就是尽量做Data Reuse，减少片上Memory和片外Memory的信息读取次数，增加片上memory，因为片上数据读取会更快一点，这种方式也能够尽量降低Memory读取所消耗的时间...从下面三张人脸识别的红点和绿点的对比，就可以看到其实8位定点系数在很多情况下已经非常适用了，和32位定点系数相比并没有太大的变化。...从上边的芯片框图可以看到，有一个64K的乘加MAC阵列对乘加运算进行加速。从论文中可以看到里面已经用到了脉动阵列的架构方法来对运算进行加速，另外也有我们前面提到的大量的片上Memory 这样的路径。

    90830

    解密AI芯片的加速原理

    下面我们从以上三点阐述下目前比较主流的深度学习在芯片层面实现加速的方法。 AI 芯片的加速原理 乘加运算硬件加速，脉冲阵列 ? 脉动阵列并不是一个新鲜的词汇，在计算机体系架构里面已经存在很长时间。...所以脉动阵列的逻辑也很简单，既然memory读取一次需要消耗更多的时间，脉动阵列尽力在一次memory读取的过程中可以运行更多的计算，来平衡存储和计算之间的时间消耗。...其实比较主流的方式就是尽量做Data Reuse，减少片上Memory和片外Memory的信息读取次数，增加片上memory，因为片上数据读取会更快一点，这种方式也能够尽量降低Memory读取所消耗的时间...从下面三张人脸识别的红点和绿点的对比，就可以看到其实8位定点系数在很多情况下已经非常适用了，和32位定点系数相比并没有太大的变化。...从上边的芯片框图可以看到，有一个64K的乘加MAC阵列对乘加运算进行加速。从论文中可以看到里面已经用到了脉动阵列的架构方法来对运算进行加速，另外也有我们前面提到的大量的片上Memory 这样的路径。

    4.5K30

    矩阵乘法加速器的设计框架

    而这两点，实则是设计一个优秀的，可持续迭代的加速器的基础。本文将从矩阵加速器出发，通过一些简化的模型，给出简单的设计框架。 1....带宽优化的矩阵乘法加速器设计 和一般的处理器相比，特定的加速器可以设计数量巨大的计算单元（譬如Google TPU V1设计了65536个乘法器）；但是DDR的带宽的提升却是有限的。...而为了完成一次计算，需要从缓存里读取 (p+q+qtimes q) 个数据送入到计算阵列中。因此一次读/写的数据位宽宽度极高，随着并行度的增长，数据位宽线性增长。...时，此时设计的计算阵列对缓存的访问可以尽可能的低。...华为的达芬奇架构中计算阵列的设计和上述讨论是一致的，达芬奇中的CUBE Core是一个 (16times16times16) 的MAC阵列（以Davinci Max为例），可以完成 \[C_{sub

    3.6K10

    详解AI加速器（三）：架构基础离不开ISA、可重构处理器……

    在这一章节中，Adi Fuchs 为我们介绍了 AI 加速器的架构基础，包括指令集架构 ISA、特定领域的 ISA、超长指令字 (VLIW) 架构、脉动阵列、可重构处理器、数据流操作、内存处理。...脉动阵列 脉动阵列由 H. T. Kung 和 C. E. Leiserson 于 1978 年引入。2017 年，Google 研发的 TPU 采用脉动阵列作为计算核心结构，使其又一次火了起来。...谷歌的 TPU 是第一个使用 AI 的脉动阵列。因此，在这之后，其他公司也加入了脉动阵列行列，在自家加速硬件中集成了脉动执行单元，例如 NVIDIA 的 Tensor Core。...基于点积模拟处理的神经形态计算。图源：Nature Communications 许多 PIM 依赖于模拟计算（analog computations）。...具体来说，在 AI 应用中，加权点积在模拟域中的计算方式类似于大脑处理信号的方式，这就是为什么这种做法通常也被称为「神经形态计算」的原因。

    1K20

    EDA顶会ICCAD放榜！陈怡然团队摘得「时间检验奖」，表彰十年前论文

    其中，信息从一个点流向另一个点时发生的数据交通堵塞，被统称为「内存墙」。 十年前，机器学习应用开始兴起，它们需要比以往更多的资源。为了应对不断增长的内存需求，全新类型的计算机架构亟需提出。...在这一背景下，陈怡然、Hai Li、Xin Li，以及合作者Beiye Liu、Tingwen Huang、Qing Wu和Mark Barnell，提出了一种新的设计方法，详细说明了哪种忆阻器阵列能最好地加速神经网络...他们的方案将基于忆阻器的人工智能加速器的占地面积大幅缩小了四分之一以上，同时提高了计算精度。...陈怡然教授表示，在这篇论文发表时，关于加速神经网络的研究才刚刚开始。从那时起，研究人员提出了很多不同的设计来加速计算，而这也引发了产业界的大量投资。...这种方法以一种新的方式解决了可靠性的挑战，通过在交叉栅阵列上部署非易失性内存技术，从而避免了数据移动的需要。 虽然它的理念基于的是忆阻器阵列，但其技术甚至概念都已经发展成了一个全新的领域。

    42230

    用Versal FPGA加速矩阵乘法

    随着深度学习模型的复杂度不断增加，对计算资源的需求也日益增长，这促使了异构架构的兴起，这类架构结合了FPGA（现场可编程门阵列）和专用ASIC（专用集成电路）加速器，旨在应对高计算需求。...论文还提到了一些相关的先前工作，包括针对特定应用定制的处理器设计、流线型线性代数运算在FPGA上的实现、高带宽内存基加速器设计、以及针对FPGA的高性能阵列编译器等。...AutoSA是一个基于多面体的编译框架，用于生成针对密集矩阵的单一设计的流水线阵列。 Sextans和Serpens是针对稀疏矩阵的通用单一加速器。...使用8个独立加速器，每个具有256×128×256的原生数据块大小，对于64大小的小型方阵矩阵乘法，这种方法可以在点C处达到7.2 GFLOPS的速度，相比于点B有大约17倍的加速。...CRTS：在主机CPU中运行，负责调度不同任务的内核到各个加速器上，以优化任务延迟和整体系统吞吐量。 创新点: 提供了详细的系统化数据移动和计算分析，特别是在Versal ACAP架构上。

    1.1K11

    点赞！铢宝益亮相央视，不凡实力为自己代言 | 腾讯SaaS加速器·学员动态

    来源 | 腾讯SaaS加速器首期项目-铢宝益 ---- 12月17日，中央电视台财经频道（CCTV2）记者到深圳铢宝益科技有限公司总部，对铢宝益CEO林垲先生进行了采访。...荣获2019年中国智慧零售大会技术应用创新奖、腾讯SaaS加速器全国40强、福田之星创业大赛前十强等奖项，并成为腾讯智慧零售珠宝行业合作伙伴、国家高新技术企业、深圳福田区重点支持的互联网科技企业。...———— / END / ———— 腾讯SaaS加速器·产业升级实战派 腾讯SaaS加速器，作为腾讯产业加速器的一个重要组成部分，旨在搭建腾讯与SaaS相关企业的桥梁，通过技术、资本、商机、生态等层面的扶持...，从战略到落地全方位加速企业成长，从而助力产业转型升级。

    77930
    点击加载更多

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 粤公网安备44030502008569号

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号

      领券