好！但是成本很贵……大量的计算资源、训练，还有碳足迹和AI研究的商业化，这些成本给人工智能界带来了若干挑战。
模型压缩可以有效地减少模型的存储和计算资源需求，提高模型的推理速度和效率，从而实现在移动设备、边缘设备等资源受限的场景中进行高效的机器学习应用。常用的模型压缩方法有4种：知识蒸馏（Knowledge Distillation，KD）、 轻量化模型架构、 剪枝（Pruning）、 量化（Quantization）。
作者：Aidan N. Gomez、Ivan Zhang、Kevin Swersky、Yarin Gal、Geoffrey E. Hinton
基于模式化稀疏度的剪枝方法能够使深度神经网络在图像识别任务中「看得」更清楚，同时减小了模型尺寸，使模型在移动端「跑得」更快，实现实时推理。
由美国东北大学王言治教授研究团队与美国威廉玛丽学院任彬教授研究团队共同提出，IBM、清华等共同研究的模式化稀疏度感知训练框架，不仅能够同时实现卷积核稀疏模式的全自动提取、模式化稀疏度的自动选择与模型训练，还证明了所提取的模式化稀疏度与理论最佳模式化稀疏度相匹配，并进一步设计了能够利用模型特点实现编译器优化的移动端推理框架，实现了大规模深度神经网络在手机移动端上的实时推理。目前，这篇文章已被 ECCV 2020 会议收录，该文章同时入选 ECCV 2020 demonstration track。
---- 新智元报道 作者：刘宁 编辑：好困 【新智元导读】「彩票假说」指出神经网络可能存在准确率和原始网络相近的子网络。然而，这种中奖特性在许多情况中很难被观测到。最近，王言治教团队发现并揭示了中奖特性的潜在条件和基本原理。 在深度模型压缩领域中，「彩票假说」（Lottery Tickets Hypothesis）指出一个原始神经网络可能存在中奖彩票的子网络（Winning ticket），该子网络可以达到和原始网络相近的准确率。 然而，这种中奖特性（Winning property）在许多情况
AI 科技评论按：ICLR 2018 于 5 月初在加拿大温哥华举办。论文「Efficient Sparse-Winograd Convolutional Neural Networks」被 ICLR 2018 录用，第一作者、斯坦福大学的博士生刘星昱为 AI 科技评论撰写了独家解读稿件，未经许可不得转载。
近年来，随着深度神经网络模型性能不断刷新，模型的骨干网络参数量愈发庞大，存储和计算代价不断提高，从而导致难以部署在资源受限的嵌入式平台上。滴滴 AI Labs 与美国东北大学王言治教授研究组合作，联合提出了一种基于 AutoML 思想的自动结构化剪枝的算法框架 AutoCompress，能自动化的去寻找深度模型剪枝中的超参数，去除模型中不同层的参数冗余，替代人工设计的过程并实现了超高的压缩倍率。从而满足嵌入式端上运行深度模型的实时性能需求。
选自Stanford 机器之心编译 参与：路雪、蒋思源 韩松，2017 年斯坦福大学电子工程系博士毕业，师从 NVIDIA 首席科学家 Bill Dally 教授。他的研究也广泛涉足深度学习和计算机体系结构，他提出的 Deep Compression 模型压缩技术曾获得 ICLR'16 最佳论文，ESE 稀疏神经网络推理引擎获得 FPGA'17 最佳论文，对业界影响深远。他的研究成果在 NVIDIA、Google、Facebook 得到广泛应用，博士期间创立了深鉴科技，2018 年将任职 MIT 助理教授
人工智能在众多计算机视觉领域都取得了很大的成功，然而深度学习（Deep Learning）因其计算复杂度或参数冗余，在一些场景和设备上限制了相应的模型部署，需要借助模型压缩、优化加速、异构计算等方法突破瓶颈。
深度神经网络已经在计算机视觉领域取得了巨大的成功，如 AlexNet、VGG 等。这些模型动辄就有上亿的参数，传统的 CPU 对如此庞大的网络一筹莫展，只有具有高计算能力的 GPU 才能相对快速的训练神经网络。如 2012 年 ImageNet 比赛中夺冠的 AlexNet 模型使用了 5 个卷积层和 3 个全连接层的 6000 万参数的网络，即使使用当时顶级的 K40 来训练整个模型，仍需要花费两到三天时间。卷积层的出现解决了全连接层的参数规模问题，但叠加若干个卷积层后，模型的训练开销仍然很大。
---- 新智元报道 来源：微软亚洲研究院 编辑：QQ 【新智元导读】集成前沿算法，NNI（Neural Network Intelligence）大更新。 无论在学术界还是产业界，今年人工智能大模型都是爆款话题。但面对这些动不动就数十亿级别参数的模型，使用传统方法微调，宛如水中捞月、海底捞针。作为微软亚洲研究院为科研人员和算法工程师量身定制的一站式 AutoML（自动机器学习）工具， NNI（Neural Network Intelligence）在过去的三年间不断迭代更新，加强了对各种分布式训
从深度学习被大家开始重视的时候，后续就出现一个神操作到现在还值得大家去使用，那就是“Dropout”的出现，为大家带来了很多优势，但是今年2018年NIPS开始搞事情了，更新换代的机会终于出现了，Hinton教授又为大家带来了新的发现，构建更新的架构——名为：Targeted Dropout！
目前，深度学习模型需要大量的计算、内存和功耗，这成为我们在实时推理或在计算资源有限的边缘设备以及浏览器上运行模型的瓶颈。能量效率是当前深度学习模型的主要关注点。提升这种效率的方法之一是着眼于推理效率。
一般来说，神经网络层数越深、参数越多，所得出的结果就越精细。但与此同时，问题也来了：越精细，意味着所消耗的计算资源也就越多。这个问题怎么破？这就要靠剪枝技术了。言下之意，把那些对输出结果贡献不大的参数剪掉。这项技术可追溯至深度学习大神Yan LeCun在1990年的研究。 本文除了对各类剪枝技术进行详解，还会以案例的形式来进行实验实操：修剪一个基于VGG-16模型的猫狗分类器。这个案例结果证明，剪枝后的模型在速度上比原来快了近3倍，而文件大小只有原来的1/4。这对于移动设备，速度和大小都极其重要。
神经网络是计算密集型和内存密集型，很难使它们用有限的硬件资源去部署在嵌入式系统中。为了解决这种限制，本文引入“深度压缩”，一共有三个阶段的流水线：剪枝、量化和霍夫编码，它们一起工作去减少神经网络的存储问题，并在没有影响精确度的情况下压缩了35倍到49倍。最后在ImageNet数据集上的实验结果，将AlexNet压缩了35倍（从240MB压缩到6.9MB）并没有精确度损失；将VGG-16压缩了49倍（从552MB压缩到11.3MB），也没有精确度损失。 训练主要步骤： 剪枝神经网络，只学习重要的连接； 量化
这就是滴滴实习生提出的自动结构化减枝压缩算法框架带来的性能提升，名为AutoCompress。
剪枝是一种帮助神经网络实现规模更小、效率更高的深度学习方法。这是一种模型优化技术，它删除权重张量中不必要的值，从而使得压缩后的神经网络运行速度更快，网络训练过程中的计算成本也有所降低。在将模型部署到手机等边缘设备上时，剪枝的作用更加明显现。
机器之心报道 作者：高静宜 近日，南京大学计算机科学与技术系教授、MINIEYE 首席科学家吴建鑫所在团队的一篇论文《ThiNet: 一种用于深度神经网络压缩的滤波器级别剪枝算法》被计算机视觉领域顶级国际会议 ICCV 2017 收录。论文中提出了滤波器级别的剪枝优化算法，利用下一层的统计信息指导当前层的剪枝，能够在不改变原网络结构的前提下，让卷积神经网络模型在训练与预测阶段同时实现加速与压缩。ThiNet 框架具普适性，可无缝适配于现有的深度学习框架，有助于减少网络的参数与 FLOPs，同时保留原网络的精
目前，深度学习模型需要大量算力、内存和电量。当我们需要执行实时推断、在设备端运行模型、在计算资源有限的情况下运行浏览器时，这就是瓶颈。能耗是人们对于当前深度学习模型的主要担忧。而解决这一问题的方法之一是提高推断效率。
【导语】ICLR 是深度学习领域的顶级会议，素有深度学习顶会 “无冕之王” 之称。今年的 ICLR 大会将于5月6日到5月9日在美国新奥尔良市举行，大会采用 OpenReview 的公开双盲评审机制，共接收了 1578 篇论文：其中 oral 论文 24 篇 (约占 1.5%)，poster 论文共 476 篇 (占30.2%)。在这些录用的论文中，深度学习、强化学习和生成对抗网络 GANs 是最热门的三大研究方向。此前，AI 科技大本营已经对 ICLR2019 的论文投稿及接收情况与高分论文进行了报道和解读，大家可以再回顾一下。
在科学研究中，从方法论上来讲，都应先见森林，再见树木。当前，人工智能科技迅猛发展，万木争荣，更应系统梳理脉络。为此，我们特别精选国内外优秀的综述论文，开辟“综述”专栏，敬请关注。
我们知道，在一定程度上，网络越深，参数越多，模型越复杂，其最终效果越好。神经网络的压缩算法是，旨在将一个庞大而复杂的预训练模型（pre-trained model）转化为一个精简的小模型。 按照压缩过程对网络结构的破坏程度，我们将模型压缩技术分为“前端压缩”和“后端压缩”两部分。
随着大数据的发展，计算机芯片算力的提升，人工智能近两年迎来了新一轮的爆发。而人工智能实现超级算力的核心就是AI芯片。AI芯片也被称为人工智能加速器，即专门用于处理人工智能应用中的大量计算任务的模块。 2020年我国人工智能芯片市场规模约为184亿元。未来5G商用的普及将继续催生人工智能芯片的应用需求，中国人工智能芯片行业将快速发展，预计2023年市场规模将突破千亿元。 那么，如何借助AI芯片来实现特定的任务，将是所有AI芯片产业人员必备的技能。 为此，贪心学院重磅推出《高性能神经网络与AI芯片应用研修课程》
正文部分系《解析卷积神经网络——深度学习实践手册》基础理论篇部分，本次将介绍卷积神经网络压缩的具体途径
来源：机器之心本文约2000字，建议阅读5分钟OTO 是业内首个自动化、一站式、用户友好且通用的神经网络训练与结构压缩框架。 在人工智能时代，如何部署和维护神经网络是产品化的关键问题考虑到节省运算成本，同时尽可能小地损失模型性能，压缩神经网络成为了 DNN 产品化的关键之一。 DNN 压缩通常来说有三种方式，剪枝，知识蒸馏和量化。剪枝旨在识别并去除冗余结构，给 DNN 瘦身的同时尽可能地保持模型性能，是最为通用且有效的压缩方法。三种方法通常来讲可以相辅相成，共同作用来达到最佳的压缩效果。 然而现存的剪枝
本文是来自Stanford Compression Workshop 2019的演讲，作者是来自MIT的助理教授韩松。本次演讲的主要内容是深度卷积神经网络压缩。深度学习的一个挑战是模型太大，对计算资源的消耗极大，很难在手机等嵌入式设备上进行部署，同时也很难以在网络上实时下载；另一个挑战就是深度学习模型对能源的消耗极大，比如AlphaGo每场比赛需要消耗3000美元的电费，而韩松的工作就是使AI更高效：低延迟、高吞吐量、低耗、自动设计和鲁棒。在演讲中，韩松从三个方面讲解了模型压缩：神经网络的内存带宽、工程师的人力资本、分布式网络训练消耗的带宽。
AI 科技评论按：百度关于网络压缩和加速的论文《 Filter Pruning via Geometric Median for Deep Convolutional Neural Networks Acceleration》被 CCF A 类学术会议 CVPR 2019 收录为 Oral 论文，这篇论文提出了新的基于滤波器的几何中心（geometric median）的剪枝算法，来对神经网络进行压缩和加速。本文是论文作者之一何洋为 AI 科技评论提供的论文解读。
我们知道，在一定程度上，网络越深，参数越多，模型越复杂，其最终效果越好。神经网络的压缩算法是，旨在将一个庞大而复杂的预训练模型（pre-trained model）转化为一个精简的小模型。按照压缩过程对网络结构的破坏程度，我们将模型压缩技术分为 “前端压缩” 和 “后端压缩” 两部分。
两篇最佳论文分别来自Mila/加拿大蒙特利尔大学、微软蒙特利尔研究院和MIT CSAIL，主题分别集中在NLP深度学习模型和神经网络压缩。
我想简要地介绍两篇关于修剪神经网络的论文： Learning Sparse Neural Networks through L0 Regularization – Christos Louizos, Max Welling, Diederik P. Kingma (2018) 链接：https://arxiv.org/abs/1712.01312 Faster gaze prediction with dense networks and Fisher pruning – Lucas Theis, Iry
众所周知，深度神经网络模型被广泛应用在图像分类、物体检测，目标跟踪等计算机视觉任务中，并取得了巨大成功。 随着不同场景的需求变得更加多样，越来越多的IoT设备和场景需要与数据采集点以最接近的低时延来进行决策和操作；另外IoT物联设备生成的数据量通常很大，由于运营成本、时间和隐私方面的考虑，移动和存储所有生成的数据不太可行。 AI技术的一个趋势是在设备端上部署高性能的神经网络模型，并在真实场景中实时运行。如移动端/嵌入式设备，这些设备的特点是内存资源少，处理器性能不高，功耗受限，这使得目前精度最高的模型根本
机器之心专栏 作者： 陈天翼-微软西雅图-高级研究员 OTO 是业内首个自动化、一站式、用户友好且通用的神经网络训练与结构压缩框架。 在人工智能时代，如何部署和维护神经网络是产品化的关键问题考虑到节省运算成本，同时尽可能小地损失模型性能，压缩神经网络成为了 DNN 产品化的关键之一。 DNN 压缩通常来说有三种方式，剪枝，知识蒸馏和量化。剪枝旨在识别并去除冗余结构，给 DNN 瘦身的同时尽可能地保持模型性能，是最为通用且有效的压缩方法。三种方法通常来讲可以相辅相成，共同作用来达到最佳的压缩效果。 然而现
深度神经网络推动了许多机器学习任务，包括语音识别、视觉识别和语言处理，是人工智能的有力工具。为了让深度神经网络得以更好地应用，就要让其有更高的准确率以及更快的速度，而剪枝技术可以满足这两点。
来源：机器学习杂货店 本文约5200字，建议阅读10+分钟我们知道，在一定程度上，网络越深，参数越多，模型越复杂，其最终效果越好。 神经网络的压缩算法是，旨在将一个庞大而复杂的预训练模型（pre-trained model）转化为一个精简的小模型。 按照压缩过程对网络结构的破坏程度，我们将模型压缩技术分为 “前端压缩” 和 “后端压缩” 两部分。 前端压缩，是指在不改变原网络结构的压缩技术，主要包括知识蒸馏、轻量级网络（紧凑的模型结构设计）以及滤波器（filter）层面的剪枝（结构化剪枝）等； 后端压缩，是
神经网络压缩算法是，旨在将一个庞大而复杂的预训练模型（pre-trained model）转化为一个精简的小模型。
项目地址：https://github.com/NervanaSystems/distiller/
选自arXiv 机器之心编译 参与：李亚洲 日前，机器之心介绍了一种压缩手机端计算机视觉模型的方法。在这篇文章中，我们介绍了一篇论文，介绍和对比了手机端语言模型的神经网络压缩方法。 神经网络模型需要大量的磁盘与存储空间，也需要大量的时间进行推理，特别是对部署到手机这样的设备上的模型而言。 在目前的研究中，业内已有多种方法解决该难题。部分是基于稀疏计算，也包括剪枝或其他更高级的方法。总而言之，在将模型存储到磁盘时，这样的方法能够大大降低训练网络的大小。 但是，当用模型进行推理时，还存在其他问题。这些问题是由稀
本论文作者包括帝国理工学院硕士生杨润一、北航二年级硕士生朱贞欣、北京理工大学二年级硕士生姜洲、北京理工大学四年级本科生叶柏均、中国科学院大学本科大三学生张逸飞、中国电信人工智能研究院多媒体认知学习实验室（EVOL Lab）负责人赵健、清华大学智能产业研究院（AIR）助理教授赵昊等。
近年来，深度学习技术在很多方向都取得了巨大的成功，但由于深度神经网络计算复杂度高，模型参数量大，限制了其在一些场景和设备上进行部署，特别是在移动嵌入式设备的部署。因此，模型小型化技术成为最近几年学术界和工业界研究的热点，模型小型化技术也从最开始的网络剪枝、知识蒸馏、参数量化等发展为最新的神经网络架构搜索（NAS）和自动模型压缩等技术。
编者注：本文为英特尔中国研究院最新研究成果，主要介绍了一个名为“动态外科手术”算法，有效地解决了处理大型网络时重训练时间长，误剪枝率高的问题。利用该算法，我们可以轻易地将LeNet和AlexNet这两个经典网络的参数总量分别压缩108倍和17.7倍。 英特尔中国研究院于近期提出了一种名为“动态外科手术”的神经网络压缩算法，获得了业内的广泛关注以及国内外专家的高度评价。利用该方法，研究人员可以在保证原始模型性能不降的前提下大幅度压缩网络结构。让我们带您一起深入浅出地理解这一算法。 如果您有定期关注IT、互联网
在该论文 ICLR 2019 的双盲审评论区，论文「ThiNet」的一作 Jian-Hao Luo 和论文「通道剪枝」的一作 Yihui He 提出了修改意见。Jian-Hao Luo 分别对表 2 中 VGG-16 和 ResNet-50 的结果提出了质疑，但同时也认为这是一篇「Interesting paper」，研究社区应该对「剪枝」方法和「从零开始训练」方法进行更深入的思考。Yihui He 要求作者修改表 1、表 2 和表 4 中关于 VGG-16 的准确率结果。作者也向他们作出了积极的回应。
最近，快手 Y-Tech 西雅图 AI lab 联合罗切斯特大学等研究者提出了一种基于能耗建模的压缩方法，他们一脉相承的两篇论文分别被 ICLR 2019 和 CVPR 2019 接收。在这篇文章中，我们将介绍这种新型模型压缩的核心思想及主要做法，神经网络压缩也许该走向有目标的前进之路了。
本文提出了一种用于三维卷积神经网络（3D CNN）的模型压缩和移动加速框架 RT3D，通过结合神经网络权重剪枝和编译器代码优化技术，使模型的端到端运行时间与目前支持 3D CNN 的移动框架相比速度提升高达 29.1 倍，准确性损失仅为 1％~1.5％。当在手机上采用 C3D 或 R(2+1)D 模型时，可以在 150ms 内完成 16 帧视频的计算。该工作由 CoCoPIE 团队：美国东北大学（Northeastern University）的王言治研究组、威廉与玛丽学院（William & Mary）的任彬研究组以及北卡罗来纳州立大学（North Carolina State University）的慎熙鹏研究组共同完成，发表于第 35 届美国人工智能协会年会（AAAI 2021）。
这篇获奖论文名为The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks，提出了一种叫作“彩票假设”（lottery ticket hypothesis）的缩小方法。
机器之心报道 作者：Hecate He 来自微软、浙江大学等机构的研究者提出了一种 one-shot DNN 剪枝框架，无需微调即可从大型神经网络中得到轻量级架构，在保持模型高性能的同时还能显著降低所需算力。 大型神经网络学习速度很快，性能也往往优于其他较小的模型，但它们对资源的巨大需求限制了其在现实世界的部署。 剪枝是最常见的 DNN 压缩方法之一，旨在减少冗余结构，给 DNN 模型瘦身的同时提高其可解释性。然而，现有的剪枝方法通常是启发式的，而且只针对特定任务，还非常耗时，泛化能力也很差。 在一篇标题为
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
