深度学习模型运行需要大量的计算、内存和功耗，为了解决模型模型运行的瓶颈，研究者提出了一系列模型压缩方法，其中包括模型剪枝，能够有效地减小内存、功耗，提高计算效率。
进入到不惑境界，就是向高手迈进的开始了，在这个境界需要自己独立思考。如果说学习是一个从模仿，到追随，到创造的过程，那么到这个阶段，应该跃过了模仿和追随的阶段，进入了创造的阶段。从这个境界开始，讲述的问题可能不再有答案，更多的是激发大家一起来思考。
在该论文 ICLR 2019 的双盲审评论区，论文「ThiNet」的一作 Jian-Hao Luo 和论文「通道剪枝」的一作 Yihui He 提出了修改意见。Jian-Hao Luo 分别对表 2 中 VGG-16 和 ResNet-50 的结果提出了质疑，但同时也认为这是一篇「Interesting paper」，研究社区应该对「剪枝」方法和「从零开始训练」方法进行更深入的思考。Yihui He 要求作者修改表 1、表 2 和表 4 中关于 VGG-16 的准确率结果。作者也向他们作出了积极的回应。
网络剪枝（Network Pruning）是常用的模型压缩方法之一，被广泛用于降低深度模型的繁重计算量。
大家好，欢迎来到我们的星球知识小卡片专栏，本期给大家分享模型剪枝的关键技术以及一些学习资料。
---- 新智元报道 来源：微软亚洲研究院 编辑：QQ 【新智元导读】集成前沿算法，NNI（Neural Network Intelligence）大更新。 无论在学术界还是产业界，今年人工智能大模型都是爆款话题。但面对这些动不动就数十亿级别参数的模型，使用传统方法微调，宛如水中捞月、海底捞针。作为微软亚洲研究院为科研人员和算法工程师量身定制的一站式 AutoML（自动机器学习）工具， NNI（Neural Network Intelligence）在过去的三年间不断迭代更新，加强了对各种分布式训
自大型语言模型（LLM）出现以来，它们便在各种自然语言任务上取得了显著的效果。不过，大型语言模型需要海量的计算资源来训练。因此，业界对构建同样强大的中型规模模型越来越感兴趣，出现了 LLaMA、MPT 和 Falcon，实现了高效的推理和微调。
一般来说，神经网络层数越深、参数越多，所得出的结果就越精细。但与此同时，问题也来了：越精细，意味着所消耗的计算资源也就越多。这个问题怎么破？这就要靠剪枝技术了。言下之意，把那些对输出结果贡献不大的参数剪掉。这项技术可追溯至深度学习大神Yan LeCun在1990年的研究。 本文除了对各类剪枝技术进行详解，还会以案例的形式来进行实验实操：修剪一个基于VGG-16模型的猫狗分类器。这个案例结果证明，剪枝后的模型在速度上比原来快了近3倍，而文件大小只有原来的1/4。这对于移动设备，速度和大小都极其重要。
目前，深度学习模型的部署和应用已经成为了各个领域的热门话题。然而，随着深度学习模型的不断发展，模型的复杂性和计算需求也越来越高，限制了模型在资源受限的设备上的应用。为了解决这个问题，模型剪枝压缩成为了一种常用的方法。在本文中，我们将讲解如何使用YOLOv5模型进行剪枝压缩，以实现模型的高效部署。
导语：模型剪枝算法核心在于找到“不重要”的参数并且实现裁剪。为寻找到较优的剪枝策略，我们往往需要尝试多种剪枝策略和剪枝策略性能评估。通常剪枝策略评估方法是将剪枝后的模型训练到收敛或者训练规定好数量epoch后进行性能比较。不管是人工调试剪枝策略还是自动搜索剪枝策略，都需要多次评估剪枝策略。剪枝策略的评估效率一定程度上影响了整体压缩效率。因此，本文提出了一种能够快速衡量剪枝后模型性能的方法，经实验能够对MobilenetV1减少50%的FLOPs情况下，仍能保证在Imagenet数据集上Top1精度达到70.9%。
[GiantPandaCV导语]：模型剪枝算法核心在于找到“不重要”的参数并且实现裁剪。为寻找到较优的剪枝策略，我们往往需要尝试多种剪枝策略和剪枝策略性能评估。通常剪枝策略评估方法是将剪枝后的模型训练到收敛或者训练规定好数量epoch后进行性能比较。不管是人工调试剪枝策略还是自动搜索剪枝策略，都需要多次评估剪枝策略。剪枝策略的评估效率一定程度上影响了整体压缩效率。因此，本文提出了一种能够快速衡量剪枝后模型性能的方法，经实验能够对MobilenetV1减少50%的FLOPs情况下，仍能保证在Imagenet数据集上Top1精度达到70.9%。
深度学习网络模型从卷积层到全连接层存在着大量冗余的参数，大量神经元激活值趋近于0，仅仅只有少部分（5-10%）权值参与着主要的计算. 将这些神经元去除后可以表现出同样的模型表达能力，这种情况被称为过参数化，而对应的技术则被称为模型剪枝。
模型压缩可以有效地减少模型的存储和计算资源需求，提高模型的推理速度和效率，从而实现在移动设备、边缘设备等资源受限的场景中进行高效的机器学习应用。常用的模型压缩方法有4种：知识蒸馏（Knowledge Distillation，KD）、 轻量化模型架构、 剪枝（Pruning）、 量化（Quantization）。
深度神经网络（DNNs）在各种任务上取得了显著的进展，在工业应用中取得了显著的成功。在这些应用中，模型优化的追求突出地表现为一个普遍的需求，它提供了提高模型推理速度的潜力，同时最小化精度折衷。这一追求包括各种技术，尤其是模型削减、量化以及高效模型设计。高效模型设计包括神经架构搜索（NAS）和手工设计方法。模型削减已成为工业应用中优化模型的主要策略。作为主要加速方法，模型削减关注于有意去除冗余权重，同时保持准确性。
本文对大型语言模型的压缩和效率推理进行了综述。大型语言模型基于Transformer架构，具有强大的性能，但也带来了巨大的内存和计算成本。本文从算法角度对大型语言模型的压缩和效率推理方法进行了分类，包括量化、剪枝、知识蒸馏、紧凑架构设计和动态网络。大型语言模型有两个显著特点：
剪枝是一种帮助神经网络实现规模更小、效率更高的深度学习方法。这是一种模型优化技术，它删除权重张量中不必要的值，从而使得压缩后的神经网络运行速度更快，网络训练过程中的计算成本也有所降低。在将模型部署到手机等边缘设备上时，剪枝的作用更加明显现。
还记得在理解 LSTM 的时候，我们会发现，它用一种门控机制记住重要的信息而遗忘不重要的信息。在此之后，很多机器学习方法都受到了门控机制的影响，包括 Highway Network 和 GRU 等等。北大的研究者同样也是，它们将门控机制加入到 CNN 剪枝中，让模型自己决定哪些滤波器不太重要，那么它们就可以删除了。
深度神经网络推动了许多机器学习任务，包括语音识别、视觉识别和语言处理，是人工智能的有力工具。为了让深度神经网络得以更好地应用，就要让其有更高的准确率以及更快的速度，而剪枝技术可以满足这两点。
这篇文章是深度学习算法优化系列的第一篇文章，主要解读一篇ICLR 2017年的《Pruning Filters for Efficient ConvNets》，关于通道剪枝策略的一篇论文。论文原地址见附录。
模型剪枝属于模型优化中的重要技术之一，经过了研究人员多年的研究，工业界也开始有一些实践，那么当前有哪些可用的模型剪枝工具呢？
近年来，随着深度神经网络模型性能不断刷新，模型的骨干网络参数量愈发庞大，存储和计算代价不断提高，从而导致难以部署在资源受限的嵌入式平台上。滴滴 AI Labs 与美国东北大学王言治教授研究组合作，联合提出了一种基于 AutoML 思想的自动结构化剪枝的算法框架 AutoCompress，能自动化的去寻找深度模型剪枝中的超参数，去除模型中不同层的参数冗余，替代人工设计的过程并实现了超高的压缩倍率。从而满足嵌入式端上运行深度模型的实时性能需求。
论文标题 & 发表会议：Shortened LLaMA: A Simple Depth Pruning for Large Language Models（ICLR 2024 Workshop）
欢迎来到《每周CV论文推荐》。在这个专栏里，还是本着有三AI一贯的原则，专注于让大家能够系统性完成学习，所以我们推荐的文章也必定是同一主题的。
剪枝是一种模型优化技术，这种技术可以消除权重张量中不必要的值。这将会得到更小的模型，并且模型精度非常接近标准模型。
尽管目标检测新算法层出不穷，但在实际工程项目中不少52CV群友还是念着YOLOv3的好。将其部署到边缘设备等时，模型剪枝是非常有必要的，毕竟有原始模型有239M的参数，剪枝后往往也能提速不少。
该项目也说明在使用YOLOv3进行单类目标检测时，模型存在大量冗余，剪枝可以较好的减少参数、提高速度。
👆关注“博文视点Broadview”，获取更多书讯 近年来，BERT 系列模型成了应用最广的预训练语言模型，随着模型性能的提升，其参数规模不断增大，推理速度也急剧提升，导致原始模型必须部署在高端的GPU 显卡上，甚至部分模型需要多块显卡才能正常运行。 在移动智能终端品类越发多样的时代，为了让预训练语言模型可以顺利部署在算力和存储空间都受限的移动终端，对预训练语言模型的压缩是必不可少的。本文将介绍针对BERT（以Transformer Block 堆叠而成的深度模型）的压缩方法。 01 BERT模型分析
以羊驼LLaMA 2 7B为基础，通过定向结构化剪枝得到1.3B和3B剪枝后的Sheared-LLama模型。
| 导语 BERT模型在多种下游任务表现优异，但庞大的模型结果也带来了训练及推理速度过慢的问题，难以满足对实时响应速度要求高的场景，模型轻量化就显得非常重要。因此，笔者对BERT系列模型进行剪枝，并部署到实际项目中，在满足准确率的前提下提高推理速度。 一. 模型轻量化 模型轻量化是业界一直在探索的一个课题，尤其是当你使用了BERT系列的预训练语言模型，inference速度始终是个绕不开的问题，而且训练平台可能还会对训练机器、速度有限制，训练时长也是一个难题。 目前业界上主要的轻量化方法如下
本文首发于 【集智书童】，白名单账号转载请自觉植入本公众号名片并注明来源，非白名单账号请先申请权限，违者必究。
自 2020 年 GPT-3 横空出世以来，ChatGPT 的爆火再一次将 GPT 家族的生成式大型语言模型带到聚光灯下，它们在各种任务中都已显示出了强大的性能。
本文提出了一种用于三维卷积神经网络（3D CNN）的模型压缩和移动加速框架 RT3D，通过结合神经网络权重剪枝和编译器代码优化技术，使模型的端到端运行时间与目前支持 3D CNN 的移动框架相比速度提升高达 29.1 倍，准确性损失仅为 1％~1.5％。当在手机上采用 C3D 或 R(2+1)D 模型时，可以在 150ms 内完成 16 帧视频的计算。该工作由 CoCoPIE 团队：美国东北大学（Northeastern University）的王言治研究组、威廉与玛丽学院（William & Mary）的任彬研究组以及北卡罗来纳州立大学（North Carolina State University）的慎熙鹏研究组共同完成，发表于第 35 届美国人工智能协会年会（AAAI 2021）。
基于模式化稀疏度的剪枝方法能够使深度神经网络在图像识别任务中「看得」更清楚，同时减小了模型尺寸，使模型在移动端「跑得」更快，实现实时推理。
最近现又有一款新工具加入模型优化“豪华套餐”，这就是基于Keras的剪枝优化工具。
好！但是成本很贵……大量的计算资源、训练，还有碳足迹和AI研究的商业化，这些成本给人工智能界带来了若干挑战。
之前讲过关于模型剪枝的文章深度学习算法优化系列七 | ICCV 2017的一篇模型剪枝论文，也是2019年众多开源剪枝项目的理论基础 并分析过如何利用这个通道剪枝算法对常见的分类模型如VGG16/ResNet/DenseNet进行剪枝，见深度学习算法优化系列八 | VGG，ResNet，DenseNe模型剪枝代码实战 ，感兴趣的可以去看看。这篇推文主要是介绍一下如何将这个通道剪枝算法应用到YOLOV3上，参考的Github工程地址为：https://github.com/Lam1360/YOLOv3-model-pruning。
近年来，深度学习技术在很多方向都取得了巨大的成功，但由于深度神经网络计算复杂度高，模型参数量大，限制了其在一些场景和设备上进行部署，特别是在移动嵌入式设备的部署。因此，模型小型化技术成为最近几年学术界和工业界研究的热点，模型小型化技术也从最开始的网络剪枝、知识蒸馏、参数量化等发展为最新的神经网络架构搜索（NAS）和自动模型压缩等技术。
无人机因为硬件计算能力较弱，要在其上实现实时的目标检测，需要算法参数量小、占用内存少、推断时间短。常见的算法往往难以直接应用。
去年TensorFlow官方推出了模型优化工具，最多能将模型尺寸减小4倍，运行速度提高3倍。
由美国东北大学王言治教授研究团队与美国威廉玛丽学院任彬教授研究团队共同提出，IBM、清华等共同研究的模式化稀疏度感知训练框架，不仅能够同时实现卷积核稀疏模式的全自动提取、模式化稀疏度的自动选择与模型训练，还证明了所提取的模式化稀疏度与理论最佳模式化稀疏度相匹配，并进一步设计了能够利用模型特点实现编译器优化的移动端推理框架，实现了大规模深度神经网络在手机移动端上的实时推理。目前，这篇文章已被 ECCV 2020 会议收录，该文章同时入选 ECCV 2020 demonstration track。
剪枝是深度神经网络 (DNN) 的主要压缩方法之一，从 DNN 模型中删除不太相关的参数以减少其内存占用。为了获得更好的最终精度，通常迭代地执行剪枝，在每一步中删除越来越多的参数，并对剩余的参数应用微调(即额外的训练周期），一直持续到达到目标压缩比。然而，这个过程可能非常耗时。若采取一次性剪枝（在一个步骤中修剪所有参数并进行一次微调）来缓解这个问题，又可能会带来较高的准确性损失。
近年来，自动驾驶汽车（AVs）因其提高驾驶舒适性和减少车辆碰撞伤害的潜力而受到极大关注。美国国家公路交通安全管理局（NHTSA）的一份报告显示，2021年美国公路上发生了31720多起致命事故。这些事故被发现主要是由司机分心造成的。AVs可以借助其感知系统帮助减轻人为错误并避免此类事故。感知系统通过一系列传感器（包括激光雷达、雷达和摄像头）帮助AVs了解周围环境。目标检测是此类感知系统的重要组成部分。
在上一篇文章“神经网络剪枝2019”(点击文末阅读原文可以打开知乎原文)中，我们回顾了一些关于修剪神经网络的优秀文献。我们了解到，剪枝是一种模型优化技术，包括去掉权重张量中不必要的值。这使模型更小且精度和基线模型非常接近。 在本文中，我们将通过一个示例来应用剪枝，并查看对最终模型大小和预测误差的影响。
选自arXiv 机器之心编译 编辑：袁铭怿 我们可以压缩大型语言模型以获得更好的性能吗？本文中，研究者提出了剪枝技术 SparseGPT，可以一次性修剪至少 50% 的稀疏性，而无需任何重新训练，并且准确率损失最小。 GPT 家族的大型语言模型（LLMs）在诸多任务中取得了出色的表现，但模型庞大的规模和高昂的计算成本也增加了部署难度。例如，性能最好的 GPT-175B 模型约有 1750 亿参数，以半精度（FP16）格式计算，总计至少占 320GB（计算 1024 的倍数）的存储空间，所以需要至少 5 个
它成功将一个在自然语言处理领域的Transformer模型迁移到计算机视觉领域。从那时起，计算机视觉领域的进步已经加速。
计算机视觉研究院主要涉及AI研究和落地实践，主要致力于目标检测、目标跟踪、图像分割、OCR、模型量化、模型部署等研究方向。研究院每日分享最新的论文算法新框架，提供论文一键下载，并分享实战项目。研究院主要着重”技术研究“和“实践落地”！
專 欄 ❈PytLab，Python 中文社区专栏作者。主要从事科学计算与高性能计算领域的应用，主要语言为Python，C，C++。熟悉数值算法(最优化方法，蒙特卡洛算法等）与并行化 算法（MPI,OpenMP等多线程以及多进程并行化）以及python优化方法，经常使用C++给python写扩展。 知乎专栏：化学狗码砖的日常 blog：http://pytlab.org github：https://github.com/PytLab ❈ 前言 最近由于开始要把精力集中在课题的应用上面了，这篇总结之后算法
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
