我们知道，在一定程度上，网络越深，参数越多，模型越复杂，其最终效果越好。神经网络的压缩算法是，旨在将一个庞大而复杂的预训练模型（pre-trained model）转化为一个精简的小模型。 按照压缩过程对网络结构的破坏程度，我们将模型压缩技术分为“前端压缩”和“后端压缩”两部分。
我们知道，在一定程度上，网络越深，参数越多，模型越复杂，其最终效果越好。神经网络的压缩算法是，旨在将一个庞大而复杂的预训练模型（pre-trained model）转化为一个精简的小模型。按照压缩过程对网络结构的破坏程度，我们将模型压缩技术分为 “前端压缩” 和 “后端压缩” 两部分。
本文介绍了如何通过光学字符识别（OCR）技术来识别收据中的文本内容，并探讨了在识别过程中可能遇到的文本噪声问题，以及如何解决这些问题。同时，文章还介绍了如何使用CNN和LSTM等深度学习技术来提高文本识别的准确率。
来源：机器学习杂货店 本文约5200字，建议阅读10+分钟我们知道，在一定程度上，网络越深，参数越多，模型越复杂，其最终效果越好。 神经网络的压缩算法是，旨在将一个庞大而复杂的预训练模型（pre-trained model）转化为一个精简的小模型。 按照压缩过程对网络结构的破坏程度，我们将模型压缩技术分为 “前端压缩” 和 “后端压缩” 两部分。 前端压缩，是指在不改变原网络结构的压缩技术，主要包括知识蒸馏、轻量级网络（紧凑的模型结构设计）以及滤波器（filter）层面的剪枝（结构化剪枝）等； 后端压缩，是
神经网络压缩算法是，旨在将一个庞大而复杂的预训练模型（pre-trained model）转化为一个精简的小模型。
光学字符识别技术（OCR）目前被广泛利用在手写识别、打印识别及文本图像识别等相关领域。小到文档识别、银行卡身份证识别，大到广告、海报。因为OCR技术的发明，极大简化了我们处理数据的方式。
二值网络是非常极致的一种神经网络，它的权重、激活值只有+1 与-1 两种状态。那么这么极简的神经网络到底能干什么，它的优势与限制都有什么？这就是本文关注的，我们希望通过基本概念、性能里程碑看看二值神经网络这几年到底有什么发展。
这篇论文提出了一种旨在优化前后向传播中信息流的实用、高效的网络二值化新算法 IR-Net。不同于以往二值神经网络大多关注量化误差方面，本文首次从统一信息的角度研究了二值网络的前向和后向传播过程，为网络二值化机制的研究提供了全新的视角。同时，该工作首次在 ARM 设备上进行了先进二值化算法效率验证，显示了 IR-Net 部署时的优异性能和极高的实用性，有助于解决工业界关注的神经网络二值化落地的核心问题。
导语：在CVPR 2020上，商汤研究院链接与编译组和北京航空航天大学刘祥龙老师团队提出了一种旨在优化前后向传播中信息流的实用、高效的网络二值化新算法IR-Net。不同于以往二值神经网络大多关注量化误差方面，本文首次从统一信息的角度研究了二值网络的前向和后向传播过程，为网络二值化机制的研究提供了全新视角。同时，该工作首次在ARM设备上进行了先进二值化算法效率验证，显示了IR-Net部署时的优异性能和极高的实用性，有助于解决工业界关注的神经网络二值化落地的核心问题。
在CVPR 2020上，商汤研究院链接与编译组和北京航空航天大学刘祥龙老师团队提出了一种旨在优化前后向传播中信息流的实用、高效的网络二值化新算法IR-Net。
在CVPR 2020上，商汤研究院链接与编译组和北京航空航天大学刘祥龙老师团队提出了一种旨在优化前后向传播中信息流的实用、高效的网络二值化新算法IR-Net。不同于以往二值神经网络大多关注量化误差方面，本文首次从统一信息的角度研究了二值网络的前向和后向传播过程，为网络二值化机制的研究提供了全新的视角。同时，该工作首次在ARM设备上进行了先进二值化算法效率验证，显示了IR-Net部署时的优异性能和极高的实用性，有助于解决工业界关注的神经网络二值化落地的核心问题。
【GiantPandaCV导语】二值化神经网络BNN由于可以实现极高的压缩比和加速效果，所以它是推动以深度神经网络为代表的人工智能模型在资源受限和功耗受限的移动端设备，嵌入式设备上落地应用的一门非常有潜力的技术。虽然目前的BNN仍然存在着很多不足，如模型精度仍然比全精度低了不少，无法有效地泛化到更复杂的任务上，依赖于特定的硬件架构和软件框架......，但我们同时也能看到BNN从最初的2015年ImageNet上只有27%的Top-1准确率发展到2020年ReActNet-C的71.4%的进步，这五年时间众多研究人员在这条道路上不断推动着BNN朝着更准更快更稳的方向发展，所以我们有理由相信，BNN未来可期！
神经网络的压缩和加速现在已经成为一个热门课题，这个领域有多种研究方法，网络量化就是其中之一。网络量化分为输入量化和权值量化两种。而同时将输入和权值量化会造成网络精度的大幅下降。在 Performance Guaranteed Network Acceleration via High-Order Residual Quantization (性能保障的高阶残差量化网络加速方法)一文中，作者针对这个问题，提出了高阶残差量化（HORQ）的方法，既能够利用网络量化带来的大幅计算加速，又能够保证网络的精度不会大幅
本文将通过拆解SmallVGGNet的架构及代码实例来讲解如何运用Keras进行多标签分类。
本文提出了二进制架构搜索(BATS)，这是一个通过神经架构搜索(NAS)大幅缩小二进制神经网络与其实值对应的精度差距的框架。实验表明，直接将NAS 应用于二进制领域的结果非常糟糕。为了缓解这种情况，本文描述了将 NAS 成功应用于二进制领域的 3 个关键要素：
赢得围棋人机大战的AlphaGo为了运行神经网络，用了280块GPU，功率超过一百个李世石[1]。 这种使用浮点计算的神经网络要求的大存储空间和大计算量，严重阻碍了其在手机、手表和移动机器人等设备上的
机器之心专栏 机器之心编辑部 来自 Meta 和北京大学的研究者在 BERT 模型上验证了二值化 transformer 的可行性。 神经网络压缩一直被视为机器学习模型从实验室走向工业应用中的不可或缺的一步，而量化 (quantization) 又是神经网络压缩中最常用的方法之一。今天这篇 NeurIPS 论文 BiT 从实验和理论验证了极端压缩情况下的 1-bit 的 BERT 网络也能在自然语言处理的分类数据集 GLUE 上取得接近全精度网络的结果，将与全精度网络差距从之前方法的 16% 缩小到了仅
当前CNN网络主要的运算集中在实数权值乘以实数激活值或者实数权值乘以实数梯度。论文提出BinaryConnect将用于前向传播和后向传播计算的实数权值二值化为, 从而将这些乘法运算变为加减运算。这样即压缩了网络模型大小，又加快了速度。论文提到，SGD通过平均权重带来的梯度来得到一些小的带噪声的步长，尝试更新权重去搜索参数空间，因此这些梯度非常重要，要有足够的分辨率，sgd至少需要6—8bits的精度。如果对权重进行量化，就会导致无法对权重直接求导，所以我们可以把二值化权重看成是带噪声的权重。论文认为，带噪声的权重往往能够带来正则化，使得泛化能力更好，类似Dropout，DropCconnect这种就是对激活值或者权重加入了噪声，它们表明只要权重的期望值是高精度的，添加噪声往往是有益处的，所以对权重进行量化理论角度是可行的。
,本文属于转载博客，感谢原创：BP神经网络:图片的分割和规范化:《Python》系列。
机器之心报道 机器之心编辑部 来自康涅狄格大学等机构的研究者提出了一种基于结构剪枝的 BCNN 加速器，它能以较小的准确率损失获得 20 倍的剪枝率，并且在边缘设备上提供了超过 5000 帧 / 秒的推理吞吐量。 对于许多信号处理应用来说，能够从具有相位信息的复数数据中进行学习是必不可少的。当前实值深度神经网络（DNN）在潜在信息分析方面表现出了较高的效率，但在复数领域的应用还不够。而深度复数网络（Deep complex networks, DCN）可以从复数数据中学习，但计算成本较高，因此，这些技术都不
目前在深度学习领域分类两个派别，一派为学院派，研究强大、复杂的模型网络和实验方法，为了追求更高的性能；另一派为工程派，旨在将算法更稳定、高效的落地在硬件平台上，效率是其追求的目标。复杂的模型固然具有更好的性能，但是高额的存储空间、计算资源消耗是使其难以有效的应用在各硬件平台上的重要原因。所以，卷积神经网络日益增长的深度和尺寸为深度学习在移动端的部署带来了巨大的挑战，深度学习模型压缩与加速成为了学术界和工业界都重点关注的研究领域之一。本文主要介绍深度学习模型压缩和加速算法的三个方向，分别为加速网络结构设计、模型裁剪与稀疏化、量化加速。
秦浩桐 投稿 量子位 | 公众号 QbitAI 二值量化可以有效节约AI模型消耗的资源。 具体而言，它可以把32位浮点数值压缩到1位，大大降低了存储和运算成本。 然而，此前对二值量化模型质量的评测一直停留在理论层面，难以对算法在准确性和效率方面的表现进行全面评估。 为此，来自北京航空航天大学、南洋理工大学、苏黎世联邦理工大学的研究者，全新推出了首个二值量化评测基准BiBench。 相关论文已被ICML 2023接收。 近日，机器学习顶会 ICML 2023接收论文结果已经正式公布。在 6538篇有效投稿中
今天分享的这篇文章主要解决NAS代理机制下无法搜索到全局最优的问题，改进搜索策略，一定程度上解决资源消耗的问题。其主要是基于DARTs改的，那就先谈谈DARTs的一些问题：
我想大多数人和我一样，第一次听见“人工智能”这个词的时候都会觉得是一个很高大上、遥不可及的概念，特别像我这样一个平凡的前端，和大部分人一样，都觉得人工智能其实离我们很遥远，我们对它的印象总是停留在各种各样神奇而又复杂的算法，这些仿佛都是那些技术专家或者海归博士才有能力去做的工作。我也曾一度以为自己和这个行业没有太多缘分，但自从Tensorflow发布了JS版本之后，这一领域又引起了我的注意。在python垄断的时代，发布JS工具库不就是意味着我们前端工程师也可以参与其中？
本文分享 ICLR 2023 论文Basic Binary Convolution Unit For Binarized Image Restoration Network ，介绍用于图像复原的基础二值卷积单元。
作者：Joseph Bethge、Marvin Bornstein、Adrian Loy、Haojin Yang、Christoph Meinel
http://www.tensorinfinity.com/paper_167.html
作者：Zechun Liu，Baoyuan Wu，Wenhan Luo，Xin Yang，Wei Liu，Kwang-Ting Cheng
选自Microsoft博客 机器之心编译 机器之心编辑部 GPT-3 强大，但不是很「聪明」，微软提出了一种大规模稀疏模型，改进了生产型 Transformer 模型，在自家搜索引擎Bing上改进并测试，性能大幅提升。 近来 GPT-3 等基于 Transformer 的深度学习模型在机器学习领域受到了很多关注。这些模型擅长理解语义关系，为大幅改进微软 Bing 搜索引擎的体验做出了贡献，并在 SuperGLUE 学术基准上超越了人类的表现。但是，这些模型可能无法捕获超出纯语义的查询和文档术语之间更细微
机器之心发布 北航刘祥龙教授团队、字节跳动 AI Lab智能语音团队 该研究提出了首个针对 KWS 任务的二值神经网络 BiFSMN，通过令人信服的精度改进优于现有的二值化方法，甚至可以与全精度对应物相媲美。此外，该研究在 ARMv8 实际设备上的 BiFSMN 实现了 22.3 倍加速和 15.5 倍存储节省。 近年来，以 FSMN 为代表的语音关键字识别（KWS）模型在各类边缘场景得到广泛应用。然而，语音唤醒应用的实时响应需求和边缘设备上有限计算与能耗资源间的矛盾一直存在，这阻碍了 KWS 模型在真实世
图片验证码算是网络数据采集上的一道拦路虎，虽然有诸多公开的ORC接口、云打码平台，一旦大规模应用起来，还是内部写程序进行识别处理比较好。
在日常生活工作中，我们难免会遇到一些问题，比如图片上不合规的文字信息，却要一个一个地审核，很麻烦；快递公司的业务越来越好，但每天需要花费很多时间登记录入运单，效率非常的低。
在自动驾驶、AR 等实际应用场景下，用于点云的深度神经网络模型非常需要实时交互和快速响应。但是，它们的部署环境通常是一些资源受限的边缘设备。
正文部分系《解析卷积神经网络——深度学习实践手册》基础理论篇部分，本次将介绍卷积神经网络压缩的具体途径
选自EACL 2017 机器之心编译 参与：微胖，吴攀 自然语言处理领域的欧洲顶级会议 EACL 2017 将于当地时间 4 月 3-7 日在西班牙瓦伦西亚举行，近日，该会议的官网公布了本届会议的
摘要：NAS 受限于其过高的计算资源 (GPU 时间, GPU 内存) 需求，仍然无法在大规模任务 (例如 ImageNet) 上直接进行神经网络结构学习。目前一个普遍的做法是在一个小型的 Proxy 任务上进行网络结构的学习，然后再迁移到目标任务上。这样的 Proxy 包括: (i) 训练极少量轮数; (ii) 在较小的网络下学习一个结构单元 (block)，然后通过重复堆叠同样的 block 构建一个大的网络; (iii) 在小数据集 (例如 CIFAR) 上进行搜索。然而，这些在 Proxy 上优化的网络结构在目标任务上并不是最优的。在本文中，我们提出了 ProxylessNAS，第一个在没有任何 Proxy 的情况下直接在 ImageNet 量级的大规模数据集上搜索大设计空间的的 NAS 算法，并首次专门为硬件定制 CNN 架构。我们将模型压缩 (减枝，量化) 的思想与 NAS 进行结合，把 NAS 的计算成本 (GPU 时间, GPU 内存) 降低到与常规训练相同规模，同时保留了丰富的搜索空间，并将神经网络结构的硬件性能 (延时，能耗) 也直接纳入到优化目标中。我们在 CIFAR-10 和 ImageNet 的实验验证了」直接搜索」和「为硬件定制」的有效性。在 CIFAR-10 上，我们的模型仅用 5.7M 参数就达到了 2.08% 的测试误差。对比之前的最优模型 AmoebaNet-B，ProxylessNAS 仅用了六分之一的参数量就达到了更好的结果。在 ImageNet 上，ProxylessNAS 比 MobilenetV2 高了 3.1% 的 Top-1 正确率，并且在 GPU 上比 MobilenetV2 快了 20%。在同等的 top-1 准确率下 (74.5% 以上), ProxylessNAS 的手机实测速度是当今业界标准 MobileNetV2 的 1.8 倍。在用 ProxylessNAS 来为不同硬件定制神经网络结构的同时，我们发现各个平台上搜索到的神经网络在结构上有很大不同。这些发现为之后设计高效 CNN 结构提供新的思路。
在今天博客的最后，你将会了解如何在你自己的数据库中建立、训练并评估一个卷积神经网络。
深度卷积神经网络（CNN）由于精度高在视觉任务中已经有非常广泛的应用，但是 CNN 的模型过大限制了它在移动端的部署。模型压缩也因此变得尤为重要。在模型压缩方法中，将网络中的权重和激活都只用 +1 或者 -1 来表示将可以达到理论上的 32 倍的存储空间的节省和 64 倍的加速效应。由于它的权重和激活都只需要用 1bit 表示，因此极其有利于硬件上的部署和实现。
DNN（deep neural networks）在计算机视觉任务中取得了很好的效果，比如图像分类、目标检测、实例分割等。不过，大量的参数和计算的复杂度带来的高存储和高计算性能的限制，使得DNN很难应用在一些低性能的设备上。为了解决这个问题，提出了很多压缩技术：network pruning，low-rank decomposition，efficient architecture design，network quantization。其中，network quantization将全精度（full-precision）网络中的权重和激活值转换成低精度的表达。其中一个极端的情况就是 binary neural network（BNN 二值神经网络），它将权重和激活值的数值限制在两个取值：+1和-1。如此，相比全精度的网络，BNN的大小可以缩小32倍（全精度网络中一个双精度数值用32bit表示，BNN中一个数值用1bit表示），并且使用乘法和加分的卷积运算可以使用更高效的 XNOR 和 bitcount 运算代替。
我们知道，XORNet以及BNN都没有在反向传播阶段做梯度的量化，之前也没有任何工作可以在反向传播阶段将梯度量化到8位一下并且保持相当的预测精度。在BNN和XORNet中，虽然权重是二值化的，但是梯度仍然是全精度浮点数，因此在反向传播时反卷积依然是1bit和32bit数之间的运算，这导致BNN和XORNet的训练时间主要花在反向传播阶段。
图片来自wiki 昨天，雷锋网编译了《干货分享 | 深度学习零基础进阶大法！》，相信读者一定对深度学习的历史有了一个基本了解，其基本的模型架构（CNN/RNN/LSTM）与深度学习如何应用在图片和语音识别上肯定也不在话下了。今天这一部分，我们将通过新一批论文，让你对深度学习的方式与深度学习在不同领域的运用有个清晰的了解。由于第二部分的论文开始向细化方向延展，因此你可以根据自己的研究方向酌情进行选择。本文对每篇论文都增加了补充介绍，分上下两篇，由老吕IO及奕欣编译整理，未经雷锋网许可不得转载。 1.深度学
机器之心报道 编辑：Panda 深度卷积神经网络的计算常常需要巨大的能耗，因此难以在移动设备上实现。为此学界正在探索研究各式各样的新方法，本文要介绍的这项研究提出了使用加法替代 CNN 中的乘法（卷积），从而极大降低神经网络使用时的能耗。 该研究的初步结果已在 CVPR 2020 发表（arXiv:1912.13200）。本文要介绍的是最新的研究成果，在新版本中，AdderNet 的性能已经获得了显著的提升，并且还具有了完善的理论保证。 首先，该研究团队证明了具有单个隐藏层 AdderNet 和宽度有界的
二值神经网络 (BNN)指的是weight和activation都用1-bit来表示的模型架构，相比FP32的浮点神经网络，它可以实现约32倍的内存减少，并且在推理过程中可以用xnor和popcount这样的位运算来替代复杂的乘法和累加操作，从而大大加快模型的推理过程，所以BNN在模型压缩与优化加速领域存在着巨大的潜力
AI科技评论按：神经网络功能强大，但是其巨大的存储和计算代价也使得它的使用特性，特别是在一些计算能力相对较弱的移动设备上受到了很大的限制。为了解决这个问题， 最近有许多针对于神经网络压缩和加速的工作被提出， 例如神经网络剪枝， 权重矩阵低秩分解，权重量化等。这次分享主要是针对于权重量化这一类方法。
每年都会开发出更深的模型来执行各种任务，例如对象检测，图像分割等，这些任务始终能够击败最新模型。但是，人们越来越关注使模型更轻便，更高效，以便它们可以在边缘设备和移动设备上运行。这对于弥合机器学习的研究和生产价值之间的差距非常重要。
BP神经网络是一种通过误差反向传播算法进行误差校正的多层前馈神经网络，其最核心的特点就是：信号是前向传播，而误差是反向传播。前向传播过程中，输入信号经由输入层、隐藏层逐层处理，到输出层时，如果结果未到达期望要求，则进入反向传播过程，将误差信号原路返回，修改各层权重。
在下篇文章中，我还会演示如何将训练好的Keras模型，通过几行代码将其部署到智能手机上。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
