上一篇文章描述了为什么quantization 量化的int8足够运行推理，以及Quantization量化对TinyML的重要性，但是没有深入说明Quantization的实现机制，本篇博文打算从TFlite的案例代码切入，从代码的Optimize选项展开讲TFLite背后Quantization的PTQ，QAT技术等。
我们针对移动端以及嵌入式视觉的应用提出了一类有效的模型叫MobileNets。MobileNets基于一种流线型结构使用深度可分离卷积来构造轻型权重深度神经网络。我们介绍两个能够有效权衡延迟和准确率的简单的全局超参数。这些超参数允许模型构造器能够根据特定问题选择合适大小的模型。
《Quantized Convolutional Neural Networks for Mobile Devices》
- Hello Edge: Keyword Spotting on Microcontrollers -
由简入繁，由繁入简。已疯…… LeNet：Gradient based learning applied to document recognition AlexNet：ImageNet Classification with Deep Convolutional Neural Networks ZFNet：Visualizing and understanding convolutional networks VGGNet：Very deep convolutional networks for larg
论文名称：ACEnet: Anatomical Context-Encoding Network for Neuroanatomy Segmentation
目标检测（Object Detection）可以识别一幅图像中的多个物体，定位不同物体的同时（边界框），贴上相应的类别。简单来说，解决了what和where问题。授人以鱼，不如授人以渔，本文不会具体介绍某类/某种算法（one-stage or two-stage），但会给出目标检测相关论文的最强合集（持续更新ing）。为了follow潮流（装B），Amusi将目标检测论文合集的github库起名为awesome-object-detection。
本项目旨在为自动化研究(特别是轻量级模型)提供信息。有兴趣的同学可以进行收藏或者在Github中推荐/提交项目（论文、项目仓库等）。
第五期飞跃计划还有两个名额，联系小编，获取你的专属算法工程师学习计划（联系小编SIGAI_NO2）
在科学研究中，从方法论上来讲，都应先见森林，再见树木。当前，人工智能科技迅猛发展，万木争荣，更应系统梳理脉络。为此，我们特别精选国内外优秀的综述论文，开辟“综述”专栏，敬请关注。
剪枝是模型压缩的一个子领域，依据剪枝粒度可以分为非结构化/结构化剪枝，依据实现方法可以大致分为基于度量标准/基于重建误差/基于稀疏训练的剪枝，并且逐渐有向AutoML发展的趋势。由于实现方法在剪枝粒度上是有通用性的，本文主要从实现方法进行展开，康康近年来关于剪枝的有的没的，从个人角度对近几年经典的剪枝方法以及其拓展进行一下梳理。
每天给你送来NLP技术干货！ ---- 作者：Colorjam https://zhuanlan.zhihu.com/p/97198052 剪枝是模型压缩的一个子领域，依据剪枝粒度可以分为非结构化/结构化剪枝，依据实现方法可以大致分为基于度量标准/基于重建误差/基于稀疏训练的剪枝，并且逐渐有向AutoML发展的趋势。由于实现方法在剪枝粒度上是有通用性的，本文主要从实现方法进行展开，康康近年来关于剪枝的有的没的，从个人角度对近几年经典的剪枝方法以及其拓展进行一下梳理。 基于度量标准的剪枝 这类方法通常是提出一
深度学习让计算机视觉任务的性能到达了一个前所未有的高度。但，复杂模型的同时，带来了高额的存储空间、计算资源消耗，使其很难落实到各个硬件平台。
本文转载自“CSIG文档图像分析与识别专委会”公众号。文章简要介绍 ICLR 2019 论文“Slimmable Neural Networks”的主要工作。该论文主要提出了一种有限计算资源下动态调整模型复杂度的方法。
1. 简介 移动视觉搜索技术是多媒体搜索领域中一个前沿的研究课题。近年来，移动设备的飞速发展，改变了互联网上图像和视频等视觉内容的产生，以及人们检索和观看的方式。移动设备的便携性和无处不在的网络接入能力使其逐渐成为主要的互联网图像和视频内容的访问和查询入口。而移动设备上丰富的传感器原件，也使得移动视觉搜索的过程更加自然、有效——用户可以直接通过拍摄图像和视频进行搜索。因此，移动视觉搜索具有巨大的市场需求和应用前景。但是，不同于传统的桌面搜索，移动视觉搜索主要面临如下挑战：1）查询图像\视频受拍摄环境干扰严重
论文解读: Quantized Convolutional Neural Networks for Mobile Devices
相信大家都记得，LeNet5，AlexNet，Vgg系列的核心思想，是convolution+pooling的核心结构。
在机器学习带来的所有颠覆性技术中，计算机视觉领域吸引了业内人士和学术界最大的关注。
刚刚推出 1.3 正式版的 PyTorch 风头正劲，人们已经围绕这一深度学习框架开发出了越来越多的工具。最近，一个名为 TorchCV 的计算机视觉模型框架站上了 GitHub 趋势榜。
欢迎来到《每周CV论文推荐》。在这个专栏里，还是本着有三AI一贯的原则，专注于让大家能够系统性完成学习，所以我们推荐的文章也必定是同一主题的。
作者简介：Michael，2017年加入美团无人配送部，负责无人配送车感知算法迭代工作。
【新智元导读】深度学习目前已成为发展最快、最令人兴奋的机器学习领域之一。本文以计算机视觉的重要概念为线索，介绍深度学习在计算机视觉任务中的应用，包括网络压缩、细粒度图像分类、看图说话、视觉问答、图像理解、纹理生成和风格迁移、人脸识别、图像检索、目标跟踪等。 网络压缩(network compression) 尽管深度神经网络取得了优异的性能，但巨大的计算和存储开销成为其部署在实际应用中的挑战。有研究表明，神经网络中的参数存在大量的冗余。因此，有许多工作致力于在保证准确率的同时降低网路复杂度。 低秩近似
新智元专栏 作者：张皓（南京大学） 【新智元导读】深度学习目前已成为发展最快、最令人兴奋的机器学习领域之一。本文以计算机视觉的重要概念为线索，介绍深度学习在计算机视觉任务中的应用，包括网络压缩、细粒度图像分类、看图说话、视觉问答、图像理解、纹理生成和风格迁移、人脸识别、图像检索、目标跟踪等。 网络压缩(network compression) 尽管深度神经网络取得了优异的性能，但巨大的计算和存储开销成为其部署在实际应用中的挑战。有研究表明，神经网络中的参数存在大量的冗余。因此，有许多工作致力于在保
作者 | 张皓（南京大学） 引言 深度学习目前已成为发展最快、最令人兴奋的机器学习领域之一，许多卓有建树的论文已经发表，而且已有很多高质量的开源深度学习框架可供使用。然而，论文通常非常简明扼要并假设读
目前在深度学习领域分类两个派别，一派为学院派，研究强大、复杂的模型网络和实验方法，为了追求更高的性能；另一派为工程派，旨在将算法更稳定、高效的落地在硬件平台上，效率是其追求的目标。复杂的模型固然具有更好的性能，但是高额的存储空间、计算资源消耗是使其难以有效的应用在各硬件平台上的重要原因。所以，卷积神经网络日益增长的深度和尺寸为深度学习在移动端的部署带来了巨大的挑战，深度学习模型压缩与加速成为了学术界和工业界都重点关注的研究领域之一。本文主要介绍深度学习模型压缩和加速算法的三个方向，分别为加速网络结构设计、模型裁剪与稀疏化、量化加速。
LeNet：1998，Gradient based learning applied to document recognition
科研论文写作中，生成一个有吸引力的、准确的论文标题需要综合考虑多个因素，这是论文作者面临的一个重要挑战。生成一个论文标题的难点有：
http://www.tensorinfinity.com/paper_167.html
自从AlexNet一举夺得ILSVRC 2012 ImageNet图像分类竞赛的冠军后，卷积神经网络（CNN）的热潮便席卷了整个计算机视觉领域。CNN模型火速替代了传统人工设计（hand-crafted）特征和分类器，不仅提供了一种端到端的处理方法，还大幅度地刷新了各个图像竞赛任务的精度，更甚者超越了人眼的精度（LFW人脸识别任务）。CNN模型在不断逼近计算机视觉任务的精度极限的同时，其深度和尺寸也在成倍增长。
Microcontrollers (MCUs) are the tiny computers that power our technological environment. There are over 30 billion of them manufactured every year, embedded in everything from household appliances to fitness trackers.
LCDet: Low-Complexity Fully-Convolutional Neural Networks for Object Detection in Embedded System https://arxiv.org/abs/1705.05922
与简单的加法运算相比，乘法运算具有更高的计算复杂度。深度神经网络中广泛使用的卷积正好是来度量输入特征和卷积滤波器之间的相似性，这涉及浮点值之间的大量乘法。现在作者提出了加法网络(AdderNets)来交换深度神经网络中的这些大规模乘法，特别是卷积神经网络(CNNs)，以获得更简易的加法以降低计算成本。
不管你是计算机视觉新手还是专家，你可能听说过 AlexNet 于2012年赢得了ImageNet挑战赛。这是计算机视觉发展史上的转折点，因为它表明，深度学习模型能够以前所未有的精度完成非常困难的任务。
【导读】专知内容组整理了最近七篇目标检测（Object Detection）相关文章，为大家进行介绍，欢迎查看! 1.Single-Shot Object Detection with Enriched Semantics（具有丰富语义的单次物体检测） ---- ---- 作者：Zhishuai Zhang,Siyuan Qiao,Cihang Xie,Wei Shen,Bo Wang,Alan L. Yuille 机构：Johns Hopkins University，Shanghai Universit
看到好东西，怎么能不分享呢。 第一次在知乎翻译，由于水平有限（不是谦虚的那种有限，是真的有限），有不准确的地方还望包涵，最重要的是，还望大佬们多多指正！ Background To the best of our knowledge, this is the first list of deep learning papers on medical applications. There are couple of lists for deep learning papers in general, o
然后将这个卷积的步骤分解为3个独立的方向[1]，即通道方向，X方向和Y方向，如上图(b)，则具有更低的计算量和参数量。
在移动端高效的模型设计中，卷积拆分和分组几乎是不可缺少的思想，那么它们究竟是如何高效，本身又有哪些发展呢。
AI 科技评论按：本文为浙江大学范星为 AI 科技评论撰写的独家稿件，未经许可不得转载。 从 1998 年经典的 LeNet，到 2012 年历史性的 AlexNet，之后深度学习进入了蓬勃发展阶段，百花齐放，大放异彩，出现了各式各样的不同网络，包括 LeNet、AlexNet、ZFNet、VGG、NiN、Inception v1 到 v4、Inception-ResNet、ResNet、WRN、FractalNet、Stochastic Depth、DenseNet、ResNeXt、Xception、SE
ResNet是由一个个残差块堆叠而成的，每个残差块的数学表达式为：y=f(x)+x，其中f(x)叫残差，x叫残差连接（residual connection），或者直连通道（shortcut connection）。ResNet相较于VGG更受欢迎的一个关键原因，在于其使用的残差连接，能够将输入特征保留下来，在训练时只需要学习输出特征与输入特征的差值f(x)，即残差。
CVPR2020收录的结果已经早早公布，想必很多同学都有知晓一些，“计算机视觉战队”今天从中又挑选了一篇目标检测类的文献，和大家分享这篇文献中的新算法框架！
在计算机视觉领域，图像分类是非常重要的基本问题，是图像目标检测、图像分割、图像检索、视频理解、物体跟踪、行为分析等其他高层视觉任务的基础，在实际场景中，有着广泛应用。飞桨（PaddlePaddle）视觉模型库图像分类持续提供业内领先的分类网络结构训练方法以及在imagenet 1000分类任务上的预训练模型。目前，已开源10种不同网络结构，25个预训练模型，包括当前效果最优的ResNet50（top-1:79.84%），助力用户提高构建模型的效率，大大减轻“炼丹”的烦恼。
由于BERT参数众多，模型庞大，推理速度较慢，在一些实时性要求较高、计算资源受限的场景，其应用会受到限制。因此，讨论如何在不过多的损失BERT性能的条件下，对BERT进行模型压缩，是一个非常有现实意义的问题。
目前在深度学习领域主要分为两类，一派为学院派(Researcher)，研究强大、复杂的模型网络和实验方法，旨在追求更高的性能；另一派为工程派(Engineer)，旨在将算法更稳定、更高效的落地部署在不同硬件平台上。
AI 科技评论按，本文作者陈泰红（ahong007@yeah.net），他为 AI 科技评论撰写了关于 MnasNet 论文的独家解读文章。
https://github.com/ChanChiChoi/awesome-Face_Recognition
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/zhangjunhit/article/details/53261053
最近在看轻量级网络的东西，发现这篇总结的非常的好，因此就翻译过来！总结各种变种，同时原理图非常的清晰，希望能给大家一些启发，如果觉得不错欢迎三连哈！
本文提出了一种名为PP-LCNet的轻量级网络，该网络基于MKLDNN加速策略，旨在提高轻量级模型在多种任务上的性能。本文介绍了能够在几乎不增加延迟的情况下提升网络准确度的技术。通过这些改进，PP-LCNet的准确度显著优于具有相同推理时间的先前网络结构。如图1所示，它的性能优于当前大多数前沿模型。在计算机视觉的后续任务（如目标检测、语义分割等）中，它也展现出卓越的性能。所有实验都是基于PaddlePaddle平台实现的。相关的代码和预训练模型可以在PaddleClas上获取。
由于内存和计算能力有限，随着网络变得越来越深，对包括移动设备在内的有严格时延要求的有限资源平台而言，神经网络压缩就成为一个关键问题。就降低性能和加快深度网络之间达到平衡，引发了很多研究。本文将作为能够高效利用资源的深度网络的压缩、加速的引言介绍。
模型压缩是边缘设备部署的常用技术。可是为什么要压缩模型呢？模型可压缩说明参数过量，那为什么不从头开始训练一个合适参数量的模型呢？以及我们可以通过使用更聪明的优化方法来直接减少参数吗？请看下面分解。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
