AI科技评论按：本文原载于知乎， AI科技评论获作者授权转载。 深度学习算法最近变得越来越流行和越来越有用的算法，然而深度学习或者深度神经网络的成功得益于层出不穷的神经网络模型架构。这篇文章当中作者回
和人类不同，AI物体识别靠的是小的细节，而不是图像的边界，但是总是有办法来弥补这个差别的！
【新智元导读】在利用深度网络解决问题的时候人们常常倾向于设计更为复杂的网络收集更多的数据以期获得更高的性能。但是，随之而来的是模型的复杂度急剧提升，参数越来越多，给深度学习在设备上的应用带来挑战。阿里iDST团队最新提出的ADMM神经网络压缩和加速算法，可以无损地压缩掉最后一个比特。论文已经被AAAI 2018录用为oral。 近年来，深度学习在人工智能领域取得了重大的突破。在计算机视觉、语音识别等诸多领域，深度神经网络(DNN, Deep Neural Network)均被证明是一种极具成效的问题解决方式
【新智元导读】在 ImageNet 和 COCO 2015 竞赛中，共有 152 层的深度残差网络 ResNet 在图像分类、目标检测和语义分割各个分项都取得最好成绩，相关论文更是连续两次获得 CVPR 最佳论文。ResNet 作者之一何恺明在去到 Facebook AI 实验室后，继续改进工作提出了 ResNeXt。ResNeXt 采用多分支的同构结构，只需要设定较少的超参数，并且显露出在深度、宽度之外神经网络的另一个衡量指标——“基数”（cardinality）。 本文从何恺明和他的同事 ResNeXt
由美国东北大学王言治教授研究团队与美国威廉玛丽学院任彬教授研究团队共同提出，IBM、清华等共同研究的模式化稀疏度感知训练框架，不仅能够同时实现卷积核稀疏模式的全自动提取、模式化稀疏度的自动选择与模型训练，还证明了所提取的模式化稀疏度与理论最佳模式化稀疏度相匹配，并进一步设计了能够利用模型特点实现编译器优化的移动端推理框架，实现了大规模深度神经网络在手机移动端上的实时推理。目前，这篇文章已被 ECCV 2020 会议收录，该文章同时入选 ECCV 2020 demonstration track。
开门见山。最近阅读了一篇论文，加上看了一些之前的工作。记录一下，CNN 到底学到了什么东西，或者换句话讲。到底是什么样的特征在影响着CNN 的性能？
基于模式化稀疏度的剪枝方法能够使深度神经网络在图像识别任务中「看得」更清楚，同时减小了模型尺寸，使模型在移动端「跑得」更快，实现实时推理。
在过去的几年里，深度学习已经成为人工智能领域发展最快的领域之一。它已经取得了显著的成果，特别是在计算机视觉领域。
本文旨在解释深度学习的一些常用术语，尤其是吴恩达在deeplearning.ai的Coursera课程中会频繁提到的重要词汇。每个词条包含意义阐释、图片和相关链接（公众号读者请点击原文查看），希望能对深度学习初学者和从业者有所帮助。
卷积神经网络的基本结构由卷积层（Convolutional Layer）、池化层（Pooling Layer）、全连接层（Fully Connected Layer）以及激活函数（Activation Function）组成。
2016 年，谷歌 AlphaGo 下围棋战胜了人类世界冠军李世石；美国白宫发布了人工智能白皮书；微软研发的 AI 语音识别首次超过了人类...人工智能一跃成为产业发展的主要方向、科技进步的关键源动力。 相信很多人都注意到了这一趋势，但现实是：仍有许多朋友对 AI 一知半解，如雾里看花。究其原因，或许可以归结为以下几点：找不到系统的学习资料，缺少经验丰富的“引路人”，以及没有一个合适的学习、交流平台。 为此，AI科技评论联合国内顶级 AI 培训平台“1024MOOC学院”，邀请到清华大学计算机系的博士生
「深度神经网络非常难以训练，我们提出的残差网络框架使得神经网络的训练变得容易很多。」文章摘要的开头如今已被无数研究者们细细读过。
在对卷积的含义有了一定的理解之后，我们便可以对CNN在最简单的计算机视觉任务图像分类中的经典网络进行探索。CNN在近几年的发展历程中，从经典的LeNet5网络到最近号称最好的图像分类网络EfficientNet，大量学者不断的做出了努力和创新。本讲我们就来梳理经典的图像分类网络。
机器之心报道 作者：高静宜 近日，南京大学计算机科学与技术系教授、MINIEYE 首席科学家吴建鑫所在团队的一篇论文《ThiNet: 一种用于深度神经网络压缩的滤波器级别剪枝算法》被计算机视觉领域顶级国际会议 ICCV 2017 收录。论文中提出了滤波器级别的剪枝优化算法，利用下一层的统计信息指导当前层的剪枝，能够在不改变原网络结构的前提下，让卷积神经网络模型在训练与预测阶段同时实现加速与压缩。ThiNet 框架具普适性，可无缝适配于现有的深度学习框架，有助于减少网络的参数与 FLOPs，同时保留原网络的精
VGG是一款经典图像分类算法。图像分类是计算机视觉技术的基础任务，比如给定一张图像，判断它是猫、狗、飞机，还是建筑。
AI科技评论了解到，近期清华信息科学与技术联合实验室，智能技术与系统国家重点实验室，生物启发计算研究中心和清华大学计算机科学技术学院联合发表的论文《使用对抗性例子提高深度神经网络性能》，探索了深度神经网络的内部架构，并提出了一种方法使人类可以监督网络的生成和网络发生错误的位置。 作者包括 Dong Yingpeng， Hang Su，Jun Zhu和Fan Bao。 论文链接：https://arxiv.org/pdf/1708.05493.pdf，AI科技评论编译。 深度神经网络（DNNs）在很多领域中都
【飞桨开发者说】李增保，2019年于安徽工业大学取得学士学位，目前在东南大学攻读硕士研究生学位，主要的研究方向为分布式无人机集群协同控制、算法设计与优化等。
深度神经网络（DNN）目前是许多现代AI应用的基础。自从DNN在语音识别和图像识别任务中展现出突破性的成果，使用DNN的应用数量呈爆炸式增加。这些DNN方法被大量应用在无人驾驶汽车，癌症检测，游戏AI等方面。在许多领域中，DNN目前的准确性已经超过人类。与早期的专家手动提取特征或制定规则不同，DNN的优越性能来自于在大量数据上使用统计学习方法，从原始数据中提取高级特征的能力，从而对输入空间进行有效的表示。 然而，DNN超高的准确性是以超高的计算复杂度为代价的。通常意义下的计算引擎，尤其是GPU，是DNN的
随机梯度下降是一种基于梯度的优化算法，用于在训练阶段学习网络参数。梯度通常使用反向传播算法计算。在实践中，人们使用SGD的迷你批处理版本，其中参数更新是基于批处理而不是单个示例执行的，从而提高了计算效率。许多对普通SGD的扩展都存在，包括Momentum、Adagrad、rmsprop、Adadelta或Adam。
【新智元导读】MIT 新研究为解开深度神经网络黑箱迈出重要一步：今年的CVPR上，研究者提交一份新的研究，全自动分析了 ResNet，VGG-16，GoogLeNet 和 AlexNet 执行 20 多种任务的过程。他们提出的 Network Dissection 能够量化 CNN 的可解释性，发现深度神经网络并非完全的黑箱结构。 神经网络性能强大，用处广泛，但有一个致命的缺点：一旦训练好，哪怕是设计者也无从得知其中的运作原理。没错，也就是所谓的黑箱。 2 年前，MIT 计算机科学和人工智能实验室（CSAI
深度学习为啥被大家吹捧到这个地步，其实是因为我们大家都知道，深度神经网络能解决好多问题，其实并不需要很大的神经网络，但是得有深度，得有比较多的隐藏层，这是为什么呢？为什么必须得深层而不是大呢？
深度神经网络（DNN）目前是许多现代AI应用的基础。自从DNN在语音识别和图像识别任务中展现出突破性的成果，使用DNN的应用数量呈爆炸式增加。这些DNN方法被大量应用在无人驾驶汽车，癌症检测，游戏AI等方面。在许多领域中，DNN目前的准确性已经超过人类。与早期的专家手动提取特征或制定规则不同，DNN的优越性能来自于在大量数据上使用统计学习方法，从原始数据中提取高级特征的能力，从而对输入空间进行有效的表示。 然而，DNN超高的准确性是以超高的计算复杂度为代价的。通常意义下的计算引擎，尤其是GPU，是DNN的基
近年来，随着深度神经网络模型性能不断刷新，模型的骨干网络参数量愈发庞大，存储和计算代价不断提高，从而导致难以部署在资源受限的嵌入式平台上。滴滴 AI Labs 与美国东北大学王言治教授研究组合作，联合提出了一种基于 AutoML 思想的自动结构化剪枝的算法框架 AutoCompress，能自动化的去寻找深度模型剪枝中的超参数，去除模型中不同层的参数冗余，替代人工设计的过程并实现了超高的压缩倍率。从而满足嵌入式端上运行深度模型的实时性能需求。
【新智元导读】计算机图像计算水平稳步的增长，但各大厉害的模型尚未得到合理应用。在这篇 ICLR 2017 提交论文《深度神经网络模型分析在实践中的应用》中，作者从精确度、内存占用、参数、推理时间和功耗等方面分析比较 ImageNet 历届冠军架构，为有效设计及应用深度神经网络提供了最新的分析资料。 （文／Alfredo Canziani 等）深度神经网络自出现以来，已经成为计算机视觉领域一项举足轻重的技术。其中，ImageNet 图像分类竞赛极大地推动着这项新技术的发展。精确计算水平取得了稳步的增长，但颇具
作者 | Eugenio Culurciello 译者 |叶俊贤 深度神经网络和深度学习算法因为在科研工作与工程任务中都取得了显著的效果从而大受欢迎。而其中取得显著成功的深度神经网络通常是由于它们成功的架构设计。因此，在这里我准备同大家分享并回顾一下最近几年神经网络架构的发展历史。 请注意，本篇博客仅仅做了一个比较简单的介绍，如果看完博客之后还想更深入地了解博客中提到的每种神经网络之间的差异，请继续阅读论文《An Analysis of Deep Neural Network Models for
本文将以 Alex-Net、VGG-Nets、Network-In-Network 为例，分析几类经典的卷积神经网络案例。
在机器学习领域，人工神经网络逐年扩大规模，并取得了巨大成功，但同时它也制造了一个概念性难题。
新海诚“你的名字”同款滤镜着实在各社群火爆一把，朋友圈中滤镜粉们纷纷穿越到二次元，普通图片经过滤镜的渲染粉饰重获“新生”。滤镜处理图片的技术现在已经司空见惯，但是迁移到视频上，实现高质量且风格百变的效果却鲜为人知。一方面因为大规模推广的厂商不多，另一方面也因为这背后牵扯的技术难度较大。在刚刚结束的SIGGRAPH Asia 2016上，腾讯AI Lab现场揭秘了实时视频风格转换是如何生成的。本文内含演讲PPT，纯正技术干货立即奉上 演讲主题：基于深度学习的图像和视频风格转化 演讲者：matt，腾讯AI L
深度神经网络推动了许多机器学习任务，包括语音识别、视觉识别和语言处理，是人工智能的有力工具。为了让深度神经网络得以更好地应用，就要让其有更高的准确率以及更快的速度，而剪枝技术可以满足这两点。
深度学习与飞行器设计领域交叉可为克服飞行器系统多学科设计优化的计算复杂性难题开辟一条全新途径。国防科技创新研究院无人系统技术研究中心智能设计与鲁棒学习（Intelligent Design and Robust Learning, IDRL）团队推出最新工作“A Deep Neural Network Surrogate Modeling Benchmark for Temperature Field Prediction of Heat Source Layout”，围绕飞行器热布局的温度场高效分析预测问题，系统探索了学科模型构建、仿真数据生成、深度学习训练、热布局近实时分析等关键步骤，形成了一整套用于热布局温度场预测研究的标准数据集、深度神经网络近似建模方法以及代理模型性能评估基准。
两首歌曲非常应景今天分享的内容，我记得大概在1994年左右就有神经网络相关的知识了，并推动了deep learning领域的发展。 LeNet5 的架构基于这样的观点：图像的特征分布在整张图像上，以及
如今，深度学习已经不仅局限于识别支票与信封上的手写文字。比如，深度神经网络已成为许多CV应用的关键组成部分，包括照片与视频编辑器、医疗软件与自动驾驶汽车等。
上面一堆杂乱无章的图片，你能看出是什么吗？但CNN却能很轻松地识别它们。其实，人与机器在这方面的差异，恰恰蕴含着神经网络分类策略背后简单的逻辑。
同样精度，速度和计算量均少于此前SOTA算法。这就是华为诺亚方舟实验室提出的新型端侧神经网络架构GhostNet。
机器之心报道 编辑：杜伟 重新思考「老旧的」核（kernel）方法，或许可以破解深度学习的奥秘。 在机器学习（ML）的世界，人工神经网络（ANN）越来越大的演化趋势以及超大规模网络取得的成功正在造成概念性难题。 2012 年，Hinton 及其学生 Alex Krizhevsky 设计的 AlexNet 赢得年度图像识别竞赛，它的参数量大约为 6000 万。在训练中对这些参数的微调使得 AlexNet 能够识别以前从未见过的图像。2014 年，牛津大学计算机视觉组与 DeepMind 的研究者设计的具有
“深度”是深度神经网络（DNN）的关键词。但网络越深也就意味着，训练时反向传播的链条更长，推理时顺序计算步骤更多、延迟更高。
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq_25737169/article/details/79084205
导读： 深度学习（DeepLearning）尤其是卷积神经网络（CNN）作为近几年来模式识别中的研究重点，受到人们越来越多的关注，相关的参考文献也是层出不穷，连续几年都占据了CVPR的半壁江山，但是万变不离其宗，那些在深度学习发展过程中起到至关重要的推动作用的经典文献依然值得回味。这里依据时间线索，对CNN发展过程中出现的一些经典文献稍作总结，方便大家在研究CNN时追本溯源，在汲取最新成果的同时不忘经典。
深度学习（DeepLearning）尤其是卷积神经网络（CNN）作为近几年来模式识别中的研究重点，受到人们越来越多的关注，相关的参考文献也是层出不穷，连续几年都占据了CVPR的半壁江山，但是万变不离其宗，那些在深度学习发展过程中起到至关重要的推动作用的经典文献依然值得回味，这里依据时间线索，对CNN发展过程中出现的一些经典文献稍作总结，方便大家在研究CNN时追本溯源，在汲取最新成果的同时不忘经典。
协议：CC BY-NC-SA 4.0 自豪地采用谷歌翻译 不要担心自己的形象，只关心如何实现目标。——《原则》，生活原则 2.3.c 在线阅读 ApacheCN 面试求职交流群 724187166 ApacheCN 学习资源 目录 TensorFlow 1.x 深度学习秘籍 零、前言 一、TensorFlow 简介 二、回归 三、神经网络：感知器 四、卷积神经网络 五、高级卷积神经网络 六、循环神经网络 七、无监督学习 八、自编码器 九、强化学习 十、移动计算 十一、生成模型和 CapsNet
目前，深度神经网络在计算机视觉、机器学习和人工智能等领域取得了巨大的实际成功。然而，从理论上对深度神经网络的理解相对于其在经验上的成功来说是较为缺乏的。在理论上，理解深度神经网络的一个主要难点是用于训练网络的目标函数的非凸性以及高维度。由于非凸性和高维度，能否保证深度神经网络在训练过后具有理想的性质，而不是陷入一个随机的糟糕的局部极小值点附近，往往还不清楚。实际上，寻找一个通用的非凸函数（Murty & Kabadi, 1987）以及用于训练特定种类神经网络的非凸目标函数（Blum & Rivest, 1992）的全局极小值是 NP-Hard 的问题，这引起了研究人员对高维问题的关注（Kawaguchi et al., 2015）。在过去，这类理论问题被认为是人们偏向于选择只需要进行凸优化的经典机器学习模型（无论带不带有核方法）的原因之一。尽管深度神经网络近来取得了一系列的成功，但始终绕不开一个问题：能否在理论上保证深度神经网络避开糟糕的局部极小值点？
课程地址：https://web.stanford.edu/class/cs230/
在该论文 ICLR 2019 的双盲审评论区，论文「ThiNet」的一作 Jian-Hao Luo 和论文「通道剪枝」的一作 Yihui He 提出了修改意见。Jian-Hao Luo 分别对表 2 中 VGG-16 和 ResNet-50 的结果提出了质疑，但同时也认为这是一篇「Interesting paper」，研究社区应该对「剪枝」方法和「从零开始训练」方法进行更深入的思考。Yihui He 要求作者修改表 1、表 2 和表 4 中关于 VGG-16 的准确率结果。作者也向他们作出了积极的回应。
深度学习在人脸识别领域的应用提高了人脸识别的准确率。本文中，使用了两种深度神经网络框架（VGG net和GoogleLeNet）来进行人脸识别。两种框架ensemble结果在LFW数据集上可以达到0.
【新智元导读】ImageNet 图像分类竞赛极大地推动了深度学习在计算机视觉领域的应用，《深度神经网络模型分析在实践中的应用》这篇论文从精确度、内存占用、参数、推理时间和功耗等方面对 ImageNet 获胜架构进行评析，并得出结论：（1）功耗与批量大小和架构无关；（2）准确性和推理时间呈双曲关系；（3）能量约束是最大可实现精度和模型复杂度的上限；（4）通过操作次数可以可靠评估推理的时间。 论文下载地址：https://arxiv.org/pdf/1605.07678v3.pdf （文／Alfredo Ca
这就是滴滴实习生提出的自动结构化减枝压缩算法框架带来的性能提升，名为AutoCompress。
反向传播算法（Backprop）是很多机器学习算法中主要使用的学习算法。但是在实践中，深度神经网络中的反向传播是一种非常敏感的学习算法，它的成功取决于大量条件和约束。约束的目的是避免产生饱和的激活值，这么做的动机是梯度消失会导致学习过程中断。特定的权重初始化和尺度变换 方案（如批归一化）可确保神经元的输入激活值是线性的，这样梯度不会消失，能够流动。
介绍几种经典的卷积神经网络结构，分别是LeNet、AlexNet、VGGNet。 LeNet-5 LeNet-5主要是针对灰度设计的，所以其输入较小，为32×32×1，其结构如下：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
