首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >深度学习与TensorFlow:FCN论文学习笔记

深度学习与TensorFlow:FCN论文学习笔记

原创
作者头像
云时之间
发布于 2018-06-29 14:21:14
发布于 2018-06-29 14:21:14
6260
举报
文章被收录于专栏:云时之间云时之间

这篇文章陆陆续续看了快两周,其中也遇到了自己很多的知识的漏洞,踩了很多坑,这里希望能够和大家说一说,也希望大家可以分享一下自己的看法.

1:FCN基本思路

自从CNN成功之后,很多人都在尝试使用CNN进行图像分割,个人认为CNN最厉害的地方是他的多层结构可以自动提取学习的特征,并且将其学习,并且将提取的这些特征进行分类,但是我们当用CNN进行图像分割的时候,CNN的这项优势反而变成了劣势,因为在特征提取时丢失了一些细节,反倒没有办法指出某些像素点属于那些物体,而FCN跟传统的CNN进行像素分割不同,FCN是试图从抽象的这些抽象的特征中恢复每个像素的类别,也就是从物体的分类到像素点级别的分类,这可以说是一个很大的突破.

2:end-to-end模型怎么理解?

在论文阅读中,我们多次发现读者强调FCN是end-to-end的,这一个部分我觉得用NLP的流程思路去想想还是挺有意思的.在我们之前的NLP对话系统中,往往是由很多个模块组成的,每一个模块单独执行一块任务,这些模块合在一起就构成了整个系统,这样有些面向对象的思想,但是这样每一个模块质量的好坏将直接影响到下一个步骤甚至是整个任务,这是非端到端的.

现在到了深度学习了,深度学习的模型直接在训练过程中从输入数据开始,到达输出端就会有一个输出结果,这样和真实的结果之间就会有一个误差值,这个误差会经过反向传播之后不断进行迭代,每层进行微调,直到我们的模型误差达到一个合理的范围.

最后通俗的说,端到端模型就是输入原始数据,经过模型,获得你想要的结果.

3:FCN基本结构

FCN将传统CNN中的全连接层转化成一个个的卷积层

在上图中,我们可以看到FCN将传统的CNN中的三层全连接层全部修改为卷积层,卷积核的大小(通道数,宽,高)分别为(4096,1,1)、(4096,1,1)、(1000,1,1)。所有的层都是卷积层,所以叫做FCN.

但是我们熟悉卷积原理我们应该知道,每一次卷积都是对图像的一次缩小,每一次缩小带来的是分辨率越低,图像越模糊,而在第一部分我们知道FCN是通过像素点进行图像分割,那FCN是怎么解决的这一个问题?

答案是上采样,比如我们在3次卷积后,图像分别缩小了2 4 8倍,因此在最后的输出层,我们需要进行8倍的上采样,从而得到原来的图像大小.而上采样本身就是一个反卷积实现的,论文中的解释:卷积的forward、backward操作对调,也就是转置卷积.

上图是这个卷积和反卷积上采样的过程:所说的是对第5层的输出(32倍放大)反卷积到原图大小,得到的结果还是不够精确,一些细节无法恢复。于是Jonathan将第4层的输出和第3层的输出也依次反卷积,分别需要16倍和8倍上采样,结果就精细一些了。

有对反卷积不理解的同学可以去看看知乎的提问,如果通俗易懂的解释反卷积?

从论文中得到的结果来看,从32倍,16倍,8倍到最终结果,结果越来越精细.

4:优点和不足

优点:

1:模型的拓展性简单

主要结构与很多模型都类似,基本上现在的采用CNN的模型都可以通过将全连接层转换为卷积层来转化为全卷机模型,这样就可以输出空间的映射.

2:速度快速,高效

因为避免了由于使用像素块而带来的重复存储和计算卷积的问题。

缺点:

1:结果不够精细

从上图中来看,进行8倍上采样虽然比32倍的效果好了很多,但是上采样的结果还是比较模糊和平滑,对图像中的细节不敏感.

2:没有考虑像素之间的关系,缺乏空间一致性.

5:展望

FCN虽然有一些缺点,但是我们更应该关注他的优点,关注他启发性的思路,通过像素与像素之间的关系来去将图像进行分割,比如有一些学者采用了FCN+CRF的结合,这都是一些大胆的创新,值得我们学习.

引用资料:

1:FCN学习笔记 https://zhuanlan.zhihu.com/p/34453588

2:什么是 end-to-end 神经网络? https://www.zhihu.com/question/51435499

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
FCN语义分割_卷积神经网络可用于分割吗
CNN做图像分类甚至做目标检测的效果已经被证明并广泛应用,图像语义分割本质上也可以认为是稠密的目标识别(需要预测每个像素点的类别)。
全栈程序员站长
2022/09/25
3650
FCN语义分割_卷积神经网络可用于分割吗
深度学习500问——Chapter09:图像分割(1)
图像分割是预测图像中每一个像素所属的类别或者物体。基于深度学习的图像分割算法主要分为两类:
JOYCE_Leo16
2024/05/24
3610
深度学习500问——Chapter09:图像分割(1)
深度学习论文笔记(六)--- FCN-2015年(Fully Convolutional Networks for Semantic Segmentation)
本文介绍了FCN全卷积神经网络在语义分割任务中的研究,通过反卷积和增采样操作,将特征图映射到像素级,直接对每个像素点进行分类预测,从而实现了对任意尺寸输入图像的语义分割任务。
TeeyoHuang
2017/12/28
2.8K0
深度学习论文笔记(六)--- FCN-2015年(Fully Convolutional Networks for Semantic Segmentation)
04.OCR学习路径之文本检测(中2)FCN算法简介
FCN是基于深度学习的语义分割的开山之作,尽管现在很多方法都超越了FCN,但它的思想仍然有很重要的意义。
Aalto
2019/11/07
1.9K0
04.OCR学习路径之文本检测(中2)FCN算法简介
全卷积网络fcn详解_全卷积神经网络原理
FCN是深度学习应用在图像分割的代表作, 是一种端到端(end to end)的图像分割方法, 让网络做像素级别的预测直接得出label map, 下面我们来看看FCN是如何做到像素级别的分类的
全栈程序员站长
2022/11/02
2.7K0
全卷积网络fcn详解_全卷积神经网络原理
基于深度学习的语义分割技术总览
用卷积神经网络分类(全卷积网络FCN),与普通CNN网络不通的是,FCN的分类层是卷积层,普通网络为全连接层。方法介绍如下:  最近的语义分割架构一般都用卷积神经网络(CNN)为每个像素分配一个初始类别标签。卷积层可以有效地捕捉图像中的局部特征,并以层级的方式将许多这样的模块嵌套在一起,这样 CNN 就可以试着提取更大的结构了。通过一系列卷积捕捉图像的复杂特征,CNN 可以将一张图的内容编码为紧凑表征。  但为了将单独的像素映射给标签,我们需要将标准 CNN 编码器扩展为编码器-解码器架构。在这个架构中,编码器使用卷积层和池化层将特征图尺寸缩小,使其成为更低维的表征。解码器接收到这一表征,用通过转置卷积执行上采样而「恢复」空间维度,这样每一个转置卷积都能扩展特征图尺寸。在某些情况下,编码器的中间步骤可用于调优解码器。最终,解码器生成一个表示原始图像标签的数组。
嵌入式视觉
2022/09/05
5900
基于深度学习的语义分割技术总览
全卷积神经网络 fcn 学习笔记
本文介绍了FCN全卷积网络在语义分割中的重要性,并对其进行了详细的技术分析。FCN以全卷积网络为基础,通过切片和转置卷积操作实现像素级别的语义分割。在实践中,FCN表现出良好的性能,比其他语义分割方法具有更高的准确性和鲁棒性。同时,FCN也可以广泛应用于其他领域,如医学图像处理、自然场景图像处理等。
MelonTeam
2018/01/04
2.8K0
全卷积神经网络 fcn 学习笔记
【深度学习】图像语义分割
语义分割(Semantic Segmentation)是图像处理和机器视觉一个重要分支,其目标是精确理解图像场景与内容。语义分割是在像素级别上的分类,属于同一类的像素都要被归为一类,因此语义分割是从像素级别来理解图像的。如下如所示的照片,属于人的像素部分划分成一类,属于摩托车的像素划分成一类,背景像素划分为一类。
杨丝儿
2022/03/20
9.7K0
【深度学习】图像语义分割
图像语义分割之FCN和CRF
(呕血制作啊!)前几天刚好做了个图像语义分割的汇报,把最近看的论文和一些想法讲了一下。所以今天就把它总结成文章啦,方便大家一起讨论讨论。本文只是展示了一些比较经典和自己觉得比较不错的结构,毕竟这方面还是有挺多的结构方法了。
全栈程序员站长
2022/09/25
1.2K0
图像语义分割之FCN和CRF
《Fully Convolutional Networks for Semantic Segmentation》论文阅读
这篇论文是拿到了CVPR2015 best paper候选的,在图像分割领域是一篇开山力作。
BBuf
2019/12/04
8910
《Fully Convolutional Networks for Semantic Segmentation》论文阅读
全卷积网络之FCN图像语义分割
图像语义分割是图像处理和机器视觉技术中的重要一环,旨在对图像中的每个像素进行分类。与普通的分类任务不同,语义分割任务输出与输入大小相同的图像,输出图像的每个像素对应了输入图像每个像素的类别。语义分割常被应用于人脸识别、物体检测、医学影像、卫星图像分析、自动驾驶感知等领域。
查拉图斯特拉说
2024/07/09
4060
全卷积网络之FCN图像语义分割
全卷积神经网络FCN可以通过什么提高图像分割精度_全连接神经网络
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
全栈程序员站长
2022/11/01
7270
明月深度学习实践009:全卷积网络FCN
最近在考虑怎么去噪去水印的问题,这种任务跟我们之前介绍的,无论ResNet还是其变形都不同,之前介绍的都是一个特征提取网络(如ResNet等)+全连接层,输出的是概率,无论是图像分类,还是目标检测等,最后输出的都是分类的概率。但是如果我们考虑图像去水印去噪,它的逻辑应该是输入一个待清理的图像,输出的是一个去噪去水印之后的图像,也就是说需要做像素级别的预测(对于原图像的每个像素值,需要预测其目标值)。
明月AI
2021/10/28
4370
明月深度学习实践009:全卷积网络FCN
深度学习与CV教程(14) | 图像分割 (FCN,SegNet,U-Net,PSPNet,DeepLab,RefineNet)
本系列为 斯坦福CS231n 《深度学习与计算机视觉(Deep Learning for Computer Vision)》的全套学习笔记,对应的课程视频可以在 这里 查看。更多资料获取方式见文末。
ShowMeAI
2022/06/11
2K0
深度学习与CV教程(14) | 图像分割 (FCN,SegNet,U-Net,PSPNet,DeepLab,RefineNet)
深度学习与TensorFlow:FCN论文翻译
这篇论文跟上一篇的VGG论文一样,在深度学习领域同样的经典,在2015年的CVPR,该论文拿到了best paper候选的论文,在之后的PASCAL VOC2012,凡是涉及到图像语义分割的模型,都沿用了FCN的结构,并且这篇论文跟VGG的结构也很相似,区别只在于VGG最后的全连接层在FCN上替换为卷积层,因此在我们了解完VGG之后,再来了解FCN是很有意义的.这篇文章我们将对论文进行翻译,同时也是精读,希望读完之后能够有所收获,如果有所错误,也请大家指出.
云时之间
2018/06/13
1.1K0
深度学习与TensorFlow:FCN论文翻译
深度学习与TensorFlow:FCN论文翻译(二)
Each layer of data in a convnet is a three-dimensional array of size h × w × d, where h and w are spatial dimensions, and d is the feature or channel dimension. The first layer is the image, with pixel size h × w, and d color channels. Locations in higher layers correspond to the locations in the image they are path-connected to, which are called their receptive fields.
云时之间
2018/06/23
1.1K0
深度学习与TensorFlow:FCN论文翻译(二)
FCN、ReSeg、U-Net、ParseNet、DeepMask…你都掌握了吗?一文总结图像分割必备经典模型(一)
 机器之心专栏 本专栏由机器之心SOTA!模型资源站出品,每周日于机器之心公众号持续更新。 本专栏将逐一盘点自然语言处理、计算机视觉等领域下的常见任务,并对在这些任务上取得过 SOTA 的经典模型逐一详解。前往 SOTA!模型资源站(sota.jiqizhixin.com)即可获取本文中包含的模型实现代码、预训练模型及 API 等资源。 本文将分 3 期进行连载,共介绍 19 个在图像分割任务上曾取得 SOTA 的经典模型。 第 1 期:FCN、ReSeg、U-Net、ParseNet、DeepMask、S
机器之心
2023/05/01
1.5K0
FCN、ReSeg、U-Net、ParseNet、DeepMask…你都掌握了吗?一文总结图像分割必备经典模型(一)
10分钟看懂全卷积神经网络( FCN ):语义分割深度模型先驱
今天是10月24日,既是程序员节,也是程序员感恩节。这一天,大家纷纷向那些无私奉献、一心为民的好人们,送出“好人一生平安”的美好祝愿。而“1024”,既是这一句话的数字密码。
用户1737318
2018/11/23
4.4K0
fcn全卷积神经网络搭建_区域卷积神经网络
全卷积网络(Fully Convolutional Networks,FCN)是Jonathan Long等人于2015年在Fully Convolutional Networks for Semantic Segmentation一文中提出的用于图像语义分割的一种框架,是深度学习用于语义分割领域的开山之作。FCN将传统CNN后面的全连接层换成了卷积层,这样网络的输出将是热力图而非类别;同时,为解决卷积和池化导致图像尺寸的变小,使用上采样方式对图像尺寸进行恢复。
全栈程序员站长
2022/11/09
9860
fcn全卷积神经网络搭建_区域卷积神经网络
图片语义分割深度学习算法要点回顾
深度学习算法解决了数个难度级别逐渐上升的计算机视觉任务。在我先前的博文中,我已详细阐述了广为人知的两个任务:图像分类和目标检测。图像语义分割的难点在于将各个像素点分类到某一实例,再将各个实例(分类结果)与实体(大象,人,道路,天空等)一一对应。这任务即场景理解的一部分:深度学习模型怎样能更好地学习视觉内容的全局语境?
AI研习社
2018/12/29
1.2K0
推荐阅读
相关推荐
FCN语义分割_卷积神经网络可用于分割吗
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档