Loading [MathJax]/jax/input/TeX/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >【SLAM】开源 | 城市环境下的SLAM算法,通过深度学习有效去除环境中动态物体(车辆、行人等),提高算法的鲁棒性

【SLAM】开源 | 城市环境下的SLAM算法,通过深度学习有效去除环境中动态物体(车辆、行人等),提高算法的鲁棒性

作者头像
CNNer
发布于 2020-11-03 02:18:59
发布于 2020-11-03 02:18:59
1.3K0
举报
文章被收录于专栏:CNNerCNNer

论文地址: https://arxiv.org/pdf/2010.07646.pdf

代码: https://github.com/BertaBescos/EmptyCities.git

来源: 萨拉戈萨大学(西班牙)

论文名称:Empty Cities: a Dynamic-Object-Invariant Space for Visual SLAM

原文作者:Berta Bescos

内容提要

本文提出了一种采用数据驱动的静态场景重建算法,该算法可以去除再过去某一时刻出现在场景的动态物体,从而保证重建的环境中只保留静态物体。主要目标是改进基于视觉的定位和建图算法在动态环境中的效果,由于在动态环境中,在同一位置的不同时刻可能出现不同的目标对象,这将会降低视觉SLAM的鲁棒性。本文引入了一个端到端深度学习框架,将城市环境中的包含动态目标的图像(包括车辆或行人等动态内容)转换为适合定位和建图的真实静态场景的图像。

本文的两个主要难点是:第一、如何检测动态目标;第二、如何对被遮挡的静态背景环境进行修复。解决第一个难点,我们通过使用卷积网络来解决的,该网络可以学习多种类别的语义分割。解决第二个难点,我们采用生成对抗模型,以原始动态图像和计算得到的动态/静态二值掩码作为输入,从而生成最终的静态图像。

本文的另一个创新点,提出了两种新的损失函数:一种是基于图像掩码分析技术,用于提高修复的被遮挡的背景图像的质量;另一种是基于ORB特征,用于增强真实图像区域和动态图像区域之间的特征匹配。

主要框架及实验结果

PS:腾讯最近更改公众号推送规则,文章推送不在按照时间排序,而是通过智能推荐算法有选择的推送文章,为了避免收不到文章,看完文章您可以点击一下右下角的"在看",以后发文章就会第一时间推送到你面前。

声明:文章来自于网络,仅用于学习分享,版权归原作者所有,侵权请加上文微信联系删除。

点个“在看”,让我知道你的爱

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-10-26,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 CNNer 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
【SLAM】开源 | 清华大学-- DS-SLAM:面向动态环境的语义视觉SLAM,性能SOTA!
论文地址: http://arxiv.org/pdf/1809.08379v2.pdf
CNNer
2020/09/23
4.7K0
【SLAM】开源 | 清华大学-- DS-SLAM:面向动态环境的语义视觉SLAM,性能SOTA!
【经典论文回顾】【SLAM】开源 | ORB-SLAM1,视觉SLAM领域的集大成者
论文地址: http://webdiis.unizar.es/~raulmur/MurMontielTardosTRO15.pdf
CNNer
2020/10/21
1.5K0
【经典论文回顾】【SLAM】开源 | ORB-SLAM1,视觉SLAM领域的集大成者
【SLAM】开源 | DXSLAM—清华大学开源CPU上可以达到实时运行,采用CNN提取特征,提高特征的鲁棒性
论文地址: https://arxiv.org/pdf/2008.05416.pdf
CNNer
2020/10/21
2K0
【SLAM】开源 | DXSLAM—清华大学开源CPU上可以达到实时运行,采用CNN提取特征,提高特征的鲁棒性
​OA-SLAM:在视觉SLAM中利用物体进行相机重定位
文章:OA-SLAM: Leveraging Objects for Camera Relocalization in Visual SLAM
点云PCL博主
2023/08/25
7730
​OA-SLAM:在视觉SLAM中利用物体进行相机重定位
【经典论文回顾】【SLAM】开源 | ORB-SLAM2 第一个完整的单目,双目和RGB-D相机的开源SLAM方案
代码: https://github.com/raulmur/ORB_SLAM2.git
CNNer
2020/10/21
1.6K0
【经典论文回顾】【SLAM】开源 | ORB-SLAM2 第一个完整的单目,双目和RGB-D相机的开源SLAM方案
SL-SLAM:基于深度特征提取和鲁棒匹配的视觉惯性SLAM
文章:SL-SLAM: A robust visual-inertial SLAM based deep feature extraction and matching
点云PCL博主
2024/05/20
1.1K0
SL-SLAM:基于深度特征提取和鲁棒匹配的视觉惯性SLAM
【人脸重建】开源 | 通过多视图几何一致性进行单目3D人脸重建,文章设计了三种多视图一致性损失函数,用于模型约束
备注:研究方向+地点+学校/公司+昵称,更快通过申请,长按加细分领域技术交流群,目前有细分领域:图像分割、图像目标检测、论文写作、车道检测、模型优化、目标跟踪、SLAM、点云处理(分割检测)、深度学习。
CNNer
2020/08/21
1.9K0
【人脸重建】开源 | 通过多视图几何一致性进行单目3D人脸重建,文章设计了三种多视图一致性损失函数,用于模型约束
BundledSLAM:一种使用多摄像头的鲁棒视觉SLAM系统
文章:BundledSLAM: An Accurate Visual SLAM System Using Multiple Cameras
点云PCL博主
2024/04/18
6930
BundledSLAM:一种使用多摄像头的鲁棒视觉SLAM系统
SLAM综述(3)-视觉与惯导,视觉与深度学习SLAM
视觉SLAM的稳定性是一项技术挑战。因为基于单目的视觉SLAM需要初始化、尺度的不确定性和尺度漂移等问题[1]。尽管立体相机和RGB-D相机可以解决初始化和缩放的问题,但也存在一些不容忽视的问题,如运动速度快、视角小、计算量大、遮挡、特征丢失、动态场景和光照变换等。针对以上这些问题传感器的融合方案逐渐流行起来,IMU与相机融合的视觉里程计成为研究热点。
点云PCL博主
2020/05/19
3K0
60项基于深度学习的SLAM顶会开源方案汇总(上篇)
深度学习结合SLAM是近年来很热门的研究方向,也因此诞生了很多开源方案。笔者最近在阅读SLAM综述论文“A Survey on Deep Learning for Localization and Mapping: Towards the Age of Spatial Machine Intelligence”,该综述参考了255篇SLAM领域的顶会顶刊论文,并且涵盖了VO、建图、特征提取、定位、描述子提取、BA优化、回环、数据集等多个方向,非常全面。也因此,笔者一直想整理下文章中出现的开源项目,用于在后续工作中进行对比。
3D视觉工坊
2023/04/29
1.6K0
60项基于深度学习的SLAM顶会开源方案汇总(上篇)
论文简述 | DOT:面向视觉SLAM的动态目标跟踪
在本文中,我们提出了动态目标跟踪(DOT),一个添加到现有SLAM系统的前端,可以显著提高它们在高度动态环境中的鲁棒性和准确性.点结合实例分割和多视图几何生成动态对象的遮罩,以允许基于刚性场景模型的SLAM系统在其优化中避免这种图像区域.
3D视觉工坊
2020/11/11
1.5K0
论文简述 | DOT:面向视觉SLAM的动态目标跟踪
动态环境SLAM | Remove, then Revert - 基于多分辨率深度图的动态物体移除方法
原文地址:动态环境SLAM | Remove, then Revert - 基于多分辨率深度图的动态物体移除方法
一点人工一点智能
2023/05/05
1.5K0
动态环境SLAM | Remove, then Revert - 基于多分辨率深度图的动态物体移除方法
【SLAM】基于分块算法的混合实时相机位姿估计框架,并将运动平均引入到在线单目系统中,鲁棒性强!
论文地址: https://arxiv.org/pdf/1908.01797.pdf
CNNer
2020/11/03
6090
【SLAM】基于分块算法的混合实时相机位姿估计框架,并将运动平均引入到在线单目系统中,鲁棒性强!
一文详解SLAM的主要任务和开源框架
SLAM是Simultaneous localization and mapping缩写,意为“同步定位与建图”.
3D视觉工坊
2021/04/13
2.9K0
一文详解SLAM的主要任务和开源框架
【点云处理】开源 | 一种简单但有效的3D局部深度描述符(DIPs),不需要初始对齐就可以用于注册点云,性能SOTA!
备注:研究方向+地点+学校/公司+昵称,更快通过申请,长按加细分领域技术交流群,目前有细分领域:图像分割、图像目标检测、论文写作、车道检测、模型优化、目标跟踪、SLAM、点云处理(分割检测)、深度学习。
CNNer
2020/11/04
9080
【点云处理】开源 | 一种简单但有效的3D局部深度描述符(DIPs),不需要初始对齐就可以用于注册点云,性能SOTA!
IEEE Access 2022 | 动态场景中基于改进的DeepLabv3+的语义SLAM
标题:Semantic SLAM Based on Improvement DeepLabv3+ in Dynamic Scenarios
3D视觉工坊
2022/06/28
1.7K0
IEEE Access 2022 | 动态场景中基于改进的DeepLabv3+的语义SLAM
NID-SLAM:动态环境中基于神经隐式表示的RGB-D SLAM
论文标题:NID-SLAM: NEURAL IMPLICIT REPRESENTATION-BASED RGB-D SLAM IN DYNAMIC ENVIRONMENTS
BBuf
2024/01/17
6050
NID-SLAM:动态环境中基于神经隐式表示的RGB-D SLAM
利用显著地面特征进行配送机器人定位的鲁棒方法
论文:Salience-guided Ground Factor for Robust Localization of Delivery Robots in Complex Urban Environments
一点人工一点智能
2024/05/27
2020
利用显著地面特征进行配送机器人定位的鲁棒方法
光场相机能否用于SLAM?
本人研究生期间一直进行光场相机深度恢复的工作,深知其优势与不足。SLAM是我参加工作以来从事的研究方向,经过两年多的摸爬滚打算是入门了。目前视觉SLAM理论上虽已比较成熟,但在实际使用中仍会遇到诸多问题,如容易受到环境因素如光照/动态物体/稀疏纹理/室外大场景/快速运动等因素的影响,这些问题仅使用传统相机似乎无法有效解决。而光场相机相较于传统相机能够记录同时记录光线的方向与强度,这使我们可以通过计算成像得到一些列虚拟视角的图像。简单来说就是单目光场相机实现了虚拟多目的效果,但这些虚拟视角间的基线距非常小,测距范围有限,预期无法获得长距离的深度信息。
好好学SLAM
2021/05/28
1.4K0
两万字 | 视觉SLAM研究综述与未来趋势讨论
摘要:近年来,基于视觉传感器在同时定位与地图构建(SLAM)系统中展示出了显著的性能、准确性和效率。在这里,视觉同时定位与地图构建(VSLAM)方法是指使用相机进行姿态估计和地图生成的SLAM方法。
一点人工一点智能
2022/12/25
1.6K0
两万字 | 视觉SLAM研究综述与未来趋势讨论
推荐阅读
【SLAM】开源 | 清华大学-- DS-SLAM:面向动态环境的语义视觉SLAM,性能SOTA!
4.7K0
【经典论文回顾】【SLAM】开源 | ORB-SLAM1,视觉SLAM领域的集大成者
1.5K0
【SLAM】开源 | DXSLAM—清华大学开源CPU上可以达到实时运行,采用CNN提取特征,提高特征的鲁棒性
2K0
​OA-SLAM:在视觉SLAM中利用物体进行相机重定位
7730
【经典论文回顾】【SLAM】开源 | ORB-SLAM2 第一个完整的单目,双目和RGB-D相机的开源SLAM方案
1.6K0
SL-SLAM:基于深度特征提取和鲁棒匹配的视觉惯性SLAM
1.1K0
【人脸重建】开源 | 通过多视图几何一致性进行单目3D人脸重建,文章设计了三种多视图一致性损失函数,用于模型约束
1.9K0
BundledSLAM:一种使用多摄像头的鲁棒视觉SLAM系统
6930
SLAM综述(3)-视觉与惯导,视觉与深度学习SLAM
3K0
60项基于深度学习的SLAM顶会开源方案汇总(上篇)
1.6K0
论文简述 | DOT:面向视觉SLAM的动态目标跟踪
1.5K0
动态环境SLAM | Remove, then Revert - 基于多分辨率深度图的动态物体移除方法
1.5K0
【SLAM】基于分块算法的混合实时相机位姿估计框架,并将运动平均引入到在线单目系统中,鲁棒性强!
6090
一文详解SLAM的主要任务和开源框架
2.9K0
【点云处理】开源 | 一种简单但有效的3D局部深度描述符(DIPs),不需要初始对齐就可以用于注册点云,性能SOTA!
9080
IEEE Access 2022 | 动态场景中基于改进的DeepLabv3+的语义SLAM
1.7K0
NID-SLAM:动态环境中基于神经隐式表示的RGB-D SLAM
6050
利用显著地面特征进行配送机器人定位的鲁棒方法
2020
光场相机能否用于SLAM?
1.4K0
两万字 | 视觉SLAM研究综述与未来趋势讨论
1.6K0
相关推荐
【SLAM】开源 | 清华大学-- DS-SLAM:面向动态环境的语义视觉SLAM,性能SOTA!
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档