开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

在keras中训练具有多个输入3D阵列的CNN

在Keras中训练具有多个输入3D阵列的CNN，我们可以使用函数式API来构建模型。函数式API允许我们创建具有多个输入和多个输出的复杂模型。

首先，我们需要导入所需的库和模块：

from keras.models import Model
from keras.layers import Input, Conv3D, MaxPooling3D, Flatten, Dense

接下来，我们可以定义模型的输入层。对于具有多个输入的情况，我们可以使用Input函数来创建多个输入层。假设我们有两个输入，分别是input1和input2：

input1 = Input(shape=(32, 32, 32, 1))
input2 = Input(shape=(32, 32, 32, 1))

然后，我们可以定义模型的卷积层和池化层。这里我们使用Conv3D和MaxPooling3D来构建卷积神经网络：

conv1 = Conv3D(32, kernel_size=(3, 3, 3), activation='relu')(input1)
pool1 = MaxPooling3D(pool_size=(2, 2, 2))(conv1)

conv2 = Conv3D(64, kernel_size=(3, 3, 3), activation='relu')(pool1)
pool2 = MaxPooling3D(pool_size=(2, 2, 2))(conv2)

接下来，我们可以将卷积层的输出展平，并连接到全连接层：

flatten = Flatten()(pool2)
dense1 = Dense(128, activation='relu')(flatten)

如果我们有多个输入，我们可以将它们连接在一起：

merged = keras.layers.concatenate([dense1, input2])

最后，我们可以定义模型的输出层，并创建模型：

output = Dense(10, activation='softmax')(merged)
model = Model(inputs=[input1, input2], outputs=output)

现在，我们可以编译模型并训练它：

model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])
model.fit([input_data1, input_data2], output_data, epochs=10, batch_size=32)

在这个例子中，我们使用了两个输入的3D阵列来训练一个CNN模型。这种模型可以应用于许多领域，例如医学图像处理、视频分析等。

腾讯云提供了一系列与云计算相关的产品和服务，包括云服务器、云数据库、云存储等。您可以通过访问腾讯云官方网站了解更多关于这些产品的详细信息和使用方法。

参考链接：

相关搜索:Keras CNN中的输入数组在keras中连接多个CNN模型 CNN模型中的多个输入嵌入具有不同输入维度的预训练Keras模型尝试在keras中向CNN模型添加输入层输入数据中具有多个水平维度的Keras模型具有多个工人的ML engine上的Keras模型训练如何训练具有多个3D数组的回归模型？具有多个输入图层的Keras fit_generator 如何在Keras中更改预先训练的CNN模型中的层的输出？为什么我在keras 3d CNN中的准确率总是0？如何选择keras中CNN可视层图像的输入大小具有多个输入的Keras序贯模型，Tensorflow 1.9.0 具有多个输入的Keras模型在拟合时会导致奇怪的错误在Keras中连续训练多个模型以进行超参数优化如何在具有相同输入数据的CNN中合并/拼接在我的CNN中实现dropout会使训练精度下降在使用Theano的简单CNN中，训练精度非常低在Keras中嵌入预训练模型的问题将具有多个输入的现有keras模型调整为tensorflow联邦

相关搜索:

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

基于 Keras 和 dlib 的人脸识别实践

这次的实践是基于很小的数据集，搭建的系统也比较粗糙,只是个toy implementation。主要用来练手和熟悉流程的。

01

R语言深度学习卷积神经网络 (CNN)对 CIFAR 图像进行分类：训练与结果评估可视化

本文演示了训练一个简单的卷积神经网络 (CNN) 来对 CIFAR 图像进行分类。由于本教程使用 Keras Sequential API，因此创建和训练我们的模型只需几行代码。

02

【视频】CNN（卷积神经网络）模型以及R语言实现回归数据分析|附代码数据

无人驾驶汽车最早可以追溯到1989年。神经网络已经存在很长时间了，那么近年来引发人工智能和深度学习热潮的原因是什么呢？（点击文末“阅读原文”获取完整代码数据）

03

迁移学习、自监督学习理论小样本图像分类和R语言CNN深度学习卷积神经网络实例

您想构建一个没有太多训练数据的机器学习模型吗？众所周知，机器学习需要大量数据，而收集和注释数据需要时间且成本高昂。

02

《机器学习实战：基于Scikit-Learn、Keras和TensorFlow》第14章使用卷积神经网络实现深度计算机视觉

卷积神经网络（CNN）起源于人们对大脑视神经的研究，自从1980年代，CNN就被用于图像识别了。最近几年，得益于算力提高、训练数据大增，以及第11章中介绍过的训练深度网络的技巧，CNN在一些非常复杂的视觉任务上取得了超出人类表现的进步。CNN支撑了图片搜索、无人驾驶汽车、自动视频分类，等等。另外，CNN也不再限于视觉，比如：语音识别和自然语言处理，但这一章只介绍视觉应用。

04

【视频】CNN（卷积神经网络）模型以及R语言实现回归数据分析|附代码数据

最近我们被客户要求撰写关于CNN（卷积神经网络）的研究报告，包括一些图形和统计输出。

00

基于CNN的店铺LOGO识别

人工智能之父John McCarthy将AI视为科学和工程的结合，而机器学习是AI已经实现的部分，利用机器学习技术，计算机能够通过体验（数据）来像人类一样学习，而不需要被显式地编程。这篇文章将详细介绍我们在大作业项目如何使用Python的Keras深度学习框架，实现一个卷积神经网络（Convolutional Neural Network）来识别图像中的店铺LOGO/招牌。

03

【视频】CNN（卷积神经网络）模型以及R语言实现回归数据分析

无人驾驶汽车最早可以追溯到1989年。神经网络已经存在很长时间了，那么近年来引发人工智能和深度学习热潮的原因是什么呢？[1秒]答案部分在于摩尔定律以及硬件和计算能力的显著提高。我们现在可以事半功倍。顾名思义，神经网络的概念是受我们自己大脑神经元网络的启发。神经元是非常长的细胞，每个细胞都有称为树突的突起，分别从周围的神经元接收和传播电化学信号。结果，我们的脑细胞形成了灵活强大的通信网络，这种类似于装配线的分配过程支持复杂的认知能力，例如音乐播放和绘画。

01

CNN（卷积神经网络）模型以及R语言实现

无人驾驶汽车最早可以追溯到1989年。神经网络已经存在很长时间了，那么近年来引发人工智能和深度学习热潮的原因是什么呢？答案部分在于摩尔定律以及硬件和计算能力的显著提高。我们现在可以事半功倍。顾名思义，神经网络的概念是受我们自己大脑神经元网络的启发。神经元是非常长的细胞，每个细胞都有称为树突的突起，分别从周围的神经元接收和传播电化学信号。结果，我们的脑细胞形成了灵活强大的通信网络，这种类似于装配线的分配过程支持复杂的认知能力，例如音乐播放和绘画。

02

深度学习图像识别项目（中）：Keras和卷积神经网络（CNN）

在下篇文章中，我还会演示如何将训练好的Keras模型，通过几行代码将其部署到智能手机上。

06

lstm的keras实现_LSTM算法

LSTM 01：理解LSTM网络及训练方法 LSTM 02：如何为LSTMs准备数据 LSTM 03：如何使用Keras编写LSTMs LSTM 04：4种序列预测模型及Keras实现 LSTM 05：Keras实现多层LSTM进行序列预测 LSTM 06：如何用Keras开发CNN-LSTM LSTM 07：如何用Keras开发 Encoder-Decoder LSTM LSTM 08：超详细LSTM调参指南

03

精通 TensorFlow 2.x 计算机视觉：第一部分

在本节中，您将加深对理论的理解，并学习有关卷积神经网络在图像处理中的应用的动手技术。您将学习关键概念，例如图像过滤，特征映射，边缘检测，卷积运算，激活函数，以及与图像分类和对象检测有关的全连接和 softmax 层的使用。本章提供了许多使用 TensorFlow，Keras 和 OpenCV 的端到端计算机视觉管道的动手示例。从这些章节中获得的最重要的学习是发展对不同卷积运算背后的理解和直觉-图像如何通过卷积神经网络的不同层进行转换。

02

keras中文-快速开始Sequential模型

模型需要知道输入数据的shape，因此，Sequential的第一层需要接受一个关于输入数据shape的参数，后面的各个层则可以自动的推导出中间数据的shape，因此不需要为每个层都指定这个参数。有几种方法来为第一层指定输入数据的shape

04

十大预训练模型，助力入门深度学习（第1部分 - 计算机视觉）

对于希望运用某个现有框架来解决自己的任务的人来说，预训练模型可以帮你快速实现这一点。通常来说，由于时间限制或硬件水平限制大家往往并不会从头开始构建并训练模型，这也就是预训练模型存在的意义。大家可以使用预训练模型作为基准来改进现有模型，或者针对它测试自己的模型：

04

使用CNN，RNN和HAN进行文本分类的对比报告

你好，世界！！我最近加入Jatana.ai 担任NLP研究员（实习生and），并被要求使用深度学习模型研究文本分类用例。在本文中，我将分享我的经验和学习，同时尝试各种神经网络架构。我将介绍3种主要算法，例如：

01

了解1D和3D卷积神经网络|Keras

当我们说卷积神经网络（CNN）时，通常是指用于图像分类的2维CNN。但是，现实世界中还使用了其他两种类型的卷积神经网络，即1维CNN和3维CNN。在本指南中，我们将介绍1D和3D CNN及其在现实世界中的应用。我假设你已经大体上熟悉卷积网络的概念。

06

了解1D和3D卷积神经网络|Keras

当我们说卷积神经网络（CNN）时，通常是指用于图像分类的2维CNN。但是，现实世界中还使用了其他两种类型的卷积神经网络，即1维CNN和3维CNN。在本指南中，我们将介绍1D和3D CNN及其在现实世界中的应用。我假设你已经大体上熟悉卷积网络的概念。

02

TensorFlow 2keras开发深度学习模型实例：多层感知器（MLP），卷积神经网络（CNN）和递归神经网络（RNN）

它由节点层组成，其中每个节点连接到上一层的所有输出，每个节点的输出连接到下一层节点的所有输入。

01

【AIDL专栏】乔宇: 面向复杂行为理解的深度学习模型及应用(附PPT下载)

“人工智能前沿讲习班”(AIDL)由中国人工智能学会主办，旨在短时间内集中学习某一领域的基础理论、最新进展和落地方向，并促进产、学、研相关从业人员的相互交流。对于硕士、博士、青年教师、企事业单位相关从业者，预期转行AI领域的爱好者均具有重要的意义。2018年AIDL活动正在筹备，敬请关注公众号获取最新消息。

02

深度 | 从数据结构到Python实现：如何使用深度学习分析医学影像

选自Medium 作者：Taposh Dutta-Roy 机器之心编译运用深度学习技术进行图像和视频分析，并将它们用于自动驾驶汽车、无人机等多种应用场景中已成为研究前沿。近期诸如《A Neural Algorithm of Artistic Style》等论文展示了如何将艺术家的风格转移并应用到另一张图像中，而生成新的图像。其他如《Generative Adversarial Networks》（GAN）以及「Wasserstein GAN」等论文为开发能学习生成类似于我们所提供的数据的模型做了铺垫。因此

09

TensorFlow2 keras深度学习：MLP,CNN,RNN

它由节点层组成，其中每个节点连接到上一层的所有输出，每个节点的输出连接到下一层节点的所有输入。

03

TensorFlow 2.0入门

谷歌于2019年3月6日和7日在其年度TensorFlow开发者峰会上发布了最新版本的TensorFlow机器学习框架。这一新版本使用TensorFlow的方式进行了重大改进。TensorFlow拥有最大的开发者社区之一，从机器学习库到完善的机器学习生态系统已经走过了漫长的道路。

03

完全使用忆阻器实现CNN，清华大学微电子所新研究登上Nature

基于忆阻器的神经形态计算系统为神经网络训练提供了一种快速节能的方法。但是，最重要的图像识别模型之一——卷积神经网络还没有利用忆阻器交叉阵列的完全硬件实现。此外，由于硬件实现收益小、变化大，设备特性不完善，其结果很难媲美软件实现。

02

PointNet：三维点云分割与分类的深度学习

本文是关于PointNet点云深度学习的翻译与理解，PointNet是一种直接处理点云的新型神经网络，它很好地体现了输入点云的序列不变性。

02

深度学习文本分类实战报告：CNN, RNN & HAN

本文为 AI 研习社编译的技术博客，原标题： Report on Text Classification using CNN, RNN & HAN 翻译 | 小猪咪、莫尔•约瑟夫、M.Y. Li

02

[机器学习|理论&实践] 深度学习架构详解：卷积神经网络（CNN）

深度学习已经在各种领域取得了巨大成功，而卷积神经网络（CNN）作为其中的重要一员，在图像处理和计算机视觉领域表现出色。本博客将深入探讨CNN的基本原理、结构以及实际应用，旨在为读者提供对CNN的深刻理解。

01

机器视角：长文揭秘图像处理和卷积神经网络架构

选自 Analyticsvidhya 机器之心编译作者：DISHASHREE GUPTA 近日，Dishashree Gupta 在 Analyticsvidhya 上发表了一篇题为《Architecture of Convolutional Neural Networks (CNNs) demystified》的文章，对用于图像识别和分类的卷积神经网络架构作了深度揭秘；作者在文中还作了通盘演示，期望对 CNN 的工作机制有一个深入的剖析。机器之心对本文进行了编译，原文链接见文末。引言先坦白地说，

06

10个预训练模型开始你的深度学习（计算机视觉部分）

对于希望学习算法或尝试现有框架的人来说，预训练的模型是一个很好的帮助。由于时间限制或计算资源的限制，不可能总是从头构建模型，这就是为什么存在预训练模型！

02

使用CNN预测电池寿命

作者 | Hannes Knobloch 来源 | codeingschool 编辑 | 代码医生团队可以在GitHub上找到这个项目的源代码： https://github.com/dsr-18/

04

农林业遥感图像分类研究[通俗易懂]

遥感图像处理是数字图像处理技术中的一个重要组成部分，长期以来被广泛应用于农林业的遥感测绘，防灾减灾等领域。本文旨在通过深度学习技术从遥感影像中分类出农田和林业地块。手工从遥感图像中分类出农田和林业区域分类虽然准确但是效率低下，并且很多采用传统图像分割技术的方法泛化性能差，不适合场景复杂的遥感图像。经实践证明，使用深度学习技术在各种计算机视觉任务中都取得了良好的效果，因此本文首先使用先进的深度学习框架进行分类实验，例如使用PSPNet,UNet等作为分割网络对遥感图像数据集进行分类与分割训练。这些框架在ImageNet，COCO，VOC等数据集上表现很好，但是由于遥感图像数据集相对于ImageNet，COCO等数据集，不仅检测对象相对较小而且可供学习的数据集样本较少，需要针对这一特点进行优化。本文经过多次实验将高分辨率的图像切割成合适大小分辨率的图像以减小神经网络的输入，同时进行图片的预处理和数据增强来丰富学习样本。同时在真实情况下，农林区域易受到拍摄视角，光照等造成分割对象重叠，因此本文提出一种处理分割对象重叠的处理策略，来优化边界预测不准确的情况，使用该方法后准确率有明显提升。经实验证明，本文所提出的基于深度学习的农林业遥感影像分割在开源遥感图像数据集上的取得了94.08%的准确率，具有较高的研究价值农林业遥感图像数据（图1）对于许多与农林业相关的应用至关重要。例如作物类型和产量监测，防灾减灾以及对粮食安全工作的研究和决策支持。最初，这些数据主要由政府机构使用。如今，蓬勃发展的农林业技术也需要在农场管理，产量预测和林业规划等各种应用领域进行革新。以往农林业地块的高质量遥感图像数据主要是手动在高分辨率图像中分割出来的，即通过土地功能不同引起的颜色，亮度或纹理的差异与周围区域亮度或纹理的差异与周围区域区分开来。尽管农林业遥感图像的手动分类可以非常准确，但是非常耗时耗力。图1.1：农田的遥感图像分割定期更新农林业遥感图像数据的需求日益增加扩大了自动化分割农林业遥感图像的需求。与ImageNet、VOC2007、COCO等目标检测/分类数据集中的大多数图像相比，农林业遥感图像中的对象相对简单。例如，人体的图像数据看起来要复杂得多，因为它包含各种不同纹理和形状的子对象（面部，手部，衣服等）。因此，优化传统的图像分割以及深度学习技术来设计用于农林业遥感图像分割的算法是非常重要的。该模型需要正确地排除不需要进行分割的对象（房屋，工厂，停车场等），区分具有几乎相似的光谱特性的相邻区域和可见度差的边界区域，并且正确地分割出所需的对象。 1.2 选题来源与经费支持本研究课题来源于计算机与信息工程学院随着传感器技术，航空航天技术，图像处理技术快速的发展，利用卫星遥感图像进行深度学习处理广泛应用于生产实际中。由于农林业遥感图像场景复杂，使用传统图像处理分割算法效果差且泛化性能弱，本文使用深度学习方法，在现有的的深度学习模型上训练，优化，最终提出一种一种优化后的深度学习模型，经测试，该模型在收集的农林业遥感图像数据集上可以准确的分割出所需的对象，本文提出的模型主要解决如下几个难点：

02

面向计算机视觉的深度学习：6~10

在本章中，我们将学习相似性学习并学习相似性学习中使用的各种损失函数。当每个类别的数据集都很小时，相似性学习对我们很有用。我们将了解可用于人脸分析的不同数据集，并建立用于人脸识别，界标检测的模型。我们将在本章介绍以下主题：

02

Deep learning with Python 学习笔记（2）

卷积神经网络接收形状为 (image_height, image_width, image_channels)的输入张量(不包括批量维度)，宽度和高度两个维度的尺寸通常会随着网络加深而变小。通道数量由传入 Conv2D 层的第一个参数所控制

01

卷积神经网络工作原理直观的解释

先坦白地说，有一段时间我无法真正理解深度学习。我查看相关研究论文和文章，感觉深度学习异常复杂。我尝试去理解神经网络及其变体，但依然感到困难。接着有一天，我决定一步一步，从基础开始。我把技术操作的步骤分解开来，并手动执行这些步骤（和计算），直到我理解它们如何工作。这相当费时，且令人紧张，但是结果非凡。现在，我不仅对深度学习有了全面的理解，还在此基础上有了好想法，因为我的基础很扎实。随意地应用神经网络是一回事，理解它是什么以及背后的发生机制是另外一回事。今天，我将与你共享我的心得，展示我如何上手卷积神经网

02

matlab使用长短期记忆（LSTM）神经网络对序列数据进行分类|附代码数据

本示例说明如何使用长短期记忆（LSTM）网络对序列数据进行分类。最近我们被客户要求撰写关于LSTM的研究报告，包括一些图形和统计输出。

00

越来越卷，教你使用Python实现卷积神经网络（CNN）

https://blog.csdn.net/weixin_44510615/article/details/117409037

03

TextCNN文本分类（keras实现）「建议收藏」

深度学习模型在计算机视觉与语音识别方面取得了卓越的成就，在 NLP 领域也是可以的。将卷积神经网络CNN应用到文本分类任务，利用多个不同size的kernel来提取句子中的关键信息（类似 n-gram 的关键信息），从而能够更好地捕捉局部相关性。

03

神经网络可视化工具，超全汇总！

神经网络可视化是指通过图形化的方式展示神经网络的结构、参数、输入、输出、中间结果等信息，可以帮助用户更好地神经网络的内部工作原理和特征提取过程，以优化神经网络模型

02

太强了，竟然可以根据指纹图像预测性别！

在进入神经网络世界之前，让我们先谈一谈指纹？众所周知，没有两个人具有相同的指纹，但是我们可以建立一个CNN模型来从指纹图像中预测性别吗？让我们看看……

03

从Caffe2到TensorFlow，十种框架构建相同神经网络效率对比

选自Medium 作者：Ilia Karmanov 机器之心编译参与：路雪、黄小天近日，Ilia Karmanov 在 Medium 发表了一篇题为《Neural Net in 10 Frameworks (Lessons Learned)》的文章，其内容源自一个 GitHub 项目，其中作者通过构建同一个神经网络，对比了当前最流行的 10 种深度学习框架，其中 Caffe2 和 MXNet 在准确度和训练时长上处于领先位置。该项目甚至还得到了 FAIR 研究者、各大框架创始人（比如贾扬清）的支持。机器

04

一招检验10大深度学习框架哪家强！

来源：机器之心本文长度为2698字，建议阅读4分钟本文通过构建同一个神经网络，对比当前最流行的 10 种深度学习框架。 [ 导读 ]近日，Ilia Karmanov 在 Medium 发表了一篇题为《Neural Net in 10 Frameworks (Lessons Learned)》的文章，其内容源自一个 GitHub 项目，其中作者通过构建同一个神经网络，对比了当前最流行的 10 种深度学习框架，其中 Caffe2 和 MXNet 在准确度和训练时长上处于领先位置。该项目甚至还得到了 FA

07

简易的深度学习框架Keras代码解析与应用

总体来讲keras这个深度学习框架真的很“简易”，它体现在可参考的文档写的比较详细，不像caffe，装完以后都得靠技术博客，keras有它自己的官方文档（不过是英文的），这给初学者提供了很大的学习空间

07

从Caffe2到TensorFlow，十种框架构建相同神经网络效率对比

近日，Ilia Karmanov 在 Medium 发表了一篇题为《Neural Net in 10 Frameworks (Lessons Learned)》的文章，其内容源自一个 GitHub 项目，其中作者通过构建同一个神经网络，对比了当前最流行的 10 种深度学习框架，其中 Caffe2 和 MXNet 在准确度和训练时长上处于领先位置。该项目甚至还得到了 FAIR 研究者、各大框架创始人（比如贾扬清）的支持。机器之心对该文进行了编译。项目GitHub链接：https://github.com/i

08

计算机视觉五大核心研究任务全解：分类识别、检测分割、人体分析、三维视觉、视频分析

计算机视觉（Computer Vision）是一门将人类的视觉能力赋予机器的学科。它涵盖了图像识别、图像处理、模式识别等多个方向，并已成为人工智能研究的重要组成部分。本文将详细介绍计算机视觉的定义、历史背景及发展、和当前的应用领域概览。

01

从三大神经网络，测试对比TensorFlow、MXNet、CNTK、Theano四个框架

选自data science central 机器之心编译参与：蒋思源本文比较了 Keras 支持的主流深度学习框架性能，包括 TensorFlow、CNTK、MXNet 和 Theano，作者希望通过使用同一模型和不同的 Keras 后端，而测试不同框架在不同类型任务中的性能。本文通过五个任务分别测试了 MLP、CNN 和 RNN 模型，机器之心不仅对该试验进行了介绍，同时还使用 Keras（TensorFlow 后端）在 MNIST 数据集上试运行了 CNN。如果我们对 Keras 在数据科学和深

07

教程 | 如何使用Keras集成多个卷积网络并实现共同预测

选自TowardsDataScience 机器之心编译参与：刘晓坤、黄小天在统计学和机器学习领域，集成方法（ensemble method）使用多种学习算法以获得更好的预测性能（相比单独使用其中任何一种算法）。和统计力学中的统计集成（通常是无穷集合）不同，一个机器学习集成仅由一个离散的可选模型的离散集合组成，但通常拥有更加灵活的结构 [1]。 GitHub 地址：https://github.com/LawnboyMax/keras_ensemblng 使用集成的主要动机是在发现新的假设，该假设不一定存

07

使用Keras进行深度学习：（一）Keras 入门

导语 Keras是Python中以CNTK、Tensorflow或者Theano为计算后台的一个深度学习建模环境。相对于其他深度学习的框架，如Tensorflow、Theano、Caffe等，Keras在实际应用中有一些显著的优点，其中最主要的优点就是Keras已经高度模块化了，支持现有的常见模型（CNN、RNN等），更重要的是建模过程相当方便快速，加快了开发速度。笔者使用的是基于Tensorflow为计算后台。接下来将介绍一些建模过程的常用层、搭建模型和训练过程，而Keras中的文字、序列和图像数据预处

06

【前沿】何恺明大神ICCV2017最佳论文Mask R-CNN的Keras/TensorFlow/Pytorch 代码实现

导读何恺明大神的论文Mask R-CNN 获得ICCV最佳论文，而关于这篇论文的TensorFlow\Pytorch\Keras实现相继开源出来，让我们来看下。摘要我们提出了一个概念上简单、灵

09

深度学习框架如何选？4大场景对比Keras和PyTorch

对于许多科学家、工程师和开发人员来说，TensorFlow是他们的第一个深度学习框架。但indus.ai公司机器学习工程师George Seif认为，TF并不是非常的用户友好。

03

用于类别级物体6D姿态和尺寸估计的标准化物体坐标空间

本文的目的是估计RGB-D图像中未见过的对象实例的6D姿态和尺寸。与“实例级”6D姿态估计任务相反，我们的问题假设在训练或测试期间没有可用的精确对象CAD模型。为了处理给定类别中不同且未见过的对象实例，我们引入了标准化对象坐标空间（NOCS）-类别中所有可能对象实例的共享规范表示。然后，我们训练了基于区域的神经网络，可以直接从观察到的像素向对应的共享对象表示（NOCS）推断对应的信息，以及其他对象信息，例如类标签和实例蒙版。可以将这些预测与深度图结合起来，共同估算杂乱场景中多个对象的6D姿态和尺寸。为了训练我们的网络，我们提出了一种新的上下文感知技术，以生成大量完全标注的混合现实数据。为了进一步改善我们的模型并评估其在真实数据上的性能，我们还提供了具有大型环境和实例变化的真实数据集。大量实验表明，所提出的方法能够稳健地估计实际环境中未见过的对象实例的姿态和大小，同时还能在标准6D姿态估计基准上实现最新的性能。

03

【前沿】何恺明大神ICCV2017最佳论文Mask R-CNN的Keras/TensorFlow/Pytorch 代码实现

摘要我们提出了一个概念上简单、灵活和通用的用于目标实例分割（object instance segmentation）的框架。我们的方法能够有效地检测图像中的目标，同时还能为每个实例生成一个高质量的

09

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭