以下是他在AI研习社直播的分享内容整理： ? 大家好，我是来自北京信息科技大学计算机应用技术专业研二在读生吴正一，目前是拓尔思图像组实习。...使用训练好的模型对单张图像分类 GPU的选购和机器配置等 tf-slim适用于快速处理工作上大型图像数据。...tf-slim 优点 有最新的的网络实现和预训练模型，能够快速产出。谷歌把一些最新的，最重要的大型网络已经实现好了，封装在tf-slim里面，可直接调用。 标准化的数据处理模板，适用于大型数据集。...tf-slim可比作一辆整车，但是又可以拆卸，因为它把最新的网络实现和预训练模型已经写好了，既封装了 一些网络实现，又能实现精细化的操作（可改源代码）。 tf-slim 配置 ?...TensorFlow模型训练效率对比结果 ? 待验证：1080 GPU在主机上的训练速度，双1080/1080Ti GPU的训练速度提升问题（修改TensorFlow网络架构）。
为了方便起见，我们提供了一种同时或异步地在多个GPU和/或多个CPU上训练模型的方法。 有关详细信息，请参阅model_deploy。...当使用与训练模型不同数量的类对分类任务进行Fine-tune时，新模型将具有与预训练模型不同的最终“logits”层。...需要记住的是，只有第一次进行Fine-tune时，才会从预训练模型的checkpoint中加载权值，一旦模型开始训练了，新的checkpoint将被保存在${TRAIN_DIR}路径下，如果此时训练停止并再次开始...在评估模型的性能时，您可以使用eval_image_classifier.py脚本，就像下面展示的： 下面我们给出一个例子关于下载预训练的模型和它在imagenet数据集上的性能评估。...我想使用不同的图片尺寸训练模型： 预处理功能全部以高度和宽度为参数。
以下是他在 AI 研习社直播的分享内容整理： ? 大家好，我是来自北京信息科技大学计算机应用技术专业研二在读生吴正一，目前是拓尔思图像组实习。...训练图像分类模型 使用训练好的模型对单张图像分类 GPU 的选购和机器配置等 tf-slim 适用于快速处理工作上大型图像数据。...tf-slim 优点： 有最新的的网络实现和预训练模型，能够快速产出。谷歌把一些最新的，最重要的大型网络已经实现好了，封装在 tf-slim 里面，可直接调用。...tf-slim 可比作一辆整车，但是又可以拆卸，因为它把最新的网络实现和预训练模型已经写好了，既封装了 一些网络实现，又能实现精细化的操作（可改源代码）。 tf-slim 配置 ?...TensorFlow 模型训练效率对比效果 ? 待验证：1080 GPU 在主机上的训练速度，双 1080/1080Ti GPU 的训练速度提升问题（修改 TensorFlow 网络架构）。
最近，新推出了一款名叫slim的库，slim自带了许多预训练的模型，比如ResNet、VGG、Inception-ResNet-v2（ILSVRC的新赢家）等等。...而slim非常干净，用预训练的模型对Tensorflow做了轻量级的封装。 下文中会用到Tensorflow和卷积神经网络的知识。...在本文中，我们就用这个预训练的模型来给图片分类、标注和分割，映射到这1000个类别。 下面是一个图像分类的例子。图像首先要做预处理，经过缩放和裁剪，输入的图像尺寸与训练集的图片尺寸相同。...如果想得到更好的结果，我们还是需要重新训练一个模型。不管怎么说，我们得到的结果是可以用作图像标注的。 使用卷积神经网络进行图像分割，可以被看作是对输入图像的不同部分进行分类。...自带预训练模型的slim库是一款强大而灵活的工具，可以配合tensorflow使用。 http://blog.csdn.net/c2a2o2/article/details/69666157
重点如下： 微调 导出模型并对图片分类 一、微调 原理 对于新手来说，在自己的数据集上训练一个模型时，最简单的方法是在ImageNet的模型上进行微调。什么是微调呢？...里面提供了图像分类的接口、常用的网络结构和预训练模型。...=10 每隔10步在屏幕上打印出训练信息 –optimizer=rmsprop 指定优化器 –weight_decay=0.00004 设定weight_decay，即模型中所有参数的二次正则化超参数...注4： 开始训练时，如果训练文件夹（satellite/train_dir)里没有保存的模型，就会自动加载 checkpoint_path 中的预训练模型，然后程序会把初始模型保存在train_dir...三、总结 首先简要介绍了微调神经网络的基本原理，接着详细介绍了如何使用 TensorFlow Slim 微调预训练模型，包括数据准备、定义新的 datasets 文件、训练、 验证 、 导出模型井测试单张图片等
点击上方↑↑↑“OpenCV学堂”关注我 投稿作者：小黄弟, 来自:中国电科智慧城市建模仿真与智能技术重点实验室 文字编辑：gloomyfish 如果你觉得文章对你有帮助，欢迎转发支持 tf-slim...TF-Slim是一个用于定义、训练和评估复杂模型的tensorflow轻量级库，在slim库中已经有很多官方实现的网络并用ImageNet进行了预训练，如VGG、ResNet、Inception等，可直接拿来使用...本文将用Opencv的dnn模块调用预训练的InceptionV4模型进行图像分类及深度特征的提取。...路径下在https://github.com/tensorflow/models/tree/master/research/slim 下载预训练的分类模型，如图 ?...在slim下新建文件夹为checkpoint，并将下载的inception_v4.ckpt放于该文件夹下。
Deeplab 把在 ImagNet 上预训练得到的 ResNet 作为它的主要特征提取网络。但是，它为多尺度的特征学习添加了一个新的残差块。...这种类型的连接已经被证明有助于更深网络的训练。 当我们增加模型容量时，非瓶颈单元也表明有助于准确率的提高。然而，瓶颈残差单元具有一些实际优势。首先，它们在几乎相同数量的参数下可执行更多的计算。...然而，因为它的作用就像一个稀疏的过滤器，只有原始的 3 x3 单元将执行计算并生成结果。 以类似的方式，扩张因子为 3 的常规 3×3 的卷积能够得到对应的 7×7 区域的信号。...最后，8252 张图像中的 10%（大约 825 张图像）用来验证，其余的图像留着训练。 注意，这与原始论文是不一样的：这次实现没有在 COCO 数据集上预训练。...此外，论文中描述到的一些训练和评估技术也没有用到。 结果 模型能够在 PASCAL VOC 验证集上得到良好的结果。
踩了很多的坑，尤其是使用tf的slim模块的时候，其中batchnorm的问题困挠了我很久，问题表现如下： 训练结果很好，测试的时候is−trainingis−trainingis-training设置成...false测试结果很差，设置成true测试结果恢复正常 训练结果很好，但是测试的结果要差上不少 但是tensorflow官方提供的常见的网络代码以及与训练模型都是基于slim模块建立的，使用者可以直接fine-tune...但是经常有同学在使用过程中遇到结果不尽人意或者各种奇葩问题。 本文为上述提出的两个问题做一个总结，附上我的解决方案，有问题欢迎留言。...每个网络都有对应的代码和预训练的模型，可以直接拿来fine-tune 坑1： 对于问题：训练结果很好，测试的时候istrainingistrainingis_training设置成false测试结果很差...但是值得注意的是，使用slim模块的时候建立train op时最好要使用slim自带的train op，具体代码如下： optimizer = tf.train.GradientDescentOptimizer
最后，我们详细阐述了模型训练阶段所使用的损失函数。 A. 可重新参数化双分辨率网络 如图2所示，RDRNet在提取浅层特征后，将特征图分流到两个分支。上分支称为语义分支，设计用于学习深层语义信息。...我们使用了Cityscapes的预训练模型，并将初始学习率设置为0.001。...在重新训练过程中，我们将所有模型的学习率降低到原始学习率的，并对Cityscapes预训练权重进行了7800次迭代微调，同时保持其他训练参数与Cityscapes训练时一致。...在重新训练过程中，我们将所有模型的学习率降低到原始学习率的，并对Cityscapes预训练权重进行了24400次迭代微调，同时保持其他训练参数与Cityscapes训练时一致。...为了验证这种效果是否确实由ImageNet预训练引起，我们进行了不使用ImageNet预训练的额外实验。实验结果表明，在没有ImageNet预训练的情况下，BiSeNetV1的mIoU从下降到。
/tensorflow/models/master/research/slim/nets/mobilenet_v1.py 1.2 下载MobileNet V1预训练模型 MobileNet V1预训练的模型文在如下地址中下载...V1官方预训练的模型，官方提供了不同输入尺寸和不同网络中通道数的多个模型，并且提供了每个模型对应的精度。...[MobileNet V1不同输入和不同通道数的官方预训练模型] 这里以选择MobileNet_v1_1.0_192为例，表示网络中的所有卷积后的通道数为标准通道数（即1.0倍），输入图像尺寸为192X192...构建网络结构及加载模型参数 2.1 构建网络结构 在1.1小节中下载mobilenet_v1.py文件后，使用其中的mobilenet_v1函数构建网络结构静态图，如下代码所示。...先从官网下载label数据，需要注意的是MobileNet V1使用的是ILSVRC-2012-CLS数据，因此需要下载对应的Label信息（本文后面附件中会提供）。解析Label数据代码如下。
训练回路在learning.py中，TF-Slim提供了简单却非常强大的训练模型的工具集。包括Train函数，可以重复地测量损失，计算梯度以及保存模型到磁盘中，还有一些方便的函数用于操作梯度。...恢复部分模型有时我们希望在一个全新的数据集上或面对一个信息任务方向去微调预训练模型。...Flowers 数据集训练模型TF-Slim 的 learning.py 中 training 函数的使用....采用预训练模型神经网络模型参数量比较大时，表现最佳，且是比较灵活的函数逼近器. 但是，也就是需要在大规模数据集上进行训练....由于训练比较耗时，TensorFlow 提供和很多预训练模型，如 Pre-trained Models:?基于开源的预训练模型，可以在其基础上进一步应用到具体场景.
Deeplab使用在ImageNet上预训练的残差网络ResNet作为其主要特征提取器网络。但是，它提出了一种用于多尺度特征学习的新残差块。...在实际中， 瓶颈 单元更适合于训练更深的模型，因为需要更少的训练时间和计算资源。...以类似的方式，将扩张因子设置为3，是常规的3x3 卷积从对应7x7 的区域获得信号。 此效果允许我们控制计算特征时所得到分辨率。此外，扩张卷积在不增加参数数量或计算量的情况下增加了更大的上下文信息。...此外，为了添加更多全局上下文信息，ASPP合并不同图像级的特征。首先，它将 全局平均池用在最后一个空洞卷积模块的特征输出上。其次，将得到的特征送入到具有256个滤波器的1x1卷积。...训练集中有5,623个，验证集中有2,299个。为了测试模型，使用了原始VOC 2012 验证数据集，我从2,299验证集中删除了558个图像。这558个样品也出现在官方VOC验证集上。
它只是为了解决分组卷积时，不同feature maps分组之间的channels信息交互问题，而提出Channel Shuffle操作为不同分组提供channels信息的通信的渠道。...当时概念大家都还是比较模糊，我也只是在实习听报告时，听邵岭博士提了一下，却没想到现在已经成为模式识别界的一枚巨星。尽管我后悔当时没在这块狠下功夫，但庆幸还能赶上末班船的站票。...，最后对模型做一下fine-tune就得到他所说的30%压缩率的效果。...论文测试在多个参数量下做了广泛的实验，并在ImageNet分类任务上与其他先进模型做了对比，显示了强大的性能。论文验证了模型在其他领域(对象检测，人脸识别，大规模地理定位等)使用的有效性。...---- Related Work 现阶段，在建立小型高效的神经网络工作中，通常可分为两类工作： 压缩预训练模型。
诚然，网上已经有很多使用TensorFlow实现GoogLenet模型，但很尴尬的是，代码基本上都是你抄我，我复制你。...实质上，官网TensorFlow已经使用TF-slim实现了InceptionNet V1,V2,V3,V4等模型，为什么不用呢？因此鄙人在此基础上，完成训练和测试的封装。...本人一开始就想把黄文坚第六章的《6.3TensorFlow 实现 GooglelnceptionNet》的源码封装成可训练的过程，但训练过程发现模型一直不收敛，识别率一直在0.2-0.3%浮动，不知道是我参数设置问题...主要是我发现即使没有tf.get_collection，使用slim.learning.create_train_op()时，训练也是收敛的。...(loss, optimizer,global_step=global_step) # 在定义训练的时候, 注意到我们使用了`batch_norm`层时,需要更新每一层的`average`和
如何避免这些差异带来的模型效果的差异？ 2.模型文件差异：训练好的模型文件如何迁移？转换框架后如何保证精度的损失在可接受的范围内？ 3.预测方式差异：转换后的模型如何预测？...，graph为静态的，在实际的运行时，启动一个session，程序才会真正的运行。...在代码层面，每一个tensor值在graph上都是一个op，当我们将train数据分成一个个minibatch然后传入网络进行训练时，每一个minibatch都将是一个op，这样的话，一副graph上的...模型迁移 VGG_16是CV领域的一个经典模型，我以tensorflow/models下的VGG_16为例，给大家展示如何将TensorFlow训练好的模型转换为飞桨模型。...转换模型有一个问题始终避免不了，就是损失，从Tesorflow的模型转换为Paddle Fluid模型，如果模型的精度损失过大，那么转换模型实际上是没有意义的，只有损失的精度在我们可接受的范围内，模型转换才能被实际应用
昨天已经使用tflite测试了训练后量化，所以今天主要来看一下训练时量化时怎么做的。...在训练中引入量化的操作要复杂一些，首先训练时在损失计算后面，优化器定义前面需要引入tf.contrib.quantize.create_training_graph()。...如果没有特殊要求， # 一般用这一句就可一显示训练时的各种信息了。...，测试其中一个模型的时候我们需要注释掉另外两个，因为我发现在tensorflow-1.13.1中一个使用同一个py文件启动了2个Session的话，第二个Session执行的内容会出问题，当然我使用第一个...我在测试的时候模型掉了大约四个点，我们可以大概想一下为什么这里精度掉得还是比较多，可能对于Mnist数据集来说LeNet已经算是一个大模型了，所以训练后量化比训练时量化表现更好。
该版本可在 TensorFlow 中使用 TF-Slim 对 MobileNet 模型进行定义，同样还有 16 个预训练 ImageNet 分类保存点（checkpoints）以适用于所有大小的移动项目...而TF-slim 是用于定义、训练和评估复杂模型的 TensorFlow（tensorflow.contrib.slim）轻量级高层 API。...其 Github 目录包含使用 TF-slim 训练和评估几种广泛使用的卷积神经网络（CNN）图像分类模型的代码，同时还包括脚本以允许从头开始训练模型或微调预训练模型。...谷歌表明他们很高兴能将 MobileNet 分享到开源社区中，读者也可以阅读以下资源进一步了解 MobileNet： 使用该模型库的更多信息可以阅读 TensorFlow-Slim Image Classification...我们引入了两个简单的全局超参数，可以在延迟和准确性之间找到平衡点。这些超参数允许模型开发者针对应用面临的局限性选择正确尺寸的模型。
使用VGG16作为预训练模型训练Faster-RCNN-TensorFlow-Python3-master的详细步骤→Windows10+Faster-RCNN-TensorFlow-Python3...如果使用ResNet101作为预训练模型训练Faster-RCNN-TensorFlow-Python3-master，在之前使用VGG16作为预训练模型的训练步骤基础上需要修改几个地方。...第一个，在之前的第6步时，改为下载预训练模型ResNet101，在....# 添加的代码（使用resnet101作为预训练模型） from lib.nets.resnet_v1 import resnetv1 # 添加结束 # 添加的代码（使用resnet101...训练时，模型保存的路径是./default/voc_2007_trainval/default，每次保存模型都是保存4个文件，如下图所示。 相应地，测试时也需要修改几个地方。
果不其然，在TensorFlow的GitHub页面，Google是这么说的： 该目录所包含的是NASNet模型的代码，这个模型出自Zoph等人的论文：Learning Transferable Architectures...该模型的使用介绍详述如下： 预训练模型 在ILSVRC-2012-CLS图像分类数据库上训练出来的两个NASNet-A模型，其节点参数是可用的，模型的分类精度是通过评估单幅图像计算出来的，数值如下表：...图像分类库中得到更多关于如何将NASNet模型与自己项目相结合的信息： https://github.com/tensorflow/models/blob/master/research/slim/README.md...要在设备上运行这些模型，需要在移动端上安装Tensorflow https://www.tensorflow.org/mobile/ 使用该模型进行推断的代码样例 测试NASNet模型—一个移动端的ImageNet...而计算机视觉全栈工程师、TenDozen创始人Jared则就此专门 @ Kaparthy小哥：我发现，绝大部分出自于论文的新模型，需要相当多的调教才能适用于工业级生产环境。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
云直播
