首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Caffe上训练使用自己的数据

Caffe上训练使用自己的数据

作者头像
GavinZhou
发布于 2019-05-26 02:03:05
发布于 2019-05-26 02:03:05
65000
代码可运行
举报
运行总次数:0
代码可运行

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/Gavin__Zhou/article/details/47374707

接着上篇,上篇讲解了怎么在ubuntu下安装Caffe,如果一切没问题的话应该是可以用了,下面自己测试一下。

测试mnist

首先切换到caffe-master的主目录,mnist是作为一个演示存在于caffe-master/examples/mnist下的,需要三步来运行: <1>获得mnist手写数据库数据

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
$ sh data/mnist/get_mnist.sh

<2>根据获得的原始数据建立数据集(Lmdb形式)

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
$ sh examples/mnist/create_mnist.sh

<3>训练并获得验证集合的成功率

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
$ sh examples/mnist/train_lenet.sh

这些脚本Caffe都是写好了的,直接运行就可以了,如果没错的话,你应该看到类似于下面的输出

输出的内容就是创建相应的网络和进行迭代训练,这里我只截图了刚开始训练的部分,它会产生相应的model,以后我们就可以拿这些model去进行识别了

Caffe上训练使用自己的数据集

我就以这个来演示下如何使用caffe来使用自己的数据进行训练和识别(分类);这是自己做的中文汉字识别的一个实验,大概有3K多个汉字,我将每个汉字归为一个类,所以总共有3K多个类,然后就可以在上面训练识别。由于汉字什么的长得和手写数字还是很像的(明显不同与猫、狗之类的),所以我就偷懒用了mnist的网络结构来训练,最后效果也还不错。ps:数据多点结果应该更好点 (1)对自己的数据进行分类 在我这个来说,就是把每个汉字归为一类,首先新建个train文件夹用来做训练,类的编号从0开始,1,2,3,4,5…….这样写,大概是这样的:

再建个val文件夹,用来做验证,val文件夹下所有的图片不用分类,直接放一起就可以了,大概是这样:

(2)写训练的数据集和验证的数据集TXT train.txt就是将train文件夹下的图片归类,val.txt直接写图片的类编号,大概是这样:

(3)做数据集 从imagenet拷贝create_imagenet.sh,进行修改,主要写上自己的train和val的路径

修改完之后就可以运行了,会创建两个数据集:

(4)定义网络结构 上面说了,对于汉字我就采用了mnist的网络结构,直接拷贝(3)中获得的两个数据集到examples/mnist下,最后就是这样的:

红色圈出的是不需要的,当然如果你需要加均值的话,可以使用make_imagenet_mean.sh,改下路径就可以用了,但不是必须的 主要是修改lenet_train_test.prototxt文件的内容:

修改下路径就可以了,红色标明的地方 还有就是连接的个数,写上自己实际的类的个数,很重要不然会报错

(5)训练 直接运行lenet_train.sh就可以了,它调用lenet_train_test.prototxt的网络结构,学习率,decay之类的参数在lenet_solvet.prototxt里面,大家看着需要自己设置,会产生model文件和验证结果,类似于上面用mnist自带的数据集训练的结果

最后结果截图我就不放了,跟第一张差不多,说的就是迭代到多少次,成功率(accuracy)是多少,损失(loss)是多少

总结一下做自己的训练集的步骤: <1>分类;将自己的训练数据分成类并写train.txt文件,val直接全放一起,写val.txt文档 <2>做数据集文件(lmdb) <3>定义网络结构 <4>训练并验证

上面说的不太清楚的地方,欢迎咨询!

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2015年08月09日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
caffe详解之工具篇
convert_imageset是将我们准备的数据集文件转换为caffe接口更快读取的LMDB或HDF5数据类型。
AI异构
2020/07/29
6830
caffe详解之工具篇
caffe 的命令行训练与测试
本文转自: http://blog.csdn.net/yiliang_/article/details/60464968
用户1148525
2019/05/26
1.6K0
caffe学习笔记2-caffe命令行训练与测试
Train训练(用cmdcaffe命令行) (solver.prototxt) 在使用cmdcaffe时,需要默认切换到Caffe_Root文件夹下,需要使用上述命令才可以使用tools下的caffe接口,因为caffe默认都需要从根目录下面执行文件。 1、训练模型,以mnist为例子(solver.prototxt) ./build/tools/caffe train -solver=examples/mnist/lenet_solver.prototxt 从中断点的 snapshot 继续训练(solver.prototxt + .solverstate) ./build/tools/caffe train -solver examples/mnist/lenet_solver.prototxt -snapshot examples/mnist/lenet_iter_5000.solverstate 2、观察各个阶段的运行时间可以使用(train_test.prototxt) ./build/tools/caffe time -model examples/mnist/lenet_train_test.prototxt -iterations 10 3、使用已有模型提取特征(caffemodel + train_val.prototxt + fc7 + num_mini_batches) ./build/tools/extract_features.bin models/bvlc_reference_caffenet/bvlc_reference_caffenet.caffemodel examples/feature_extraction/train_val.prototxt fc7 examples/temp_features 10 lmdb
用户1148525
2019/05/26
4800
怎么使用 Caffe 进行 LetNet-5 的训练和预测
在 LeNet5的深入解析 我们已经对 LetNet-5 网络结构做出了详细的描述,接下来我们将深入分析 Caffe 中怎么使用 LetNet-5 的这个模型进行预测。 Caffe 中关于 LetNet-5 的实现文件主要存放于 https://github.com/BVLC/caffe/tree/master/examples/mnist
用户1148525
2019/05/26
8560
caffe示例实现之4在MNIST手写数字数据集上训练与测试LeNet
http://blog.csdn.net/liumaolincycle/article/details/47336921
bear_fish
2018/09/19
6580
caffe示例实现之4在MNIST手写数字数据集上训练与测试LeNet
SSD+caffe︱Single Shot MultiBox Detector 目标检测+fine-tuning(二)
本文主要介绍了如何使用深度学习完成一个基于SSD(Single Shot MultiBox Detector)的目标检测算法。首先介绍了SSD算法的原理和配置,然后介绍了如何使用Caffe和Python实现SSD算法,并提供了在K80 GPU上进行训练和测试的示例代码。此外,还介绍了一些优化技巧和细节处理。整个实现过程较为详细,不仅提供了完整的代码和注释,还提供了很多重要的实现细节。通过本文的学习,可以较为快速地掌握如何使用深度学习实现SSD目标检测算法,并能够根据需要进行代码调整和优化。
悟乙己
2018/01/02
2.3K0
SSD+caffe︱Single Shot MultiBox Detector 目标检测+fine-tuning(二)
Caffe实践 - 单标签图片分类流程
主要是生成 train.txt、 val.txt 和 test.txt 文件,使其内容格式为:
AIHGF
2019/02/18
1.1K0
Caffe学习系列(12):训练和测试自己的图片
学习caffe的目的,不是简单的做几个练习,最终还是要用到自己的实际项目或科研中。因此,本文介绍一下,从自己的原始图片到lmdb数据,再到训练和测试模型的整个流程。
bear_fish
2018/09/19
7330
Caffe学习系列(12):训练和测试自己的图片
caffe随记(四) --- mnist示例超详细讲解
本文介绍了如何使用Caffe在MNIST数据集上训练一个简单的CNN分类器。首先介绍了MNIST数据集的背景和CNN架构,然后详细描述了如何使用Caffe进行模型的训练和测试。最后演示了如何使用Caffe中的命令行工具进行模型的部署和测试。
TeeyoHuang
2017/12/28
1K0
caffe随记(四) --- mnist示例超详细讲解
完整教程:使用caffe测试mnist数据集
想要入门深度学习没有几个趁手的兵器是不行的,目前流行的框架tensorflow、pytorch、caffe等,笔者也是最近接触了caffe,发现caffe非常适合初学者入门深度学习。不必像tensorflow那样,先学习Python,然后在学习tf,这个过程感觉像在重新学习一门语言。caffe是c++编写的,所以从github上下载下来后需要你自己编译,令人高兴的是caffe也支持windows,你去github上下载微软发布的caffe用vs2013编译即可成功,它也区分cpu版本与gpu版本,如何编译安装的百度上教程基本可用,笔者在windows跟ubuntu都编译成功了。入门的童鞋基本上接触的第一个教程就是mnist识别手写数字,caffe无疑可以让你最快的搭建整个网络并跑通。
double
2018/12/07
1.2K0
完整教程:使用caffe测试mnist数据集
相信吗,caffe上不写代码就可以运行mnist数据集训练与测试....
本文基于Caffe-Windows系统下实现mnist手写数字识别LeNet网络的训练与测试。关于Caffe-Windows的安装与配置请参考下面的链接即可:
OpenCV学堂
2019/12/10
1.1K0
相信吗,caffe上不写代码就可以运行mnist数据集训练与测试....
从零开始安装 Caffe --CPU only----没有 pycaffe
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/zhangjunhit/article/details/73456860
用户1148525
2019/05/28
1.1K0
Caffe MNIST 简要分析
MNIST database,一个手写数字的图片数据库,每一张图片都是0到9中的单个数字。每一张都是抗锯齿(Anti-aliasing)的灰度图,图片大小2828像素,数字部分被归一化为2020大小,位于图片的中间位置,保持了原来形状的比例.
Yano_nankai
2018/10/08
5720
Caffe MNIST 简要分析
caffe随记(七)---训练和测试自己的图片
本文介绍了如何使用Caffe进行图片分类,通过下载、转换数据、训练和测试一个模型,最后得到了一个可以用于图片分类的模型。
TeeyoHuang
2017/12/28
7040
caffe随记(七)---训练和测试自己的图片
Caffe︱构建lmdb数据集、binaryproto均值文件及各类难辨的文件路径名设置细解
版权声明:博主原创文章,微信公众号:素质云笔记,转载请注明来源“素质云博客”,谢谢合作!! https://blog.csdn.net/sinat_26917383/article/details/54021522
悟乙己
2019/05/27
1.4K0
caffe初体验
caffe是一个深度学习的框架, 具体我也不太清楚, 可以自行百度吧, 我也是刚刚知道有这么一个框架, 才疏学浅啊.
烟草的香味
2019/07/25
5220
利用Caffe训练模型(solver、deploy、train_val)+python使用已训练模型
快照的大用途:如果出了什么意外中断了训练,那真是天都要塌了,所以快照存储了训练的中间结果,这个设计真是人性化,当再次训练时,就可以从快照中恢复数据了。直接在最后的执行文件,调用已经训练的快照就行,用-snapshot
悟乙己
2019/05/28
2K0
机器学习库初探之 Caffe
本文介绍了如何使用Caffe进行深度学习模型的训练和部署。首先介绍了Caffe的基本情况和特点,然后详细讲解了Caffe中模型训练和部署的流程和步骤。最后,探讨了如何使用Caffe进行图像分类和物体检测任务。
吕晟
2017/07/07
3.7K1
机器学习库初探之 Caffe
Caffe学习笔记(六):mnist手写数字识别训练实例
版权声明:本文为博主原创文章,未经博主允许不得转载。个人网站:http://cuijiahua.com。 https://blog.csdn.net/c406495762/article/details/70306795
Jack_Cui
2019/05/25
6710
caffe详解之mnist手写体识别
caffe(https://github.com/BVLC/caffe/tree/master/examples/mnist)
AI异构
2020/07/29
1.8K0
caffe详解之mnist手写体识别
推荐阅读
相关推荐
caffe详解之工具篇
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档