Caffe & python，读取具有复杂标签结构的LMDB - 腾讯云开发者社区

文章/答案/技术大牛

发布

Caffe中lmdb和leveldb格式数据的读取

概述 Caffe里面的一种数据存储和读取方式是使用数据库格式，将数据保存到特定的一个数据库文件中，然后在代码里面整个读入这个数据库文件。...Caffe支持的数据库格式包括lmdb和leveldb，可能很多人是因为caffe才知道这两个库的，但其实这两个库也是非常出名的工具。...下面就展示下在Caffe里面用Python接口调用生成的LMDB或者LEVELDB格式的文件的代码吧。.../python/') import caffe datum = caffe.proto.caffe_pb2.Datum() datum.ParseFromString(v) print datum.label.../python/') import caffe datum = caffe.proto.caffe_pb2.Datum() datum.ParseFromString(v) print datum.label

9362 0

caffe详解之工具篇

数据格式LMDB文件制作 convert_imageset是将我们准备的数据集文件转换为caffe接口更快读取的LMDB或HDF5数据类型。...Status API Training Shop Blog About 生成多标签数据格式HDF5 前面讲到的是LMDB，在Caffe中，如果使用LMDB数据格式的话，默认是只支持“图像+整数单标签”这种形式的数据的...因此建议的方法是将图像存储为LMDB格式，而多标签存储为HDF5格式。...网络定义采用两个数据层，一个Data层用于读取图像数据，一个HDF5Data层，用于读取图像对应的多Lable数据。...绘制网络结构使用caffe Python接口中的draw_net.py工具,将设计出的网络模型结构进行可视化。

7153 0

您找到你想要的搜索结果了吗？

是的

没有找到

利用Caffe与lmdb读写图像数据

据说是因为lmdb有读取速度快，支持多线程、多进程并发，等这样那样的优点（具体见官网，虽然我暂时没有看出来，据我所知网上查找lmdb文档的人大都仅仅是为了使用caffe的），注意到这个数据库其实并没有任何压缩处理的作用...他的数据都会带着一定的数据结构从而使的体积略微增大。事实上如果仅仅看lmdb的用法是无法直接应用于图像文件的处理的。...由于caffe是将图像以他自带的数据类型的形式传入lmdb中的，因此我们必须结合caffe的数据类型才能完成读取和使用。...sudo apt-get install python-cffi sudo easy_install lmdb 实践再次映证了用easy_install 安装要比pip好的多(在版本跟的上的情况下)。...datum.ParseFromString(value) #从value中读取datum数据 label = datum.label #获取标签以及图像数据

6064 0

LMDB使用说明_ldd教程

LMDB Caffe使用LMDB来存放训练/测试用的数据集，以及使用网络提取出的feature（为了方便，以下还是统称数据集）。数据集的结构很简单，就是大量的矩阵/向量数据平铺开来。...数据之间没有什么关联，数据内没有复杂的对象结构，就是向量和矩阵。既然数据并不复杂，Caffe就选择了LMDB这个简单的数据库来存放数据。...Datum数据结构首先需要注意的是，Caffe并不是把向量和矩阵直接放进数据库的，而是将数据通过caffe.proto里定义的一个datum类来封装。...Datum这个数据结构将数据和标签封装在一起，兼容整形和浮点型数据。经过Protobuf编译后，可以在Python和C++中都提供高效的访问。同时Protubuf还为它提供了序列化与反序列化的功能。...读取数据集 Caffe中读取LMDB数据集的代码是DataLayer，用在网络的最下层，提供数据。DataLayer采用顺序遍历的方式读取数据，不支持打乱数据顺序，只能随机跳过前若干个数据。

1.5K1 0

Caffe中LMDB的使用

2K1 0

Caffe学习笔记(二)：使用Python生成caffe所需的lmdb文件和txt列表清单文件

Python版本：Python2.7 运行平台：Ubuntu14.04 最后修改时间：2017.4.20 在上个笔记中，已经学会了如何使用Caffe利用作者给的脚本训练CIFAR-10...而在caffe中经常使用的数据类型是lmdb或leveldb，因此就产生了这样的一个问题：如何从原始图片文件转换成caffe中能够运行的db（leveldb/lmdb)文件？ ...我们定义1标签是猫的标签，2标签是自行车的标签。很显然，如果就这么两个图片我们手写一个图片列表清单txt文件即可，但是如果是很多图片，我们又该如何处理呢？ ...显然，我们可以使用脚本，有很多方法可供选择shell脚本，python脚本等。而我采用的方式是使用python脚本处理这些文件，生成最终的图片列表清单txt文件。...2.利用python脚本编写图片列表清单txt文件 (1)在caffe根目录下创建一个我们的工程目录my-caffe-project，使用如下指令： cd /home/Jack-Cui/caffe-master

2.1K8 0

(二)Caffe2搭建卷积神经网络实现MNIST手写字体识别及预测

1 写在前面使用Caffe2搭建卷积神经网络,按照一般卷积网络流程走一遍没有问题,笔者想分享的是关于Caffe2数据载入问题,Caffe2有专用训练格式数据,如lmdb,leveldb,rocksdb...这三种格式,在读取时,如果发生这样的错误: db_..../mnist-train-nchw-lmdb) 是因为Caffe2和Pytorch合并后,使用官方预编译安装或源码编译安装的安装方式,默认数据读取参数是关闭的,即USE_LMDB=OFF,因此会出现不能读取或找不到对应数据集的问题....USE_LMDB=ON python setup.py install 详细参考博客:Caffe2问题总结（一） 2 搭建卷积网络及获取数据 2.0 网络结构手写字体识别使用经典LeNet-5卷积神经网络

8658 0

Caffe 实践 - 基于 ResNet101 的 Multi-label 多标签标注的训练与部署

Caffe 实践 - 基于 ResNet101 的 Multi-label 多标签标注的训练与部署以前曾尝试过修改 Caffe ImageDataLayer 源码的方式来读取多个 labels...- ImageMultilabelDataLayer [Caffe实践 - 基于VGG16 多标签分类的训练与部署]....与 [Caffe实践 - 基于VGG16 多标签分类的训练与部署] 不同的是, 前者是以 Multi-task 的方式进行处理的,每一个 task 分别是一个label的分类问题....可以类似于 [Caffe实践 - 基于VGG16 多标签分类的训练与部署] 来读取 multilabels 数据....Related [1] - Caffe实践 - 基于VGG16 多标签分类的训练与部署

1.3K3 1

你见过带GPU加速的树莓派吗？

里边的（/usr/bin/python3），如果你电脑里原来有tf或caffe，也不会被关联上去 NCSDK mvNCCompile模块目前只兼容python3，我尝试过将安装完的SDK改成兼容python2...的版本，可以将模型编译出来，但是在运行时会报错，所以暂时放弃兼容python2了，也建议大家用默认的python3版本这个步骤主要的坑来自万恶的Caffe，如果你装过python3版的caffe，大概会有经验一些...由图片和标签转换来的LMDB文件 │ ├── coco_cattle_testdev_lmdb │ ├── coco_cattle_test_lmdb │ └── coco_cattle_train_lmdb...仓库结构 ncs_detection ├── data # 标签文件 │ └── mscoco_label_map.pbtxt ├── file_helper.py # 文件操作辅助函数 ├── model...= label_prepare(PATH_TO_LABELS, NUM_CLASSES) 读取图片，由于Caffe训练图片采用的通道顺序是RGB，而OpenCV模型通道顺序是BGR，需要转换一下。

2.6K10 0

你见过带GPU的树莓派吗？

的版本，可以将模型编译出来，但是在运行时会报错，所以暂时放弃兼容python2了，也建议大家用默认的python3版本这个步骤主要的坑来自万恶的Caffe，如果你装过python3版的caffe，大概会有经验一些...由图片和标签转换来的LMDB文件 │ ├── coco_cattle_testdev_lmdb │ ├── coco_cattle_test_lmdb │ └── coco_cattle_train_lmdb...一开始，all, Annotations, images, ImageSets,lmdb四个目录都是空的，你可以把自己的图片放到随便哪个地方，只要在raw_label.txt里写好图片路径就行读取raw_label.txt...仓库结构 ncs_detection ├── data # 标签文件 │ └── mscoco_label_map.pbtxt ├── file_helper.py # 文件操作辅助函数 ├── model...= label_prepare(PATH_TO_LABELS, NUM_CLASSES) 读取图片，由于Caffe训练图片采用的通道顺序是RGB，而OpenCV模型通道顺序是BGR，需要转换一下 image_np

9.1K8 0

caffe python 图片训练识别实例

https://blog.csdn.net/haluoluo211/article/details/77918156 本文主要是使用caffe python做图片识别的示例包括训练数据lmdb生成...训练，验证数据lmdb生成对图片进行预处理包括直方图均衡化（Histogram equalization）以及resize到指定的大小,并生成lmdb格式，图片以及对于的标签（label）按照一定的比例生成...，训练样本lmdb以及验证样本lmdb，以及mean_file mean.binaryproto 在测试的时候，我们往往是从数据库中读取url以及id信息，然后将url转化为cv2 可以处理的图片样式，...from caffe.proto import caffe_pb2 import lmdb from utils.img_process import * # 根据图片和标签转化为对应的lmdb格式...下面是输出的label列表： ? 下面是运行 python create_lmdb.py 的部分日志结果（为了简便做了很多处理） ? 下面是最终生成的lmdb文件： ?

2.5K3 0

SSD+caffe︱Single Shot MultiBox Detector 目标检测+fine-tuning（二）

承接上一篇SSD介绍：SSD+caffe︱Single Shot MultiBox Detector 目标检测（一）如果自己要训练SSD模型呢，关键的就是LMDB格式生成，从官方教程weiliu89...：训练集图像-标签一一对应这是将数据集做成方便之后生成lmdb的路径信息文件，注意三点： 1、root_dir路径，文件夹名称的上一级，譬如：/home/caffe-master/ssd/data 2.... 2 数据集生成方案训练的数据集三种方案：第一：保持原来的文件目录结构及文件名不变，只替换里面的数据，通用。...第二：重新新建一个与之前类似的目录结构，改成自己命名的文件夹，第二种方法，有一定的风险性，需要修改程序里涉及数据路径的代码。...：生成LMDB - 第四步：修改ssd_pascal.py：参考： Ubuntu上用caffe的SSD方法训练umdfaces数据集第五步训练： python examples/ssd/ssd_pascal.py

2.3K10 0

机器学习库初探之 Caffe

Caffe的基本概念和模型 Blob Blob 是 Caffe 中处理和传递实际数据的数据封装包，并且在 CPU 与 GPU 之间具有同步处理能力。...数据层 DataLayers 数据能过数据层进入 caffe 网络：数据层处于网络的最底层，数据可以从高效率的数据库中读取 (如 LevelDB 或 LMDB)，可以直接从内存中读取，若对读写效率要求不高也可以从硬盘上的...Python 接口 Python 接口 pycaffe 是 caffe 的一个模块，其脚本保存在 caffe/python。...新的数据格式输入需要定义新的数据层，网络的其余部分遵循 Caffe 中层目录的模块结构设定。..." # 数据库类型:LEVELDB 或 LMDB(LMDB 支持并行读取) backend: LMDB # 批量处理,提高效率 batch_size

3.7K2 0

Caffe - 创建LMDBHDF5格式数据

Python 创建LMDB/HDF5格式数据 LMDB格式的优点： - 基于文件映射IO（memory-mapped），数据速率更好 - 对大规模数据集更有效....HDF5的特点： - 易于读取 - 类似于mat数据，但数据压缩性能更强 - 需要全部读进内存里，故HDF5文件大小不能超过内存，可以分成多个HDF5文件，将HDF5子文件路径写入txt中...LMDB创建 import numpy as np import lmdb import caffe lmdb_file = '/path/to/data_lmdb' N = 1000 # 准备 data...# txn.put(str_id.encode('ascii'), datum.SerializeToString()) LMDB读取 import numpy as np import lmdb...import caffe env = lmdb.open('data_lmdb', readonly=True) txn = env.begin() lmdb_cursor = txn.cursor

1.7K3 0

caffe源码分析-db, io

本文主要分析下caffe的源码，io操作，以及数据库文件（如lmdb）读取。...当然原始的caffe的构建感觉还是比较复杂(主要是cmake)，我这里仅仅使用cmake构建，而且简化点，当然最重要的是支持CLion直接运行调试（如果需要这个工程可以评论留下你的邮箱，我给你发送过去）...IO处理例如读取proto文件转化为网络，以及网络参数的序列化内容如下： caffe源码分析-DataTransformer caffe源码分析-db, io 6....等模块构建的神经网络实现可以见下面这篇blog，相信看懂了这个python的代码理解caffe框架会更简单点....神经网络python实现 ---- 最后如果需要cmake + CLion直接运行调试caffe的代码工程，可以评论留下你的邮箱，我给你发送过去.

6232 0

caffe随记（六）---tools工具举例

经过前面几篇博文的介绍，我们已经对caffe有了个大概的了解，知道它的数据结构，而且也尝试了caffe的Hello World---mnist例程。...可以看到有很多可执行文件，我就举几个常用的例子 1、compute_image_mean.bin（计算图像平均值）一般在数据读取层的Transform阶段，需要去均值操作。...（图像数据转换成db（leveldb/lmdb)文件） caffe数据输入层的数据一般都以LEVELDB或者LMDB输入，所以要把原始数据进行转换，caffe中也提供了这样的工具根目录下输入：....(重置图片高度为：xx，默认为0) -resize_width(重置图片宽度为：xx，默认为0) -shuffle(随机的打乱图片顺序和标签,默认为false) ROOTFOLDER/ ...大家想要了解tools中工具的一些更为细节的东西，可以去 caffe目录下的tools中寻找cpp源码，这里我们看的可执行文件是在caffe的build目录下的tools中，要注意区分

7620 0

VOC2012 分割数据转 lmdb 格式 python 代码

参考 caffe 将三通道或四通道图片转换为lmdb格式，将标签（单通道灰度图）转换为lmdb格式 http://blog.csdn.net/c_qianbo/article/details/53375476...import numpy as np import sys from PIL import Image import lmdb import random import os sys.path.append...('/home/guest/caffe/python/') import caffe if __name__ == '__main__' : train_list_file = '/home...in_db = lmdb.open('/home/guest/caffe/VOC2012ext_val_img_lmdb',\ map_size=int(1e12)) with...in_db = lmdb.open('/home/guest/caffe/VOC2012ext_val_label_lmdb',\ map_size=int(1e12)) train_images_root

8924 0

Caffe︱构建lmdb数据集、binaryproto均值文件及各类难辨的文件路径名设置细解

这个办法很多，很多软件都可以用，python、R、linux系统也可以。...注意：Train.txt文件最好是以标签0的图片开始，作为第一张这样会比较好。 2、图片名称需要规范成统一的格式吗？图片名称倒是没有严格规定，但是呢，有规定方便你日后查找。...这一部分跟图片生成列表对应的，譬如我的train数据集： /caffe/examples/lmdb_test/train/train/0/pic1.jpg 0 /caffe/examples/lmdb_test...参考博客：（原）caffe中通过图像生成lmdb格式的数据 ---- 4、h5py格式数据 Lmdb是一张图片一个标签，但是如果是人脸识别这样的，一张图片要输入4个，那么则需要使用h5py格式数据。...2、mean.binaryproto转mean.npy 　使用Caffe的C++接口进行操作时，需要的图像均值文件是pb格式，例如常见的均值文件名为mean.binaryproto；但在使用Python

1.4K1 0

caffe源码分析-DataLayer

DataLayer作为caffe训练时的数据层（以多线程的方式读取数据加速solver的训练过程），继承自BaseDataLayer/BasePrefetchingDataLayer。...当然原始的caffe的构建感觉还是比较复杂(主要是cmake)，我这里仅仅使用cmake构建，而且简化点，当然最重要的是支持CLion直接运行调试（如果需要这个工程可以评论留下你的邮箱，我给你发送过去）...IO处理例如读取proto文件转化为网络，以及网络参数的序列化内容如下： caffe源码分析-DataTransformer caffe源码分析-db, io 6....等模块构建的神经网络实现可以见下面这篇blog，相信看懂了这个python的代码理解caffe框架会更简单点....神经网络python实现 ---- 最后如果需要cmake + CLion直接运行调试caffe的代码工程，可以评论留下你的邮箱，我给你发送过去.

7153 0

使用Python读取Mp3的标签信息

什么是ID3 MP3是音频文件最流行的格式，它的全称是 MPEG layer III。但是这种格式不支持对于音频内容的描述信息，包括歌曲名称、演唱者、专辑等等。...这个班的结构和ID3v1完全不同，数据的长度不再固定，位置也从尾部移到了头部，并且引入了Unicode支持。ID3v2的第一个版本是ID3v2.2，2000年发布了ID3v2.4。...使用 Python 读取ID3 信息我写了一个 Python 脚本可以用来读取 ID3v1 的信息。...tag_data[127:128]) return tags # Set ID3v1 tag data def setTag(): pass 参考资料： 1、ID3.org 2、Wiki ID3 3、Python...open() 函数 4、使用Python读取和写入mp3文件的id3v1信息 5、Python 模块

1.7K3 0

点击加载更多

Caffe中lmdb和leveldb格式数据的读取

caffe详解之工具篇

利用Caffe与lmdb读写图像数据

LMDB使用说明_ldd教程

Caffe中LMDB的使用

Caffe学习笔记(二)：使用Python生成caffe所需的lmdb文件和txt列表清单文件

(二)Caffe2搭建卷积神经网络实现MNIST手写字体识别及预测

Caffe 实践 - 基于 ResNet101 的 Multi-label 多标签标注的训练与部署

你见过带GPU加速的树莓派吗？

你见过带GPU的树莓派吗？

caffe python 图片训练识别实例

SSD+caffe︱Single Shot MultiBox Detector 目标检测+fine-tuning（二）

机器学习库初探之 Caffe

Caffe - 创建LMDBHDF5格式数据

caffe源码分析-db, io

caffe随记（六）---tools工具举例

VOC2012 分割数据转 lmdb 格式 python 代码

Caffe︱构建lmdb数据集、binaryproto均值文件及各类难辨的文件路径名设置细解

caffe源码分析-DataLayer

使用Python读取Mp3的标签信息

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐