前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >caffe c++示例(mnist 多层感知机c++训练,测试)

caffe c++示例(mnist 多层感知机c++训练,测试)

作者头像
bear_fish
发布2019-02-25 11:53:49
1K0
发布2019-02-25 11:53:49
举报
文章被收录于专栏:用户2442861的专栏

caffe训练网络模型一般直接使用的caffe.bin: caffe train -solver solver.prototxt,其实这个命令的本质也是调用c++的Solver.

本文给出使用纯c++代码,使用mnist数据+多层感知机网络,训练数字分类问题。然后用C++调用训练好的模型测试分类。

solver.prototxt文件内容如下:

代码语言:javascript
复制
net: "/home/xy/caffe_analysis/my_caffe/example/lenet.prototxt"
test_iter: 1000
test_interval: 100
base_lr: 0.001
lr_policy: "step"
gamma: 0.1
stepsize: 5000
display: 1000
max_iter: 20000
momentum: 0.9
weight_decay: 0.0005
snapshot: 10000
snapshot_prefix: "model"
solver_mode: CPU

注:网络名称虽然为lenet.prototxt,实际是多层感知机。

训练网络如下:

代码语言:javascript
复制
name: "LeNet"
layer {
  name: "mnist"
  #name: "data"
  type: "Data"
  top: "data"
  top: "label"
  include {
    phase: TRAIN
  }
  transform_param {
    scale: 0.00390625
  }
  data_param {
    source: "/home/xy/caffe-master/examples/mnist/mnist_train_lmdb"
    batch_size: 64
    backend: LMDB
  }
}

layer {
  name: "mnist"
  type: "Data"
  top: "data"
  top: "label"
  include {
    phase: TEST
  }
  transform_param {
    scale: 0.00390625
  }
  data_param {
    source: "/home/xy/caffe-master/examples/mnist/mnist_test_lmdb"
    batch_size: 100
    backend: LMDB
  }
}


layer {
  name: "fc1"
  type: "InnerProduct"
  # learning rate and decay multipliers for the weights
  param { lr_mult: 1 decay_mult: 1 }
  # learning rate and decay multipliers for the biases
  param { lr_mult: 2 decay_mult: 0 }
  inner_product_param {
    num_output: 300
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  bottom: "data"
  top: "fc1"
}

layer {
  name: "relu1"
  type: "ReLU"
  bottom: "fc1"
  top: "fc1"
}

layer {
  name: "ip2"
  type: "InnerProduct"
  bottom: "fc1"
  top: "fc2"
  param {
    lr_mult: 1
  }
  param {
    lr_mult: 2
  }
  inner_product_param {
    num_output: 10
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
    }
  }
}

layer {
  name: "accuracy"
  type: "Accuracy"
  bottom: "fc2"
  bottom: "label"
  top: "accuracy"
  include {
    phase: TEST
  }
}
layer {
  name: "loss"
  type: "SoftmaxWithLoss"
  bottom: "fc2"
  bottom: "label"
  top: "loss"
}

训练代码如下:

代码语言:javascript
复制
google::InitGoogleLogging("test_solver");
FLAGS_alsologtostderr = 1;

string base_dir = "/home/xy/caffe_analysis/my_caffe/example/";
string path = base_dir + "mlp_solver.prototxt";
SGDSolver<float> solver(path);

// resuming from trained weights, 也可以加载已经训练好的模型
string trained_weight_path = base_dir + "model_iter_20000.caffemodel";
solver.net()->CopyTrainedLayersFrom(trained_weight_path);
// 开始优化
solver.Solve();

训练过程如下:

接下来测试训练模型的效果的,代码如下:

代码语言:javascript
复制
void test_net(){
    Caffe::set_mode(Caffe::CPU);
    string base_dir = "/home/xy/caffe_analysis/my_caffe/example/";
    string net_path = base_dir + "lenet_deploy.prototxt";
    string trained_path = base_dir + "model_iter_20000.caffemodel";

    Net<float> net(net_path, Phase::TEST);
    net.CopyTrainedLayersFrom(trained_path);

    CHECK_EQ(net.num_inputs(), 1) << "Network should have exactly one input.";
    CHECK_EQ(net.num_outputs(), 1) << "Network should have exactly one output.";

    // read Datum from file
    string datum_path = base_dir + "0.proto";
    Datum datum;
    ReadProtoFromBinaryFileOrDie(datum_path, &datum);

    // Datum convert
    TransformationParameter parameter;
    parameter.set_scale(0.00390625);
    DataTransformer<float> dataTransformer(parameter, Phase::TEST);

    Blob<float>* input_layer = net.input_blobs()[0];
//    input_layer->Reshape(1, 1, 28, 28);//no need
    dataTransformer.Transform(datum, input_layer);

//    net.Reshape();
    net.Forward();
    Blob<float>* output_layer = net.output_blobs()[0];

    const float* begin = output_layer->cpu_data();
    const float* end = begin + output_layer->channels();

    std::vector<float> ret(begin, end);

    for(auto item:ret)cout<<item<<" ";
    cout<<endl;

}

运行输出如下:可以看到0的概率最大。

测试inference的网络定义如下:

代码语言:javascript
复制
name: "LeNet"

layer {
  name: "data"
  type: "Input"
  top: "data"
  input_param { shape: { dim: 1 dim: 1 dim: 28 dim: 28 } }
}

layer {
  name: "fc1"
  type: "InnerProduct"
  # learning rate and decay multipliers for the weights
  param { lr_mult: 1 decay_mult: 1 }
  # learning rate and decay multipliers for the biases
  param { lr_mult: 2 decay_mult: 0 }
  inner_product_param {
    num_output: 300
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  bottom: "data"
  top: "fc1"
}

layer {
  name: "relu1"
  type: "ReLU"
  bottom: "fc1"
  top: "fc1"
}

layer {
  name: "ip2"
  type: "InnerProduct"
  bottom: "fc1"
  top: "fc2"
  param {
    lr_mult: 1
  }
  param {
    lr_mult: 2
  }
  inner_product_param {
    num_output: 10
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
    }
  }
}

layer {
  name: "prob"
  type: "Softmax"
  bottom: "fc2"
  top: "prob"
}

caffe系列源码分析介绍

本系列深度学习框架caffe 源码分析主要内容如下:

1. caffe源码分析-cmake 工程构建:

caffe源码分析-cmake 工程构建主要内容:

自己从头构建一遍工程,这样能让我更好的了解大型的项目的构建。当然原始的caffe的构建感觉还是比较复杂(主要是cmake),我这里仅仅使用cmake构建,而且简化点,当然最重要的是支持CLion直接运行调试(如果需要这个工程可以评论留下你的邮箱,我给你发送过去)。

2. caffe的数据内存分配类SyncedMemory, 以及类Blob数据传输的媒介.

主要内容:

caffe源码分析-SyncedMemory

caffe源码分析-Blob

其中Blob分析给出了其直接与opencv的图片相互转化以及操作,可以使得我们更好的理解Blob.

3. caffe layer的源码分析,包括从整体上说明了layer类别以及其proto定义与核心函数.

内容如下:

caffe源码分析-layer

caffe源码分析-ReLULayer

caffe源码分析-inner_product_layer

caffe源码分析-layer_factory

首先分析了最简单的layer Relu,然后在是inner_product_layer全连接层, 最后是layer_factorycaffe中 以此工厂模式create各种Layer.

4. 数据输入层,主要是多线程+BlockingQueue的方式读取数据训练:

内容如下:

caffe源码分析-BlockingQueue

caffe源码分析-InternalThread

caffe源码分析-DataReader

5. IO处理例如读取proto文件转化为网络,以及网络参数的序列化

内容如下:

caffe源码分析-DataTransformer

caffe源码分析-db, io

6. 最后给出了使用纯C++结合多层感知机网络训练mnist的示例

内容如下:

caffe c++示例(mnist 多层感知机c++训练,测试)

类似与caffe一样按照layer、solver、loss、net等模块构建的神经网络实现可以见下面这篇blog,相信看懂了这个python的代码理解caffe框架会更简单点.

神经网络python实现


最后如果需要**cmake** + CLion**直接运行调试**caffe**的代码工程,可以评论留下你的邮箱,我给你发送过去.**

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2018年10月07日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • caffe系列源码分析介绍
    • 1. caffe源码分析-cmake 工程构建:
      • 2. caffe的数据内存分配类SyncedMemory, 以及类Blob数据传输的媒介.
        • 3. caffe layer的源码分析,包括从整体上说明了layer类别以及其proto定义与核心函数.
          • 4. 数据输入层,主要是多线程+BlockingQueue的方式读取数据训练:
            • 5. IO处理例如读取proto文件转化为网络,以及网络参数的序列化
              • 6. 最后给出了使用纯C++结合多层感知机网络训练mnist的示例
              领券
              问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档