前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >caffe源码分析-InternalThread

caffe源码分析-InternalThread

作者头像
bear_fish
发布2019-02-25 11:52:47
5830
发布2019-02-25 11:52:47
举报
文章被收录于专栏:用户2442861的专栏

InternalThread封装自boost::thread的线程,主要用于多线程的数据获取(可以理解为solver前向传播的同时,后台线程继续获取下一个batch的数据集):

代码语言:javascript
复制
class InternalThread {
public:
    InternalThread() : thread_() {}
    virtual ~InternalThread();
    //Caffe's thread local state will be initialized.
    void StartInternalThread();

    /** Will not return until the internal thread has exited. */
    void StopInternalThread();
    bool is_started() const;

protected:
    virtual void InternalThreadEntry() {} // 子类实现这个方法.

    /* Should be tested when running loops to exit when requested. */
    bool must_stop();
private:
    void entry(int device, Caffe::Brew mode, ....);
private:
    shared_ptr<boost::thread> thread_;
};

下面看几个核心的函数:

代码语言:javascript
复制
void InternalThread::StartInternalThread() {
    CHECK(!is_started()) << "Threads should persist and not be restarted.";
    // init parameters ......
    int device = 0;
    int rand_seed = caffe_rng_rand();
    // create new thread, and bind to method.
    thread_.reset(new boost::thread(&InternalThread::entry, this, device));
    //.....
}

void InternalThread::entry(int device, Caffe::Brew mode, int rand_seed,
                           int solver_count, bool root_solver) {
    // set caffe parameter
    Caffe::set_mode(mode);
    Caffe::set_random_seed(rand_seed);
// 实际运行的函数, 子类根据需要去实现:
    InternalThreadEntry();
}

析构函数:等待线程退出:

代码语言:javascript
复制
InternalThread::~InternalThread() {
    StopInternalThread();
}
void InternalThread::StopInternalThread() {
    if (is_started()) {
        thread_->interrupt();
         thread_->join();
    }
}

使用示例如下:

代码语言:javascript
复制
template <typename Dtype>
void BasePrefetchingDataLayer<Dtype>::InternalThreadEntry() {
        while (!must_stop()) {
            Batch<Dtype> *batch = prefetch_free_.pop();
            load_batch(batch);

            prefetch_full_.push(batch);
        }
}

void DataReader::Body::InternalThreadEntry() {
    shared_ptr<db::DB> db(db::GetDB(param_.data_param().backend()));
    db->Open(param_.data_param().source(), db::READ);
    shared_ptr<db::Cursor> cursor(db->NewCursor());
    vector<shared_ptr<QueuePair> > qps;

        // Main loop
        while (!must_stop()) {
            for (int i = 0; i < solver_count; ++i) {
                read_one(cursor.get(), qps[i].get());
            }
            CHECK_EQ(new_queue_pairs_.size(), 0);
        }
}

上面的线程while循环中会根据,BlockingQueue队列的决定是否阻塞当前线程.


caffe系列源码分析介绍

本系列深度学习框架caffe 源码分析主要内容如下:

1. caffe源码分析-cmake 工程构建:

caffe源码分析-cmake 工程构建主要内容:

自己从头构建一遍工程,这样能让我更好的了解大型的项目的构建。当然原始的caffe的构建感觉还是比较复杂(主要是cmake),我这里仅仅使用cmake构建,而且简化点,当然最重要的是支持CLion直接运行调试(如果需要这个工程可以评论留下你的邮箱,我给你发送过去)。

2. caffe的数据内存分配类SyncedMemory, 以及类Blob数据传输的媒介.

主要内容:

caffe源码分析-SyncedMemory

caffe源码分析-Blob

其中Blob分析给出了其直接与opencv的图片相互转化以及操作,可以使得我们更好的理解Blob.

3. caffe layer的源码分析,包括从整体上说明了layer类别以及其proto定义与核心函数.

内容如下:

caffe源码分析-layer

caffe源码分析-ReLULayer

caffe源码分析-inner_product_layer

caffe源码分析-layer_factory

首先分析了最简单的layer Relu,然后在是inner_product_layer全连接层, 最后是layer_factorycaffe中 以此工厂模式create各种Layer.

4. 数据输入层,主要是多线程+BlockingQueue的方式读取数据训练:

内容如下:

caffe源码分析-BlockingQueue

caffe源码分析-InternalThread

caffe源码分析-DataReader

5. IO处理例如读取proto文件转化为网络,以及网络参数的序列化

内容如下:

caffe源码分析-DataTransformer

caffe源码分析-db, io

6. 最后给出了使用纯C++结合多层感知机网络训练mnist的示例

内容如下:

caffe c++示例(mnist 多层感知机c++训练,测试)

类似与caffe一样按照layer、solver、loss、net等模块构建的神经网络实现可以见下面这篇blog,相信看懂了这个python的代码理解caffe框架会更简单点.

神经网络python实现


最后如果需要**cmake** + CLion**直接运行调试**caffe**的代码工程,可以评论留下你的邮箱,我给你发送过去.**

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2018年10月07日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • caffe系列源码分析介绍
    • 1. caffe源码分析-cmake 工程构建:
      • 2. caffe的数据内存分配类SyncedMemory, 以及类Blob数据传输的媒介.
        • 3. caffe layer的源码分析,包括从整体上说明了layer类别以及其proto定义与核心函数.
          • 4. 数据输入层,主要是多线程+BlockingQueue的方式读取数据训练:
            • 5. IO处理例如读取proto文件转化为网络,以及网络参数的序列化
              • 6. 最后给出了使用纯C++结合多层感知机网络训练mnist的示例
              领券
              问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档