Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >问答首页 >如何在单个训练期间保存和快照机器学习模型?

如何在单个训练期间保存和快照机器学习模型?
EN

Stack Overflow用户
提问于 2019-08-13 05:08:17
回答 1查看 177关注 0票数 1

我必须在一个有7天时间限制的集群上运行我的模型,如果计算成本超过了7天,作业将在集群上结束。因此,训练将不会完成以获得用于预测的已保存模型。

我正在训练一些分类器模型(例如SVC、KNeighborsClassifier等)。从scikit-learn开始,想知道是否有任何函数或库可以在特定持续时间之间拍摄模型快照,然后从已停止的点继续训练(类似于深度学习中的应用)?

谢谢

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2019-08-13 07:02:24

一般而言,在scikit-learn中不可能在试穿期间拍摄快照。该库仅提供有限的persistence features。可以增量地训练一些模型,但不能训练其他模型。对于可能的模型,您必须编写不同数量的样板代码。

incremental learning下列出的模型具有warm_start属性和/或用于此目的的.partial_fit()方法。您可以在循环中对数据批处理调用partial_fit。此外,您需要编写代码来存储和检索训练进度和部分训练的模型(有关模型模型持久性的其他信息,请参阅this question )。

一些模型(特别是合奏,如随机森林)原则上可以合并。因此,不是增量地训练一个模型,而是在循环中训练多个独立的模型实例,然后将它们合并。但是,据我所知,scikit-learn API不支持这样的合并。因此,尽管这样做是可能的,但它需要黑客处理私有属性,并深入了解模型的数学和实现。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/57471418

复制
相关文章
如何保存机器学习模型
这篇文章主要介绍持久化存储机器学习模型的两种方式:pickle和joblib,以及如何DIY自己的模型存储模块。
MeteoAI
2019/08/21
2.6K0
如何保存机器学习模型
Tensorflow加载预训练模型和保存模型
使用tensorflow过程中,训练结束后我们需要用到模型文件。有时候,我们可能也需要用到别人训练好的模型,并在这个基础上再次训练。这时候我们需要掌握如何操作这些模型数据。看完本文,相信你一定会有收获!
全栈程序员站长
2022/07/25
1.5K0
Tensorflow加载预训练模型和保存模型
使用tensorflow过程中,训练结束后我们需要用到模型文件。有时候,我们可能也需要用到别人训练好的模型,并在这个基础上再次训练。这时候我们需要掌握如何操作这些模型数据。看完本文,相信你一定会有收获!
superhua
2018/08/28
3K0
python机器学习 保存/读取模型
在做模型训练的时候,尤其是在训练集上做交叉验证,通常想要将模型保存下来,然后放到独立的测试集上测试,下面介绍的是Python中训练模型的保存和再使用。
用户7886150
2020/12/27
8680
如何提速机器学习模型训练
注: 本文中有一些超链接,在微信中不能打开,可以转到我的博客,地址:https://qiwsir.github.io/2021/02/16/speed-up-sklearn/,或者点击文末的“原文链接”查看。
老齐
2021/03/11
1.2K0
如何提速机器学习模型训练
机器学习模型训练时候tricks
1. 当训练集的效果(准确率)上不去,和贝叶斯估计(人的表现)存在一定差距的时候:(1)增加模型的复杂度。 或者直接多加几层。(2)现在目前效果非常好的一些模型:resnet,inception等。(3)重新选择优化函         数:AdamOptimizer,MomentumOptimizer,RMSPropOptimizer等等。 2. 训练集效果表现好,测试集效果表现不好:(1)增加训练样本的数量。(2)正则化:L2范数,dropout等 (dropout原理是什么呢?使随机使神经元失活,相当
MachineLP
2018/01/09
5970
机器学习模型训练全流程!
周末在家无聊闲逛github,发现一个很有趣的开源项目,作者用手绘图的方式讲解了机器学习模型构建的全流程,逻辑清晰、生动形象。同时,作者也对几张图进行了详细的讲解,学习之后,收获很多,于是将其翻译下来,和大家一起学习。
Datawhale
2020/08/12
2.2K0
机器学习模型训练全流程!
【文章】机器学习模型训练全流程!
周末在家无聊闲逛github,发现一个很有趣的开源项目,作者用手绘图的方式讲解了机器学习模型构建的全流程,逻辑清晰、生动形象。同时,作者也对几张图进行了详细的讲解,学习之后,收获很多,于是将其翻译下来,和大家一起学习。
算法进阶
2022/06/01
1K0
【文章】机器学习模型训练全流程!
生信代码:机器学习-训练模型
在构建预测模型的开始可以使用数据分割构建训练集和测试集,也可以在训练集中用于执行交叉验证或自举(bootstrapping),以评估模型。
科研菌
2021/02/19
1.4K1
生信代码:机器学习-训练模型
资源 | TensorFlow极简教程:创建、保存和恢复机器学习模型
选自Github 机器之心编译 参与:Jane W、李泽南 TensorFlow 是一个由谷歌发布的机器学习框架,在这篇文章中,我们将阐述 TensorFlow 的一些本质概念。相信你不会找到比本文更
机器之心
2018/05/07
1K0
资源 | TensorFlow极简教程:创建、保存和恢复机器学习模型
机器学习如何训练出最终模型
Jason Brownlee 2017年3月17日 我们用于对新数据进行预测的机器学习模型称为最终模型。 在应用机器学习时,如何训练出一个最终模型这可能是大家的一个疑惑。 初学者通常会问以下问题:
小莹莹
2018/04/23
1.7K0
机器学习如何训练出最终模型
Linux使用VMware保存快照
请注意,在恢复快照时,任何在创建快照之后对虚拟机所做的更改都将被丢弃,并还原为快照创建时的状态。因此,请确保在执行恢复操作之前备份重要数据。
红目香薰
2023/10/11
7870
Linux使用VMware保存快照
用于情感分析和图像检测的预训练机器学习模型
已提供预训练模型来支持需要执行情绪分析或图像特征化等任务但没有资源获取大型数据集或训练复杂模型的客户。使用预训练模型可以让您最有效地开始文本和图像处理。
冬夜先生
2022/02/27
4930
如何在面试中解释机器学习模型
为了帮助大家准备面试,这里分享一个资源,它提供了每个机器学习模型的简明解释。它们并不详尽,而是恰恰相反。希望阅读这篇文章后,你会了解如何以简洁的方式解释复杂的模型。
McGL
2020/11/10
1K0
如何在面试中解释机器学习模型
机器学习与因子模型实证:怎么进行模型训练?
股票市场异常是指那些与传统金融理论不符合的现象,这些现象可能导致投资组合表现出色或者糟糕。机器学习技术可以帮助我们更好地理解这些异常,并提高投资组合的表现。
量化投资与机器学习微信公众号
2023/06/07
5910
机器学习与因子模型实证:怎么进行模型训练?
如何用Python和机器学习训练中文文本情感分类模型?
利用Python机器学习框架scikit-learn,我们自己做一个分类模型,对中文评论信息做情感分析。其中还会介绍中文停用词的处理方法。
王树义
2018/08/22
1.8K0
如何用Python和机器学习训练中文文本情感分类模型?
干货|谷歌大规模机器学习:模型训练、特征工程和算法选择
关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第二 【Python】:排名第三 【算法】:排名第四 谷歌机器学习:实际应用技巧 什么是机器学习(ML)? 从概念上讲:给定(训练
昱良
2018/04/08
3.1K0
干货|谷歌大规模机器学习:模型训练、特征工程和算法选择
机器学习实战 | 第五章:模型保存(持久化)
一、工具 sklearn官方给出了两种保存模型的方式:3.4. Model persistence 其中一种是pickle的方式,还有一种就是joblib包的使用.这里仅仅介绍更加简单的方便的joblib方法. 载入joblib很简单,一句话就行了. 1.from sklearn.externals import joblib 接下来就给出常用的joblib几个常用的函数的详细介绍.更多的细节可以参考:Joblib: running Python functions as pipeline jobs 存储
用户1332428
2018/03/08
1.6K0
机器学习实战 | 第五章:模型保存(持久化)
点击加载更多

相似问题

机器学习和模型训练

11

AWS机器学习再训练模型

11

将机器学习模型保存/覆盖为单个文件

14

保存装载和运行机器学习模型?

14

如何避免再训练机器学习模型?

22
添加站长 进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

扫码加入开发者社群
关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

扫码关注腾讯云开发者公众号
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档