首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >问答首页 >如何在AWS SageMaker中加载培训集来构建模型?

如何在AWS SageMaker中加载培训集来构建模型?
EN

Stack Overflow用户
提问于 2018-03-08 00:33:40
回答 1查看 707关注 0票数 0

我对SageMaker非常陌生。在我的第一次交互中,看起来AWS SageMaker要求您从它的笔记本开始。我有一套训练已经准备好了。是否有一种方法可以绕过设置笔记本,只从上传培训集开始?或者应该通过笔记本来完成。如果有人知道符合我上述需要的例子,那就太好了。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2018-03-09 13:36:14

亚马逊SageMaker是多个服务的组合,每个服务都是独立于其他服务的。如果您想在熟悉的木星环境中开发模型,可以使用笔记本实例。但是,如果只是需要培训一个模型,你可以使用培训工作,而不打开一个笔记本实例。

有几种启动培训工作的方法:

  • 使用Python的高级SDK,类似于您在python代码中开始培训步骤的方式。

kmeans.fit(kmeans.record_set(train_set[0]))

下面是到python库的链接:https://github.com/aws/sagemaker-python-sdk

  • 使用低级API创建培训作业,您可以使用各种SDK (Java、Python、JavaScript、C#.)或者是中情局。

sagemaker = boto3.client('sagemaker') sagemaker.create_training_job(**create_training_params)

下面是指向这些选项的文档的链接:https://docs.aws.amazon.com/sagemaker/latest/dg/ex1-train-model-create-training-job.html

  • 使用火花接口启动它,使用与创建MLLib培训作业类似的接口

val estimator = new KMeansSageMakerEstimator( sagemakerRole = IAMRole(roleArn), trainingInstanceType = "ml.p2.xlarge", trainingInstanceCount = 1, endpointInstanceType = "ml.c4.xlarge", endpointInitialInstanceCount = 1) .setK(10).setFeatureDim(784)

val model = estimator.fit(trainingData)

下面是一个指向星火制造者库的链接:https://github.com/aws/sagemaker-spark

  • 在Amazon控制台中使用向导创建一个培训作业: SageMaker

请注意,也有一些选择来训练模型,无论是使用内置算法,如K-均值,线性学习或XGBoost (见这里的完整列表:https://docs.aws.amazon.com/sagemaker/latest/dg/algos.html)。但是,您也可以为预焙码头映像(如TensorFlow (https://docs.aws.amazon.com/sagemaker/latest/dg/tf.html)或MXNet (https://docs.aws.amazon.com/sagemaker/latest/dg/mxnet.html)、您自己的Docker映像(https://docs.aws.amazon.com/sagemaker/latest/dg/your-algorithms-training-algo.html) )带来您自己的模型。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/49168673

复制
相关文章
在GridView内访问特定控件
本文我将为你演示如何访问GridView中的特定控件。我们会看到怎样去访问TextBox控件,DropDownList控件以及ListBox控件。
Java架构师必看
2021/03/22
2.6K0
为什么 strace 在 Docker 中不起作用?
在编辑“容器如何工作”爱好者杂志的能力页面时,我想试着解释一下为什么 strace 在 Docker 容器中无法工作。
用户8639654
2021/09/18
6.6K0
[常见问题]在Linux下执行Redis命令不起作用.
redis 127.0.0.1:6379> 这个后面无论输入什么命令都没有返回 ok 或者其他的信息,一直保持截图的状态: 解决方法: 在SecureCRT中设置Options-->SessionO
一枝花算不算浪漫
2018/05/18
2K0
在bootstrap中col-md-offset-* 偏移不起作用
在bootstrap中,使用col-md-offset-1、col-md-offset-2、col-md-offset-3、col-md-offset-4等来设置偏移量很常见,但最近就遇到一个问题了,在最新版的bootstrap4.5中,这个值不起作用了。
kirin
2020/10/27
12.7K1
Django 笔记(四)模板标签 ~ 自
Django模版引擎中最强大也是最复杂的部分就是模版继承了。 模版继承可以让你创建一个基本的“骨架”模版,
py3study
2020/01/19
5280
在特定环境中安装指定版本的Docker
通常用官方提供的安装脚本或软件源安装都是安装的比较新 Docker 版本,有时我们需要在一些特定环境的服务器上安装指定版本的 Docker。今天我们就来讲一讲如何安装指定版本的 Docker 。
子润先生
2021/06/18
4K0
在scala中使用spark sql解决特定需求
Spark sql on hive的一个强大之处就是能够嵌在编程语言内执行,比如在Java或者Scala,Python里面,正是因为这样的特性,使得spark sql开发变得更加有趣。 比如我们想做一个简单的交互式查询,我们可以直接在Linux终端直接执行spark sql查询Hive来分析,也可以开发一个jar来完成特定的任务。 有些时候单纯的使用sql开发可能功能有限,比如我有下面的一个功能: 一张大的hive表里面有许多带有日期的数据,现在一个需求是能够把不同天的数据分离导入到不同天的es索引里面,方
我是攻城师
2018/05/14
1.3K0
Add a button/form/link to Django Admin(添加按钮、表单、链接到 django admin)
新模板 change_list_custom.html 继承 django admin 的 change_list.html
卓越笔记
2023/02/18
8520
Add a button/form/link to Django Admin(添加按钮、表单、链接到 django admin)
Java中在特定区间产生随机数
生成指定范围内的随机数 这个是最常用的技术之一。程序员希望通过随机数的方式来处理众多的业务逻辑,测试过程中也希望通过随机数的方式生成包含大量数字的测试用例。问题往往类似于: 如何随机生成 1~100 之间的随机数,取值包含边界值 1 和 100。 或者是: 如何随机生成随机的3位整数? 等等…… 以 Java 语言为例,我们观察其 Random 对象的 nextInt(int) 方法,发现这个方法将生成 0 ~ 参数之间随机取值的整数。例如(假设先有 Random rand = new Rando
昨天50还没用完
2018/06/29
1.8K0
List.append() 在 Python 中不起作用,该怎么解决?
Python 是一种强大而灵活的编程语言,它提供了许多方便的数据结构和操作方法,其中之一就是列表(List)。列表是一个有序的集合,可以包含不同类型的元素,并且可以进行添加、删除和修改等操作。在 Python 中,我们通常使用 List.append() 方法向列表末尾添加元素。然而,在某些情况下,你可能会遇到 List.append() 方法不起作用的问题。本文将详细讨论这个问题并提供解决方法。
网络技术联盟站
2023/06/01
2.9K0
在字符串中删除特定的字符
题目:输入两个字符串,从第一字符串中删除第二个字符串中所有的字符。例如,输入”They are students.”和”aeiou”,则删除之后的第一个字符串变成”Thy r stdnts.”。 首先我们考虑如何在字符串中删除一个字符。由于字符串的内存分配方式是连续分配的。我们从字符串当中删除一个字符,需要把后面所有的字符往前移动一个字节的位置。但如果每次删除都需要移动字符串后面的字符的话,对于一个长度为n的字符串而言,删除一个字符的时间复杂度为O(n)。而对于本题而言,有可能要删除的字符的个数是n,因此该
猿人谷
2018/01/17
9.2K0
类视图 中间件和模板
然后修改settings.py配置文件中修改TEMPLATES配置项的DIRS值, 如下:
py3study
2020/01/15
8690
解决WordPress文章密码保护在首页(摘要)不起作用
如果你碰到这个问题,就说明你的主题还不够完善。是的,之前Devework主题也是这样,但现在已经修复了。这类问题都是,首页的文章上如果是摘要显示的或者截断输出的,如果是密码保护文章压根儿没有提示输入密
Jeff
2018/01/19
1.8K0
Django之模板继承
(2)在title部分写个盒子,以后谁来扩展就在这里面添加相应的内容,即完成title.html
全栈程序员站长
2022/07/18
7120
Django模板层
tips:可以利用{% for obj in list reversed %}反向完成循环
py3study
2020/01/19
1.1K0
在Django中使用DISTINCT
有时候想用distinct去掉queryset中的重复项,看django文章中是这么说的
KEVINGUO_CN
2020/03/16
1.5K0
WordPress 技巧:在特定日志类型中进行搜索
如果你的 WordPress 使用了多个日志类型(Post Type),并且只想在搜索结果中只显示特定的日志类型,可以在 functions.php 文件中添加如下代码。
Denis
2023/04/15
2670
在django-admin中使用django-ckeditor
在最新学习python中,使用django搭建博客系统,管理后台直接使用django自带的admin模块,所以遇到富文本编辑的问题,经过查阅资料,发现了django-ckeditor这个小插件,下面小威就分享一点点来自小白的经验吧~
用户2619822
2022/06/10
1.6K0
在django-admin中使用django-ckeditor
MySQL kill会话不起作用?
在一次日常测试中发现,kill 一个会话后,SQL语句依然在运行并没终止;被kill的会话重新连接并继续执行原来的SQL语句。
老叶茶馆
2023/09/01
2920
MySQL kill会话不起作用?
点击加载更多

相似问题

阅读档案中的分数并计算每个学生的平均分数?

16

查询平均分数每个学生

30

学生平均分数表

23

找出平均分数最高的学生

20

python平均测试分数

36
添加站长 进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

扫码加入开发者社群
关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

扫码关注腾讯云开发者公众号
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文