是什么导致亚马逊网络服务SageMaker kmeans预测方法输出413请求实体太大错误？
亚马逊网络服务（Amazon Web Services，AWS）的SageMaker是一种云原生的机器学习平台，提供了各种机器学习算法和工具，其中包括K-means算法。K-means算法是一种常用的聚类算法，用于将数据集划分为不同的簇。
当使用SageMaker的K-means算法进行预测时，可能会遇到"413请求实体太大"的错误。这个错误通常是由于输入的数据量过大导致的。HTTP协议规定，请求实体的大小不能超过服务器允许的最大限制。
解决这个问题的方法有以下几种：
- 减少输入数据的大小：可以通过减少输入数据的维度、降低数据的精度或者使用数据压缩等方式来减小数据的大小。
- 分批处理数据：将大规模的数据集分成多个较小的批次进行处理，然后将结果进行合并。
- 增加服务器的限制：如果有权限，可以尝试增加服务器的请求实体大小限制。但需要注意，增加限制可能会对服务器的性能和稳定性产生影响。
- 使用其他机器学习算法：如果数据量过大导致K-means算法无法处理，可以考虑使用其他适合大规模数据处理的机器学习算法，如Mini-Batch K-means、DBSCAN等。
腾讯云提供了类似的机器学习平台和产品，例如腾讯云机器学习平台（https://cloud.tencent.com/product/tiia）和腾讯云智能图像处理（https://cloud.tencent.com/product/tiia）等，可以满足用户在云计算领域的需求。
相关·内容
我正在尝试使用亚马逊网络服务SageMaker中的k-means算法创建一个无监督机器学习模型。当调用kmeans predictor预测方法时，我得到了一个413请求实体太大的错误。是什么导致了这样的错误？我已经搜索过了，大多数回复都谈到了Elastic Beanstalk和nginx设置，这并不适用于我的情况。 相关的代码和错误可以在下面看到，我的整个Jupyter Notebook可以在(https://github.com/bgaber/machine-learning-recommendation-engine-with-aws-sagemaker/blob/main/imdb-m
浏览 43提问于2020-11-17得票数 1
我已经为时间序列预测创建了一个ARIMA模型，并希望部署它以便在API端点使用它。但是我无法找到在亚马逊网络服务SageMaker上部署它的方法，我如何部署它。我不想使用DeepAR。或者，有没有办法在SageMaker上部署pickle文件？
浏览 72提问于2021-09-20得票数 1
回答已采纳
目前，我需要在我的应用程序上实现按图像搜索产品。在做研究的时候，我想去aws重新认识。因此，当模型预测图像时，我可以通过api将预测的标签传递给查询产品。这就是我计划要做的。然而，我也遇到了亚马逊网络服务视觉搜索(使用亚马逊网络服务sageMaker)，这远远超出了我的理解。那么，我使用第一个选项(aws rekognition )来实现它是正确的吗？
浏览 4提问于2021-07-02得票数 0
我已经使用内置的线性学习算法训练了一个亚马逊网络服务SageMaker模型。我可以从S3下载经过训练的模型工件(model.tar.gz)。
如何在独立于AWS的本地环境中部署模型，以便在没有互联网接入的情况下进行预测和推断呼叫？
浏览 6提问于2018-08-10得票数 0
在我使用亚马逊网络服务SageMaker训练和部署了模型之后，我想在几个csv文件上对其进行评估：
- category-1-eval.csv (~700000 records)
- category-2-eval.csv (~500000 records)
- category-3-eval.csv (~800000 records)
...
正确的方法是使用方法，因为它很快。
问题是-我找不到将SageMaker模型恢复到Tensorflow Estimator中的方法，有可能吗？
我曾尝试恢复一个模型，如下所示：
tf.estimator.DNNClassifier(
featu
浏览 17提问于2019-07-08得票数 0
回答已采纳
我在从Lambda函数调用亚马逊网络服务SageMaker端点应用程序接口时遇到错误。当我使用Postman调用它时，我得到一个错误，如：
{
"errorMessage": "module initialization error"
}
浏览 2提问于2018-11-22得票数 0
3回答
我用亚马逊网络服务SageMaker创建了一个XGBoost模型。现在我正在尝试通过Batch Transform Job使用它，对于小批量来说一切都很顺利。
但是，在一个大约16MB的文件中有一个更大的600.000行的批处理，我不能一次运行它。我试过两件事：
1.
将转换作业的“最大有效负载大小”设置为其最大值(100 MB)：
transformer = sagemaker.transformer.Transformer(
model_name = config.model_name,
instance_count = config.inference_instance_
浏览 7提问于2018-10-04得票数 2
我看了很多关于在本地部署SageMaker模型的帖子，但它们必须绑定到一个亚马逊网络服务笔记本实例，才能在本地运行预测/服务(亚马逊网络服务SageMaker Python SDK)。这违背了完全脱机运行Sagemaker训练模型的实际意图。还有一些人尝试在S3上取消对tar.gz文件的筛选，然后包装要在本地部署的内容。然而，该过程似乎非常局限于某些类型的模型，如XGBoost和MXnet。因此，有没有办法脱机部署SageMaker训练过的模型，而不依赖于Sagemaker笔记本实例？任何形式的建议都将不胜感激。谢谢。
浏览 4提问于2020-02-20得票数 2
我创建了一个AWS Lambda函数，该函数调用我在sagemaker中创建的ML模型的端点。我测试了它，它工作得很好。接下来，我创建了REST API来调用这个lambda函数。我将任何身份验证类型设置为NONE。任何拥有该url的人都可以访问它。我是在亚马逊网络服务博客之后创建的。我在邮递员中测试了我的网址。它在postman中工作得很好，但是当我在chrome中输入url时，它抛出了{"message":"Missing Authentication Token"}错误。有没有人能告诉我如何在chrome中测试我的url时摆脱这个错误？
浏览 0提问于2019-11-27得票数 1
我想在亚马逊网络服务sagemaker上训练YOLOv5，也可以在sagemaker上部署模型，还需要了解入口点python脚本。我怎么才能为这个建立管道呢？
浏览 85提问于2021-09-26得票数 0
回答已采纳
SageMaker在亚马逊网络服务上提供了一个完整的机器学习开发环境。它与Amazon SageMaker Python SDK一起工作，允许Jupyter笔记本与该功能进行交互。这也提供了使用Amazon SageMaker Feature Store的路径。 有没有适用于SageMaker的REST API？假设一个人想创建自己的自定义UI，但仍然使用SageMaker功能，这可能吗？ 可以使用Amazon API Gateway来完成吗
浏览 26提问于2021-06-30得票数 0
回答已采纳
1回答
亚马逊网络服务SageMaker可以使用TFidf矢量化文本作为预测基础来处理二进制分类吗？
浏览 8提问于2019-09-06得票数 0
回答已采纳
1回答
从亚马逊网络服务控制台发出的请求是否会自动签名？例如，一旦通过身份验证的实体(用户)尝试从控制台创建S3存储桶，该请求是否会像SDK/CLI请求一样自动签名，或者(自动)签名的概念是否完全不适用于控制台？
亚马逊网络服务执行代码是否会检查实体是否已针对通过亚马逊网络服务控制台发出的每个请求进行了身份验证，或者是否因为实体在发出请求之前先登录控制台进行了身份验证而绕过了身份验证检查？-这种身份验证检查是否仅针对/和HTTP API调用，而不针对控制台请求？
浏览 21提问于2019-04-01得票数 0
我正在尝试解开我的对象检测模型的数据集，但我无法在亚马逊网络服务的SageMaker中解压压缩文件。
浏览 20提问于2021-09-12得票数 0
3回答
我正在做一个单词嵌入项目。我使用亚马逊SageMaker来达到这个目的。亚马逊SageMaker中的BlazingText算法比其他选项产生的结果更快。但我没有看到任何工具来获得预测模型或权重。输出只包含矢量文件，我无法从该文件生成模型。有没有什么方法可以让我用向量文件得到模型？我需要这个来预测新单词。提前谢谢。
浏览 0提问于2018-05-09得票数 2
2回答
我正在使用亚马逊网络服务的SageMaker，我想创建一些东西，使用给定的文本，它可以识别该描述的位置。有可能吗？
浏览 0提问于2019-08-06得票数 1
我有一个模型运行在我的jupyter笔记本实例上，带有非常基本的SVM分类器
# Text lassifier - Algorithm - SVM
# fit the training dataset on the classifier
SVM = svm.SVC(C=1.0, kernel='linear', degree=3, gamma='auto',probability=True)
SVM.fit(Train_X_Tfidf,Train_Y)
# predict the labels on validation dataset
predictions_
浏览 23提问于2020-02-19得票数 0
背景信息：
AWS Sagemaker提供了使用外部Sklearn聚类方法(如DBSCAN )以及内部聚类方法(如kmeans )进行拟合和部署/预测的可能性。默认情况下，在将方法部署为预测器对象后，您可以访问群集标签：
示例：
kmeans_customers_3 = KMeans(role=role,
instance_count=1,
instance_type='ml.c4.xlarge',
output
浏览 13提问于2022-01-16得票数 0
我已经开发了一个基于scikit学习的机器学习模型，并将其放在一个pickle文件中。我尝试将其部署为仅用于推理，并在aws上找到了sagemaker。我不认为scikit学习基于可用的库，我也不想重新训练模型。是否可以仅部署已在sagemaker上的亚马逊网络服务S3中训练和呈现的模型？
浏览 0提问于2018-10-23得票数 2
我得到了以下错误。
未能加载资源:服务器响应状态为413 (请求实体太大)
function pageSS() {
html2canvas(document.body, {
onrendered: function (canvas) {
var img = canvas.toDataURL();
$.ajax({
type: 'POST',
url: 'https://myweb/upload_ss.php',
浏览 3提问于2020-08-08得票数 1
回答已采纳
如何为部署在亚马逊网络服务SageMaker上的模型启用监控和日志有效负载？我正在使用一个分类模型，并将输出预测的类别和置信度。如何在UI或sdk中进行配置？
浏览 2提问于2019-03-27得票数 1
我在AWS Sagemaker Jupyter notebook工作。我已经在Jupyter的AWS Sagemaker中安装了clearml包。在亚马逊网络服务EC2上安装了ClearML服务器。我需要将工件和模型存储在AWS S3存储桶中，因此我希望在clearml.conf文件中指定S3的凭据。如何在AWS Sagemaker实例中更改clearml.conf文件？看起来它的所有文件夹的权限都被拒绝了。或者，也许有人可以提出一个更好的方法。
浏览 78提问于2021-02-16得票数 1
回答已采纳
我已经提交了一些来自亚马逊网络服务SageMaker的培训工作。我想使用jupyter cloudwatch api来获取要在boto3笔记本中显示的cloudwatch数据，而不是使用CloudWatch UI。
浏览 6提问于2018-12-06得票数 0
在我目前的工作中，我们在Sagemaker EC2上使用亚马逊网络服务管理的笔记本。我对用户体验基本上是满意的，但是在~/Sagemaker之外缺乏数据持久性是非常不方便的。每次实例需要重新启动时，我都会丢失所有的设置和python包。我想知道为什么AWS会为Sagemaker做出这个特殊的决定。我以前使用过Google Cloud的AI平台，它没有这样的设置，我的配置将始终保持不变。
浏览 12提问于2021-07-05得票数 0
回答已采纳
亚马逊SageMaker拥有处理数据推断请求的inference pipelines。听起来，推论似乎与预测相似(或可能相同)。推断和预测之间有什么不同吗？如果是这样，是什么？如果不是，为什么不直接称之为预测管道呢？
浏览 16提问于2019-06-26得票数 0
回答已采纳
我正在尝试在亚马逊网络服务的SageMaker上部署sklearn支持向量机模型。但在测试模型时，即使我对算法、相同的训练和测试数据使用相同的hyperparameters，我也会得到不同的输出。
svm.SVC(kernel='rbf',gamma=1.0,C=10,probability=True)
我期望输出中有五个类。以下是我在本地运行时获得的测试数据的输出：
在SageMaker中，我只得到了4个作为所有测试数据的输出。
浏览 0提问于2018-10-11得票数 2
我在亚马逊SageMaker上使用以下架构训练了一个TensorFlow模型： _, timesteps, features = X_train.shape
ACTIVATION = 'relu'
EPOCHS = 50
model = Sequential()
model.add(Masking(mask_value=np.nan, input_shape=(timesteps, features)))
model.add(LSTM(64, activation=ACTIVATION, return_sequences=True))
model.add(LSTM(64, a
浏览 11提问于2020-09-17得票数 0
我在AWS s3中有一个jpeg图像目录，其中的子目录是与这些图像关联的唯一标签。我正在尝试使用亚马逊网络服务的SageMaker来遵循这个，我在没有使用标志的情况下弄乱了输入和输出路径。任何关于使用s3和SageMaker或其他方法应用链接的解决方案来实现TFRecords输出然后保存回s3的指南都将不胜感激。
浏览 12提问于2021-02-19得票数 0
使用亚马逊网络服务SageMaker时，在您完成模型的训练后，SageMaker会将模型作为model.tar.gz文件输出到指定的S3存储桶中。文档建议的下一步是将模型部署到SageMaker上。但是，我不想部署该模型。在我的例子中，有一些服务到服务的延迟考虑因素，不会走那条路。此外，我还希望在离线情况下仍然利用模型的预测。有没有人能够把model.tar.gz放到java库中？你用的是什么工具？你是如何解析模型的？
浏览 0提问于2019-11-25得票数 0
1回答
我正在写一个关于亚马逊网络服务SageMaker的CF模板，我已经添加了实例笔记本，端点，端点配置，模型的资源…… 我是否需要添加任何其他资源来完成模板，或者仅这些资源就足以在AWS中创建堆栈和调配此服务？
浏览 13提问于2019-12-22得票数 0
1回答
我用Tensorflow和Keras训练了我自己的模型，用于图像分类，我正在尝试在亚马逊的SageMaker中部署和使用它。我完成了将mymodel.h5文件转换为mymodel.tar.gz文件并将其移动到SageMaker S3桶的过程。然后，在一个教程之后，我使用以下方法创建了SageMaker模型：
from sagemaker.tensorflow.model import TensorFlowModel
sagemaker_model = TensorFlowModel(model_data = 's3://' + sagemaker_session.default
浏览 7提问于2022-04-08得票数 1
我花了5天时间配置亚马逊网络服务SageMaker。(联系增加GPU笔记本限制需要2天，下载解压所有数据需要2天，上载数据到S3等绕道需要1天)。
当我终于可以在SageMaker GPU笔记本实例上运行代码时，我发现速度并不比我本地的CPU快。
我使用下面的代码来检查GPU。不知道哪里出了问题。这会发生在你们这些朋友身上吗？而我的学分只剩下200美元(原来是750美元)。
浏览 3提问于2020-02-16得票数 1
2回答
我用内置的RESnet18坞映像训练了一个模型，现在我想将模型部署到端点，并对大约100万张图像进行分类。我在S3上以RecordIO格式存储了所有的培训、验证和测试图像(与转换)。根据
亚马逊SageMaker图像分类算法支持RecordIO (应用程序/x-记录)和图像(应用程序/x-图像)内容类型进行培训。该算法只支持更好的应用/x图像进行推理。
因此，我不能用RecordIO格式对我的训练数据进行推断。为了克服这一问题，我将所有原始的.jpg映像(~ 2GB)复制到我的实例中，并通过以下方式一次进行一次推理：
img_list = os.listdir('temp_da
浏览 2提问于2018-04-26得票数 0
回答已采纳
我正在使用keras运行一项培训工作。整个代码的计算量很大，它应该训练的图像数量的大小约为30 be。训练图像存储在Google存储上。我已经为我的训练脚本创建了一个docker容器，每个容器都根据计划工作得很好。我注意到镜像正在被复制到正在分配的VM中，并且将镜像从Google存储复制到训练任务需要大约一个半小时。这增加了训练时间，不适合我，因为图像的数量每周至少增加1 1GB。我之前在亚马逊网络服务的培训工作中工作过，这给了我一个从S3到Sagemaker培训工作的文件传输选项，在那里输入可以‘管道’到培训工作中。google cloud中是否有类似的服务，或者是否有更好的解决方案，而不是
浏览 5提问于2020-02-25得票数 1
我用Tensorflow 2.5 (来自tensorflow import keras)在Keras中训练了我的模型，并将其转换为tensorflow模型，以便使用亚马逊网络服务SageMaker进行推理。推理结果大不相同。我检查了这些库，它们都是相同的版本，特征提取也是相同的。我还能复习些什么？非常感谢。
浏览 0提问于2021-10-26得票数 0
我是一个G Suite超级管理员。我已经在我们的G套件中为我们的AWS账户设置了Google Single Sign On (SSO)。由于我们有几个亚马逊网络服务账户，我们需要运行"Users: patch“()来包含谷歌单点登录的其他亚马逊网络服务账户。
在向Google Single Sign on提供其他AWS帐户时，在运行上述补丁后遇到错误"Code: 413“。详细信息如下：
{
"error": {
"errors": [
{
"domain": "global",
浏览 1提问于2018-04-24得票数 0
我尝试使用亚马逊网络服务的SageMaker下面的文档。我成功地加载了数据，训练并部署了模型。 deployed-model 我的下一步必须使用AWS Lambda，将其连接到此SageMaker端点。我看到，我需要给Lambda IAM执行角色权限来调用模型端点。我向IAM策略JSON添加了一些数据，现在它具有以下视图 {
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action
浏览 16提问于2020-10-02得票数 0
回答已采纳
我不熟悉亚马逊网络服务SageMaker TensorFlow 1.11.0脚本模式。我在文档中查找了一段时间，在训练之后似乎找不到用于导出模型的文件夹结构。我所知道的就是我应该导出到环境变量"SM_MODEL_DIR“中指定的目录，并且格式是SavedModel。
我已经使用tf.saved_model.simple_save在以下文件夹结构中导出：
- model.tar.gz
-- saved_model.pb
-- variables
--- variables.index
--- variables.data-00000-of-00001
但是在部署时，我得到了错误：
Tra
浏览 78提问于2018-12-21得票数 2
1回答
我试图向使用jetty服务器服务的端点发出POST请求。请求错误指出413请求实体太大。但内容长度只有70 of，我看到这远远低于200 of的默认限制。
我尝试过通过ngnix服务器提供服务，并将client_max_body_size添加到所需的级别，但这不起作用。我已经设置了setMaxFormContentSize of WebContext，这也没有帮助。我跟踪了，这对我也没有任何帮助。
有人有什么解决办法吗？
浏览 2提问于2018-10-31得票数 1
我对亚马逊网络服务的工作相当陌生，我想用fast.ai用SageMaker来训练某个图像数据集。但我不知道如何将S3中的所有图像数据链接到SageMaker。
我几乎尝试了我能想到的所有方法，使用s3fs，我可以分别读取图像和图像列表，但我如何将这些信息提供给我的数据库或学习算法？
我的代码：
import boto3
import pandas as pd
from sagemaker import get_execution_role
role = get_execution_role()
bucket='sagemaker-sst-images'
data_key =
浏览 0提问于2019-08-14得票数 0
我正试着从学习亚马逊网络服务机器学习
我没有更改任何代码。
当我执行以下代码行时
from sagemaker.sklearn.processing import SKLearnProcessor
我得到了错误：
ImportError Traceback (most recent call last)
<ipython-input-13-dd0123cd2e7d> in <module>
----> 1 from sagemaker.sklearn.processing import SKLearnPr
浏览 0提问于2021-02-26得票数 2
我正在尝试让AWS Sagemaker在本地运行。我发现了这个jupyter笔记本 https://gitlab.com/juliensimon/aim410/-/blob/master/local_training.ipynb 我通过saml2aws登录了亚马逊网络服务，因此拥有有效的凭证，输入了我的特定区域以及Sagemaker执行角色ARN，并在下面指定了我要拉取的特定图像。但是，当启动.fit()时，我得到以下ClientError: ClientError:调用GetCallerIdentity操作时出现错误(InvalidClientTokenId)：请求中包含的安全令牌无效。
浏览 31提问于2021-10-19得票数 0
我在亚马逊网络服务SageMaker上使用一个预先训练好的模型， 我需要提供一个predict_fn，这将做实际的预测。 def predict_fn(request_body, model):
prediction = model.predict(request_body)
return prediction 这将返回错误：TypeError: no supported conversion for types: (dtype(‘O’),) model是XGboostClassifier的对象，requestbody是xgboost.core.DMatrix的对象
浏览 8提问于2020-04-04得票数 0
1回答
我正在尝试将使用tensorflow训练的对象检测模型部署到sagemaker。在模型创建过程中，我能够在没有指定任何入口点的情况下部署它，但结果证明，这样做只适用于小尺寸的映像(Sagemaker有5MB的限制)。我用于此的代码如下：
from sagemaker.tensorflow.serving import Model
# Initialize model ...
model = Model(
model_data= s3_path_for_model,
role=sagemaker_role,
framework_version="1.14"
浏览 0提问于2019-12-17得票数 1
当我尝试用"svn up“命令更新我的本地subversion副本时，它给出了错误：
svn:服务器发送了意外的返回值(413请求实体太大)，以响应'/repository/!svn/vcc/default‘的报告请求
这里会有什么问题呢？
谢谢!
浏览 1提问于2009-05-07得票数 21
回答已采纳
1回答
我在亚马逊SageMaker中建立了这个模型，代码附在下面。现在，我希望能够将新数据上传到s3，并基于此模型获得预测，而不必每次都重新计算它。 sess = sagemaker.Session()
bucket = "innogy-bda-germany-dev-landing-dc3-retailpl"
prefix = "sagemaker/xgboost-upsell"
role = get_execution_role()
container = sagemaker.image_uris.retrieve("xgboost", boto
浏览 11提问于2021-09-07得票数 0
我正在尝试在一个无法访问互联网的亚马逊网络服务SageMaker笔记本实例上安装R内核。亚马逊网络服务提供了有关如何在具有互联网访问的notebook实例上安装R内核的文档。但是，我正在尝试将R内核安装在没有互联网接入的notebook实例上。他们的规定必须安装r-essentials。我已经尝试从下载/安装r-essentials tar.bz2归档文件。但是，r-essentials似乎只是一个元包，并不包含要安装的实际包。
使用tar.bz2归档文件安装r-essentials：
检查笔记本下拉列表中是否存在R内核：
有解决这个问题的办法吗？目标是在notebook实例上获得
浏览 3提问于2019-03-11得票数 0
我对AWS和Sagemaker相当陌生，并决定学习一些亚马逊必须熟悉的教程。我一直在关注这个()，我意识到这是一个使用v1的老教程。我已经能够查找并更改本教程在v2中工作所需的任何内容，但由于将培训数据存储在S3桶中以部署模型，我陷入了困境。
import io
import sagemaker.amazon.common as smac
print('train_features shape = ', predictions.shape)
print('train_labels shape = ', labels.shape)
buf = io.BytesI
浏览 3提问于2021-06-06得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
