我知道,可以在google上部署用于培训作业的自定义容器,并且我已经能够使用命令实现相同的运行。
gcloud ai-platform jobs submit training infer name --region some_region --master-image-uri=path/to/docker/image --config config.yaml培训工作成功完成,模型获得成功,现在我想使用这个模型进行推理,但是问题是我的代码有系统级的依赖关系,所以我必须对体系结构做一些修改才能让它一直运行。这就是首先为培训工作设置一个自定义容器的原因。
这些文档只适用于培训部分和推理部分,(如果可能的话)使用自定义容器,据我所知,还没有对它们进行研究。
培训部分文档可用在这个链接上
我的问题是,是否有可能在google ml上部署自定义容器以进行推断?
发布于 2022-02-11 19:12:22
此响应指的是使用GCP上最新的ML平台顶点AI预测。
假设您从培训工作中将模型工件写到云存储中。
下一步是创建自定义容器并推送到注册表,方法如下所示:
https://cloud.google.com/vertex-ai/docs/predictions/custom-container-requirements
本节描述如何将模型工件目录传递给用于交互的自定义容器:
https://cloud.google.com/vertex-ai/docs/predictions/custom-container-requirements#artifacts
您还需要创建一个端点,以便部署模型:
最后,您将使用gcloud ai endpoints deploy-model ...将模型部署到端点:
https://cloud.google.com/sdk/gcloud/reference/ai/endpoints/deploy-model
https://stackoverflow.com/questions/58562934
复制相似问题