将google云存储文件夹挂载到google ai platform作业

文章/答案/技术大牛

发布

1回答

google-cloud-platform、google-cloud-storage

我正在尝试用google ai平台建立一个基本的pytorch管道。在Google</em

浏览 12提问于2019-08-13得票数 1

1回答

如何将文件从Google平台培训工作转移到我的另一个计算实例或本地机器？

python、tensorflow、google-cloud-platform、google-cloud-storage、google-compute-engine

在Google平台培训后，我如何自动发送一些文件(主要是Tensorflow模型)到另一个计算实例或我的本地机器？我想要运行在我的教练，例如，类似这样的os.system(scp -r .像这样将文件从作业传输到Google没有问题。但是，例如，当我尝试os.system('gcloud compute scp ./example_file my_instance:/path/')将数据从我的AI平台作业传输到另一个实例

浏览 1提问于2019-05-18得票数 0

3回答

向Google提交Keras培训工作

tensorflow、keras、gcloud、gcp-ai-platform-training

我试着遵循本教程：现在，我已经从GitHub下载了这个包，并创建了一个带有人工智能平台和存储桶的云环境。我正在将文件(使用建议的文件夹结构)上载到云存储桶(基本上是存储的根)，然后在云终端中尝试以下命令： --modu

浏览 10提问于2020-01-21得票数 0

回答已采纳

6回答

从Google Cloud Storage Bucket下载文件夹

google-cloud-platform、google-cloud-storage

我是Google Cloud Platform.I的新手，我已经在datalab上训练了我的模型，并将模型文件夹保存在云存储上的存储桶中。通过右键单击file --> save as链接，我可以将存储桶中的现有文件下载到我的本地计算机。但是，当我尝试通过与上面相同的过程下载文件夹时，我得到的不是文件夹，而是它的图像。有没有什么方法可以让我按原样下载整个文件夹及其内容？是否有g

浏览 430提问于2017-06-07得票数 15

回答已采纳

1回答

只将Google云存储桶中的文件元数据读入Python中的云函数(不加载文件或其数据！)

python、google-cloud-storage、metadata、google-cloud-functions

我需要类似于云存储用于Firebase:下载所有文件的元数据的东西，只是不是角度上的，而是Python中的，而只是用于所选的文件。其目的是在云函数使用return语句结束时返回此信息，或者在云函数运行期间，在文件保存到Google桶中时立即将其记录下来。有了这些信息，就可以在给定的时间戳之后启动另一个作业。管道是同步的。我在将文件或数据加载到云函数时发现了Q/A 使用/tmp目录(如at 通过云函

浏览 0提问于2022-01-20得票数 0

回答已采纳

1回答

无云存储Bucket的GCP模型部署

python、google-cloud-ml

我想把它部署在Google Cloud Platform (Cloud ML Engine)中进行预测。该模型从Google Bigquery读取输入数据，输出预测只能用Google Bigquery编写。在运行模型预测之前，必须运行一些数据准备脚本。我已经将Google Cloud Storage用于模型存储，并将其用于部署，我已经成功地部署了它。但是，代替使用Google Cloud Storage来保存模型(即.pb或.pkl模型文件)，我可以将

浏览 24提问于2019-02-28得票数 2

1回答

使用Google* App Engine中的Ruby脚本将文件从存储传输到大查询*

ruby、google-app-engine、google-cloud-platform

我可以在Google Cloud Platform App Engine中使用Ruby Scripts将数据从云存储加载到Big Query吗？如果是，我如何部署这些脚本？

浏览 0提问于2017-08-23得票数 2

1回答

如何从google* cloud function调用google dataproc作业*

google-cloud-platform、google-bigquery、google-cloud-storage、google-cloud-functions、google-cloud-dataproc

每当有新文件上传到云存储存储桶时，都会触发云函数。此函数应调用用pyspark编写的dataproc作业，以读取文件并将其加载到BigQuery。我想知道如何从云函数调用google dataproc作业。请提个建议。

浏览 2提问于2018-05-10得票数 2

2回答

ML-引擎无法访问桶中的job_dir目录。

google-cloud-storage、gcloud、google-cloud-ml

我为VM实例上的gcloud身份验证创建了一个服务帐户(ai-platform-developer@....iam.gserviceaccount.com)，并为作业和模型数据创建了一个桶。当我试图为每个提交一个作业时，将执行以下操作：job_name='ObjectDetection_'${time_stamp} ERROR: (gc

浏览 0提问于2019-07-09得票数 3

回答已采纳

1回答

我是否需要互联网才能列出和获取Google* Cloud Storage上的存储桶对象*

google-cloud-platform、google-cloud-storage、google-cloud-dataflow

我已经写了一个非常简单的Nifi模板，它首先列出一个对象，然后从Google Cloud Storage上的存储桶中获取对象。显然，当获取对象时，Nifi会尝试使用互联网从存储桶中下载对象。我的问题是，如果我想要将这样的对象摄取到其他Google Cloud服务，比如Pub/Sub或Cloud Datastore，我是否需要将这些文件下载到一个单独的节点？为什么我不应该在Google Cloud中有另一个节点，它可以与Google Cloud Storage中

浏览 2提问于2018-12-16得票数 0

1回答

在加载到Bigquery之前自动ETL数据

google-bigquery、google-cloud-functions、google-cloud-storage、google-cloud-dataflow

我将CSV文件添加到GCS存储桶中，每天或每周，每个文件名都包含(日期+特定参数)我们尝试了云函数(我们可以从文件名中获取日期和特定参数值)，但在摄取时无法将其添加到列中有什么建议吗？

浏览 0提问于2020-12-15得票数 0

1回答

通过云存储实现文件共享应用

dropbox、google-drive-api、dropbox-api、onedrive、cloud-storage

我正在寻找一种文件共享云存储解决方案。我的要求如下公共availability)Users应该能够将内容从共享文件夹下载到其私有云存储。应该能够与有限的用户共享内容。许多云存储服务，如Dropbox，Google cloud Storage，amazone，Microsoft azure都允许公共文件夹，但是否有一个选项可以将公共共享内容复制到用户的私有云存储区

浏览 25提问于2013-04-09得票数 0

回答已采纳

2回答

使用python和Google云引擎处理大数据

python-3.x、google-cloud-platform、google-cloud-datastore、bigdata、google-cloud-storage

然而，由于有10 to的数据，我的笔记本电脑无法处理它，所以我需要使用Google Cloud Engine。如何上传数据并使用Google Cloud Engine运行代码？

浏览 7提问于2019-07-30得票数 3

1回答

当文件上传到存储桶/云存储时，自动开始加载到BigQuery

google-cloud-platform、google-bigquery

我们有一个从另一个数据库导出csv文件的脚本，并将它们上传到GCP云存储上的存储桶中。现在我知道可以使用BigQuery数据传输服务计划加载到BigQuery中，但我有点惊讶的是，似乎没有一个解决方案可以在文件上传完成时自动触发。我错过了什么吗？

浏览 20提问于2021-03-31得票数 0

回答已采纳

1回答

将SQL数据库转到Bigquery，或将SQL数据库转到GCS到BigQuery。

google-bigquery、google-cloud-storage

在always的“用Google平台进行数据工程”一书中，为了将数据从sql数据库加载到BigQuery，作者总是先将数据从sql加载到，然后将其作为暂存环境使用，然后才将数据加载到BigQuery 通过在何种情况下，您将直接将数据从SQL加载到BigQuery？

浏览 8提问于2022-08-16得票数 0

回答已采纳

1回答

如何在Kaggle (python)上增加RAM大小？

python、size、ram、kaggle

我正在使用图像数据集，但它的不平衡和我的工作，以解决它使用欠采样，但它需要更多的内存，如何才能节省内存，或如何才能与大型图像数据集需要重采样(不平衡图像数据集)和需要内存大17 GB的python语言，特别是在Kaggle？

浏览 85提问于2021-09-19得票数 0

1回答

我应该使用哪些google服务？

google-cloud-platform、google-bigquery、data-integration

也许，我需要通过google服务实现这个过程的自动化，以便定期完成这个过程。我希望得到关于架构(google服务)的建议，我应该使用它来创建这个管道。例如，使用云函数(从API获取数据)，然后使用服务'X‘

浏览 17提问于2019-08-24得票数 1

回答已采纳

1回答

数据流-将avro对象存储到未知的GCS文件夹

google-bigquery、google-cloud-storage、google-cloud-dataflow、avro、google-cloud-pubsub

我有一个DataFlow管道，它使用来自云发布/订阅的JSON消息，将它们转换为Avro，并将它们存储到Google Cloud Storage。有没有办法让DataFlow根据某个JSON字段将每个Avro对象存储到GCS中的不同文件夹中，如果它的值实际上可以是任何值的话？此文件夹结构的目标是通过云函数使用PubSub通知，将每个结果文件加载到不同的BigQuery表中。

浏览 17提问于2020-02-20得票数 0

1回答

服务帐户执行批处理数据流作业

google-cloud-platform、google-cloud-dataflow、dataflow、dataflowtask

我需要使用服务帐户执行数据流作业，我遵循的是在同一平台中提供的一个非常简单和基本的示例字数。根据这一点，GCP需要拥有数据流工作者权限的服务帐户才能执行我的作业。

浏览 2提问于2020-02-02得票数 0

3回答

是否可以将内容自动从Google上传到云存储？

python、google-drive-api、google-cloud-storage、google-cloud-pubsub

我需要将CSV文件从Google自动加载到BigQuery中，我想知道这样做是否可行：我开发了一个python脚本，它将存储在Cloud中的CSV文件自动上传到BigQuery，现在我需要在Google和Cloud之间创建工作流。

浏览 10提问于2021-01-20得票数 1

回答已采纳

点击加载更多