1回答
我是GCP的新手，我正在尝试构建一个ETL流，它可以将数据从文件上传到BigQuery。在我看来，最好的解决办法是使用gsutil。我今天看到的步骤是：
(已完成)自动将文件从云存储上传到BigQuery
浏览 0提问于2019-04-09得票数 0
我们有一个从另一个数据库导出csv文件的脚本，并将它们上传到GCP云存储上的存储桶中。现在我知道可以使用BigQuery数据传输服务计划加载到BigQuery中，但我有点惊讶的是，似乎没有一个解决方案可以在文件上传完成时自动触发。 我错过了什么吗？
浏览 20提问于2021-03-31得票数 0
回答已采纳
3回答
我需要将CSV文件从Google自动加载到BigQuery中，我想知道这样做是否可行：
我开发了一个python脚本，它将存储在Cloud中的CSV文件自动上传到BigQuery，现在我需要在Googl
浏览 10提问于2021-01-20得票数 1
回答已采纳
每当有新文件上传到云存储存储桶时，都会触发云函数。此函数应调用用pyspark编写的dataproc作业，以读取文件并将其加载到BigQuery。我想知道如何从云函数调用google dataproc作业。请提个建议。
浏览 2提问于2018-05-10得票数 2
现在，我想将这个mysql数据添加到bigquery数据集中。方法可能会运行
也可以添加来自nodejs
浏览 1提问于2018-03-26得票数 0
您好，在bigquery中批量加载100个csv sql表转储到新表的最简单和最快的方法是什么？ Br，Noomster
浏览 10提问于2019-01-28得票数 0
1回答
我的任务是实现云运行中运行的后端服务(Java/Spring)，并在GCP中创建(配置)数据管道，该管道使用此服务自动处理带有嵌入式模式的Avro文件，并将其上载到云存储桶中。当新文件上传到桶中时，我需要处理它，并以特定的方式将它解析到BigQuery。
因此，我成功地部署了Spring应用程序并设计了avro模式。我发现谷歌有关于如何将avros加<e
浏览 0提问于2020-11-01得票数 0
回答已采纳
我使用以下将数据从Google中的CSV文件上载到BigQuery表： client = bigquery.Client()dataset_id = 'e' job_config = bigquery.LoadJobConfig()job_config.schema = [
bigqu
浏览 1提问于2018-07-16得票数 1
我们需要将一个json文件上传到云存储桶中，然后我们需要编写一个云函数来将json文件数据加载到bigquery表中。
浏览 0提问于2020-03-04得票数 0
1回答
在gcp中，每当文件( json、xml等多种格式)上传到存储桶中时，我都需要更新bigquery表。我有两个选择，但不确定每一个的优缺点。有人能建议一下哪个是更好的解决方案吗?为什么？方法1：方法2：
上传到存储桶的文件<
浏览 9提问于2018-09-01得票数 2
回答已采纳
2回答
我写了一个基于云函数的云存储触发器。我有10-15个文件在云存储桶中以5秒的间隔登陆，它将数据加载到bigquery表中(截断并加载)。当存储桶中有10个文件时，我希望云函数以顺序的方式处理它们，即一次处理一个文件，因为所有文件都访问相同的表进行操作。目前云函数一次触发多个<
浏览 1提问于2020-07-15得票数 0
我有一个从大量资源下载文件的Python脚本，然后这些文件被上传到谷歌云存储桶经过一些处理，从那里这些文件被加载到BigQuery表中。我有一个cronjob每15分钟运行一次这个脚本，运行得很完美，但有时，比如一周一次，我会遇到16个文件中只有一个的问题。
问题是，从脚本的日志中看起来一切都很完美。将文件下载、处理、上传到加载到Bigquery
浏览 4提问于2017-11-20得票数 3
我正在尝试使用云Pub Sub将创意从Campaign Manager导入GCP。
浏览 8提问于2020-01-24得票数 0
我正在尝试将数据帧写入bigquery表。我已经使用所需的参数设置了sparkSession。然而，在写的时候，我得到了一个错误：代码如下：如果从代码中删除write，我不会得到任何错误，所以错误是在尝试编写时出现的，并且可能与使用bigquery操作的auxiliar存储桶相关
浏览 17提问于2020-11-14得票数 1
在always的“用Google平台进行数据工程”一书中，为了将数据从sql数据库加载到BigQuery，作者总是先将数据从sql加载到，然后将其作为暂存环境使用，然后才将数据加载到BigQuery
通过GCS步骤而不是直接进入BigQuery有什么好处？在何种情况下，您将直接将数据从SQL加载到BigQuery？
浏览 8提问于2022-08-16得票数 0
回答已采纳
我已经设置了云存储存储桶、云发布/订阅主题和订阅，以便在文件上传到存储桶时创建通知。
我想在服务器上创建一个脚本，在新镜像上传到存储桶时订阅消息，并在本地将镜像下载到服务器。
浏览 21提问于2019-07-23得票数 1
当我们在特定的数据集中创建一个表时，我们有5个选项，比如空表、谷歌云存储和上传etc.My，问题是它是否是云存储，在BigQuery或云存储中创建这个表是在哪里？因为我的目的是在云存储中转储数据，然后加载到BigQuer中。对于空表也是如此，因为我们显式地定义了模式，我知道表将驻留在BQ中。我已经通过以下脚本加载了数据：
bq装载--源_格式=CSV--跳过_引导_rows=1--自动</e
浏览 5提问于2020-05-15得票数 0
回答已采纳
1回答
我正在Google云平台上开发一个原型，为此我使用了云存储、appengine和bigquery。现在，其中一项任务是每天从google云存储向bigquery加载一个文件，我在Appengine上使用Cron任务
问题是bigquery期望数据是NDJSON格式(新的行分隔为json)，而我的源文件则是普通的目前，我将该文件下载到我的笔记本电脑，并将其转换为ND
浏览 0提问于2016-08-09得票数 3
Tranco给了我们一个在Google BigQuery上查看记录的选项，但是当我试图将Tranco和Metabase连接起来时，它是在请求我的Google云控制台项目中的数据集。如果您想在Google BigQuery中获得tranco的结果，那么运行下面的查询。select * from `tranco.daily.daily` where domain ='google.com' limit 10
当我在public dataset中搜索Tranco时，我也不会在他们的也
浏览 14提问于2022-05-02得票数 1
我有大量的小文件要加载到BigQuery中的单个表中。我喜欢有一个云函数，当他们被上传到GCS存储桶时加载到Big Query中。
浏览 31提问于2020-07-01得票数 0
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
