我有一个包含多个文件夹的Google Cloud存储桶，每个文件夹都包含CSV。有没有一种快速的方法来创建多个<em
浏览 0提问于2018-07-12得票数 2
回答已采纳
1回答
我将CSV文件添加到GCS存储桶中，每天或每周，每个文件名都包含(日期+特定参数)我们尝试了云函数(我们可以从文件名中获取日期和特定参数值)，但在摄取时无法将其添加到列中
有什
浏览 0提问于2020-12-15得票数 0
由于加载时间和查询成本，我需要将bigquery表导出到桶中的多个Google存储文件夹。
浏览 9提问于2022-05-23得票数 0
回答已采纳
我使用Google Drive作为BigQuery中的外部数据源。我可以访问单个文件，但无法读取包含多个文件的文件夹。注意:我已经从Google Drive for folder中选择了可共享链接，并使用了"bq mk..“引用链接ID的命令。虽然它创建了表，但无法拉取数据。
浏览 42提问于2020-08-28得票数 1
1回答
我用它来设计30 TB文本文件的存储，作为在Google云上部署数据管道的一部分。我的输入数据是CSV格式，我希望尽量减少为多个用户查询聚合值的成本，这些用户将使用多个引擎在云存储中查询数据。使用云存储进行存储，并链接大查询中的永久表以进行查询，或使用Cloud表进行存储，并在计算引擎上安装H
浏览 0提问于2019-01-24得票数 0
回答已采纳
我想要将一个大型csv导入到一个bigquery分区表中，该表具有一个timestamp类型的列，该列实际上是某个事务的日期，问题是当我加载数据时，它会将所有内容都导入到今天日期的一个分区中。是否可以使用我自己的时间戳值对其进行分区？我怎么能做到这一点。
浏览 0提问于2016-07-05得票数 1
我使用bigquery-spark-connector来读取使用BigQuery存储API的BigQuer。我的脚本(自动)从BigQuery存储应用程序接口请求多个分区，但我收到警告：
WARN com.google.cloud.spark.bigquery.direct.DirectBigQueryRelation:请求了%2个分区，但仅从BigQuery存储
浏览 3提问于2019-11-08得票数 2
正在尝试将BigQuery中的表数据导出到在Google Cloud Storage中创建的存储桶。当我使用单个通配符URI将BigQuery中的表导出到GCS时，它会自动将表分成多个分片文件(每个文件大约368MB)，并放入GCS中的指定存储桶中。下面是命
浏览 2提问于2017-10-11得票数 0
背景：我有30天的数据存储在谷歌存储的30个单独的压缩文件。我必须将它们写到同一个表中30个不同分区的BigQuery表中。每个压缩文件大小约为750 was。Google的ParDo转换和BigQuery写入速度在任何时候都在6000到8000元素/秒之间。因此，在任何时候，在30个源和汇中只有3个源和汇被处理，大大
浏览 3提问于2016-08-16得票数 1
回答已采纳
我目前正在编写一个软件，用于导出大量的BigQuery数据，并将查询的结果本地存储为CSV文件。我使用Python 3和google提供的客户端。我做了配置和身份验证，但问题是，我无法在本地存储数据。必须是有效的Google存储路径.“>
def export_table(service, cloud_storage_path,
projec
浏览 5提问于2015-07-27得票数 21
回答已采纳
每天我都会把一些数据放到谷歌的表格中，今天的数据覆盖了昨天的数据。
我根据这个Google创建了一个BigQuery表--初始连接工作，来自工作表的数据可以在BigQuery中正确查询。Q：明天谷歌表格中的数据将被覆盖。如何将中的日常数据从Google附加到BigQuery<
浏览 10提问于2022-05-30得票数 0
我是谷歌BigQuery的新手，所以我正在努力理解如何最好地完成我的用例。
我有每天的客户访问数据存储在BigQuery中，我希望用我用python编写的一些算法来分析这些数据。由于有多个脚本使用日常数据的子集，我想知道获取和临时存储数据的最佳方法是什么。此外，脚本以顺序的方式运行。每个脚本修改数据的某些列，随后的脚本使用这些修
浏览 3提问于2018-01-30得票数 0
我正在将一个java应用程序从Hadoop/Hive移植到Google /BigQuery。应用程序将avro文件写入hdfs，然后在文件之上创建一个/多个分区的Hive外部表。我们现在处理hive的方式是生成ddl，然后使用rest调用执行它。
我在BigQuery docs中找不到对创建外部表的支持，所以我转而使用java库。我设
浏览 0提问于2018-08-17得票数 0
回答已采纳
从Google控制台，我们可以手动创建外部bigquery表，该表将链接到Google云存储Json新行分隔文件。但是在bigquery客户端库中，我找不到示例代码允许我创建bigquery外部表链接到云存储保存的json文件。function create_table($projectId, $datasetId, $tableId, $sch
浏览 7提问于2017-03-23得票数 0
回答已采纳
当我尝试从Google Cloud Storage将数据加载到BigQuery中时，它要求提供Google Cloud Storage URI (gs://)。我已经审查了您所有的在线支持以及stackoverflow，但无法找到通过基于浏览器的Google开发人员控制台识别我上传的数据的URL的方法。我看到的找到URL的唯一方法是通过gsutil，但我无法让g
浏览 0提问于2014-08-19得票数 59
我试图找到这个问题的答案，但只找到了一些轶事。谷歌是否对存储在BigQuery上的数据进行加密？如果是的话，使用了哪些加密机制？
浏览 3提问于2014-10-10得票数 2
回答已采纳
当将BigQuery表从美国多个地区导出到另一个地区的GCS时，是否存在传输费？例外情况:如果您的数据集位于美国多区域位置，则可以将数据导出到任何区域或多区域位置
浏览 0提问于2020-02-04得票数 3
回答已采纳
我正在尝试将SQL代码从BigQueries导入到GitHub。但是我不能这样做，请有人告诉我如何将BigQueries导入到GitHub。
浏览 4提问于2022-08-26得票数 0
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
