BigQuery存储API (https://googleapis.github.io/google-cloud-python/latest/bigquery_storage/gapic/v1beta1/api.html)对于从BigQuery表读取数据非常有用，几乎比标准BigQuery API快10倍。为了让它更快，它支持多个读取流，每个读取<
浏览 11提问于2019-05-18得票数 6
我使用bigquery-spark-connector来读取使用BigQuery存储API的BigQuer。我的脚本(自动)从BigQuery存储应用程序接口请求多个分区，但我收到警告：
WARN com.google.cloud.spark.bigquery.direct.DirectBigQueryRelation:请求了%2个分区，但仅从BigQuery<e
浏览 3提问于2019-11-08得票数 2
1回答
我正在创建一个从jave jdbc到bigquery的管道，但是我想添加一个额外的步骤来检查某一列中的值是否满足大于4个字符的标准。我将使用什么方法？下面是我的代码，它读取jdbc，转换为tablerow，并将tablerow附加到现有的bigquery表中。import com.google.api.services.bigquery.model.TableRow;
import com.google.cloud.teleport.io.DynamicJdbcIO: 1) Read records vi
浏览 13提问于2021-07-22得票数 0
我正在尝试从我的.hql文件访问BigQuery表，我将在Dataproc集群上运行该文件。table_name;
然后，我编写了一个查询，将输出插入到BigQuery但是该表存在于BigQuery数据集中。
有没有人可以帮忙解决这个问题？
浏览 0提问于2020-02-12得票数 0
1回答
因此，我一直在尝试从Google到BigQuery的实时中的流数据。
数据从GSC中检索并流到BigQuery流缓冲区中。但是，在流缓冲区被刷新之前，我经历了很长的延迟(最多2小时或更长时间)。因此，数据保留在流缓冲区中，但不在表中。预览中也看不到数据，表大小为0B，有0行(实际上，在等待了>1天之后，我仍然看到0B，尽管有超过0行)。另一个问题是，在数据存储在表中(表大小和行数是正确的)之后的一段时间内，数据就会从表中消失并出现在流</
浏览 0提问于2018-04-11得票数 0
背景：我有30天的数据存储在谷歌存储的30个单独的压缩文件。我必须将它们写到同一个表中30个不同分区的BigQuery表中。每个压缩文件大小约为750 was。实验1：我使用TextIO读取每天的压缩文件，应用简单的ParDo转换来准备TableRow对象，并使用BigQueryIO直接将它们写入BigQuery。因此，基本上有30对平行的不相连的源和汇被创造出来。但我发现，在任何时候，只有3个文件被读取、转换<em
浏览 3提问于2016-08-16得票数 1
回答已采纳
我需要查询谷歌BigQuery表，并将结果导出到gzipped文件。这是我当前的代码。要求是每行数据都应该是新行(\n)删除的。
浏览 0提问于2019-05-14得票数 1
我希望使用Dataflow将事件从PubSub流流到BigQuery。我看到在GCP中有两个模板可以实现这一点:一个是Dataflow从主题中读取消息，另一个是订阅。在这里使用订阅的好处是什么，而不仅仅是使用主题中的事件？
浏览 0提问于2019-05-24得票数 2
回答已采纳
我想使用允许我在执行加载作业时更新BigQuery模式的。
我使用的是数据流和软件开发工具包中的内置BigQueryIO.write。我看到使用来自BigQuery应用编程接口的JobConfigurationLoad.setSchemaUpdateOptions(ALLOW_FIELD_ADDITION)是可能的，但是我找不到使用BigQueryIO
浏览 4提问于2017-07-27得票数 0
回答已采纳
1回答
你好，我需要发送数据从谷歌分析360由python (或其他)脚本(使用应用编程接口)到亚马逊S3每周增量更新所有用户的行动。您可以分享一些说明/示例或您自己的脚本示例，以便更好地理解脚本视图(结构)和通过这种方式使用API。
浏览 0提问于2021-03-04得票数 2
我使用运行在Dataproc上的Spark2.4，每15分钟运行一次批处理作业，从bq表中获取一些数据，将其聚合(sum)，并通过pyspark.sql将其存储在另一个bq表中(覆盖)。如果我在Spark中查询的表上使用完全相同的查询，而不是在BQ web控制台中，所有数据都在那里并且是最新的。我做错了什么吗？或者这是连接器的预期行为？下面是我使用的代码：SELECT
from_utc_timestamp(
浏览 6提问于2020-11-26得票数 0
我想在Google Cloud平台中使用Cloud Function触发数据流。在Cloud Function中，我使用Python这样调用API： from googleapiclient.discovery import build
'environment':environment)
response = request.execute() 这是我正在启动
浏览 17提问于2020-12-08得票数 0
我正在使用来自谷歌计算节点的BiGQuery应用程序接口(在DataFlow作业中)。我的数据流计算引擎在VPC内。我正在对我们项目中的数据集调用一些SQL命令。我知道BIgQuery和GCS存储桶不会在我们的VPC内。但是，我找不到任何关于API调用是如何路由的文档。它们将使用公共互联网进行路由，还是将通过google私有内部网(因为呼叫的始发是在计算节点内)。
浏览 25提问于2019-05-14得票数 0
1回答
如何使用应用基于限制和偏移的数据选择？import com.google.cloud.bigquery</e
浏览 39提问于2022-02-16得票数 0
3回答
当使用从BigQuery读取数据时，我发现它首先将所有数据复制到Google Cloud Storage。然后将这些数据并行读取到Spark中，但当读取大表时，复制数据阶段需要很长时间。那么有没有更有效的方法将数据从BigQuery读取到Spark中呢？
另一个问题:从BigQuery阅读由2个阶段组成(复制到GCS，从GCS并行阅读)。
浏览 6提问于2017-01-04得票数 7
回答已采纳
是否可以压缩已经保存在Google云存储中的文件？
这些文件是由Google数据流代码创建和填充的。数据流不能写入压缩文件，但我的要求是以压缩格式保存它。
浏览 43提问于2016-08-10得票数 2
回答已采纳
我们有一个用JAVA编写的应用编程接口项目，使用spring hibernate并从MySQL读取数据。最近，我们添加了另一个数据源BigQuery，因此我们希望允许用户使用JAVA api客户端调用特定的api来查询来自BigQuery的数据-来自BigQuery中orders表的orders count查看了github示例，但不清楚如何设置和访问。
我也发现了这个，但不确定是否注册web应用程
浏览 20提问于2016-01-28得票数 0
我面临着一些关于更新BigQuery模式的延迟问题。
我有一个表，它接收流插入，并在需要时自动更新模式。问题是模式更新似乎在一段时间内不会生效，在此期间所做的插入会删除新列的值。
浏览 0提问于2020-03-24得票数 0
1回答
用数据流批量插入Bigquery
、、、、
我正在使用apache管道，我想用python批量插入bigquery。我的数据来自Pub/Sub，它是无限的。作为我研究的结果，带有触发器的GlobalWindows应该可以解决我的问题。我尝试了我的管道窗口，但它仍然流insertion.My管道代码如下：
p2 = (p | 'Read ' >> beam.io.ReadFromPubSub(subscription=subscription_pathwrite_disposition=beam.io.BigQueryDisposition.W
浏览 0提问于2019-01-04得票数 4
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
