我知道数据流可以使用BigQuery表(或BigQuery表的SQL式查询)进行输入，但是是否可以将保存的视图作为数据流的输入？
浏览 10提问于2017-07-12得票数 2
我想在数据流中使用运行一个简单的查询，但我找不到启用此选项的位置。我该怎么做呢？DataflowPipelineRunner.BatchBigQueryIOWrite/DataflowPipelineRunner.BatchBigQueryIONativeWrite failed., (7f29f1d9435d27bc): BigQuery
浏览 62提问于2016-07-20得票数 6
回答已采纳
我希望在两种不同的技术中使用相同的函数来解析事件: Goolge和DataFlow。有我能用的语言吗？如果不是，谷歌是否计划在短期内支持一家公司？背景：这种解析有些很复杂(例如，应用自定义的URL提取规则，从用户代理中提取信息)，但在计算上并不昂贵，而且不涉及将事件加入到任何其他大型查找表中。因为解析可能很复杂，所以我只想用一种语言编写解析逻辑，并在需要的地方运行它:有时在BigQuery中，有时在其他环境(如DataFlow )中。我知道BigQuery</e
浏览 0提问于2018-06-12得票数 0
2回答
我想安排我的数据流sql作业。这是我的gcloud命令
gcloud数据流sql查询'My SELECT查询‘--作业名称dfsql-2d7a0189-177fc4f9444 -us区域-east4 4-bigquery-写处理写-截断-bigquery-project dev-dp-myproject -bigquery-数据集mydataset -bigquery-table服务-帐户-电子邮件数据流-运行@myserv
浏览 2提问于2021-03-05得票数 1
2回答
将数据从BigQuery导出到谷歌存储的最佳方式是什么？注意，我需要对Bigquery运行查询，而不是导出所有数据。本质上，我需要对BigQuery (如select * from mytable where code=foo )运行自定义查询，查询结果需要写入存储在Google Cloud上的csv中。此外，我正在寻找一些如何实现这一点的样本。有没有我能找到一些例子的地方？TextIO.Write.named("WriteOutput").to("gs:&
浏览 0提问于2017-01-05得票数 2
1回答
我们使用云函数来转换BigQuery中的数据：--所有的数据都在BigQuery中--为了转换数据，我们只在BigQuery中使用SQL查询--每个查询每天运行一次--我们最大的SQL查询运行大约2到3我们一开始尝试用Dataflow做同样的事情(BigQuery中的SQL查询)，但是：-启动数据流只需10到15分钟--这比我们的云函数要复杂得多
浏览 5提问于2020-06-19得票数 1
回答已采纳
在浏览时，我看到了Dataflow SQL。它和beamSQL有什么不同吗？
浏览 12提问于2020-02-17得票数 1
回答已采纳
我有一个Dataflow SQL作业，它将流PubSub与BigQuery表连接起来，并将结果写入BigQuery表。当我将一个新记录(新sales_region)添加到我的表'us_state_salesregions‘中时，新的sales_region在结果表中是不可见的。只有在创建新的数据流作业后，新添加的sales_region才会显示在查询的结果表中。 SELECT tr.*, sr.sales_
浏览 8提问于2021-05-11得票数 0
(我猜基于，我的问题没有简单的解决方案，所以我会“加强”它)
这对我来说还不够好，因为即使我将其保存为视图，也不能引用标准</
浏览 1提问于2020-07-02得票数 1
回答已采纳
我已经创建了一个标准的PubSub到BigQuery数据流。然而，为了确保我不会在离线时增加巨额费用，我取消了数据流。在GCP控制台中，似乎没有重新启动它的选项--这是通过控制台还是通过shell (如果是，如何实现的)进行的吗？
浏览 11提问于2018-01-03得票数 12
回答已采纳
我有和链接到BigQuery。我需要对数据执行一些操作，然后从DataStudio读取转换后的数据以生成仪表板。根据插入日期设置一个具有每日粒度的表分区，根据插入日期( things:Setup )之一运行一次调度查询，每24小时运行一次，从新分区读取数据，转换数据，将其复制到表中，格式化后的数据安装-- Apps脚本或云函数--每天或根据创建新分区的事件(可能的任何情况)来处理数据Setup DataFlow，以处理数据(在将数据放在
浏览 1提问于2022-03-23得票数 0
回答已采纳
我在本地sql服务器和GCP之间建立了VPN连接。我需要将超过1000万行的数据从sql服务器加载到bigquery。有没有办法做到这一点？我可以使用SSIS将数据加载到bigquery吗？我的团队领导要求使用数据流将数据加载到bigquery，而不是使用SSIS。
浏览 12提问于2019-12-18得票数 0
我有一个需求，我需要在Azure事件中心使用kafka主题。需要创建将使用作为参数提供的主题的POST端点。消息必须以kafka主题为属性，以消息内容为主体，在公共子主题上发送。
这是一个很高的要求。我看过以了解如何实现这一目标。但是，如果有人实时地实现了这一功能，即从Azure事件中心到google的事件，或者曾经进行过类似的实现，请提供帮助。
浏览 1提问于2021-06-03得票数 1
回答已采纳
我有一个数据流作业，首先从bigquery查询(在标准sql中)读取数据。它完美地工作在直接流道模式。但是，我尝试在数据流运行模式下运行此数据流，并遇到了以下错误：
响应：<{‘变异’：‘起源，X-起源，引用’，‘内容-类型’：‘应用程序/json；charset=UTF-8，“日期”：“清华，2020SQL: 551608533331:GoogleSearchConsole.search_query
浏览 6提问于2020-12-24得票数 0
我们正在使用Dataflow Flex模板，并遵循本指南(https://cloud.google.com/dataflow/docs/guides/templates/using-flex-templates这在我们的环境中是有效的。但是，当我通过SSH连接到数据流VM并运行docker ps时，我发现它引用的docker镜像与我们在模板中指定的镜像(绿色下划线)不同： ? the results to a BigQuery&quo
浏览 17提问于2020-07-22得票数 2
回答已采纳
我正在尝试将一个sql查询实现为数据流中的转换。我从bigquery加载了一个表作为PCollection。我想像下面的查询一样聚合我的数据。SUM(amount) as some_amount , SUM(cost) as sum_cost FROM [project:test.day_0_test] GROUP BY 1,2,3我如何能轻松地实现它我听说数据流与Java支持在P集合上运行sql kind查询，但正确的python不支持。有
浏览 7提问于2018-01-03得票数 1
回答已采纳
我试图在BigQuery中使用新的标准SQL特性。但是，我在文件中找不到关于如何做以下工作的参考资料：
我试图把它转到以下几个方面：我本来希望像在SQL中一样使用枢轴函数，但在BigQuery标准SQL特性中，我找不到创建枢轴是如何工作的
浏览 9提问于2016-07-27得票数 2
回答已采纳
在新的UTC (标准)中，您可以使用DATE(some_time_stamp, "Asia/Jerusalem")将BigQuery转换为本地时区。我在BigQuery的遗留SQL中找不到这样的函数。
如何在BigQuery中使用旧版SQL将UTC时间戳转换为时区时间？
浏览 2提问于2017-05-15得票数 1
目前，我有一个系统，希望通过Google函数将该系统中的数据发送到BigQuery (使用Python)。我的想法是分两个简单的步骤：
因为我想使用这个系统每天触发超过一千次，我想我需要一个更
浏览 5提问于2022-06-28得票数 0
回答已采纳
1回答
继我在谷歌中找到的之后，我尝试做一个示例设置，在pubsub中发布消息，并使用dataflow sql将其加载到bigquery表中。但是，当我创建数据流作业时，会出现以下错误：
请帮
浏览 11提问于2022-07-07得票数 0
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
