我一直在使用and DSL，如果不提供一个能够手动识别输出模式的编码器，我就无法使用查询的输出。我可以推断输出模式而不是硬编码它吗？schema (org.apache.beam.sdk.values.RowWithStorage)
org.apache.beam.sdk.Pipeline$Pi
浏览 1提问于2018-09-05得票数 1
回答已采纳
我希望有来自Beam (SqlTransform)输出的嵌套行，但是失败了。
SELECT ROW(foo, bar) as my_nested_row FROM PCOLLECTION
浏览 5提问于2021-09-18得票数 0
回答已采纳
我将向kafka输入多个表的数据，beam将在获得数据后执行SQL，但现在有以下错误：org.apache.beam.sdk.values.PCollection.getSchema(PCollection.java:328) org.apache.beam.sdk.extensions.sql.impl.schema.BeamPCollectionTable.(BeamPCollectionTable.java
浏览 10提问于2019-11-22得票数 0
回答已采纳
1回答
是否可以在Beam中应用嵌套查询？我试图在Beam中运行这样的查询，但得到了错误。我正在运行的查询是： BeamSql.queryMulti("Select：
org.apache.beam.sdk.extensions.sql.impl.planner.BeamQue
浏览 1提问于2018-01-19得票数 0
回答已采纳
我正在试用shell中的BeamSQL，并想测试无界源代码在可用性和性能方面是如何工作的。通过阅读here上的文档，我创建了一个外部表，如下所示- CREATE EXTERNAL TABLE pubsub_table (event_timestamp TIMESTAMP, attributesINTEGER, location VARCHAR>)LOCATION 'projects/test-project/topics/test-topic'
浏览 23提问于2019-05-16得票数 1
回答已采纳
尝试使用apache sql中的聚合函数ApproximateDistinct.ApproximateDistinctFn，但失败了。我的SQL： SELECT profile, GROUP BY profile,country_code 以及我在Apache-Beam中调用此
浏览 16提问于2019-04-08得票数 0
2回答
我正在尝试使用ZetaSQL解析的SQL转换来运行Beam管道。我从设置选项开始当我尝试使用任何给定的查询创建: Provider org.apache.beam.repackaged.sql.com
浏览 29提问于2019-12-04得票数 0
如何实现beam sql udf函数将一列拆分为多列？.* FROM `table2`; beam sql udf函数是否也支持这种操作？我试图在beam udf函数中返回一个对象，但是beam sql似乎不支持object.*语法。有没有办法在beam中实现同样的udf？我尝试使用MapElement方法，但得到了错误，似乎输出行需要与输入行相同的模式，例如：
浏览 27提问于2020-04-16得票数 0
回答已采纳
1回答
下面有一个beamSql查询： new TupleTag<BeamRecord>("UDF以Weekint作为输入，并将其转换为日期格式，然后向其添加7，并以BigInt的形式返回值。(SqlTypeUtil.java:863)
at org.apache.beam.sdks.java.extensions.sql.repackaged.org.apache<
浏览 0提问于2018-07-09得票数 0
回答已采纳
在浏览时，我看到了Dataflow SQL。它和beamSQL有什么不同吗？
浏览 12提问于2020-02-17得票数 1
回答已采纳
我有一个数据流作业，首先从bigquery查询(在标准sql中)读取数据。它完美地工作在直接流道模式。但是，我尝试在数据流运行模式下运行此数据流，并遇到了以下错误：
响应：<{‘变异’：‘起源，X-起源，引用’，‘内容-类型’：‘应用程序/json；charset=UTF-8，“日期”：“清华，2020"，”错误“中不支持在字段上分区的查询表：{”消息“：”在Legacy SQL: 551608533331:GoogleSearchConsol
浏览 6提问于2020-12-24得票数 0
我正在运行这个beam tutorial的简化版本，但是在我的本地机器上使用DirectRunner运行它。import apache_beam as beamimport os
with beam.Pipeline我得到的错误消息是： Traceback (most recent call
浏览 29提问于2021-09-01得票数 0
回答已采纳
import apache_beam as beamfrom typing以下是我的数据流作业的输出日志： "An exception was raised when trying to execute the workitem 6665479626992209510 : Traceback我使用这个https:
浏览 63提问于2021-02-01得票数 0
但是，当我想要从嵌套类型集合中获取特定列作为详细信息时，就会出现错误，比如找不到列名。使用2.12.0 apache beam版本。下面是details嵌套值的示例数据(details具有电子邮件和电话列。因此，每行的详细信息列表的数量为'n‘。(CalciteUtils.java:171)
at org.apache.beam.sdk.extensions.sql.impl.rel.Beam
浏览 12提问于2019-05-08得票数 0
线程"main“java.lang.UnsupportedOperationException中的异常:当前只支持非全局窗口使用已知每个窗口生成一次输出的触发器加入无界PCollections，例如默认触发器:98) at org.apache.beam.sdk.extensions.sql.impl.rel.BeamJoinRel$StandardJoin.expand(BeamJoinRel.java:330) at org.apache.beam
浏览 0提问于2019-07-08得票数 1
回答已采纳
我有以下代码来运行直接运行在windows上的apache beam中的sql转换。import apache_beam as beam
浏览 0提问于2021-06-15得票数 1
这是存在的 "SELECT bnk_name,state_name,val from
浏览 2提问于2018-11-23得票数 0
问题陈述：{ lastname_1, firstname_2, firstname_3,} ----------------------------firstname_1,lastname_1,dob), (fir
浏览 15提问于2020-05-29得票数 0
1回答
我是数据流的新手，并且尝试在大查询中动态获取表的模式。此外，我还需要在BigQueryIO.write.to()中使用动态目标类来动态获取目标表的名称。如果在执行管道之前为目标表提供了模式，那么它就会起作用。但是为了动态地获取模式，我使用了BigQuery片段，它接受datasetId和tableId作为输入，并返回给定表的模式。当尝试运行带有代码段的管道时，它会
浏览 2提问于2018-07-06得票数 0
我想生成一个无界的行集合，并使用Apache Beam Calcite SQL方言和Apache Flink运行器对其运行一个SQL查询。基于Apache Beam的源代码和文档，您可以使用表提供程序：GenerateSequenceTableProvider来做类似的事情。但是我不知道如何在Beam SQL CLI之外使用它。我想在我的常规Ja
浏览 46提问于2020-12-06得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
