我想注册一个UDAF类(用Scala或Python编写)，并在Spark SQL中使用它。例如：// mock code:...然后我可以直接在spark sql中使用udaf，如下所示：
spark.sql("select
浏览 2提问于2019-02-01得票数 1
我正在尝试通过PyFlink中的自定义UDAF调用外部函数。我使用的函数要求数据在字典对象中。我尝试使用row(t.rowtime, t.b, t.c).cast(schema)来达到这样的效果。在UDAF之外，这个表达式工作得很好。在UDAF中，此表达式被转换为InternalRow，而不能转换为字典对象。 有没有办法强制使用Row而不是InternalRow？import row, col, lit, row_intervalfrom pyflink.ta
浏览 43提问于2021-06-18得票数 1
回答已采纳
1回答
我有一个巨大的时间序列数据，我想使用spark`s的并行处理/分布式计算来进行数据处理。需求是逐行查看数据以确定如下所需结果部分下指定的组，如果执行器之间没有某种协调，我就不能真正让spark分发这些数据lat-latitude,例如:取一小部分样本数据集来解释情况0 27 2810 27 2820 29 4930 27 28 Lat-long interva
浏览 1提问于2018-07-19得票数 7
我有一个数据帧，我想在其中groupBy列A，然后找到不同的统计数据，如平均值，最小值，最大值，标准差和分位数。 我可以使用以下代码找到最小值、最大值和平均值：df.groupBy("A").agg(min("B"), max("B"), mean("B")).show(50, false) 但是我找不到分位数(0.25，0.5，0.75)。我尝试了approxQuantile和percentile，但它给出了以下错误： 错误:未找到:值approxQuantile
浏览 91提问于2019-09-03得票数 1
回答已采纳
我有200Mil行，其中有1K个组，如下所示group1 0.054464866 0.002248819 0.299069804 0.763352879 0.395905106group1 0.839928517 0.290339179 0.050407454 0.75837838 0.495466007
group1 0.
浏览 3提问于2017-06-24得票数 1
最初，我认为使用新的Aggregator和udaf可以解决这个问题(如所示)，但udaf返回的是UserDefinedFunction，而不是UserDefinedAggregateFunction。
浏览 3提问于2021-03-25得票数 2
回答已采纳
1|[a -> 2.0, b -> 1.0]|+---+--------------------+ 目前，在Spark 2.4.6中，我能够使用udaf当我碰到Spark3时，我想知道我是否可以摆脱这个udaf (我尝试使用新方法aggregate，但没有成功)。 有没有一种有效的方法来做到这一点？(对于效率部分，我可以很容易地进行测试)
浏览 55提问于2020-10-14得票数 3
回答已采纳
1回答
# do something very complicated heresource_df.groupBy("Foo_ID").agg(UDAF(process_data))
现在的问题是-我应该用什么来代替UDAF
浏览 7提问于2022-09-22得票数 0
我正在尝试在Scala中将其实现为UDAF。Spark的版本是1.6.1。我尝试了两种方式调用我的UDAF (“中位数”)：val timeSeries = ... // get a DataFrametimeSeries.registerTempTable有没有办法使用UDAF作为窗口函数？例如，计算移动中位数(不是移动平均值，而是中位数)。
浏览 2提问于2016-06-06得票数 2
1回答
我尝试从Hive表中读取一行，并在Spark应用程序的其余部分中将其字段用作常量。 object IniConstHive extends Serializable { val firstrow: Row = techTbl.head
val my_firstfield: Double = firstrow.getAs[java.math.BigDecimal](0).d
浏览 7提问于2019-06-25得票数 1
我的UDAF返回一个数组，但我得到的是一个SemanticException，所以这可能并不重要。ADD JAR udaf.jar; sum(i) i, myUDAF(f
浏览 1提问于2016-05-27得票数 0
2回答
pyspark version = 3.0.2作为一个最小的例子，我想用一个UDAF替换AVG聚合函数：sqltoPandas()In [2]: rv id avg(value)1 2 3.5rv = sql.sql('SELECT id, udf_avg(value) FROM df GROU
浏览 24提问于2021-03-09得票数 4
回答已采纳
我想为这个逻辑实现一个UDAF。我想把这个叫UDAF -+---+-------++---+-------+| 2|[D,A,C]|我正在尝试写一个UDAF
浏览 0提问于2018-04-05得票数 1
1回答
我想实现我自己的自定义UDAF。https://hive.apache.org/javadocs/r3.1.2/api/org/apache/hadoop/hive/ql/exec/UDAF.html此文档说： Deprecated.
浏览 78提问于2021-11-07得票数 2
我在hive中有一个类似这样的表结构：1 A 26我希望将这些记录转换为与id对应的嵌套JSON，即，对于每个id，我的代码应该将对应的记录组合到一个JSON对象中。
浏览 2提问于2015-07-27得票数 0
例如，对于调试猪udfs，这是可行的：
我有一个hive脚本，我在其中使用了我的udaf，它失败了，所以我想单步执行udf代码。
浏览 7提问于2016-05-09得票数 2
当hive解析代码时，我得到了错误(如下所示)：CREATE TEMPORARY FUNCTION foo AS "com.mytest.udaf.HelloWorldFoo";
[
浏览 0提问于2014-08-25得票数 0
回答已采纳
1回答
我正在使用MariaDB10.3.9，并创建了一个用户定义的聚合函数(UDAF)，并将其放置在common_schema中。此架构包含我的实用程序函数，供同一服务器上的其他架构/数据库使用。
浏览 2提问于2018-10-01得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
