1回答
我正在构建一个spark应用程序，它依赖于一个java库。, String]) = udf((data: String) => {}) 这个函数可以作为myfunc(properties)(data)从spark shell调用，其中属性是一个映射，数据是列类型。问题是我需要通过scala文件中的反射来调用它。如何以及在何处传递Column参数？或者，是否
浏览 21提问于2019-06-19得票数 1
回答已采纳
我试图从Spark Java UDF中访问Iceberg表，但在UDF中运行第一个SQL语句时出现错误。下面是我如何在UDF中创建Spark会话： SparkSession spark = .master(...("USE db"); 我注意到Spark配置中的环境变量( Jupyter config = spar
浏览 56提问于2021-05-11得票数 0
我已经编写了一个UDF，它基本上计算给定的IP地址是否在cidr列表中。我可以从scala调用我的UDF，它工作得很好，但是当我从spark sql调用udf时，它抛出了这个错误。请帮帮我。但是当我从spark sql调用isinlist函数时，它显示下面的错误。at $line926276415525.(Iterat
浏览 4提问于2017-08-12得票数 0
因此，我想创建一个可以在Pyspark中使用的scala UDF。它适用于Scala Spark。 我的问题是试图让这个在pyspark中可调用。import org.apache.spark.sql.functions.udfimport org.apache.spark.sql.api.java.UDF
浏览 29提问于2020-10-09得票数 4
回答已采纳
我正在尝试为Spark创建一个Scala，它可以在Spark中使用。该函数的目标是接受任何列类型作为输入，并将其放入ArrayType中，除非输入已经是ArrayType。下面是我到目前为止掌握的代码：importorg.apache.spark.sql.types._
浏览 8提问于2022-05-06得票数 0
2回答
创建了一个项目‘spark udf’&编写的单元udf如下所示：import org.apache.hadoop.hive.ql.exec.UDF
spark.sql("CREATE OR REPLACE FUNCTION uppercase AS 'com.spark.
浏览 4提问于2018-09-04得票数 5
回答已采纳
如何使用Spark会话实现Spark2中UDF的方法重载。scala> spark.udf.register("func",(a:String)=>a.length)
以下是我的蜂巢表，名为“orc”及其描述
scala<
浏览 0提问于2018-03-21得票数 0
回答已采纳
我有下面的Scala代码引用第三方库，import com.protegrity.spark.udf.ptyProtectStrimport com.protegrity.spark.udf.ptyProtectInt
class ptyProtectStr extends UDF2[St
浏览 14提问于2020-07-18得票数 0
1回答
我在Scala和spark sql中工作，在那里我想调用UDF，它有多个参数。我不知道我的电话出了什么问题 udf是 private def parseJsonUdf: UserDefinedFunction = udf(parseJson _) df.withColumn(field, parseJsonUdf(col("data"), lit(fie
浏览 17提问于2020-06-19得票数 0
我有一个简单的调用Scala函数的spark UDF。Scala函数目前使用'Long‘类型，如下所示 }
由于spark不支持Any类型，有没有一种方法可以传递一个泛型类型，可以在Long、Int或Double类型中工作，而
浏览 2提问于2017-08-24得票数 0
输入-预期输出-有人能解释一下如何使用Java在Spark中实现这一点吗？
浏览 9提问于2021-09-22得票数 1
我有一个包含url编码字符串的dataframe列，如下所示：someDF.withColumn('newcol', URLDecoder.decode( col("mystring"), "utf-8" ))| mystring | newcol || ThisIs%201rstString | ThisIs 1rstStr
浏览 0提问于2020-09-09得票数 3
我使用一个名为Point(x: Double，y: Double)的数据类型。我尝试使用列_c1和_c2作为Point()的输入，然后创建一个新的Point值列，如下所示然后我调用这个函数：但是，当我
浏览 2提问于2017-04-27得票数 1
但是，我希望将该列展平，以获得一个Array[Map[String,String]]类型的列，其中包含两个原始列的值 我从Spark2.4中读到，可以直接在列的连接上应用flatten。如下所示： df.withColumn("concatenation", flatten(array($"colArrayMap1", $"colArrayMap2"))) 但是我仍然使用Spark 2.2，所以我需要使用udf。$ofRef c
浏览 30提问于2020-12-24得票数 0
回答已采纳
我使用Spark2.4已经有一段时间了，最近几天我刚刚开始使用Spark3.0。API with caution;
在Spark3.0中，默认情况下不允许使用org.apache.spark.sql.functions.udf建议删除要自动切换到类型化Scala的返回类型参数，或者将spark.sql.legacy.allowUn
浏览 9提问于2020-12-03得票数 6
回答已采纳
1回答
我试着把一个完整文件的最后一个文件处理掉，我的代码看起来就像Error:(39, 29) overloaded method value register with alternatives:
(name: String,f: org.apache.spark.sql.api.java.UDF22[_, _, _, _, _, _,
浏览 3提问于2018-06-28得票数 1
回答已采纳
我正在开发一个spark 2.0.0版本，其中我的需求是在我的sql上下文中使用'com.facebook.hive.udf.UDFNumberRows‘函数来使用其中一个查询。<init>(Dataset.scala:186) at org.apache.spark.sql.Datase
浏览 1提问于2016-11-02得票数 5
我在Spark中使用Scala从withColumn内部调用udf时收到错误。当使用SBT构建时，会发生此错误。{ }else "-1" }else "-1")scala:58: No TypeTag available for String
浏览 0提问于2016-07-04得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
