下面是我的java udf代码， return false; return true;}我在单元中有一个表名作为示例，并希望在shell上运行在sql下面。> select
浏览 2提问于2019-02-19得票数 1
我正在尝试使用spark.read来获取我的UDF中的文件数，但当我执行该程序时，它会在这一点挂起。 我正在调用dataframe的withcolumn列中的UDF。udf必须读取一个文件并返回它的计数。但它不起作用。我将一个变量值传递给UDF函数。当我删除spark.read代码并简单地返回一个数字时，它可以工作。但是spark.read不是通
浏览 24提问于2019-04-15得票数 2
我正在尝试为Spark创建一个Scala，它可以在Spark中使用。该函数的目标是接受任何列类型作为输入，并将其放入ArrayType中，除非输入已经是ArrayType。下面是我到目前为止掌握的代码：importorg.apache.spar
浏览 8提问于2022-05-06得票数 0
我已经编写了一个UDF，它基本上计算给定的IP地址是否在cidr列表中。我可以从scala调用我的UDF，它工作得很好，但是当我从spark sql调用udf时，它抛出了这个错误。请帮帮我。下面是isinlist函数，运行良好。但是当我从spark sql调用isinlist函数时，它显示下面的错误。$read$$iwC$$iwC$$iwC$$iwC$$iwC$$$$3baf9f919752f0ab
浏览 4提问于2017-08-12得票数 0
)df = (spark.read.format("xx.xxx.xx.xx").toByteStr = udf(bytes, StringType())
df = (spark.read.format("xxx.xxx.xxx.xx但是，当我想注册为一个udf并在spark集群上并行工作
浏览 5提问于2018-01-14得票数 0
我有个案课以及返回scala.collection.immutable.Map的用户定义函数 "extras_udf",
(age : Int, name : String) => Map("age" -> age.toString,
浏览 2提问于2016-07-21得票数 1
回答已采纳
scala> val df = spark.read.format("csv").option("header", df: org.apache.spark.sql.DataFrame= [_c0: string, Month: string ... 28
scala> v
浏览 2提问于2016-09-29得票数 0
回答已采纳
API with caution;
在Spark3.0中，默认情况下不允许使用org.apache.spark.sql.functions.udf在SparkVersion2.4和更低版本中，如果org.apache.spark.sql.functions.udf(AnyRef，DataType)获得带有基元类型参数的Sc
浏览 9提问于2020-12-03得票数 6
回答已采纳
1回答
/bin/python3.6" --conf "spark.pyspark.driver.python=/usr/bin/python3.6"@F.udf "country", get_phone_number_country_iso("phone_number"
浏览 0提问于2021-01-31得票数 1
1回答
DataFrame列中。我试着逃走val df_with_result = df.withColumn("result", my_udf(RDD.scala:323) at org.apache.spark.scheduler
浏览 0提问于2017-07-13得票数 12
回答已采纳
使用python3.6测试现有的代码，但是一些人不知道问题出在哪里，以前使用python2.7的udf是如何工作的。有没有人在本地或分布式环境中遇到类似的问题？, in read_udfs File "/opt/cloudera", line 119, in read_single_
浏览 4提问于2020-01-15得票数 1
我正在开发一个spark 2.0.0版本，其中我的需求是在我的sql上下文中使用'com.facebook.hive.udf.UDFNumberRows‘函数来使用其中一个查询。在我的集群with Hive查询中，我将其用作临时函数，只需定义:创建临时函数myFunc为'com.facebook.hive.udf.UDFNumberRows'，这非常简单。<init>(Dataset.
浏览 1提问于2016-11-02得票数 5
我在Azure DataBricks中注册为UDF的Scala函数如下(Spark2.3.1和Scala2.11)：%sql在SparkSql它提到了
浏览 1提问于2018-12-04得票数 0
回答已采纳
我用Scala编写了以下UDF：import java.util.zip.String = { val output = scala.io.Source.fromInputStreamreturn output
val decompressUdf = (c
浏览 1提问于2021-05-01得票数 0
回答已采纳
我试图在ApacheSpark2.4.0中使用 (macOS 10.14.3 ( macOS Mojave) )。 at org.apache.spark.sql.execution.python.ArrowPythonRunner$$anon$1.read(ArrowPythonRunner.scala:178)
at org.apache.
浏览 0提问于2019-03-27得票数 5
回答已采纳
我正在尝试将一个word2vec模型对象传递给我的spark udf。基本上，我有一个带有电影I的测试集，我希望将这些I与model对象一起传递，以获得每一行的推荐电影数组。def udfGetSynonyms(model: org.apache.spark.ml.feature.Word2VecModel) =
udf((col : String) => {当我在udf之外运行model.findSynonymsArray("20"，1)时，我得
浏览 3提问于2018-04-27得票数 3
at org.apache.spark.api.python.PythonRunner$$anon$1.read(PythonRDD.scala:193)at org.apache.spark.api.python.PythonRunner.compute(PythonRDD.scala:152)at org.apa
浏览 0提问于2017-07-11得票数 3
回答已采纳
如何使用Spark会话实现Spark2中UDF的方法重载。scala> spark.udf.register("func",(a:String)=>a.length)
以下是我的蜂巢表，名为“orc”及其描述
scala>
浏览 0提问于2018-03-21得票数 0
回答已采纳
以下代码在2.4.0之前的Spark版本(2..*)中运行良好import org.apache.spark.sql.functionslocal[*]").getOrCreate .option("delimiter",kn
浏览 1提问于2018-11-27得票数 4
我在pyspark中将scipy函数作为udf运行时遇到了问题。
但是，当我尝试创建一个udf函数来使用pyspark运行它时：
# calculate anovaarg_offsets, udf = read_single_udf(pickleSer, infile, eval_type
浏览 14提问于2019-07-31得票数 1
回答已采纳
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号