2回答
Spark创建不接受输入的UDF
、、、、
我想向我的Spark dataframe添加一个具有随机生成的id的列。为此，我使用UDF调用UUID的随机UUID方法，如下所示： UUID.randomUUID().toString()val newDf = myDf.withColumn("id&q
浏览 4提问于2017-01-26得票数 5
回答已采纳
当注册低于错误的UDF函数时，其他UDF函数正在工作，但只有这个UDF提供问题。错误: org.apache.spark.sql.Datasetorg.apache.spark.sql.Row类型的架构不支持spark.udf.register("udfname",udf_name _) de
浏览 2提问于2017-03-28得票数 0
我有一个有几列的pyspark dataframe col1 col2 col31. 2.1. 3.2-------------------f3(5.1) 我尽量避免为每一列定义一个udf，所以我的想法是从每一列应用一个函
浏览 49提问于2020-07-29得票数 0
回答已采纳
我在一个项目中使用一个库，这对我来说是非常新的，尽管我在其他项目中使用它，没有任何问题。org.joda.time.DateTime
val end = new DateTime(timespanEnd * 1000)
其中，getState()函数返回编辑：在构建数据帧时，我使用开始日期和结
浏览 0提问于2019-07-02得票数 3
回答已采纳
1回答
我知道我可以注册一个UDFand函数，因为它可以在SQL查询中使用： return len(s)spark.sql("SELECT example_udf(col) FROM data")
或者我可以用udf包装Python函数，这样就可以将它应用于d
浏览 1提问于2018-04-13得票数 0
回答已采纳
我正在尝试使用不带collecting (操作)的findSynonyms操作。下面是一个例子。我有一个保存向量的DataFrame。.|我想在这个DataFrame上使用findSynonyms。然后我了解到，spark不支持嵌套转换或操作。一种可能的方法是收集此DataFrame，然后运行findSynonyms。如何在DataFrame级别上执行此操作？
浏览 2提问于2017-05-16得票数 1
1回答
是否有可能发送一个火花数据作为一个论据给熊猫UDF和得到一个熊猫的数据作为回报。下面是我正在使用的示例代码集，并且在调用函数时出错：from pyspark.sql import SparkSession
.builder \
.appName("
浏览 4提问于2020-11-26得票数 1
回答已采纳
2回答
我在使用Spark和Databricks，并有以下代码： return when(col(column) !(column)).otherwise(None)x = rawSmallDf.withColumn("z", replaceBlanksWithNulls("z"))replaceBlanksWithNulls_Udf</em
浏览 1提问于2019-05-09得票数 7
回答已采纳
我们如何在动态框架或数据框架上使用PySpark (Python)在AWS-Glue脚本中编写用户定义的函数？
浏览 1提问于2018-09-21得票数 1
1回答
我有一个.Net控制台应用程序，它对给定的输入执行一些操作并提供输出。在此基础上编写了星火包装器，并在本地运行良好。面对安装此.NET的问题，将包和依赖项发布到Azure集群中(随附此笔记本)。().Register("UDF_GetName", getName);
DataFrame dataFrame= <
浏览 2提问于2022-10-18得票数 0
回答已采纳
我有一个dataframe，我对它应用了一个函数。此函数返回一个numpy array，代码如下：dataframe = dataframe.withColumn('vector', create_vector_udf('text'))
dmoz_spark_df.se
浏览 4提问于2017-07-07得票数 10
我用Scala编写了以下UDF：import java.util.zip.return output Decompress(compressed)然后，我尝试使用
浏览 1提问于2021-05-01得票数 0
回答已采纳
1回答
我必须用python开发一个Spark脚本来检查一些日志，并验证用户是否在两个事件之间更改了他的IP的国家。我在HDFS上保存了一个包含IP范围和相关国家/地区的csv文件，如下所示：0.0.0.0, 10.0.0.0, Italy
10.0.0.1, 20.0.0.0Spark Dataframe加载这两个文件，并且已经使用lag函数修改了包含日志
浏览 11提问于2017-01-11得票数 1
作为输入，我有一个包含int值的csv文件。我还设计了一些用于numpy数组输入的python函数，这些函数需要应用于星火DataFrame。np.sqrt(np.mean(np.diff(f
浏览 4提问于2021-02-08得票数 2
回答已采纳
2回答
我创建了一个简单的UDF来转换或提取spark中temptabl中的时间字段的一些值。我注册了该函数，但是当我使用sql调用该函数时，它抛出了一个NullPointerException。下面是我的函数和执行它的过程。我在用齐柏林飞艇。奇怪的是，昨天它还在工作，但今天早上它停止了工作。time1 = sdf.parse(time)
retur
浏览 14提问于2016-07-28得票数 11
回答已采纳
4回答
我有一个UDF表示我想在一个单独的方法中创建这个UDF，或者可能是其他实现类，并将其传递给另一个使用它的类。假设我有一个A类 def testMethod(): DataFrame = { }
浏览 2提问于2017-07-27得票数 1
对于通过pyspark的Spark dataframe，我们可以使用pyspark.sql.functions.udf来创建一个user defined function (UDF)。我想知道我是否可以在udf()中使用Python包中的任何函数，例如来自numpy的np.random.normal？
浏览 0提问于2015-04-07得票数 8
1回答
我正在尝试将python函数转换为UDF，以便在上使用。该函数将列名与列值连接起来，然后以行方式连接生成的字符串。']})
d2 = dataframe.astype(str).radd(dataframe.columns + ':')dd_spark = spark.createDataFram
浏览 3提问于2021-07-21得票数 2
回答已采纳
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号