1回答
我从hive提取了一些数据到dataframe，格式如下所示。 E值，并创建一个新的云，在另一列中具有相应的信号值，如下所示。UDF#1： def UDF_E:UserDefinedFunction=udf((r: Row)=>{ +-------+-------------+----
浏览 44提问于2019-10-11得票数 0
回答已采纳
1回答
是否有可能发送一个火花数据作为一个论据给熊猫UDF和得到一个熊猫的数据作为回报。下面是我正在使用的示例代码集，并且在调用函数时出错：from pyspark.sql import SparkSessiondef count_udf(v: pd.DataFrame) -> pd.DataFrame:
浏览 4提问于2020-11-26得票数 1
回答已采纳
我有一个spark scala udf，它接受一个参数作为dataframe的列，另一个参数作为列表，但当我运行该函数时，它抛出错误，指向列表参数为我正在运行udf，参数如下：请指导
浏览 2提问于2018-08-19得票数 0
我有一个dataframe，我想检查它的列中是否至少包含一个关键字：import pyspark.sql.functions as0: else:
df = spark.createData
浏览 2提问于2020-05-06得票数 2
回答已采纳
我想根据现有列的内容添加一个额外的列，其中新列的内容来自于对原始列运行外部API调用。df2.cache()此代码的目
浏览 0提问于2018-04-05得票数 0
回答已采纳
我有一个PySpark Dataframe (df)，并试图添加一个列(capital_names)，它将是一个现有的列(名称)，其名称被转换为大写字母。我所做的工作如下： return text.upper()
df2 =df.withColumn("capital_names",udf_capital("names"
浏览 4提问于2021-01-05得票数 3
回答已采纳
我正在尝试从pandas_udf返回一个特定的结构。它在一个集群上工作，但在另一个集群上失败。我尝试在组上运行udf，这需要返回类型为数据框架。from pyspark.sql.functions import pandas_udfimport numpy as np oneCar.loc[1:, 'Lati
浏览 2提问于2018-03-26得票数 5
回答已采纳
1回答
(left_on=column1, right_on=column2, window=41)
它基本上比较一列和另一列，并为可能相同的列生成索引对(记录匹配)。我的代码：df2 = spark.read.load(*.csv)
func_udf = udf(index.indexer) ????df = df.withColumn('c
浏览 0提问于2018-07-25得票数 0
回答已采纳
我是pyspark中的pandas udf的新手，需要帮助为大型数据帧(>1亿行)中的每一行应用udf。我的dataframe中有一列，其中包含使用dataframe中的列的多个条件。对每一行应用条件的最好方法是使用python eval。当在python udf中使用python eval时，它工作得很好，但是运行起来需要很长时间，因为我有几百万行。同样，在Pandas udf中尝试
浏览 29提问于2021-06-25得票数 0
2回答
我试图使用一个UDF，它接受2列，然后在每一列的每一行上同时运行一个函数。当我在列上做.dtypes时，我得到：当我对其中一列进行一次(1)时，我会得到一个
Array[org.apache.spark.sql.Row] = Array([WrappedArray(1234, 4567, 789, 1346)])
浏览 0提问于2018-04-09得票数 1
回答已采纳
我正在尝试替换Spark dataframe的单个列中":“--> "_”的所有实例。我正在尝试这样做： s.replaceAll(":","_")val url_cleaner_udf = udf(url_cleaner)
val df = old_df.withColumn("newCol", url_cleaner_udf(old
浏览 0提问于2016-09-04得票数 6
回答已采纳
我有一个dataframe，我想对每一行应用一个函数。此函数依赖于其他数据帧。 prev_value = value
def get_score_for_key(scores_df,
浏览 0提问于2017-11-27得票数 7
回答已采纳
2回答
问题：在调用User Defined Function (UDF)时，我似乎没有在下面的代码中做一些正确的事情。为什么输出不是“这是一个测试”？pyspark.sql import functions as F
new_name = F.udf
浏览 13提问于2022-07-14得票数 0
1回答
我对apply函数缺乏很好的理解，这可能会导致在遍历dataframe (其中一列是字符)时出现错误消息。当我将其中一个列更改为字符时，如果我一个接一个地传递dataframe的行，那么我的UDF仍然工作。然而，一使用apply，就会得到以下错误：
浏览 0提问于2018-10-03得票数 0
回答已采纳
我不确定，这个异常是发生在某些行上，还是总是因为dataframe很大而无法指向行。").filter(word => (word.matches("[a-z]+") && (word.length > 1))).mkString(" ")似乎我们无法在UDF中创建数据。难道不可能在UDF中创建临时数据吗？
浏览 0提问于2018-11-30得票数 0
回答已采纳
2回答
我创建了一个简单的UDF来转换或提取spark中temptabl中的时间字段的一些值。我注册了该函数，但是当我使用sql调用该函数时，它抛出了一个NullPointerException。java.text.SimpleDateFormat("HH:mm") return sdf.format(time1)注册函数
sqlContext.udf.register
浏览 14提问于2016-07-28得票数 11
回答已采纳
我正在尝试在Scala中对Spark dataframe的列应用函数。该列是字符串类型，我想用"_“分隔符将字符串中的每个标记连接起来(例如"A B“--> "A_B")。我这样做的原因是：val myUDF = udf(converter)
浏览 3提问于2016-09-03得票数 2
回答已采纳
当我在jupyter笔记本上运行以下代码时，它不会出错。df = pd.DataFrame({'a': a, 'b': b})#print(multiply_func(x, x))# 1 4# dtype: int64
# Create a Spark
浏览 5提问于2021-08-30得票数 2
回答已采纳
我有一个dataframe，它由两个列组成，一个是Int，另一个是字符串：|user_id |token419| Grilling|我需要在Word2Vec词汇表中为" token“列中的每个令牌找到我试图在udf中使用findSynonymsArray方法：
def getSyn( w2v : Word2VecModel )
浏览 0提问于2018-11-14得票数 2
回答已采纳
1回答
使用UDF处理多列时堆栈溢出
、、、、
我有一个DataFrame，它有许多str类型的列，我想对所有这些列应用一个函数，在不重命名它们的名称或添加更多列的情况下，我尝试使用一个执行withColumn的for-in循环(参见下面的例子)，但是通常当我运行代码时，它会显示一个Stack Overflow (它很少工作)，这个DataFrame一点也不大，它只有~15000条记录。# df is a DataFrame r
浏览 2提问于2016-01-28得票数 6
回答已采纳
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号