我使用PySpark 2.4.0并在pyspark中执行以下代码Python 2.7.16 (default, Mar 25 2019, 15:07:04)>>> from pyspark.sql.functions import pandas_udf, PandasUDFType
>>> from <
浏览 6提问于2019-03-27得票数 4
回答已采纳
1回答
我正在尝试将使用泡菜检索的scikit模型应用于结构化流数据流的每一行。我尝试过使用pandas_udf (版本1)，它给了我这个错误：代码：pyspark.sql.types import *
data_schema = data_spark_ts.schema
浏览 4提问于2019-11-20得票数 1
回答已采纳
1回答
我正在尝试基于下面的spark文档使用PySpark 2.4，pyarrow版本0.15.0和pandas版本0.24.2执行pandas_udf，在调用pandas_udf函数时有问题。import pandas as pdfrom pyspark.sql.types impor
浏览 1提问于2020-11-06得票数 0
1回答
我把下面的UDF从派克的网站，因为我试图了解，如果有一个性能改善。我做了大量的数字，但两者的时间几乎相同，我做错了什么？from pyspark.sql.functions import col, udf# 0 1# 2 9end = time.ti
浏览 1提问于2020-05-12得票数 3
回答已采纳
1回答
我是Spark Streaming和Pandas UDF的新手。我在kafka的pyspark consumer上工作，有效负载是xml格式，并试图通过应用pandas udf来解析传入的xml @pandas_udf("col1 string, col2 string="string" )
data=df.selectExpr("CAST(value AS STRING)
浏览 40提问于2020-12-04得票数 1
1回答
我有一个Python包，其中有一个模块，其中包含要在PySpark设置中使用的UDF。在运行单元测试时，我已经想出了一种初始化和关闭Spark会话的方法，但是我在创建文档时遇到了问题。我使用的是，所以我只需运行make clean docs并遇到以下错误：
File "/usr/local/lib/python3.9/site-packages/pyspark/sql&
浏览 8提问于2022-03-31得票数 1
回答已采纳
在spark.sql查询中注册和使用pyspark version 3.1.2内置函数的正确方式是什么？ 下面是一个创建pyspark DataFrame对象并在纯SQL中运行简单查询的最小示例。尝试使用...TypeError: Invalid argument, not a string or column: -5 of type <class 'int'>.For column literals, use 'lit', '
浏览 4提问于2021-08-19得票数 0
回答已采纳
我在下面的代码中遇到了pandas_udf错误。代码是创建一个基于另一列的数据类型的列。相同的代码适用于正常的较慢的udf (注释掉)。# from pyspark.sql.functions import udffrom pyspark.sql.functions import pandas_udf</
浏览 109提问于2019-11-28得票数 3
回答已采纳
我定义了一个pandas udf函数，并希望将除pandas.Series或pandas.DataFrame之外的其他参数传递给udf函数。我想使用partial函数来做这件事，但它出错了。我的代码如下： from functools import partial
from pyspark.sql importSparkSess
浏览 15提问于2019-12-18得票数 0
回答已采纳
2回答
如何在PySpark SQL中实现用户定义的聚合函数？pyspark version = 3.0.2作为一个最小的例子，我想用一个UDAF替换AVG聚合函数：sql：Out[2]:0 1 1.5在查询中，如何使用UDAF替换AVG？import numpy as np
def udf</e
浏览 24提问于2021-03-09得票数 4
回答已采纳
1回答
我有一个大约200万行已经向量化的文本的数据(通过w2v；300个维度)。，对于新的单个向量输入，计算每一行的余弦距离最有效的方法是什么？我目前的方法使用了一个udf，花费了几分钟时间，对于我想要创建的webapp来说太长了。创建一个示例df：import pandas as pd
co
浏览 2提问于2018-02-27得票数 6
1回答
我很难在火星雨上使用熊猫的UDF。你能帮我理解一下这是如何实现的吗？以下是我的尝试：from pyspark.sql import SparkSession
from pyspark.sql.functions import pandas_udfudf而不是pandas_udf，但同样的例外情况也失败了。我可以<e
浏览 4提问于2021-10-27得票数 1
回答已采纳
2回答
我正在尝试使用pandas_udf部署一个简单的if-else函数。以下是代码：from pyspark.sql.functions import *
浏览 10提问于2021-01-13得票数 1
回答已采纳
请注意，“udf”可以在木星中进口。from pyspark.sql.functions import pandas_udf
ImportError:无法导入名称“pandas_udf”
有人知道怎么修吗？
浏览 1提问于2018-03-22得票数 3
当我的Flask+PySpark应用程序有一个带有@udf或@pandas_udf注释的函数时，它将不会启动。如果我简单地删除注释，它就会启动。例如，调试器在导入行(如从pyspark.sql.functions导入pandas_udf、udf、PandasUDFType )处停止。这些是进口品：from pyspark
浏览 5提问于2018-11-14得票数 3
我有三种不同的包含图像的PySpark数据。我想使用pandas_udf，因为我看到来自DataBricks的DeepImageFeaturizer现在被废弃了，pandas_udf现在被建议使用，但是我不知道如何将它用于这种类型的数据.
# Different，而image.data是要转换为pandas_udf的部分。另外，我认为pa
浏览 7提问于2020-06-30得票数 2
我正在尝试应用一个带有两个参数的pandas_udf。但是我得到了这个错误。首先，我尝试使用一个参数，它是可以的： from pyspark.sql.functions import pandas_udf, PandasUDFType| id| v|| 1| 1.0|| 2| 3.0||
浏览 24提问于2018-12-19得票数 3
我只有一列的dataframe。我想使用pyspark中的pandas_udf拆分字符串。因此，我有以下代码： from pyspark.sql.functions import pandas_udf, PandasUDFType
def split_msg_c6)).drop("_c6") 但这是行不通的</e
浏览 17提问于2019-10-03得票数 0
回答已采纳
我有一个从Hive Table读取数据并应用pandas udf的代码，当它从表中读取数据时，它在11个执行器中运行，但是当它执行一个pandas udf时，它只使用一个执行器。有没有办法指派10个执行者来执行pandas udf？spark.dynamicAllocation.enabled=false --conf spark.executor.instances=20 code_test.py
from
浏览 12提问于2020-10-01得票数 0
我知道当涉及到矢量化时，pyspark.sql.functions.pandas_udf会比pyspark.sql.functions.udf更快。
浏览 31提问于2020-12-19得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
