根据行值对pyspark dataframe应用UDF
根据行值对Pyspark DataFrame应用UDF是指在Pyspark中使用用户定义函数（UDF）根据行的值来操作DataFrame的过程。
UDF是一种自定义函数，可以使用多种编程语言（如Python、Java和Scala）编写。在Pyspark中，可以使用Python编写UDF，然后将其应用于DataFrame的每一行。
下面是一个完善且全面的答案：
概念： UDF（User Defined Function）是一种在数据处理过程中自定义的函数，用于对DataFrame中的数据进行自定义操作。
分类： 根据输入参数类型和输出结果类型的不同，UDF可以分为一元函数和多元函数。一元函数接受一个输入参数并返回一个结果，而多元函数接受多个输入参数并返回一个结果。
优势：
- 灵活性：UDF允许用户根据自己的需求定义数据处理操作，可以实现更复杂的转换和计算。
- 可重用性：用户可以在不同的数据处理任务中重复使用已定义的UDF。
- 扩展性：UDF可以根据用户需求进行扩展，支持更多的数据处理操作。
应用场景： UDF广泛应用于数据清洗、数据转换、数据分析等场景。例如，可以使用UDF将日期字符串转换为日期类型，对文本进行分词处理，计算列之间的差值等。
推荐的腾讯云相关产品： 腾讯云的云计算平台提供了一系列用于大数据处理和分析的产品和服务，其中包括：
- 腾讯云EMR：提供基于开源的大数据处理框架，如Hadoop和Spark，可以在云中快速搭建和管理大数据处理环境。
- 腾讯云CVM：提供可扩展的计算资源，适用于运行大数据处理作业和部署分布式应用程序。
- 腾讯云COS：提供可靠的对象存储服务，用于存储和访问大规模的非结构化数据。
产品介绍链接地址：
- 腾讯云EMR：https://cloud.tencent.com/product/emr
- 腾讯云CVM：https://cloud.tencent.com/product/cvm
- 腾讯云COS：https://cloud.tencent.com/product/cos
请注意，以上的答案是基于题目要求，不涉及亚马逊AWS、Azure、阿里云、华为云、天翼云、GoDaddy、Namecheap、Google等流行的云计算品牌商。
相关·内容
1回答
用PySpark计算形状值
、、、、
我正在寻找一种方法来减少在我的大型数据集上计算SHAP值所需的计算时间(大约180米行，6个特性)，我遇到了这个，讨论了如何在SHAP上使用PySpark。
我是PySpark新手，我正在努力弄清楚如何使用本文中提供的代码片段来运行我的代码。
我现在使用下面的代码运行SHAP，其中还使用了X_values来适应我的隔离森林模型。
X_values = X.values
shap_values = explainer.shap_values(X_values)
这是文章的片段。
def calculate_shap(iterator: Iterator[pd.DataFrame]) ->
浏览 6提问于2022-07-28得票数 2
我需要迭代pyspark.sql.dataframe.DataFrame.DataFrame的行。
我以前在pandas中用iterrows()函数做过，但我需要在不使用pandas的情况下为pyspark找到类似的东西。
如果我执行for row in myDF:，它将迭代columns.DataFrame
谢谢
浏览 1提问于2018-07-03得票数 1
回答已采纳
我想使用PySpark (Spark1.6.2)对存在于Hive表中的数值数据执行主成分分析(PCA)。我能够将Hive表导入到：
>>> from pyspark.sql import HiveContext
>>> hiveContext = HiveContext(sc)
>>> dataframe = hiveContext.sql("SELECT * FROM my_table")
>>> type(dataframe)
<class 'pyspark.sql.dataframe.D
浏览 1提问于2016-10-06得票数 4
回答已采纳
我有一个包含87列的PySpark数据格式。我希望将dataframe的每一行传递给一个函数，并为每一行获取一个列表，以便我可以单独创建一个列。
PySpark代码
UDF：
def make_range_vector(row,categories,ledger):
print(type(row),type(categories),type(ledger))
category_vector=[]
for category in categories:
if(row[category]!=0):
categor
浏览 0提问于2019-08-12得票数 0
1回答
我知道我可以注册一个UDFand函数，因为它可以在SQL查询中使用：
def example(s):
return len(s)
sqlContext.udf.register("example_udf", example)
spark.sql("SELECT example_udf(col) FROM data")
或者我可以用udf包装Python函数，这样就可以将它应用于dataframe：
from pyspark.sql.functions import udf
from pyspark.sql.types import IntegerType
浏览 1提问于2018-04-13得票数 0
回答已采纳
如何有效地在 DataFrame 中创建一个新列，该列是 spark 中其他行的函数
这是我描述的问题的spark实现
from nltk.metrics.distance import edit_distance as edit_dist
from pyspark.sql.functions import col, udf
from pyspark.sql.types import IntegerType
d = {
'id': [1, 2, 3, 4, 5, 6],
'word': ['cat', 'hat'
浏览 0提问于2018-01-09得票数 0
回答已采纳
我正在尝试将我的pandas代码转换为pyspark dataframe，并尝试在dataframe的一列上应用函数。我在pandas dataframe中做了一些如下的事情。在操作了几个列值之后，将新列添加到pandas数据帧中，如下所示。 from currency_converter import CurrencyConverter
def convert_USD_INR(row):
USD_amount = c.convert(row['Sales'], 'INR', 'USD', date=date(row['Ca
浏览 15提问于2020-01-03得票数 1
回答已采纳
1回答
如何将Vectors.dense列添加到pyspark中？
import pandas as pd
from pyspark import SparkContext
from pyspark.sql import SQLContext
from pyspark.ml.linalg import DenseVector
py_df = pd.DataFrame.from_dict({"time": [59., 115., 156., 421.], "event": [1, 1, 1, 0]})
sc = SparkContext(master="loc
浏览 1提问于2018-04-14得票数 1
回答已采纳
2回答
我有一个简单的spark，它有两个列，两个字符串；一个名为id，另一个名为name。我还有一个名为string_replacement的Python函数，它可以执行一些字符串操作。我定义了一个包装器UDF，它包含string_replacement并应用于数据帧的每一行。只有name列被传递给字符串操作函数。这是代码
# Import libraries
from pyspark.sql import *
import pyspark.sql.functions as f
from pyspark.sql.types import *
# Create Example Dataframe
浏览 0提问于2019-09-17得票数 3
2回答
我在pyspark中有一个非常简单的dataframe，类似于： from pyspark.sql import Row
from pyspark.mllib.linalg import DenseVector
row = Row("a", "b")
df = spark.sparkContext.parallelize([
offer_row(DenseVector([1, 1, 1]), DenseVector([1, 0, 0])),
]).toDF() 我想要计算这些向量的点积，而不是求助于UDF调用。 spark MLLIB documen
浏览 17提问于2019-05-02得票数 1
1回答
对于pyspark数据帧中的每一组坐标，我需要在另一个数据帧中找到最接近的一组坐标 我有一个包含坐标数据的pyspark dataframe (dataframe a)： +------------------+-------------------+
| latitude_deg| longitude_deg|
+------------------+-------------------+
| 40.07080078125| -74.93360137939453|
| 38.704022| -
浏览 22提问于2020-07-20得票数 0
在spark.sql查询中注册和使用pyspark version 3.1.2内置函数的正确方式是什么？ 下面是一个创建pyspark DataFrame对象并在纯SQL中运行简单查询的最小示例。 尝试使用...TypeError: Invalid argument, not a string or column: -5 of type <class 'int'>. For column literals, use 'lit', 'array', 'struct' or 'create_map' fu
浏览 4提问于2021-08-19得票数 0
回答已采纳
我在pyspark中有一个dataframe，结构如下：
DataFrame[Urlaubdate: string, Vacationdate: date, Datensatz: string, Jobname: string]
现在，我想通过比较vacationdate和urlaubdate来过滤数据帧，不幸的是它们有不同的数据类型。我想得到过滤的行，其中的假日日期是大于Urlaubdate。你知道怎么做吗？
浏览 5提问于2015-10-03得票数 1
2回答
使用
from pyspark.sql import functions as f
方法f.agg和f.collect_set I在dataFrame中创建了一个列colSet，如下所示：
+-------+--------+
| index | colSet |
+-------+--------+
| 1|[11, 13]|
| 2| [3, 6]|
| 3| [3, 7]|
| 4| [2, 7]|
| 5| [2, 6]|
+-------+--------+
现在，如何使用python/和pyspark只选择那些行，例如，3是
浏览 0提问于2018-06-11得票数 1
回答已采纳
4回答
我使用PySpark。
Spark ML的随机森林输出DataFrame有一个"probability“列，这是一个具有两个值的向量。我只想在输出DataFrame中添加两列"prob1“和"prob2"，它们分别对应于向量中的第一个和第二个值。
我尝试过以下几种方法：
output2 = output.withColumn('prob1', output.map(lambda r: r['probability'][0]))
但我得到的错误是'col应该是列‘。
关于如何将向量的列转换为值的列，有什么建议吗？
浏览 2提问于2016-05-19得票数 7
1回答
似乎不支持替换无穷大值。我尝试了下面的代码，但它不起作用。还是我漏掉了什么？
a=sqlContext.createDataFrame([(None, None), (1, np.inf), (None, 2)])
a.replace(np.inf, 10)
或者我必须走一条痛苦的道路:将PySpark DataFrame转换为DataFrame，替换无穷大值，然后将其转换回PySpark DataFrame。
浏览 7提问于2015-12-23得票数 6
回答已采纳
对于下面的dataframe中的每一行，我希望根据降序列条目查找列名(作为数组或元组或其他什么)。所以，对于数据
+---+---+---+---+---+
| ID|key| a| b| c|
+---+---+---+---+---+
| 0| 1| 5| 2| 1|
| 1| 1| 3| 4| 5|
+---+---+---+---+---+
我想找到
+---+---+---+---+---+------------------+
| ID|key| a| b| c|descending_columns|
+---+---+---+---+---+---
浏览 0提问于2019-07-02得票数 1
回答已采纳
根据我在网上找到的一些教程，我正在尝试运行以下代码：
import pandas as pd
from pyspark.sql import SparkSession
from pyspark.sql import functions
from pyspark.sql import udf
df_pd = pd.DataFrame(
data={'integers': [1, 2, 3],
'floats': [-1.0, 0.5, 2.7],
'integer_arrays': [[1, 2], [3, 4, 5], [6, 7, 8, 9
浏览 1提问于2019-03-01得票数 1
1回答
我很难在火星雨上使用熊猫的UDF。你能帮我理解一下这是如何实现的吗？以下是我的尝试：
import pyspark
from pyspark.sql import SparkSession
from pyspark.sql.functions import pandas_udf
from pyspark import pandas as ps
spark = SparkSession.builder.getOrCreate()
df = ps.DataFrame({'A': 'a a b'.split(),
'B&#
浏览 4提问于2021-10-27得票数 1
回答已采纳
2回答
我有一个dataframe，它的列是一个字符串数组。数组的某些元素可能会丢失，如下所示：
-------------|-------------------------------
ID |array_list
---------------------------------------------
38292786 |[AAA,, JLT] |
38292787 |[DFG] |
38292788 |[SHJ, QK
浏览 2提问于2020-10-27得票数 0
1回答
一位尝试理解UDF的pyspark初学者：
我有一个PySpark数据帧p_b，我正在调用一个UDF，通过传递数据帧的所有行。我想从行访问列debit。出于某种原因，这种情况并没有发生。请找到下面的代码片段。
p_b has 4 columns, id, credit, debit,sum
功能：
def test(row): return('123'+row['debit'])
转换为UDF
test_udf=udf(test,IntegerType())
在dataframe p_b上调用自定义函数
vals=test_udf(struct([p_b
浏览 16提问于2019-08-16得票数 0
我在为PySpark (python=2.7，pyspark=1.6)上的任务设计一个工作的python=2.7时遇到了麻烦。
我有一个data DataFrame，它看起来像这样：
+-----------------+
| sequence|
+-----------------+
| idea can|
| fuel turn|
| found today|
| a cell|
|administration in|
+-------------
浏览 0提问于2018-04-26得票数 0
回答已采纳
我有一个想要在PySpark 2.0中执行的操作，该操作作为df.rdd.map很容易执行，但由于出于性能原因，我更喜欢留在Dataframe执行引擎中，所以我想找到一种仅使用Dataframe操作来完成此操作的方法。
RDD风格的操作如下所示：
def precision_formatter(row):
formatter = "%.{}f".format(row.precision)
return row + [formatter % row.amount_raw / 10 ** row.precision]
df = df.rdd.map(precisio
浏览 9提问于2016-08-31得票数 0
1回答
我正在使用pyspark dataframe从每个行的数组中查找不同的计数:输入: col1 1,1,1 1,2,1,2
output:
1
3
2
I used below code but it is giving me the length of an array:
output:
3
3
4
please help me how do i achieve this using python pyspark dataframe.
slen = udf(lambda s: len(s), IntegerType())
count = Df.withColumn("Coun
浏览 10提问于2020-02-28得票数 1
回答已采纳
3回答
我正试图在pyspark中创建一个UDF，以使一列的精度达到在每一行中由另一列指定的精度，例如，下面的数据文件：
+--------+--------+
| Data|Rounding|
+--------+--------+
|3.141592| 3|
|0.577215| 1|
+--------+--------+
当提交给上述UDF时，应该给出以下结果：
+--------+--------+--------------+
| Data|Rounding|Rounded Column|
+--------+--------+-------------
浏览 0提问于2018-10-08得票数 1
回答已采纳
1回答
我有一个具有以下模式的pyspark dataframe +-----------+---------+----------+-----------+
| userID|grouping1| grouping2| features|
+-----------+---------+----------+-----------+
|12462563356| 1| A | [5.0,43.0]|
|12462563701| 2| A | [1.0,8.0]|
|12462563701| 1| B |
浏览 12提问于2021-01-21得票数 0
我正在尝试更改星火DataFrame中的几个列，我有几个列，如：
名字
姓
电子邮件
我希望匿名，并产生有意义的价值，其中使用。
但如果我用
df.withColumn('FirstName', lit(fake.first_name()))
它为所有行添加了相同的名称，如下所示：
正如您所看到的，它对每个名字都有相同的值，理想情况下，我希望有不同的伪值，而不是常量。我怎样才能做到这一点？
更新1：
我看了Steven的建议，这是我更新的代码
import pyspark.sql.functions as sf
from faker import Fa
浏览 3提问于2020-08-05得票数 4
5回答
查看新的spark API，还不清楚是否有可能修改DataFrame列。
如何更改数据文件的行x列y中的值？
在pandas中，这将是：
df.ix[x,y] = new_value
编辑：合并下面所说的内容，您不能修改现有的数据格式，因为它是不可变的，但是您可以返回一个新的数据格式，并进行所需的修改。
如果只想根据条件替换列中的值，如np.where
from pyspark.sql import functions as F
update_func = (F.when(F.col('update_col') == replace_val, new_value)
浏览 12提问于2015-03-17得票数 95
回答已采纳
1回答
我想将一些函数应用到pysaprk dataframe的列中，这是一个用UDF实现这一点的管理方法，但是我希望返回是另一个对象，而不是dataframe的一个列、一个熊猫数据框、一个python列表等等。
我使用分类器将每一列划分为类，但我希望结果是类的摘要，而不是修改，我不知道这是否适用于UDF。
我的代码是这样的
import numpy as np
import pandas as pd
import pyspark
from pyspark.sql import SQLContext
from pyspark.sql.functions import udf
from pyspark
浏览 0提问于2018-12-18得票数 1
回答已采纳
1回答
我是pyspark的新手，我想把我现有的pandas / python代码转换成PySpark。
我希望对我的dataframe进行子集，以便只返回'original_problem'字段中包含特定关键字的行。
下面是我在PySpark中尝试的Python代码：
def pilot_discrep(input_file):
df = input_file
searchfor = ['cat', 'dog', 'frog', 'fleece']
df = df[df['orig
浏览 0提问于2018-05-18得票数 3
回答已采纳
我有一个用例来映射基于条件的pyspark列的元素。通过这个文档，我找不到一个函数来执行映射函数。
因此，尝试使用pyspark映射函数，但无法将pyspark列转换为dataFrame
注意:我之所以使用pyspark列，是因为我从我使用的库(远大期望)中获得了它的输入。
@column_condition_partial(engine=SparkDFExecutionEngine)
def _spark(cls, column, ts_formats, **kwargs):
return column.isin([3])
# need to replace the abov
浏览 4提问于2021-11-19得票数 0
回答已采纳
我对Pyspark还不熟悉，我正在尝试在我现有的dataframe中添加一个新的列。新列应该只包含4个固定值(例如1,2,3,4)，我想随机为每一行选择一个值。
我怎么能这么做？
浏览 2提问于2016-06-29得票数 1
回答已采纳
我在PySpark中的向量列上使用UDF有困难，可以在这里说明如下：
from pyspark import SparkContext
from pyspark.sql import Row
from pyspark.sql.types import DoubleType
from pyspark.sql.functions import udf
from pyspark.mllib.linalg import Vectors
FeatureRow = Row('id', 'features')
data = sc.parallelize([(0, Vecto
浏览 2提问于2015-06-18得票数 2
回答已采纳
我在hdfs位置有一个csv文件，并已转换为dataframe，我的dataframe如下所示.
column1,column2,column3
Node1, block1, 1,4,5
Node1, block1, null
Node1, block2, 3,6,7
Node1, block2, null
Node1, block1, null
我想解析这个dataframe，我的输出dataframe应该在下面。
column1,column2,column3
Node1, block1, counter0:1,counter1:4,counter2:5
Node1, blo
浏览 1提问于2019-09-03得票数 0
org.apache.spark.functions.transform将一个函数应用于数组的每个元素(在Spark3.0中是新的)，然而，pyspark docs没有提到等效的函数 (有pyspark.sql.DataFrame.transform -但它用于转换DataFrames，而不是数组元素)
浏览 12提问于2020-12-06得票数 0
2回答
我有PySpark DataFrame：
from pyspark.sql.types import *
schema = StructType([
StructField("col1", StringType()),
StructField("col2", StringType()),
StructField("col3", StringType()),
StructField("col4", StringType()),
])
data = [("aaa", "aab", &
浏览 6提问于2022-10-17得票数 1
回答已采纳
我在Python语言中有一个有效的lambda函数，它可以计算dataset1中的每个字符串与dataset2中的字符串之间的最高相似度。在迭代期间，它将字符串、最佳匹配和相似度以及其他一些信息写入bigquery。没有返回值，因为该函数的目的是向bigquery数据集中插入一行。这个过程需要相当长的时间，这就是为什么我想使用Pyspark和Dataproc来加速这个过程。
将熊猫数据帧转换为spark很容易。我在注册udf时遇到了问题，因为它没有返回值，而pyspark需要一个返回值。此外，我不知道如何将python中的'apply‘函数映射到pyspark变体。因此，基本上我的问题
浏览 16提问于2019-07-19得票数 2
回答已采纳
我已经编写了一个模块，其中包含了在PySpark DataFrames上工作的函数。它们对DataFrame中的列进行转换，然后返回一个新的DataFrame。下面是代码的一个示例，缩短为只包含其中一个函数：
from pyspark.sql import functions as F
from pyspark.sql import types as t
import pandas as pd
import numpy as np
metadta=pd.DataFrame(pd.read_csv("metadata.csv")) # this contains metad
浏览 6提问于2016-03-10得票数 7
回答已采纳
我在一个基于类的视图中创建了一个pyspark，在另一个基于类的视图中，我拥有了我想要调用的函数，它们都位于同一个文件(api.py)中，但是当我检查由此产生的dataframe的内容时，我会得到以下错误：
ModuleNotFoundError: No module named 'api'
我不明白为什么会发生这种情况，我试着在pyspark控制台中做了一个类似的代码，它运行得很好。有一个类似的问题被问到，但区别在于我试图在同一个文件中这样做。
这是我的完整代码的一部分：api.py
class TextMiningMethods():
def clean_tweet
浏览 2提问于2020-03-22得票数 1
1回答
下面是两个最低限度的工作示例脚本，它们都在pyspark中调用一个UDF。UDF依赖于一个广播字典，它用它将一个列映射到一个新列。生成正确输出的完整示例如下：
# default_sparkjob.py
from pyspark.sql.types import *
from pyspark import SparkContext, SparkConf
from pyspark.sql import SQLContext, DataFrame
import pyspark.sql.functions as F
def _transform_df(sc, df):
globa
浏览 0提问于2017-03-07得票数 1
1回答
我想在PySpark DataFrame中删除行，其中某个列包含一个空映射。我该怎么做？我似乎不能声明一个类型化的空MapType来比较我的列。我已经看到，在Scala中，您可以使用typedLit，但是在PySpark中似乎没有类似的东西。我还尝试过使用lit(...)并将其转换为struct<string,int>，但我没有为lit()找到可接受的参数(尝试使用返回null的None和返回错误的{} )。
我确信这是微不足道的，但我还没有看到任何关于这方面的文档！
浏览 2提问于2019-09-29得票数 2
回答已采纳
我在内存中加载了一个Spark，我想对列进行DataFrame (或任何聚合操作)。我该怎么做呢？(在numpy中，这称为在axis=1上执行操作)。
如果要计算行中DataFrame的平均值(axis=0)，那么这已经是内置的了：
from pyspark.sql import functions as F
F.mean(...)
但是，有没有一种方法可以通过编程方式对列中的条目执行此操作？例如，从下面的DataFrame
+--+--+---+---+
|id|US| UK|Can|
+--+--+---+---+
| 1|50| 0| 0|
| 1| 0|100| 0|
| 1|
浏览 0提问于2015-09-20得票数 8
回答已采纳
7回答
我有一个PySpark Dataframe，其中有一列strings。如何检查其中的哪些行是数字行。我在PySpark的中找不到任何函数。
values = [('25q36',),('75647',),('13864',),('8758K',),('07645',)]
df = sqlContext.createDataFrame(values,['ID',])
df.show()
+-----+
| ID|
+-----+
|25q36|
|75647|
|13864|
|8758K|
|0
浏览 0提问于2018-12-12得票数 17
回答已采纳
2回答
比较两个中的字符串值
、、、、
我有两个名为- brand_name和poi_name的数据格式。
Dataframe 1(brand_name):-
+-------------+
|brand_stop[0]|
+-------------+
|TOASTMASTERS |
|USBORNE |
|ARBONNE |
|USBORNE |
|ARBONNE |
|ACADEMY |
|ARBONNE |
|USBORNE |
|USBORNE |
|PILLAR |
+-------------+
Dataframe 2:-(po
浏览 0提问于2018-05-23得票数 1
回答已采纳
1回答
我有一个名为‘count’的列的dataframe，我想将一个自定义函数"do_something“应用于列的每个元素，即每个数组。我不想修改dataframe，我只想做一个单独的操作与列计数。列的所有数组都具有相同的大小。
+----------------------+---------------------------------------+
|id| counts|
+----------------------+---------------------------------------+
|1| [8.0, 2.0, 3.0
浏览 2提问于2017-09-22得票数 1
回答已采纳
这个场景与这篇文章非常相似，但有一些变化：
我有这种格式的数据：
data.show()
+---------------+--------------------+--------------------+
| features| meta| telemetry|
+---------------+--------------------+--------------------+
| [seattle, 3]|[seattle, 3, 5344...|[[47, 1, 27, 92, ...|
| [miami, 1
浏览 0提问于2019-08-22得票数 0
1回答
我想知道是否有可能将一系列PySpark命令打包到一个函数中，以便这样一个函数接受一个dataframe并将它们应用到dataframe中。我们用Python做的事。
例如，我有以下数据：
sevents_df.show(5)
+-------+--------+-------------+----------------+------------+-----+
|Counter|Duration|StartTime |TypeEnumeration |Floor_Number|Value|
+-------+--------+-------------+---------------
浏览 0提问于2018-08-09得票数 0
回答已采纳
我的DataFrame有一个列num_of_items。这是一个计数字段。现在，我想将它从int类型转换为list类型。
我尝试使用array(col)，甚至创建一个函数，以int值作为输入返回列表。不起作用
from pyspark.sql.types import ArrayType
from array import array
def to_array(x):
return [x]
df=df.withColumn("num_of_items", monotonically_increasing_id())
df
col_1 | num_of_item
浏览 1提问于2019-01-07得票数 3
回答已采纳
3回答
例如，我想根据年龄将一组人分为以下4个DataFrame。
age_bins = [0, 6, 18, 60, np.Inf]
age_labels = ['infant', 'minor', 'adult', 'senior']
我会在pandas中使用pandas.cut()来做这件事。如何在PySpark中执行此操作
浏览 0提问于2017-09-15得票数 33
回答已采纳
我是pyspark中的pandas udf的新手，需要帮助为大型数据帧(>1亿行)中的每一行应用udf。我的dataframe中有一列，其中包含使用dataframe中的列的多个条件。对每一行应用条件的最好方法是使用python eval。当在python udf中使用python eval时，它工作得很好，但是运行起来需要很长时间，因为我有几百万行。同样，在Pandas udf中尝试运行失败时，会抛出Python异常"PythonException:从UDF抛出异常：'TypeError: eval() arg1必须是字符串、字节或代码对象‘“ 示例代码如下，此代码不
浏览 29提问于2021-06-25得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
