使用pyspark将两个字符串列值连接到整数数组
可以通过以下步骤实现：
- 导入必要的模块和函数：
from pyspark.sql import SparkSession
from pyspark.sql.functions import concat, array, lit- 创建SparkSession对象：
spark = SparkSession.builder.getOrCreate()- 创建一个示例数据集：
data = [("John", "Doe", 25), ("Jane", "Smith", 30)]
df = spark.createDataFrame(data, ["first_name", "last_name", "age"])- 使用concat函数将两个字符串列值连接：
df = df.withColumn("full_name", concat(df.first_name, lit(" "), df.last_name))- 将连接后的字符串列值转换为整数数组：
df = df.withColumn("age_array", array(df.age))最终的DataFrame将包含原始的两个字符串列（first_name和last_name），以及连接后的字符串列（full_name）和整数数组列（age_array）。
这个方法的优势是使用pyspark可以处理大规模的数据集，并且可以利用Spark的分布式计算能力进行高效的数据处理和分析。
这种方法适用于需要将两个字符串列值连接到整数数组的场景，例如将用户的姓氏和名字连接为全名，并将年龄转换为单元素的整数数组。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云Spark服务：https://cloud.tencent.com/product/spark
相关·内容
我有一个数据帧具有不同的eventtype(10，11，12)，数据根据eventtype而变化，我这里的要求是，当eventtype=11时，我需要将两列数据(传感器，field1)连接到传感器列中的数组0，1，并将数据左移，我已经给出了我想要的输出，有没有一种方法可以使用pyspark实现这一点。我可以使用spark.sql concat()函数进行连接，但是寻找一个更通用的代码，它可以连接列值并将列值左移，并将最后一个列值赋值为
浏览 35提问于2021-06-17得票数 1
回答已采纳
1回答
我有一个numpy recarray，包含几个整数列和一些字符串列。字符串列中的数据由99%的整数组成，但numpy是一个字符串，因为"NA“在列中。如何删除NA并将其更改为0？如何将字符串列转换为整数，以便有一个包含多个整数列的记录数组？
谢谢。
浏览 4提问于2011-09-24得票数 4
回答已采纳
1回答
在星火中将字符串转换为向量
、、、、
我有两个如下结构的PySpark数据格式。我想要执行交叉连接和计算余弦相似。qry_emb是带有逗号分隔值的字符串列。
浏览 8提问于2022-06-15得票数 1
回答已采纳
1回答
串到数组中的火花
、、
我在PySpark中有一个带有值[{"AppId":"APACON","ExtId":"141730"}]的字符串列(这个字符串和我的列完全一样，它是一个字符串，而不是一个数组)。我想把它转换成一个结构数组。
我是否可以简单地使用本机火花函数，或者我必须解析字符串还是使用UDF？
浏览 0提问于2018-06-13得票数 0
回答已采纳
我想使用Cassandra作为特征存储来存储预先计算的Bert嵌入，每行将由大约800个整数组成(例如。-0.18294132)我应该将全部800个字符串列存储在一个大的字符串列中，还是存储在800个单独的列中？ 简单的读取模式，在读取时，我们希望读取一行中的每个值。不确定哪个更适合序列化速度。
浏览 18提问于2021-04-06得票数 1
回答已采纳
2回答
如何根据大小更改列值
、、、
我在PySpark设置中有一个dataframe。我想更改一个列，比如它叫做A，它的数据类型是"string“。我想根据它们的长度来改变它的价值。特别是，如果一行中只有一个字符，则希望将0连接到末尾。否则，我们取默认值。“修改”列的名称必须仍然是A。这是用于使用PySpark3的木星笔记本。
浏览 2提问于2019-06-17得票数 1
回答已采纳
1回答
将列表列转换为嵌套结构列
、、、、
我正在尝试将一组丑陋的文本字符串转换为具有代表性的PySpark数据格式。最后一步是将包含字符串列表的列转换为包含嵌套行结构的列。对于列表中的每个字符串，我使用python字典理解将其规范化为相同的字段。当我试图通过列上的udf来转换它时，它会失败。from pyspark.sql import Row
Row(**extract_fields( sampl
浏览 2提问于2018-10-20得票数 1
回答已采纳
print (b) if (int(i) % 5 == 0):在for循环中，我期望变量i是整数类型<class 'str'>
如何使用字符串作为迭代器循环遍历列表中的列表项
浏览 2提问于2020-04-23得票数 1
回答已采纳
我试图在Go中使用数组，但是在同一个数组中找不到与整数和字符串同时工作的任何东西。我正在寻找一些文件，可以帮助我解决这个问题。整数&字符串将传递给另一个函数，具体取决于整数的值，确定哪个字符串将连接到<
浏览 0提问于2019-09-11得票数 2
回答已采纳
我有一个返回字符串列表的udf。这应该不会太难。我在执行udf时传入了数据类型，因为它返回一个字符串数组：ArrayType(StringType)。predistposed |+----------------------+代码是
from pyspark.sql.typesdf_subsets_concat.withColumn('subset', label_udf(df_sub
浏览 6提问于2017-12-07得票数 26
回答已采纳
我有名为A和B的字符串列表。我想使用binarySearch集合搜索这两个数组列表之间的公共元素。如何对这两个字符串数组列表使用binarySearch，以便能够打印列表中的公共元素。= Collections.binarySearch(arrayList,"4");
但是如何将binaryS
浏览 1提问于2012-04-19得票数 0
1回答
我遇到了一个我似乎无法解决的问题，我需要获取一个字符串列表并计算一些值，然后将相关的字符串和相关的整数添加到numpy数组中。我被告知要先创建numpy的零数组，因为它的长度是已知的，所以我可以这样做。我的问题是如何迭代地将每个字符串添加到第一列(名称)，将每个值(标签)添加到第二列，然后按第一列的字母顺序对整个数组进行排序
fileCount = sum([len(files) for r, d,
浏览 0提问于2017-11-27得票数 0
我有两个ArrayLists:一个字符串列表和一个整数列表。例如：Kevin 6Susan 2我尝试对整数ArrayList (使用MergeSort)进行排序，并使字符串ArrayList与整数ArrayList相对应，例如：Bob 2
Lane
浏览 4提问于2017-06-16得票数 4
2回答
我有一个对象数组，这些对象中的每个都可能包含子对象，这是另一个具有相同结构的数组。我希望将每个对象的值连接到一个字符串列表中，该字符串与一个字符分隔。world" { } }}];
将导致"one three
浏览 10提问于2017-06-02得票数 2
回答已采纳
1回答
在当前正在尝试此代码的项目中，在输出自定义票证号的增量方面，我遇到了问题，但它总是显示以下错误消息：“附加信息:从字符串到类型'Double‘的转换无效” command.Connection = connection command.CommandText = "SELECT MAX(id) FROM tnumber" number = 1
lblTN.T
浏览 3提问于2021-04-02得票数 0
我有一个json数据集，它的格式如下：+--------------------+--------------------++--------------------+--------------------+|rpOy
浏览 2提问于2017-07-04得票数 5
回答已采纳
我尝试在pyspark中连接两个数据帧，但是将一个表作为数组列连接到另一个表中。例如，对于这些表： from pyspark.sql import Row
Row(a = 1, b = 'C', c = 26,Row(a = 2, b = 'C', e = 7, f = 'cba'),
Row(a = 2, b = 'D', e =
浏览 26提问于2021-11-08得票数 0
回答已采纳
我们可以在数据工厂的表达式构建器中使用两个表达式吗？如果我有一个字符串列，我想在表达式生成器中有两个表达式。这两个条件是:如果值为空，则返回空格'‘；如果值不是整数，则返回列名。
浏览 5提问于2021-04-27得票数 0
我有两个列表，一个整数和一个字符串。这些值是在循环期间输入的，因此它们是关联在一起的(例如，ListOfInteger.Item(i)和ListOfString.Item(i)是同时输入的，并且彼此相关)。我对整数列表进行了排序并随后颠倒了顺序。有没有办法让字符串列表仍然与整数列表相关联，以便在文本框中显示它们。score.Sort()txtSortedScore1.Text = score(0) 如何<
浏览 1提问于2016-08-24得票数 0
4回答
如何在Spark中压缩两个数组列
、、、、
我尝试将包含字符串值的两个列连接到一个列表中，然后使用zip将列表中的每个元素都用'_‘连接起来。我的数据集如下：df['column_2']: '1.0, 2.0, 3.0'
我想将这两列连接到第三列中，如下所示，我的每一行数据都是这样的row['column_3'] = [&
浏览 2提问于2019-01-21得票数 9
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
