pyspark将字符串拆分成键值对并提取某些值
Pyspark是一个用于大规模数据处理的Python库，它提供了丰富的功能和工具来处理和分析大数据集。在Pyspark中，将字符串拆分成键值对并提取某些值可以通过以下步骤实现：
- 导入必要的模块和函数：
from pyspark.sql import SparkSession
from pyspark.sql.functions import split, col- 创建SparkSession对象：
spark = SparkSession.builder.getOrCreate()- 创建一个包含字符串的DataFrame：
data = [("key1:value1,key2:value2,key3:value3"), ("key1:value4,key2:value5,key3:value6")]
df = spark.createDataFrame(data, ["string_col"])- 使用split函数将字符串拆分成键值对：
df = df.withColumn("key_value_pairs", split(col("string_col"), ","))- 使用split函数将键值对拆分成键和值：
df = df.withColumn("key", split(col("key_value_pairs"), ":").getItem(0))
df = df.withColumn("value", split(col("key_value_pairs"), ":").getItem(1))- 提取特定键的值：
desired_key = "key2"
desired_values = df.filter(col("key") == desired_key).select("value")在上述代码中，我们首先导入了必要的模块和函数，然后创建了一个SparkSession对象。接下来，我们创建了一个包含字符串的DataFrame，并使用split函数将字符串拆分成键值对。然后，我们再次使用split函数将键值对拆分成键和值，并将它们存储在新的列中。最后，我们使用filter函数和select函数提取特定键的值。
对于Pyspark的更多详细信息和用法，请参考腾讯云的Pyspark产品介绍页面：Pyspark产品介绍
相关·内容
我将具有多个键值对的列作为字符串。cs_y1=0;y2_co=CA;y2_r=ON;y2_ct=Kitchener;y2_z=N2N;y2_isp=Bell DSL Internet;y2_org=Bell DSL Internet 我需要提取与键y2_co、y2_r、y2_z和y2_org对应的值。，但是键值对的数量不是constant.How。我要调整上面的语句来处理可变长度的键值对吗？
浏览 43提问于2020-12-20得票数 0
回答已采纳
2回答
我正在尝试将我的column2键值对中的RDD值从字符串转换为整数，以便能够将它们相加并计算平均值。sc.textFile("hdfs://...csv")在PySparkcolumn2中将RDD值转换/映射为整数的正确方法
浏览 0提问于2017-12-02得票数 0
给定一个形式为"(a,{b:c,d:e,f:g},h})"的字符串，我想从该字符串中提取a,c,e,g,h。也就是说，字符串将始终包含3个参数，其中第二个参数的形式为{b:c,d:e,f:g}，即它包含键值对，可以有任意数量的键值对。我想提取所有留下关键字的值。我还想提取上面字符串中的第一个和第三个参数，即a和h。我试图扫描字符串</e
浏览 2提问于2012-05-26得票数 0
我想找到一种将字符串拆分成"-“的方法，只适用于某些情况。谢谢你的帮助。
浏览 8提问于2013-10-01得票数 2
回答已采纳
1回答
我已经创建了一个UDF，用于获取XML字符串、命名空间字典、x路径语法和XML中键值对的键，并返回一个值数组，以便稍后使用withColumn(col,explode(col))爆炸。现在，我正试图使用Pyspark在Databricks中包含XML字符串的列在dataframe上迭代此函数，并使用返回的数组创建一个新列。到目前为止，我已经使用作为我最初方法的想法，并在将整个行传递给withColumn时阅读了。
我想我的问题要么是:
浏览 6提问于2020-04-10得票数 0
2回答
我有一个本地文本文件kv_pair.log格式，例如键值对是逗号分隔的，记录以新行开始和终止："A"="oof","B"="rab","C"="zab"
"A"="aaa","B"="bbb&
浏览 2提问于2017-08-01得票数 0
2回答
从字符数组合并键值列表的有效方法
、、、、
注意，键和值由'=‘分隔，键值对可以由字符#13和#10的任意组合分隔。
如果该键存在于地图中，请更新通过前面扫描确定的值指针和长度。填充映射后，通
浏览 1提问于2011-10-16得票数 4
回答已采纳
4回答
我需要对c中的字符串进行标记。假设我有一个类似于"product=c，author=dennis，category=programming“的字符串。[product,c,author,dennis,category,programming]。
有没有内置的函数可以只生成上面提到的值。
浏览 0提问于2012-01-16得票数 1
我正在努力提高LabVIEW的水平，正因为如此，我正在尝试编写一个程序，它接受一个字符串(英文)，并以摩尔斯电码输出结果。在python中，我只会使用带有键值对的字典，但我不确定在LabVIEW中如何做到这一点。我想出了如何将字符串拆分成第一个字母和其余的字母，并考虑将整个字母表和键值对放在一个大的用例图中，但我不确定如何以子字符串作为输入来递归调用via (参见框图)
我使用扁平序列结构来确
浏览 3提问于2021-05-21得票数 1
我正在查询一个使用OAuth1的API。我可以使用RestSharp成功地进行查询：client.Authenticator = requ
浏览 0提问于2018-04-05得票数 1
回答已采纳
4回答
我有一个包含键值对的字符串，如"this:1 is:2 a:3 Bigtest:4 and:5 i:6 want:7 to:8 pass:9 in:10 this:11 test:12 and:13 string:14 continues:15“我是新手在C#，所以需
浏览 1提问于2016-12-12得票数 1
假设一个带有多个连续键值对的单行字符串，由一个空格分隔，但在值内也允许空间(不是键)。key1=one two three key2=four key3=five six key4=seven eight nine ten"key1", "one是否有一个正则表达式可以完全处理此类提取，而无需进行任何进一步的字符串处理？
浏览 2提问于2015-01-24得票数 4
回答已采纳
3回答
我正在尝试编写一个函数，它使用一个键代码值列表，并生成一个与这些值相对应的字符串。每个键码包含2个值，第一个对应于电话号码，第二个对应于定义每个号码的值列表中的某个值。我在提取这些值时遇到了困难。这是与每个数字对应的值列表：1 == [".", ",", "?"]= ["m", "n&
浏览 4提问于2015-06-30得票数 1
回答已采纳
有任何方法可以将一对RDD转换回常规RDD吗？然后创建一对rdd (即键是"，“之前的字符串，而值是"，”之后的字符串)我使用pairRDD ()存储saveAsTextF
浏览 1提问于2015-10-06得票数 1
回答已采纳
我正在尝试实现我自己的比combineByKey更简单的函数，它基本上只接受一个函数和一个迭代器，并根据应用的函数返回键值对。例如:如果我有这样的rdd：(("x"，2)，("y"，1)，("x"，3))和一个将值相乘的函数。我想把这两个函数都插入到我新创建的函数收集器中，并返回(("x"，6)，("y"，1))。我想让它尽可能简单，但这是我第一次用pyspark编码，所
浏览 0提问于2016-02-24得票数 0
我想创建一个运行javascript的书签。它将从我使用的游戏论坛获取URL的一部分，并将用户带到该URL的编辑页面。你看到PostID部分了吗？我想要获取该号码并将用户重定向到此处： to ]有人能帮上忙吗？
浏览 4提问于2012-09-16得票数 0
回答已采纳
假设我有一个简单的问题，就是返回字符串中所有字符出现的索引。我知道您可以直接运行一个for循环并打印出来，但是假设我必须在某些数据结构中返回它！我可以做两件事之一。
将索引作为键的值。迭代字典元素，并<
浏览 0提问于2018-08-05得票数 1
回答已采纳
1回答
我扩展了机器人框架的MongoDbLibrary，使.skip()、.take()和.order()可用 db = None dbName = str(dbName) criteria = dict(
浏览 2提问于2015-08-06得票数 1
回答已采纳
我开始使用Pyspark的MapReduce范型，我遇到了一个问题，我不知道这是编程错误还是我不应该这样做。(id, (date, length, counter))，我这样做是为了从原始数据文件中提取我需要的所有信息，并过滤那些嘈杂的行，这样我就不必再使用原始数据文件了。', ('28/5/2010', 0.63, 1)), ('43', ('21/2/2012', 2.166, 1)), ('9', ('12
浏览 14提问于2020-01-21得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
