如何在pyspark中更改列值( pattern )
在pyspark中更改列值可以通过使用DataFrame的withColumn方法来实现。withColumn方法允许我们创建一个新的列或者替换现有列的值。
下面是一个示例代码，展示了如何在pyspark中更改列值：
from pyspark.sql import SparkSession
from pyspark.sql.functions import col
# 创建SparkSession
spark = SparkSession.builder.getOrCreate()
# 创建示例DataFrame
data = [("Alice", 25), ("Bob", 30), ("Charlie", 35)]
df = spark.createDataFrame(data, ["Name", "Age"])
# 打印原始DataFrame
df.show()
# 使用withColumn方法更改列值
df = df.withColumn("Age", col("Age") + 1)
# 打印更改后的DataFrame
df.show()在上述代码中，我们首先创建了一个SparkSession对象，然后使用createDataFrame方法创建了一个示例的DataFrame。接下来，我们使用withColumn方法来更改"Age"列的值，通过col函数获取原始列的值并进行修改。最后，我们打印出更改后的DataFrame。
相关·内容
我很好奇是否有一个Pyspark代码来查看一列中的所有浮点数在末尾是否都是.0，或者是否有其他十进制数，例如.1、.2或.5 例如，我希望能够从下面的伪代码中辨别出是否所有代码都以.0结尾，或者是否有任何以不同数字结尾的代码。 Index Score
0 2.5
1 1.7
2 1.0
3 3.0
浏览 11提问于2020-10-22得票数 0
回答已采纳
3回答
我必须从如下的dataframe列中提取一些代码：
+---------+--------------------------------+--------------------+------+
|first |second |third |num |
+---------+--------------------------------+--------------------+------+
|AB12a |xxxxxx |some other
浏览 6提问于2019-10-29得票数 4
回答已采纳
我想使用PySpark的RegexTokenizer从DataFrame列中删除5位或更多位的数字。我可以使用下面的代码提取这些数字，但有人知道我如何删除它们吗？
我的代码：
regexTokenizer = RegexTokenizer(inputCol="description", outputCol="tokenized_description", gaps=False,pattern="[0-9]{5,}")
如果字符串是"123abc 122323232"，我希望它去掉122323232，变成"123abc“
浏览 0提问于2019-02-13得票数 0
1回答
我有下面的data.frame ( spark )
import findspark
findspark.init()
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
sc = spark.sparkContext
from pyspark.sql import functions as sf
from pyspark.sql.functions import col, when, lit
ddf = spark.createDataFrame([[None, 'Mic
浏览 2提问于2018-05-28得票数 2
回答已采纳
1回答
这个问题非常琐碎，但是我在PySpark的世界里是全新的，我面临着很多问题，即使是简单的任务。
假设我们有一个带有A列的dataframe df。
我想要创建另一个dataframe，它只包含最后一个值为A的一个列(这里的最后一个值是指列A底部的真正记录)。
我已经试过了
df["A"][-1]，但我错了。
请注意，如果可能的话，我希望可以为PySpark和Pyspark中的Python代码提供一个解决方案。
浏览 1提问于2019-06-21得票数 0
回答已采纳
1回答
我尝试从PySpark中的REST中提取不同的表。我跟踪了这个。我想要将不同的模式存储在一列中的中。下面是一个示例：
import pyspark.sql.functions as F
from pyspark.sql import Row
from pyspark.sql.types import *
A = [{"TableName": "Table1", "Schema": StructType([StructField("a", StringType()), StructField("b", Intege
浏览 16提问于2022-08-23得票数 0
回答已采纳
我在pyspark中有一个超过300列的数据框架。在这些列中，有一些列的值为null。
例如：
Column_1 column_2
null null
null null
234 null
125 124
365 187
and so on
当我想对column_1求和时，我得到的结果是一个空值，而不是724。
现在，我想用空格替换数据框所有列中的null。所以当我尝试对这些列求和时，我不会得到空值，但我会得到一个数值。
我们如何在pyspark中实现这一点呢？
浏览 1提问于2017-02-18得票数 56
回答已采纳
我正在尝试使用regexp_replace替换数据框列中的字符串。我必须对dataframe列中的所有记录应用正则表达式模式。但是字符串并没有按照预期进行替换。
from pyspark import SparkContext, SparkConf
from pyspark.sql import SQLContext
from pyspark import sql
from pyspark.sql.functions import regexp_replace,col
import re
conf = SparkConf().setAppName("myFirstApp")
浏览 1提问于2018-05-03得票数 1
回答已采纳
1回答
如何将Vectors.dense列添加到pyspark中？
import pandas as pd
from pyspark import SparkContext
from pyspark.sql import SQLContext
from pyspark.ml.linalg import DenseVector
py_df = pd.DataFrame.from_dict({"time": [59., 115., 156., 421.], "event": [1, 1, 1, 0]})
sc = SparkContext(master="loc
浏览 1提问于2018-04-14得票数 1
回答已采纳
我有如下数据：
>>> df1.show()
+-----------------+--------------------+
| corruptNames| standardNames|
+-----------------+--------------------+
|Sid is (Good boy)| Sid is Good Boy|
| New York Life| New York Life In...|
+-----------------+--------------------+
因此，根据上面的数据，我需要应用正则表达式，
浏览 0提问于2019-11-04得票数 0
1回答
在Postgres中，我有一个名为"mytable“的表，其中有两个列，id (bigint)和value (varchar(255))。
id使用nextval('my_sequence')从序列中获取其值。
PySpark应用程序接受一个dataframe并使用postgresql(PostgreSQL42.1.4.jar)将数据插入到"mytable“中。我使用以下方法创建id列：
df.withColumn('id', lit("nextval('my_sequence')"))
Postgres将该列解释
浏览 0提问于2018-01-21得票数 2
回答已采纳
我有一个DataFrame，列text包含一个字符串(或Null)。
如果列text中单词的长度为>= 6和<= 11，那么我想将其与word_list匹配。
如果一个单词匹配，那么这就是新列match的值
import pyspark.sql.functions as F
df = spark.createDataFrame([
["This is line one"],
["This is line two"],
["bla coroner foo bar"],
["This is line three"],
[
浏览 4提问于2021-03-04得票数 1
回答已采纳
我结合使用withColumn和UDF来获取一个新列，然后选择两个列并将其分配给一个新的df。但是当我在这个新的df上运行TypeError()时，它给我的结果是：'NoneType‘对象是不可订阅的。show()运行得很好。我正在尝试获得新的df的长度。下面是我的代码： # Find all entities with names that are palindromes
# (name reads the same way forward and reverse, e.g. madam):
# print the count and show() the resulting S
浏览 26提问于2021-04-06得票数 0
回答已采纳
我有一个10列的csv。每一栏都有‘NA’值，并且都是字符串。所以，在熊猫进口的时候，我就这么做了。
df =pd.read_csv(r‘’file_name.csv‘，na_filter=True)
我想要知道na_filter=True的pyspark等效值，以将字符串格式中的"NA“值更改为适当的空值。
浏览 6提问于2022-08-02得票数 0
回答已采纳
目前，我正在使用火花结构化流创建随机数据的数据帧(id，timestamp_value，device_id，temperature_value，注释)。
每批火花数据采集：
基于上面数据框架的屏幕截图，我想为列"temperature_value“提供一些描述性的统计数据。例如，最小、最大、平均、计数、方差。
我在python中实现这一目标的方法如下：
import sys
import json
import psycopg2
from pyspark import SparkContext
from pyspark.streaming import StreamingCont
浏览 4提问于2019-12-17得票数 2
回答已采纳
我有一个PySpark表，其中的许多列都是VectorUDT类型的。这些列是使用PySpark中的OneHotEstimator函数创建的。 我可以将这个表写到拼图文件中，但是当我尝试使用PyArrow将这个表读回到Pandas时，我得到了这个异常： ArrowNotImplementedError: Currently only nesting with Lists is supported. 有什么办法可以绕过这个问题吗？我不希望将每个VectorUDT列拆分成各自的列。
浏览 18提问于2019-06-10得票数 0
4回答
如何在Spark中压缩两个数组列
、、、、
我有潘达的数据。我尝试将包含字符串值的两个列连接到一个列表中，然后使用zip将列表中的每个元素都用'_‘连接起来。我的数据集如下：
df['column_1']: 'abc, def, ghi'
df['column_2']: '1.0, 2.0, 3.0'
我想将这两列连接到第三列中，如下所示，我的每一行数据都是这样的。
df['column_3']: [abc_1.0, def_2.0, ghi_3.0]
我已经在python中成功地使用了下面的代码，但是dataframe相当大，运行整个datafra
浏览 2提问于2019-01-21得票数 9
回答已采纳
如何在DataFrame中为流PySpark设置架构。
from pyspark.sql import SparkSession
from pyspark.sql.functions import explode
from pyspark.sql.functions import split
# Import data types
from pyspark.sql.types import *
spark = SparkSession\
.builder\
.appName("StructuredNetworkWordCount")\
.getOrCr
浏览 3提问于2016-12-29得票数 3
回答已采纳
我正在对来自Teradata数据库的数据执行增量加载，并将其存储为一个拼花文件。因为Teradata中的表包含数十亿行，所以我希望我的PySpark脚本能够比较哈希值。
Teradata：
当前存储的Parquet文件：
我的PySpark脚本使用JDBC连接来调用teradata：
tdDF = return spark.read \
.format("jdbc") \
.option("driver", "com.teradata.jdbc.TeraDriver") \
.option("url", "jd
浏览 0提问于2019-01-16得票数 5
如何修改代码以打印包含功能名称而不仅仅是数字的决策路径。
import pandas as pd
import pyspark.sql.functions as F
from pyspark.ml import Pipeline, Transformer
from pyspark.sql import DataFrame
from pyspark.ml.classification import DecisionTreeClassifier
from pyspark.ml.feature import VectorAssembler
data = pd.DataFrame({
浏览 17提问于2018-08-01得票数 1
回答已采纳
我对pyspark是个新手。我有一个包含ID和BALANCE列的pyspark数据框。我尝试将列balance存储到100% (1-100%)的存储桶中，并计算每个存储桶中有多少个in。
我不能使用任何与RDD相关的东西，我只能使用Pyspark语法。我试过下面的代码
w = Window.orderBy(df.BALANCE)
test = df.withColumn('percentile_col',F.percent_rank().over(w))
我希望得到一个新的列，它可以自动计算平衡列中每个数据点的百分位数，并忽略缺少的值。
浏览 14提问于2019-07-11得票数 0
我试图根据pyspark数据格式中的ID列对列进行分组，并根据另一列的值对列进行求和。
为了举例说明，请考虑以下虚拟数据格式：
+-----+-------+---------+
| ID| type| amount|
+-----+-------+---------+
| 1| a| 55|
| 2| b| 1455|
| 2| a| 20|
| 2| b| 100|
| 3| null| 230|
+-----+-------+---------+
我想
浏览 1提问于2019-06-13得票数 0
回答已采纳
我的数据看起来就像
|ID|Notes|
---------------
|1|'{"Country":"USA","Count":"1000"}'|
|2|{"Country":"USA","Count":"1000"}|
ID : int
Notes : string
当我使用from_json解析列Notes时，它会给出所有的Null值。我需要帮助将本列Notes解析为pyspark中的列
浏览 7提问于2022-05-20得票数 2
2回答
我有一个pyspark dataframe，其中一些列具有相同的名称。我想将具有相同名称的所有列合并到一列中。例如，输入dataframe： ? 我如何在pyspark中做到这一点？任何帮助都将不胜感激。
浏览 57提问于2021-06-18得票数 2
回答已采纳
我正在尝试理解DataFrame列类型。当然，DataFrame不是一个物化的对象，它只是一组Spark的指令，将来要转换成代码。但我认为，这个类型列表代表了在执行操作时JVM中可能出现的对象类型。
import pyspark
import pyspark.sql.types as T
import pyspark.sql.functions as F
data = [0, 3, 0, 4]
d = {}
d['DenseVector'] = pyspark.ml.linalg.DenseVector(data)
d['old_DenseVector'] =
浏览 1提问于2016-07-31得票数 7
回答已采纳
1回答
是否可以找到完整PySpark数据的哈希值(最好是散列256)。我不想找到单个行或列的散列。我知道pySpark中存在函数，用于从pyspark.sql.functions导入sha2进行列级哈希计算。
所需的是根据年份划分一个大数据，并为每年(小数据)查找散列值并将结果持久化到一个表中。
输入(产品，质量，商店，SoldDate)
读取数据中的数据，通过SoldDate进行分区，计算每个分区的散列，并将其写入文件/表。
输出：(日期，散列)
我这样做的原因是，我必须比较每天运行这个过程，然后检查哈希是否更改了以前的日期。
存在文件级别md5的可能性，但不希望生成文件，而是根据日期动态计算分区
浏览 8提问于2022-12-04得票数 0
如何使用现有的pySpark sql函数在字符串列中查找非消费正则表达式模式？
下面的代码是可重现的，但没有给出预期的结果。
import pyspark
from pyspark.sql import (
SparkSession,
functions as F)
spark = (SparkSession.builder
.master('yarn')
.appName("regex")
.getOrCreate()
)
sc = spark.sparkContext
浏览 52提问于2019-05-17得票数 0
我正在尝试将字典：data_dict = {'t1': '1', 't2': '2', 't3': '3'}转换为数据帧： key | value|
----------------
t1 1
t2 2
t3 3 为了做到这一点，我尝试了： schema = StructType([StructField("key", StringType(), True), StructField("value", S
浏览 8提问于2020-04-21得票数 5
回答已采纳
在Databricks中，我有一个现有的delta表，我希望在其中再添加一个列，作为Id，这样每一行都有唯一的id no，并且是连续的(主键在sql中的存在方式)。
到目前为止，我已经尝试将delta表转换为，并将新列添加为
from pyspark.sql.window import Window as W
from pyspark.sql import functions as F
df1 = df1.withColumn("idx", F.monotonically_increasing_id())
windowSpec = W.orderBy("idx"
浏览 5提问于2022-07-12得票数 0
2回答
我有以下数据结构：
列"s“和"d”表示"x“列中对象的转换。我想要做的是获取"x“列中的每个对象的转换字符串。例如，“新”栏如下：
有使用PySpark的好方法吗？
我使用PySpark尝试了以下udf代码，但它不起作用：
from pyspark.sql.functions import udf
from pyspark.sql.functions import array_distinct
from pyspark.sql.types import ArrayType, StringType
create_transition = u
浏览 13提问于2022-10-19得票数 1
回答已采纳
在PySpark中，我们不能使用传统的熊猫或R风格的符号来根据DataFrame中的旧列来制作新的列。例如，假设我试图连接两列：
import pyspark.sql.functions as F
df['newcol'] = F.concat(df['col_1'], df['col_2'])
结果：
TypeError: 'DataFrame' object does not support item assignment
相反，这样做的实现方法是
df = df.withColumn('newcol', F.
浏览 1提问于2016-07-28得票数 1
回答已采纳
调用.show()时如何在PySpark中设置显示精度
考虑以下示例：
from math import sqrt
import pyspark.sql.functions as f
data = zip(
map(lambda x: sqrt(x), range(100, 105)),
map(lambda x: sqrt(x), range(200, 205))
)
df = sqlCtx.createDataFrame(data, ["col1", "col2"])
df.select([f.avg(c).alias(c) for c i
浏览 5提问于2018-02-17得票数 13
回答已采纳
我只有一列的dataframe。我想使用pyspark中的pandas_udf拆分字符串。因此，我有以下代码： from pyspark.sql.functions import pandas_udf, PandasUDFType
@pandas_udf('str')
def split_msg(string):
msg_ = string.split(" ")
return msg_
temp = temp.select("_c6").withColumn("decoded",
split_msg(temp._c
浏览 17提问于2019-10-03得票数 0
回答已采纳
在PySpark/spark-sql中是否有相当于雪花的spark-sql
REGEXP_EXTRACT存在，但不像REGEXP_SUBSTR所支持的那样支持更多的参数。
这里有一个指向的链接。
这里有一个指向的链接。
更具体地说，我正在寻找position、occurrence和regex parameters的替代品，它们都是由雪花的REGEXP_SUBSTR支持的。
位置：函数开始搜索匹配字符串开头的字符数。
事件：指定要匹配的模式的匹配项。函数跳过第一个匹配项-1匹配。
regex_parameters：我专门查找参数'e'，它执行以下操作:提取子匹配。
因此，查询类似
浏览 7提问于2020-09-15得票数 0
回答已采纳
使用PySpark SQL并给定3列，我想创建一个额外的列，该列将其中的两列分开，第三列是ID列。 df = sqlCtx.createDataFrame(
[
(1, 4, 2),
(2, 5, 2),
(3, 10, 4),
(4, 50, 10)
],
('ID', 'X', 'Y')
) 这是所需的输出： +----+----+----+---------------------+
| ID | x | y | z (expected resul
浏览 27提问于2019-05-10得票数 3
回答已采纳
1回答
我有一个关于雪花的新功能-Infer模式表函数的问题。推断模式函数在拼图文件上执行得非常好，并返回正确的数据类型。但是，当对拼图文件进行分区并将其存储在S3中时，推断模式的功能与pyspark数据帧不同。
在DataFrames中，分区文件夹名和值被读取为最后一列；在Snowflake推断模式中，有没有办法实现同样的结果？
示例：
@GregPavlik -输入为结构化拼图格式。当地块文件存储在没有分区的S3中时，模式是完全派生出来的。
示例：{ "AGMT_GID"：1714844883，"AGMT_TRANS_GID"：640481290，"
浏览 0提问于2021-10-21得票数 5
1回答
我正在使用PySpark，并希望利用多节点的优势来提高性能时间。 例如： 假设我有3列，有100万条记录： Emp ID | Salary | % Increase | New Salary
1 | 200 | 0.05 |
2 | 500 | 0.15 |
3 | 300 | 0.25 |
4 | 700 | 0.1 | 我想要计算新的薪水列，并希望使用pyspark中多个节点的能力来减少整体处理时间。 我不想做一个迭代的逐行计算新工资。 df.withColumn是否在数据帧级别进行计算？当使用更多的节点时，它是否能够提供更好的性能？
浏览 16提问于2021-03-24得票数 0
我想在PySpark中进行分组，但是这个值可以出现在多个列中，所以如果它出现在所选列中的任何一列中，那么它将被分组。
例如，如果我将这个表放在Pyspark中：
我想总结一下每个身份证的访问和投资，结果是：
请注意，ID1是前三列中有ID1的行0、1、3的总和，ID1访问= 500 + 100 + 200 = 800。ID2是行1、2等的总和。
为了简单起见，我的例子是一个简单的dataframe，但在实际中是一个大得多的df，有很多行和变量，还有其他操作，而不仅仅是"sum“。这对熊猫来说是不可能的，因为它太大了。应该在PySpark
OBS2:我用熊猫打印了表格
浏览 4提问于2019-09-20得票数 1
回答已采纳
假设我们有一个包含两列的PySpark数据帧: ID (它是唯一的)和VALUE。 我需要添加第三列，它始终包含相同的值，即列值的最大值。我观察到，在这种情况下，按ID分组没有任何意义，因为我需要一个全局最大值。 这听起来很简单，可能是这样的，但我只看到了涉及分组的解决方案，这并不适合我的情况。我试了很多方法，但都不管用。 我需要一个解决方案只在PySpark/Python代码。非常感谢!
浏览 15提问于2019-10-03得票数 0
以下是可用的数据框：
+--------------------+
| Name|
+--------------------+
|Braund, Mr. Owen ...|
|Cumings, Mrs. Joh...|
|Heikkinen, Miss. ...|
|Futrelle, Mrs. Ja...|
|Allen, Mr. Willia...|
|Moran, Mr. James|
|McCarthy, Mr. Tim...|
|Palsson, Master. ...|
|Johnson, Mrs. Osc...|
+----------------
浏览 5提问于2018-01-11得票数 0
回答已采纳
我正在尝试从pyspark dataframe中获取空值的行。在pandas中，我可以在数据帧上使用isnull()来实现这一点：
df = df[df.isnull().any(axis=1)]
但在PySpark的情况下，当我运行以下命令时，它显示Attributeerror：
df.filter(df.isNull())
AttributeError：'DataFrame‘对象没有属性'isNull’。
如何在不对每一列进行检查的情况下获取具有空值的行？
浏览 25提问于2018-11-27得票数 5
我有一个包含两列的pyspark dataframe，ID和Elements。"Elements“列中有list元素。它看起来像这样，
ID | Elements
_______________________________________
X |[Element5, Element1, Element5]
Y |[Element Unknown, Element Unknown, Element_Z]
我想用‘element’列中最频繁的元素组成一个列。输出应如下所示：
ID | Elements
浏览 6提问于2021-10-07得票数 1
1回答
我正在使用PCA进行数据分析，我用PySpark编写了这段代码，它工作得很好，但它只适用于从一个csv文件中读取的数据，该文件包含精确的5列"a“、"b”、"c“、"d”、"e"，我想编写一个通用代码来计算从csv文件读取的列数的PCA。我该补充些什么？这是我的代码：
#########################! importing libraries !########################
from __future__ import print_function
from pyspark.ml.linalg import
浏览 1提问于2017-03-08得票数 0
回答已采纳
1回答
我在pyspark中有一个dataframe，df有一个数组字符串类型的列，所以我需要生成一个包含列表头部的新列，还需要包含尾列表连接的其他列。 这是我的原始数据帧： pyspark> df.show()
+---+------------+
| id| lst_col|
+---+------------+
| 1|[a, b, c, d]|
+---+------------+
pyspark> df.printSchema()
root
|-- id: integer (nullable = false)
|-- lst_col: array (nulla
浏览 29提问于2020-01-24得票数 0
回答已采纳
我希望在regexp_replace()中使用PySpark将数据帧中的所有问号和反斜杠转换为空值。这是我使用的代码：
question = "?"
empty_str = "\\\"\\\""
for column in df.columns:
df = df.withColumn(column, regexp_replace(column, question, None)
df = df.withColumn(column, regexp_replace(column, empty_str, None)
但是，当我使用这
浏览 6提问于2022-06-30得票数 2
回答已采纳
7回答
我有一个PySpark Dataframe，其中有一列strings。如何检查其中的哪些行是数字行。我在PySpark的中找不到任何函数。
values = [('25q36',),('75647',),('13864',),('8758K',),('07645',)]
df = sqlContext.createDataFrame(values,['ID',])
df.show()
+-----+
| ID|
+-----+
|25q36|
|75647|
|13864|
|8758K|
|0
浏览 0提问于2018-12-12得票数 17
回答已采纳
2回答
我有一个PySpark Dataframe，其中一个列(比如B)是一个数组。以下是PySpark数据文件：
+---+-----------------------------+---+
|A |B |C |
+---+-----------------------------+---+
|a |[[5.0], [25.0, 25.0], [40.0]]|c |
|a |[[5.0], [20.0, 80.0]] |d |
|a |[[5.0], [25.0, 75.0]] |e |
|b |[
浏览 11提问于2019-12-10得票数 0
回答已采纳
1回答
我的PipelinedRDD中有一列标称值，为了分类目的，我想将其转换为索引编码。
我曾经在pyspark.ml中使用pyspark.ml，这是非常容易使用的。然而，这一次我正在学习如何处理rdd而不是数据格式，而且在pyspark.mllib中没有这样的东西。
任何帮助都是非常感谢的。
浏览 0提问于2018-02-14得票数 1
回答已采纳
我试图在Pyspark中将CSV文件读取到dataframe中，但我有一个包含混合数据的CSV文件。它的部分数据属于它的相邻列。有没有办法修改python中的dataframe以获得预期的输出dataframe？ 示例CSV ID , Name
'1' , 'Alice'
'2B' , 'ob'
'3Ri' , 'chard' 预期输出 ID, Name
1, 'Alice'
2, 'Bob'
3, 'Richard'
浏览 22提问于2020-01-26得票数 0
回答已采纳
我正在尝试将csv读取到pyspark中，但问题是它有一个文本列，由于该列在数据中有一些坏行
此文本列还包含换行符，由于这些换行符，其他列中的数据将被损坏
我已经尝试使用pandas并使用一些额外的参数来加载我的csv
a = pd.read_csv("Mycsvname.csv",sep = '~',quoting=csv.QUOTE_NONE, dtype = str,error_bad_lines=False, quotechar='~', lineterminator='\n' )
它在pandas中工作得很好，但是我想在
浏览 1提问于2018-09-06得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
