我正在读一个文件，其中的列可以是结构，当它们有一个值，或者当没有数据时，可以是字符串。内联示例assigned_to和group是结构化的，具有数据。append(name+".display_value") df23 = df23.withColumn(name+"_value", lit(None)) 现在，如果我必须使用val_cols4从dataframe df23中进行选择，那么所有结构列都具有相同的名称"display_value“。r
浏览 24提问于2021-04-27得票数 1
回答已采纳
我有一个问题，我需要动态更新星火数据中的列。 df = df.withColumnsRenamed(xcol, xcol + '_' + str(x))但这个名称按名称重命名(此处为xcol)，因此无法解决我的问题我是否可以将其更改为按其索引重命名dataframe中的列</e
浏览 0提问于2018-12-13得票数 5
回答已采纳
1回答
( A)对于不能修改上游或源的，如何选择、删除或重命名其中的一个列，以便检索列值？df.select('A')向我显示了一个不明确的列错误，filter、drop和withColumnRenamed也是如此。如何选择其中一列？
浏览 0提问于2018-09-06得票数 2
文档没有详细说明这是否允许，但是我似乎不能让它工作，而且一遍又一遍地链接多个DF也不是很干净。 df1= RenameField.apply(frame = df, old_name = "col1",new_name = "COL1")我尝试了几个变体，并基于其他的Glue转换，认为下面的方法应该可以工作。
df1 = RenameField.apply[(fra
浏览 2提问于2018-08-01得票数 0
Pbm：
a)读取一个本地文件到Panda dataframe中，比如PD_DF。b)操纵/海量PD_DF并添加列到dataframe中。c)需要使用spark将PD_DF写到HDFS。
浏览 0提问于2015-04-15得票数 4
curentColumnName2','currentColumnName3']它们是包含所有列的dataframe df。我想要检查是否在dataframe中存在列'curentColumnName1，如果是，那么将其重命名为newColumnName1，如果所有列都存
浏览 1提问于2022-08-18得票数 0
1回答
有一段时间，我在寻找如何将多个列一次重命名为一个PySpark DF，并遇到了如下情况：def rename_sdf(df, mapper={}, **kwargs_mapper): # return something
我对最后一段感兴趣，其中通过赋值语句将方法添加到pyspar
浏览 6提问于2020-07-09得票数 1
1回答
我已经用python写了一些带有sql上下文的代码，即pyspark，通过将csv转换为pyspark dataframe来对csv执行一些操作(df操作，如预处理、重命名列名、创建新列并将其附加到相同的dataframe中等)。有谁能帮我在pyspark的dataframe上写单元测试用例吗？或者给我一些数据帧上的测试用例的来源？
浏览 1提问于2016-04-14得票数 3
我刚接触pyspark，我想在pyspark dataframe列中动态地用数字替换名称，因为我的dataframe中有超过500,000个名称。如何继续？
浏览 9提问于2019-07-25得票数 0
我正在尝试重命名基于另一个数据帧的数据框的列。如何使用Scala实现这一点？EC R我想相对于其他数据帧重命名我的第一个数据帧的列。因此，预期输出应如下所示：1 2 3 4name_dict = dataframe2.rdd.collectAsMap()
datafram
浏览 7提问于2018-01-14得票数 0
回答已采纳
我有一个数据火花，其中有15列。现在，我想将其中包含'.'的列名替换为'_'我想动态地做它。
我怎样才能在火星雨中实现这一点呢？
浏览 4提问于2017-01-14得票数 17
回答已采纳
我想在我的星火DataFrame上动态地应用. list中的列名。from pyspark.sql.functions import col return [x for x in dataframe.columns if get_dtype(dataframe,x)=='tinyi
浏览 3提问于2020-04-21得票数 1
回答已采纳
3回答
我有一个带有N列的表，我想将它们连接到一个string列中，然后在该列上执行一个散列。如果我必须创建一个UDF并注册它以实现这一点，我需要使用Python而不是Scala，因为我的所有其他代码都是用Python编写的。
有什么想法吗？
浏览 1提问于2018-11-26得票数 1
回答已采纳
我正在尝试使用以下命令通过pyspark读取拼图文件：拼图文件中的列具有空格因此，我尝试使用以下命令重命名这些列： file = file.withColumnRenamed(c, c.replace(" ", ""
浏览 4提问于2020-12-08得票数 0
1回答
动态地在多个列上操作
、、、
在pyspark中，假设我有名为'a1','a2','a3'...'a99'的列的dataframe，如何对每个列应用操作来动态创建具有新名称的新列？例如，获取新列(如sum('a1') as 'total_a1' , ... sum('a99') as 'total_a99' )。
浏览 0提问于2019-02-28得票数 1
1回答
我正在使用一个自定义函数作为reduce操作的一部分。对于下面的例子，我得到了下面的消息TypeError: reduce() takes no keyword arguments -我相信这是由于我在函数exposed_colum中使用字典mappingfrom pyspark.sql import DataFrame, Rowfrom pyspark.sql importSparkSession
from
浏览 18提问于2020-02-05得票数 0
回答已采纳
1回答
Input_pyspark_dataframe:111777 454output_pyspark_dataframe888
333 ccc 1 300
浏览 0提问于2020-08-20得票数 0
Auto202012101237.TXT")data2 = data21.filter(~col("_c0").contains(header2)) 这会产生一个只有_c0列的好文件，但是欧洲版本使用逗号作为分隔符，澳大利亚版本使用分号。因此，欧洲版本的列从_c0到_c980 (或者更少，取决于型号)。我正在寻找一种方法来将这个data2分成多个列，用.split找到了几个解决方案，其中大部分是硬编码的，从pos1-5
浏览 13提问于2021-01-21得票数 0
我正在提取Snowflake表并将其加载到PySpark DataFrame中，并且我想重命名它的列。现在，正在将加载的数据帧存储到一个变量中，然后访问列列表： spark.read.format("snowflake")我想到的第二种方法是预先定义原始和所需的列名，然后使用它们，但我尝试根本不创建变量。
这在Pandas和/
浏览 1提问于2021-04-21得票数 0
我使用DataFrame读入HDFS文件，并使用正则表达式提取数据。是否可以在不单独重命名或转换列的情况下重新定义DataFrame的模式？我的计划是将DataFrame转换为RDD，然后使用模式将RDD转换回DataFrame。
我不确定这是不是一个好主意。
浏览 4提问于2018-08-06得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
