我有一个现有的Spark DataFrame (在Scala2.10.5和Spark 1.6.3上运行)，我想用ArrayType或MapType添加一个新列，但不知道如何实现。但不知道该怎么处理。我不想用“单一”值创建多个列，而是将它们存储在一个列中。这将缩短我的代码，并使其更容易更改。import org.apache.spark.sql.types.MapType
// DataFrame ini
浏览 9提问于2019-11-20得票数 0
2回答
我有一个Spark (版本1.6) Dataframe，我想添加一个包含在Scala中的值的列，这是我的简化代码：valdf2 = df.withColumn("newVal", map(col("key")))found : org.apache.spark.sql.Col
浏览 2提问于2018-05-18得票数 2
回答已采纳
4回答
我想向dataframe添加一个新的map类型列，如下所示：| |-- key: string我试过密码：错误是：
:to : org.apache.spark.sql.types.DataType)org.apa
浏览 12提问于2017-05-28得票数 10
回答已采纳
当在循环中重复相同的数据时，就会发生堆栈溢出错误。数据量仅为40k记录。在单节点14 is /28 is时，尝试使用集群大小。FT/RT,Country,Charge_Type,Tariff_Loc,Charge_No,Status,Validity_from,Validity_to,Range_Basis,Limited_Parties,Charge_Detail,Freetime_Unit,Freetime,Count_Holidays,Majeure,Start_Event,Same/Next_Day,Next_Day_if_AFTER,Availability_Date,
浏览 8提问于2022-06-07得票数 0
1回答
其中之一是地图(MapType)。此映射列中的键因行而异.这意味着这样的事情是可能的：| col_1| col_2|| 4| key_3 -> value_3|我想要做的是将第一列添加到此映射列中| 4| key_3 -> value
浏览 0提问于2019-07-11得票数 0
回答已采纳
我有两个用Python语言操作的pandas DataFrames，我想根据某个列(Col_1)来组合它们： #df10 3
浏览 24提问于2018-03-06得票数 4
回答已采纳
我正在尝试向现有的dataframe添加一个新列。此列应包含id号、首名字母和姓首字母。我使用了以下代码来添加该列： unite(newID, c("id", "FirstName", "Surname"))
...and --它将新列显示为tibble，但不显示在dataframe本身中。
浏览 0提问于2019-10-31得票数 0
回答已采纳
我有一个dataframe，我想在现有列的一些处理基础上添加一个新列。import pandas as pd processedl=l+1df = pd.DataFrame':['l1','l2','l3','l4','l5','l6'],
浏览 2提问于2016-11-29得票数 1
回答已采纳
如何用多列标记x轴？下面是一个有用的例子：
df = pd.DataFrame({"player_name": ["Alan","Bob","Carl","Dan","Earl"],首先，创建label列的示例行很乏味。第二，串连是挑剔的。如果_jersey_number_s不是字符串(例如ints代替)，则concat将失败。我可以编写一个子例程来获取列的列表，将所有的列转换为字符串，
浏览 5提问于2020-07-17得票数 3
1回答
我将df作为一个pyspark.sql.dataframe.DataFrame导入到Databricks中。在这个df中，我有3列(我已经证实它们是字符串)，我希望将它们连接起来。df["fullname"] = df["firstname"] + df["middlename"] + df["lastname"]
但是我一直收到错误"'DataFrame‘对象不支持项分配“。因此，我试图在每一列后面<em
浏览 1提问于2022-12-02得票数 0
因此，我正在尝试向数据库中插入一个熊猫DataFrame。数据库已经有一个表，其中包含除一列之外的DataFrame的大部分内容。我尝试使用df.to_sql()插入整个DataFrame，但这需要很长时间。有没有什么函数或库可以将DataFrame中的一列添加到现有的数据库表中？
浏览 20提问于2019-12-12得票数 0
1回答
在下面的表格中，我尝试找出每个Make的'Number of Case‘占总数的百分比(’Number of Case‘)0 ABARTH 0-3 <10,000 P 62 ABARTH 0-3
浏览 0提问于2016-03-04得票数 0
我试图将爆炸的列添加到dataframe中：from pyspark.sql.types import *# Conveniencereader.schema(schema)
schema = StructType().add("a", MapType
浏览 9提问于2022-12-02得票数 1
4回答
我试图在现有的dataframe中创建一个新的变量(列)。1 8基本上，我想要创建一个新的变量"Epoch“的基础上的块列。
浏览 0提问于2019-05-07得票数 1
回答已采纳
一旦导入，我想添加列。我认为使用这个文档及其列出的表方法是非常容易的。例句：table.autoAddColumns(1)添加一列，但是无论我如何尝试和使用它，我都无法使它工作。
浏览 1提问于2020-08-23得票数 1
回答已采纳
我有一个Pandas DataFrame，它的列用Python tuples标记。>>> import pandas
浏览 1提问于2016-01-05得票数 1
我有一个复杂的DataFrame结构，希望可以轻松地将列设置为空。我已经创建了隐式类，这些类可以连接功能并轻松处理2D DataFrame结构，但是一旦使用ArrayType或MapType使DataFrame变得更加复杂，我就没有多少运气了。StructType( StructField(values,
MapTypeStringTyp
浏览 0提问于2016-04-20得票数 9
我已经在现有的数据框中添加了一个新列，但它没有反映在数据帧中。我们就可以看到结果test.show()
有没有办法向现有的dataframe添加一个新的列(不复制dataframe)？
浏览 4提问于2021-01-26得票数 0
在spark dataframe中，我有类型为"ArrayType“的列"instances”，其模式如下： instances[ArrayType]: address[StringType] CompanynumYears[IntType]: 9
grade[IntType]
浏览 117提问于2020-07-10得票数 0
我有一个空的DataFrame：df = pd.DataFrame()df['foo', 'bar'] = [1,2,3] (foo, bar)1 2我想要的是： bar1 2如果我以这种方式构造一个全新的DataFrame<
浏览 3提问于2016-11-03得票数 2
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
