是否有办法使用scala将双引号添加到spark数据框中的所有数值列 我已经看过这份文档，但没有向数字列添加双引号的配置。
浏览 26提问于2019-10-10得票数 1
回答已采纳
1回答
但是csv文件中添加了额外的双引号，这会将所有cloumns都添加到单个列中。"2,""Jhon"",20,""mail"""
val df = sqlContext.read.format("com.databri
浏览 0提问于2018-03-06得票数 0
回答已采纳
(更重要的是，)，这个问题也仅限于向现有的dataframe中添加一个新列，而我需要添加一个列以及数据中所有现有行的值。因此，我希望向现有的DataFrame添加一列，然后将该新列的初始(“默认值”)值应用到所有行。“StringType”列，然后默认所有行都包含z-value of "red"。$1.apply(Da
浏览 4提问于2016-10-10得票数 7
回答已采纳
我正在从PostgreSQL读取Spark Dataframe，并在PostgreSQL中有日期列，如下所示： last_upd_date"2021-04-21 22:33:06.308639-05" 但在spark dataframe中，它添加了小时间隔。eg: 2020-04-22 03:33:06.308639 在这里，它向last_upd_date列添加了5个小
浏览 28提问于2021-06-24得票数 2
按照官方的，我们不能向DataFrame添加特定的单元分区DataFrame df = hiveContext.read如果给出如下所示的基路径，它不包含我希望在DataFrame中包含的实体列，如下所示-
DataFrame df = hiveContext.read().format("orc").lo
浏览 3提问于2016-01-07得票数 7
回答已采纳
3回答
正如web上的 中所提到的，向现有DataFrame添加新列并不简单。不幸的是，拥有这种功能是很重要的(尽管它在分布式环境中效率很低)，尤其是在尝试使用unionAll连接两个DataFrame时。将null列添加到DataFrame以简化unionAll的最优雅的解决方法是什么from pyspark.sql.types import StringType
from pyspark.sql.functions
浏览 0提问于2015-10-09得票数 63
回答已采纳
2回答
我希望向dataframe添加一个条件列Flag。当满足以下两个条件时，将1添加到Flag，否则为0：
+----+------+-----+------------------------+|1001|taco |2.59 |2018-07-21T01:00:07.961Z|
+----+-
浏览 0提问于2019-04-08得票数 0
回答已采纳
我试图在dataframe中添加一个新列。新列包含随机双值。该问题是DataFrame中所有行的新列中的值重复。我使用scala.util.Random类来生成。我试图简单地向dataframe添加一个新列，就像在类似的帖子中建议的那样。我试图将DataFrame更改为Dataset并添加列。有一种工作方法--在驱动程序上收集数据，并添加
浏览 2提问于2019-04-26得票数 2
回答已采纳
3回答
我们正在处理无模式的JSON数据，有时spark作业会失败，因为我们在spark SQL中引用的一些列在一天中的某些时间内不可用。在这些小时内，spark作业失败，因为所引用的列在数据帧中不可用。我尝试过UDF，但是我们缺少太多的列，所以不能真正地检查每一列的可用性。我还尝试在更大的数据集上推断模式，并将其应用于数据帧，期望缺少的列将用null填充，但模式应用程序失败并出现奇怪的错误。
浏览 5提问于2018-08-10得票数 2
我在Databricks中使用Spark版本2.1。我有一个名为wamp的数据框，我想在其中添加一个名为region的列，该列应该采用常量值NE。
浏览 2提问于2017-05-18得票数 9
回答已采纳
1回答
当我将CONCAT应用于spark sql中的dataframe并将该dataframe作为csv文件存储在HDFS位置时，只在输出文件中添加额外的双引号到concat列中。只有当我将show.This双引号存储为csv文件时，才添加此双引号。
似乎我需要删除额外的双引号，这些双引号是在我将dataframe保存为csv文件时添加的。我正在使用com.databr
浏览 4提问于2017-06-07得票数 1
回答已采纳
, create_date date, model_family_name text我的dataframeMODEL_FAMILY_ID, MODEL_FAMILY, CREATE_DATE, LAST_UPDATE_DATE, MODEL_FAMILY_NAME
at com.datastax.spark.connector.SomeColumns.selectFrom
浏览 2提问于2018-09-27得票数 1
回答已采纳
我有两个dataframes，我想在第一个数据中添加第二个列中的所有列，而不是第一个列。我得到了一个StructField列数组，我想将这些列添加到dataframe中，并填充为null。这是我想出的最好的：
private def addColumns(df: DataFrame, columnsToAdd: Array[StructField]): DataFrame = {val sp
浏览 2提问于2022-08-12得票数 0
回答已采纳
1回答
我知道在Spark1.5及更高版本中有一个'current_timestamp‘函数，但我们还在1.4版本中。如何向设置为“current timestamp”的DataFrame添加列？
浏览 54提问于2016-08-16得票数 0
回答已采纳
1回答
我有一个由数字列和字符列组成的dataframe。 我想将其导出为csv格式，并仅将双引号应用于字符列。 导出csv格式只有字符双引号有什么提示吗？ 下面是我的简单示例。 谢谢。test = pd.DataFrame({'char' : ['100', '200'], 'num' : [700, 800]})
test.to_csv('test_out.csv&#
浏览 11提问于2021-01-07得票数 1
回答已采纳
1回答
星火中每列值之和
、、
我所做的是将我在Spark中获得的数据some转换为Pandas (使用Spark2Pandas命令)，然后对其进行如下工作：
基本上，我有一个有100列的Pandas dataframe，每个列都称为因此，首先，我删除了每一列文本的"FirstP“和”SecondP“部分(基本上，我只保留数字)。之后，使用for循环创建一个新列，在该列中，我将添加每个列的所有值的总和。
浏览 3提问于2022-01-06得票数 -2
回答已采纳
1回答
在使用Spark构建一个简单的应用程序时，我遇到了一些问题。我想要做的是向DataFrame添加一个新列。._correctDF.withColumn("COL1", expr("concat('000',COL1)") )scalaVersion := "2.10.5"
浏览 2提问于2016-03-31得票数 1
回答已采纳
1回答
嗨，谢谢你能帮我这个忙，我有一列数字(在本例中是字符串)。它们是像6,000这样的数字，我只想去掉这些数字中的所有逗号。我尝试过df.select("col").replace(',' , '')和df.withColumn('col', regexp
浏览 8提问于2022-03-02得票数 1
我们使用下面的方法来保存星星之火sql数据来自
根据文件系统上的给定列对输出进行分区
浏览 1提问于2017-06-15得票数 1
回答已采纳
1回答
我有这样的解决方案因此，我以"","","".....的形式添加了其余的47列，这样我就可以合并2数据格式了：如果我想存钱
df3.coalesce(1).write.format("com.databricks.spark.csv&
浏览 3提问于2021-08-06得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
