我有一个Spark数据帧，其中一列是整数数组。该列可以为空，因为它来自左外部联接。我希望将所有null值转换为一个空数组，这样以后就不必处理null值了。但是，这会导致以下异常：at org.apache.spark.sql.catalyst.expressions.Literal$.apply(literals.scala:49)
at
浏览 5提问于2016-01-08得票数 24
回答已采纳
我希望将嵌套在字符串数组中的空值转换为spark中的空字符串。数据在数据帧中。我计划在使dataframe null安全后运行一个reduce函数，不确定这是否有助于回答这个问题。我使用的是spark 1.6。----+|[,] ||[Pilot, Je
浏览 16提问于2019-09-19得票数 2
回答已采纳
在DecimalType中将列转换为DataFrame似乎会更改可空属性。具体来说，我有一个DecimalType(12, 4)类型的非空列，我使用df.withColumn(columnName, df.col(columnName).cast(dataType))将它转换为这将导致具有预期数据类型的字段，但该字段现在是可空的。有没有一种在不更改列的可空
浏览 1提问于2018-06-14得票数 5
回答已采纳
3回答
我正试图将数据格式插入卡桑德拉：然而，一些列值是空的，因此我得到了异常：at scala.collection.immutable.StringOps.toFloat(StringOps.scala:31)
at com.datastax.spark.connector.types.TypeConverter$F
浏览 7提问于2017-05-08得票数 2
回答已采纳
*编辑 df_joint = df_raw.join(df_items,on='x',how='left') Apache Spark 2.4.5中出现标题异常 df_raw有2列"x“、"y”的数据，而df_items是模式的空数据框，还有其他一些列 左连接发生在null的值上，它应该从第一个dataframe中获取整个数据，并从第二个dataframe中获取空列。当&q
浏览 31提问于2020-12-20得票数 0
")dataset.withColumn(ColumnToBeTransformed, regexp_replace(col(ColumnToBeTransformed),i)" + searchStrin
浏览 2提问于2018-07-02得票数 1
回答已采纳
spark.sql("select case when type = 'KEY' then case when length(key)>0 and key not rlike '^[0-9]+@.*'我编写的查询是针对两个输入的，需要使用以下规则进行更新。当类型= ' key‘和key>0时应该进一步处理，如果没有，则从同时保存ID和电子邮件的键列中提取ID，如果没有，则从包含ID和电子邮件的键列中提取ID。要提取，我们需要比较电子邮
浏览 3提问于2021-09-01得票数 1
回答已采纳
我正在尝试过滤DataFrame，只保留那些具有特定字符串列的行不为空。df.filter($"stringColumn" !== "")如何检查Spark > 2.0中的字符串列值是否为空？
浏览 1提问于2016-10-20得票数 22
回答已采纳
问题：为什么下面的代码只在第一列上用空值替换空值，而不替换具有空值的其他列？例如，如果column1和column2没有空值，而column3、column6、column9有空值，则只能在column3中替换空值，而在column6和column9中则不替换空值。注意:所有列都是字符串类型的。我使用的是‘Py
浏览 16提问于2022-05-09得票数 0
1回答
假设我有一个简单的管道分隔文件，缺少值：我把它读进了数据仓库：缺少的第三列不是空值，而是字符串null：|_c0|_c
浏览 3提问于2020-01-23得票数 1
回答已采纳
从MS SQL数据库导入数据时，可能会出现空值。在Spark中，DataFrames能够处理空值。但是，当我尝试将DataFrame转换为强类型Dataset时，收到编码器错误。下面是一个简单的例子： defmain(args: Array[String]): Uni
浏览 2提问于2017-03-31得票数 0
如何检查dataframe的列是否为null或空ins spark。 例如。type IdentifiedDataFrame = {SourceIdentfier, DataFrame} seq((DeltaTableStream(RequestWithTransactionId), df.f
浏览 85提问于2021-07-08得票数 0
我已经检查了下面的问题，它给出了python或scala的解决方案。和for java的方法是不同的。How to replace null values with a specific value in Dataframe using spark in Java?我有一个数据集Dataset<Row> ds，它是我通过读取拼图文件创建的。因此，所有列值都是字符串。其中一些值为空。我使用.na().fil
浏览 70提问于2019-05-06得票数 1
回答已采纳
当在特性中对字符串列进行索引时，我对PySpark有一个奇怪的问题。,0.2,0在这里我有一个“X0”的缺失值。准确的错误：print5个向量中缺少
浏览 9提问于2015-11-06得票数 18
回答已采纳
2回答
" : "England" }val dataframe = spark.read.json(filePaths: _*) explode(dat
浏览 2提问于2017-05-21得票数 3
回答已采纳
4回答
如果我调用map或mapPartition，并且我的函数接收来自PySpark的行，那么创建本地PySpark或Pandas DataFrame的自然方法是什么？合并行并保留架构的东西？目前，我所做的事情如下： rows = [x for x in partition]
dfpart = pd.DataFrame(rows
浏览 0提问于2015-12-23得票数 2
回答已采纳
使用spark streaming读取kafka消息，其中V= Json事件。Json的模式不是强制的，因此您可能会获取以下两个事件：{"foo": "01/01/1974"}
在字段不存在的情况下，如何使用read.json和df.registerTempTable(&quo
浏览 2提问于2018-03-07得票数 1
如果字段不存在于要读取的拼图中，有没有办法为编码器选择默认值？public static final Encoder<ParquetModel> encoder = Encoders.bean(ParquetModel.class);
例如，在我的ParquetModel中有一个字段Name，但它不在拼花面板的模式中。有没有办法指定默认值？
浏览 4提问于2020-10-23得票数 0
如何替换timestamp类型的列中的所有空值？使用today也不起作用，使用unix_timestamp(string).cast("timestamp"
浏览 0提问于2016-12-19得票数 1
我正在尝试将我的excel文件导入Azure-DataBricks机器中的PySpark，我必须将其移动到PySpark Dataframe。我无法执行此操作。merge type <class 'pyspark.sql.types.DoubleType'> and <class 'pyspark.sql.types.StringType'>
这里需要你的帮助
浏览 2提问于2018-09-18得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
