下面是spark shell代码
202101102 """)
df: org.apache.spark.sql.DataFrame = [time_p
浏览 24提问于2021-03-11得票数 2
回答已采纳
2回答
我想知道为什么我不能在包含空值(Strings)的Spark (2.1)行上进行模式匹配：
scala.MatchError：
浏览 2提问于2017-10-26得票数 7
回答已采纳
2回答
我正在使用Scala中的Spark读取一个csv文件。模式是预定义的，我正在使用它进行阅读。session .appName("Parquet Converter")根据我在使用模式阅读ca
浏览 0提问于2018-11-14得票数 5
回答已采纳
一旦我在Spark中获得了一些Row类，无论是Dataframe还是催化剂，我都想在代码中将其转换为case类。这可以通过匹配完成。someRow match {case Row(a:Long,b:String,c:Double) => myCaseClass(a,b,c)}
但是，当一行中有大量的列时，比如十几个双打，一些布尔人，甚至偶尔的空列，情况就变得很糟糕了。我只想能-抱歉-把排到myCaseClass.这是可能的，还是我已经有了最经济的
浏览 9提问于2015-01-27得票数 55
回答已采纳
我有一个Spark数据帧，其中一列是整数数组。该列可以为空，因为它来自左外部联接。我希望将所有null值转换为一个空数组，这样以后就不必处理null值了。$.apply(literals.scala:49)at org.apache.spark.sql.functions$.when(functions.sc
浏览 5提问于2016-01-08得票数 24
回答已采纳
1回答
Apache中的Case类相等
、、、、
为什么火花中的模式匹配与Scala中的模式匹配不一样？见下面的例子。函数f()尝试在类上进行模式匹配，它在Scala中工作，但在Spark中失败，并导致所有“？？”。f2()是一种解决方法，可以在使用.isInstanceOf()的星火中获得预期的结果，但我理解这在Scala中</em
浏览 4提问于2016-02-09得票数 15
回答已采纳
1回答
这是我的星星之火：import org.apache.spark.sql.cassandra.CassandraSQLContext-i myscript
在一行包含ts单元格的空值之前，一切都是正常的。如果有一个为ts值为空的行，那么我得到了几个与several相关的异常，它们等待一个长值(8个字节)，
浏览 5提问于2015-01-29得票数 0
我想要实现的是让Scala Spark程序(在jar中)接收来自客户端的POST消息，例如curl，获取一些参数值，执行一些Spark处理，然后将结果值返回给调用的客户端。从可用的Apache Livy文档中，我找不到如何通过Livy以交互即会话模式从客户端(例如curl)调用编译和打包的Spark程序的方法。通过Livy<em
浏览 3提问于2019-01-06得票数 1
Spark用于从SQL server DB中获取表的模式。由于数据类型不匹配，我在使用此模式创建配置单元表时遇到问题。如何在Spark Scala中将SQL Server数据类型转换为Hive数据类型。
浏览 48提问于2019-07-19得票数 1
0回答
我想知道如何避免将Any转换为String，而是使用模式匹配。从spark scala收集数据帧在某种程度上是一种变通的df.select('column).first.toSeq.head.asInstanceOf[String]，但我更喜欢使用like df.select('column).first.toSeq.head原生模式匹配，比如
浏览 3提问于2016-12-22得票数 1
回答已采纳
我有一个DataFrame，其中包含要处理的CSV文件的名称。DataFrame的第一列FileName、FilterData作为第二列和其他列(将每一列视为String)中的文件名如下所示：
FileName FilterData col3我想读取第一列(即文件名)，然后打开/读取文件，并获得与FilterData中的模式匹配的记录。(从Dataframe读取第一列)，然后根
浏览 1提问于2017-05-08得票数 0
回答已采纳
1回答
从json(动态模式)读取数据，并将其加载到dataframe。示例数据帧：import spark.implicits._
(1, "ABC")ABC|| 3| GHIJ|要求:列数和名称可以是任何值。需要在后续流程中处理该<em
浏览 6提问于2020-06-04得票数 0
回答已采纳
1回答
每个对象都缺少一些字段，而不是放置null值。在使用Scala的Apache Spark中： c: String = null,)
浏览 4提问于2017-09-23得票数 4
我有一个在数据中有一些空值的RDD[(Seq[String], Seq[String])]。(CatalystTypeConverters.scala:295) at org.apache.spark.sql.SQLCo
浏览 2提问于2017-04-06得票数 3
从MS SQL数据库导入数据时，可能会出现空值。在Spark中，DataFrames能够处理空值。但是，当我尝试将DataFrame转换为强类型Dataset时，收到编码器错误。下面是一个简单的例子： defmain(args: Array[String]): Unit = {
浏览 2提问于2017-03-31得票数 0
4回答
如何读取Spark中的嵌套集合
、、、、
我有一张镶木镶木桌上有一根柱子在Spark文档中找不到任何与此相关的引用。提前感谢您提供的任何信息！
ps。我觉得在谈判桌上提供一些统计数据可能会有所帮助。主表中的列数约为600。行数~
浏览 191提问于2015-05-03得票数 19
回答已采纳
1回答
我正在使用Spark1.2进行一些数据处理。我已经使用StructField创建了一个模式。org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:263) at org.apa
浏览 4提问于2015-10-16得票数 0
我正在努力创建一个空的数据在火花(火花)。df = sqlContext.createDataFrame(sc.emptyRDD(), schema)Traceback (most recent call last):File "<stdin>", line 1, in <module>
File "/Users/Me/Desktop/spark
浏览 4提问于2016-01-06得票数 34
回答已采纳
3回答
在spark (如 )中，有许多方法来验证两个数据帧的架构。但是我只想在SQL中验证两个数据帧的模式，我指的是SparkSQL。中没有数据库(模式)的概念，但是我读到了包含模式信息等的亚稳态。我们可以在SparkSQL中编写像上面这样的SQL查询吗？我只是在检查为什么显示create没有使用spark，是因为它是一个临
浏览 6提问于2018-09-04得票数 1
如何处理时间戳列中的空值？我将源数据保存在列表中(sql的结果) [220,1,220,220,2012-04-24 23在最后一列中，空值与时间戳混合。(rdd, StructType(fields))
导致: java.lang.RuntimeException: scala
浏览 0提问于2018-06-21得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
