对于给定的spark df，我想知道某一列是否有空值。我的密码是- if (df.filter(col(colName).isNull).count() > 0) {//throw exception} 这花费了很长的时间，因为我要检查2列，所以对1 df每次调用它时，我都会看到count的一个作业，所以1个df有2个作业。 然后我更改了代码，如下所示- if (!df.filter(col(colName).isNull).head(1).<
浏览 62提问于2020-01-30得票数 0
回答已采纳
1回答
df.head(1).isEmpty){validDF.write.json("/home/files/result")else:150) at org.apache
浏览 2提问于2020-08-13得票数 0
._1.isEmpty && !._2.isEmpty) x._2.head else null).asInstanceOf[V]) }value cogroup is not a member of org.apache.spark.rdd.RDD
浏览 3提问于2015-11-17得票数 0
回答已采纳
现在，我必须使用df.count > 0来检查DataFrame是否为空。但这是一种低效。有没有更好的方法呢？PS:我想检查它是否为空，这样我就只在DataFrame不为空时才保存它
浏览 55提问于2015-09-22得票数 135
1回答
假设我有一个键值对，它包含一个userId和一个布尔整数列表，指示用户有一个属性：joe 10 1jane 0 0 1在Scala代码中，数据结构如下所示：
var dat
浏览 4提问于2016-02-23得票数 0
回答已采纳
1回答
由于某种原因，.count()方法将返回始终相同的结果。实际上，它必须返回两个不同的计数值。此外，我注意到Mesos中的奇怪行为。感觉好像没有执行.cache()方法。df.head(1).isEmpty)的这一部分并执行很长一段时间。我假设缓存过程将运行很长时间，而其他进程将使用此缓存并快速运行。你觉得有什么问题吗？import org.apache.spark.sql.DataFrame
.read
浏览 2提问于2020-01-27得票数 0
回答已采纳
我遇到了Apache Spark的问题，当我在JavaRDD集合上调用isEmpty时，即使集合为空，它也会返回false。$$anonfun$first$1.apply(RDD.scala:1314)at org.apache.spark.rdd.RDD.first(
浏览 2提问于2016-02-09得票数 1
/head800k.csv /user但我的程序不读文件。有什么想法吗？提前感谢import org.apache.spark.SparkContextimport org.apache.spark.SparkConfi
浏览 3提问于2017-02-04得票数 0
我正在使用Spark1.6并尝试使用
线程"main“org.apache.spark.sql.AnalysisException中的异常:未定义函数collect_list；at org.apache.spark.sql.catalyst.analysis.SimpleFunctionRegistry
浏览 2提问于2016-02-10得票数 5
回答已采纳
1回答
我已经使用了这些1和2指南，使它工作，但还没有多少运气。我还尝试了SO3的几个建议。集群有足够的资源/核心可用。曾经尝试过使用Spark1.5.0，Spark1.6.0。
浏览 4提问于2016-02-23得票数 2
回答已采纳
Query1 -noofentry: org.apache.spark.sql.DataFrame= [count(1): bigint]var noofsubscribed = sqlContext.sql("select count(*) from bankdata whe
浏览 0提问于2018-03-22得票数 0
回答已采纳
然而，当我尝试import org.apache.spark时，它不起作用。 val testcase = line.split(",").toBuffer println(testcase(1)) while (testcase.nonEmpty){
浏览 0提问于2018-05-28得票数 0
回答已采纳
我正在尝试使用字符串的rdd作为字典和来自包的类org.apache.spark.mllib.random来创建一个字符串采样器。import org.apache.spark.mllib.random.RandomDataGeneratorimport scala.util.Random= 1 / dic.count()
//return a r
浏览 4提问于2017-07-28得票数 1
我是apache-spark的新手。at org.apache.spark.sql.
浏览 0提问于2020-06-06得票数 0
spark示例也是如此。我的问题是，在某些情况下，我采用空向量。对我来说，做点什么来处理它是非常重要的，但我做不到！ArrayType(DataTypes.StringType, true), false, Metadata.empty()) Dataset<Row> df = spark.createDataFrame-------------------------+|[a, b, c] |(
浏览 0提问于2018-01-08得票数 1
1回答
我的spark工作代码看起来有点像这样： batch_duration = 1
spark_session = SparkSession \ .appName("my-app") \
# Createstreaming context (=connection to Spa
浏览 32提问于2019-06-22得票数 0
2回答
at org.apache.spark.util.EventLoop$$anon$1.run(EventLoop.scala:49) at org.apache.spark.rdd.RDD$$anonfun$isEmp
浏览 2提问于2021-02-25得票数 2
回答已采纳
An implicit Encoder[org.apache.spark.sql.Dataset[(String, Long)]] is needed to store org.apache.spark.sql.Dataset[org.apache.spark.sql.Dataset[(String, Long)]])org.apache.spark.sql.Dataset[org.apache.spark.sql.
浏览 16提问于2020-04-17得票数 0
回答已采纳
我正在尝试学习Apache Spark，但我不能完全理解： import spark.SparkContext
import SparkContext._ 为什么我们需要第二行看起来几乎像第一行？
浏览 31提问于2021-04-24得票数 0
我预计我的样本的中值将作为1返回。select num from test").show();|num||0.0||1.0||1.0|+---+( 1)2) Hive UDAT percentile_approx，但它不像预期的那样工作(返回0.25vs1)。
浏览 5提问于2016-12-30得票数 6
回答已采纳
云服务器
ICP备案
即时通信 IM
对象存储
云直播
腾讯云开发者
