我们可以在火花壳中使用spark.newSession创建新的火花会话。现在，我的问题是，新的火花会话实例的用途是什么？
浏览 4提问于2017-10-03得票数 2
回答已采纳
我试图为scala中的groupBy单列或多列创建以下函数。def showGroupByDesc(df: DataFrame, cols: Column*): Unit = { }overloaded method value groupBy with alternatives:
(col1: String,cols: String*)org.apach
浏览 2提问于2020-12-04得票数 0
回答已采纳
1回答
(RDD.scala:693) at org.apache.spark.rdd.RDD(RDD.scala:358) at org.apache.spark</
浏览 8提问于2016-09-25得票数 2
:41) at scala.collection.TraversableLike$$anonfun$groupBy$1.apply(TraversableLike.scala:328) at scala.collection.TraversableLike$$anonfun$groupBy$1.apply(TraversableLike.scala:327) at scala.collection.Iterator$class.foreach(Iterator.
浏览 7提问于2015-04-27得票数 11
回答已采纳
我使用itertools.groupby编写了一个映射函数来聚合数据，我所做的如下所示。<init>(PythonRDD.scala:207) at org.apache.spark.api.python.PythonRDD.compute(PythonRDD.scala:70)
at org.apache.
浏览 2提问于2016-08-05得票数 0
1回答
result = \.groupby('time_window') \result.show()
我想让它在scala语言中运行，我做了这个，我得到了，我错了，我没有取消错误，因为&quo
浏览 0提问于2017-02-27得票数 0
1回答
("dog.woof").count().show();DataFrame df = sqlContext.read().json("dogfile.json"); at org.apache.spark.sql.catalyst.analysis.CheckAnalysis$$anonfun$transformUp$1.apply(TreeNode.sc
浏览 3提问于2016-06-03得票数 1
回答已采纳
在Scala中，这是一个非常简单的代码：myRdd: org.apache.spark.rdd.RDD[(Int, Iterable[Int])] = ShuffledRDD[2] at groupBy at <console>:24
res0: Seq[org.apache.spark<
浏览 0提问于2017-12-01得票数 0
我在Scala Spark中做了一个函数，看起来像这样。(_._1)} at org.apache.spark.rdd.RDD$$anonfun$groupBy$1.apply(RDD.scala:687)
at org.apach
浏览 0提问于2018-01-31得票数 0
我调用了星火外壳并通过查询验证相同：res11: Long = 10240scala> sDF.count
res14: L
浏览 0提问于2019-09-03得票数 0
我能够在Spark‘文字’查询中使用序数(在GROUP BY和ORDER BY之后的这些整数)：但是对于DataFrames/DataSet，我必须始终使用列名：df.select($"ProfileName"
浏览 3提问于2017-07-19得票数 2
回答已采纳
我正在试着用Spark加载和分析一些镶木地板文件。我使用schemaMerge加载文件，因为较新的文件有一些额外的列。此外，一些文件的列名是小写的，而其他文件的列名是大写的。模式合并被委托给spark sql的StructType merge方法。据我所知，该方法只能以区分大小写的方式工作。在内部，它使用映射按名称查找字段，如果大小写不匹配，它会将其解释为新字段。这会导致
浏览 23提问于2019-07-31得票数 4
回答已采纳
= new SparkContext("localhost", "GroupBy Test",然后scala编译器(2.9.2)抱怨：
not enough arguments for constructor SparkContext: (master
浏览 3提问于2014-01-06得票数 2
回答已采纳
2回答
我正在尝试教自己Scala，并使用IntelliJ的想法作为我的IDE。我已经启动IntelliJ的shell，运行console，然后输入以下内容：import org.apache.spark.sql(new SparkConf().setMaster("local[*]")).enableHiveSupport().getOrCreate()val, asAt))
它在最后一行
浏览 1提问于2018-05-22得票数 1
回答已采纳
org.apache.spark.SparkConfimport org.apache.spark.sql.SQLContextvar pKeys = ArrayBuffer[String]()
if (row_count == df.groupByat scala.sys.package$.error(package.s
浏览 3提问于2016-03-11得票数 3
回答已采纳
1回答
t1)派生自col2_id 目标是找出具有某种类型(即t1，t2等)的col1_id的数量 这是我目前正在做的事情， val df1 = df.select($"col1_id", $"type").groupBy($"col1_id", $"type").count()
df1.drop($"count").groupBy($"type").show() 这个很好用..然而，我想知道是否有更好的方法来实现这一点
浏览 18提问于2019-01-03得票数 0
回答已采纳
我在Spark DataFrame上执行以下查询 .select("id") .agg(count("*").as("count")):234)at org.apache.spark.sql.catalyst.expressions
浏览 0提问于2016-06-10得票数 0
对于示例数据帧scholor，对于上面的，都是下面的，给出相同的输出。那么agg()有什么用呢？scala> scholor.groupBy("age").sum("base").show /*with out agg */
scala> scholor.groupBy("age").
浏览 1提问于2017-04-08得票数 4
回答已采纳
scala> import spark.implicits._import org.apache.spark.sql.functions._
scala> val df = Seq((1,3), (4, 1), (2, 2)).toDF("a",
浏览 49提问于2020-06-12得票数 0
回答已采纳
云服务器
ICP备案
云点播
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号