如果您有一个简单的数据帧，如下所示： "Alice", null, null, //+-----+//| null|//| Bob|//| null|
//|
浏览 6提问于2016-12-15得票数 1
我正在运行一个简单的sparkSQL查询，它在两个数据集上进行匹配，每个数据集大约是500 is。所以整个数据都在1TB左右。失败的地方！我知道我不是在缓存一个巨大的数据，它只是一个数字，为什么它在这里失败了。(DataFrame.scala:1903) at org.apache.spark.sql.DataFrame.collect(DataFrame.scala:1384) org.apache.spa
浏览 3提问于2016-10-17得票数 1
回答已采纳
我用的是火花1.5。我有两份表格的数据：res1: org.apache.spark.sql.DataFrame = [basket_id: string,(DataFrame.scala:1315) a
浏览 5提问于2016-12-13得票数 71
回答已采纳
1回答
我正在尝试加载一个用spark sql以ORC格式创建的托管配置单元表。DataFrame.scala:2086) at org.apache.spark.sql.DataFrame
浏览 21提问于2017-04-20得票数 3
我正在尝试编写一个依赖于DataFrame.saveAsTable()的单元测试用例(因为它是由文件系统支持的)。应启用metastore的嵌入式模式，因此不需要外部数据库。(SQLContext.scala:1099) atorg.apache.spark.sql.
浏览 4提问于2015-05-29得票数 8
有时(例如，为了测试和标记)，我想强制执行在DataFrame上定义的转换。DataFrame写到HDFS，但是这会“扰乱”我的系统，我不想再保存更多的表。那么触发DataFrame求值的最佳方式是什么呢 编辑： 请注意，在spark开发人员列表上还有一个最近的讨论：http://apache-spark-developers-list.1001551.n3(DataFrame.
浏览 62提问于2017-03-10得票数 20
回答已采纳
1回答
$1$1.apply(DataFrame.scala:1499) at org.apache.spark.sql.DataFrame$$anonfun$org$apache$spark$sql$DataFrame:2086) at org.apache.spark.sql.DataFrame.org$apache$spark$sql$DataFrame$$execute$1(DataFrame.<e
浏览 4提问于2016-11-16得票数 0
我的数据帧结构： |-- c1_x: double (nullable = true) |-- c3_z: doubleDataFrame.scala:2125)
at org.apache.spark.sql.DataFrame.org$apache$spark$sql$DataFrame$$execute$1(DataFrame.scala</em
浏览 2提问于2016-07-27得票数 1
我的UDF和广播变量都属于一个可序列化的helper对象，我在类的顶部初始化了广播变量，并在该类的def中调用了UDF。然而，在评估期间，当尝试访问广播变量时，我会得到一个空指针异常。为了记录这一点，我不想用对象和类分离的特殊方式来实现它，这是我能想到的最好的方法，可以避免序列化我的UDF并确保UDF能够访问广播变量(它依赖于我们类的实例中的数据)。class MyClass() {
Helper.MyBro
浏览 5提问于2022-09-08得票数 0
回答已采纳
请参考以下代码： SparkConf sparkConf = new SparkConf().setAppName("TestWithObjectspersons); SQLContext sQLContext = new SQLContext(javaSparkContext); personDataFrame.select("name
浏览 6提问于2015-12-10得票数 5
来自spark文件：但是，考虑一下这样的情况:我有两个分区，一个使用旧模式，另一个使用新模式，只有一个额外的字段不同。我们还假设我的代码知道新的模式，并且我能够显式地传递这个模式。
在这种情况下，我会做一些类似spark.rea
浏览 1提问于2021-03-10得票数 2
except能在Spark DataFrames上正常工作吗？为什么tail1仍然包含"a“而去掉了"b”？<e
浏览 2提问于2017-04-19得票数 0
:1903)at org.apache.spark.sql.DataFrame.head(DataFrame.scala:1314)
at org.apache.spark.sql.DataFrame.take(DataFrame.scala:1377)
浏览 4提问于2015-11-04得票数 1
回答已采纳
Dataframe是使用scala创建的。val someDF = spark.createDataFrame( spark.sparkContext.parallelize(someData), StructType(someSchema) )PySpark提供了.toPandas()来将火花数据转换成熊猫，但是scala(我可以找到)并没有对应的数据。
浏览 1提问于2020-04-05得票数 0
回答已采纳
我有一个Scala测试，它使用Mockito来验证某些DataFrame转换是否被调用。我把它分解成了一个简单的有问题的例子import org.scalatest.funsuite.AnyFunSuiteimport org.mockito.Wanted:
dataset.transform(&
浏览 0提问于2020-05-30得票数 1
回答已采纳
1回答
尝试从Windows中的Eclipse程序连接到Windows。 at org.apache.spark.sql.DataFrame.org$apache$spark$sql$DataFrame$$execute$1(DataFrame.scala:1498)
at org.apache.spark.sql.DataFr
浏览 4提问于2016-11-18得票数 0
我有spark scala应用程序。我正在尝试使用它内部的Futures来并行化几个独立的操作集。我在期货中调用它们，它们返回给我未来类型的DataFrame，我如何在最后合并它们，并在任何未来类型无法计算的情况下抛出错误。下面是我的代码。当我尝试在onComplete块中应用数据帧的联合时，它显示以下错误
value union is not a member of scala.concurren
浏览 2提问于2020-01-22得票数 0
2回答
我正在尝试使用从Spark读取来自kerberized实例的数据。我的集群配置本质上类似于：我将客户端计算机上的星火作业提交给远程spark独立集群，该作业试图从单独的HBASE集群中读取数据。如果我通过直接在我的客户端上运行带有master=local*的Spark集群来绕过独立集群，只要我第一次从客户端启动，就可以访问远程HBASE集群。at org.apache.spark.sql.DataFrame<
浏览 8提问于2016-08-22得票数 0
1回答
我对scala和spark都很陌生。我有一个非常愚蠢的问题。我有一个从elasticsearch创建的数据框架。我正试图用拼图格式编写那个s3。下面是我看到的代码块和错误。一个好心的撒玛利亚人能在这个问题上给我指点一下吗？val dfSchema = dataFrame.schema.json dataFrame
.withColum
浏览 14提问于2019-08-25得票数 1
回答已采纳
1回答
同样的问题与齐柏林飞艇嵌入式火花和从我自己安装的火花外壳(1.6.3)
at org.apache.spark.sql.DataFrame.org$apache$spark$sql$DataFrame$$execute$1(DataFrame</e
浏览 0提问于2016-12-30得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
