我需要在一个结构体中添加一个元素，这个结构体本身就是一个结构体。driver":{"Max Verstappen","Alex Albon"},"carNumbers":{"33","23"},"carName":"RB7"}}} 基础DF： val jsonDF=spark.read.json= true)
|
浏览 16提问于2020-09-19得票数 0
回答已采纳
1回答
在我的Scala/Spark应用程序中，我试图正确地使用多处理。从下面的代码中可以看到，线程数等于storage数组中的元素数。我测试了当前的代码，它可以工作。但是如您所见，storage数组中只有两个元素。在我看来，如果数组中有大量的元素，就会出现问题。在我的例子中，我不知道将来数组中会有多少个<e
浏览 3提问于2020-01-29得票数 0
我想使用spark中的Scala创建一个带有CSV/Dataframe的XML声明的XML文件。我正在使用Databricks spark库将DataFrame转换成XML格式。示例代码.format('com.databricks.spark.xml') \
.option
浏览 0提问于2018-07-02得票数 1
我试图寻找爆炸功能或它的等价物在普通的scala，而不是火花。使用Spark中的below函数，我能够将一个具有多个元素的行平平成多个行，如下所示。scala> import org.apache.spark.sql.functions.explode+---+---
浏览 2提问于2020-02-24得票数 1
回答已采纳
我正在尝试执行星火的countVectorizer模型。作为这个需求的一部分，我正在读取一个csv文件并从其中创建一个Dataframe (inp_DF)。中创建第4列，其中包含所有这3列的值数组，如| indiana|我试图从这3列输入数据创建一个数组，但是数组元素被括在方括号
浏览 1提问于2017-09-05得票数 0
回答已采纳
一个关于星火结构流与HIVE表集成的查询。 val spark =SparkSession.builder().appName("StatsAnalyzer") .config", "hdfs://pp/apps/hive/warehouse/ab.db")
浏览 0提问于2018-12-28得票数 13
让我们假设我们有一个Spark DataFrameClass[_ <: org.apache.spark.sql.DataFrame] = class org.apache.spark.sql.DataFrame(nullable = true)| |-- element: string (containsNull = true)
假设Scala列的
浏览 2提问于2016-01-05得票数 7
回答已采纳
1回答
尝试从Windows中的Eclipse程序连接到Windows。如何在类路径中设置hbase-site.xml？我下载了*site.xml文件，尝试将hbase-site.xml, core-site.xml and hdfs-site.xml作为source文件夹添加，并尝试从项目构建路径中将该文件添加
浏览 4提问于2016-11-18得票数 0
1回答
如何在scala中将具有以下结构的RDD转换为dataframe这里，RDD的每一行都包含一个索引Long和一个向量org.apache.spark.mllib.linalg.Vector。我希望将org.apache.spark
浏览 2提问于2017-02-26得票数 2
1回答
我有一个scala List List[Any] = List("a", "b",...)，我需要获取一个Spark dataframe，它只包含列表中所有列的一行。我正在尝试用返回org.apache.spark.rdd.RDD[Any] = ParallelCollectionRDD[5834] at parallelize at <console>:81的sc.parallelize(myList)来创建一个RDD
但是，我也不能
浏览 2提问于2018-09-26得票数 1
3回答
我试图在Spark2.0.0中的Dataset[Row] (DataFrame)上执行一个简单的映射。像这样简单的事情df.map { r: Row => r }
方法map：(隐式证据$7: EncoderRow)的参数不足。如果首先转换为RDD，一切都很好，但是不应该有一种像元组类型ds.rdd.map { r: Row =>
浏览 5提问于2016-09-30得票数 2
我已经成功地将csv文件推送到我的elasticsearch中。val spark=SparkSession.builder() .config("spark.master","local") val path=scala.io.StdIn.readLine()
val dataframe</
浏览 25提问于2020-06-14得票数 1
对象的main方法中运行上述代码时所收到的错误：at org.apache.spark.sql.DataFrame.take(DataFrame.scala:1377)
at org.apache.spa
浏览 4提问于2015-11-04得票数 1
回答已采纳
4回答
如何读取Spark中的嵌套集合
、、、、
我有一张镶木镶木桌上有一根柱子在Spark文档中找不到任何与此相关的引用。提前感谢您提供的任何信息！
ps。我觉得在谈判桌上提供一些统计数据可能会有所帮助。主表中的列数约为600。行数~
浏览 191提问于2015-05-03得票数 19
回答已采纳
1回答
估计大小为61.8 KB，空闲78.0 KB) 16/12/29 11:55:36 INFO storage.MemoryStore:块broadcast_2_piece0存储为内存中的字节(估计大小为AccessorImpl.java：-2 16/12/29 11:55:36 INFO storage.MemoryStore:块broadcast_3存储为内存中的值(估计大小为212.1 KB，空闲309.7 KB) 16/12/29 11:55:36 INFO
浏览 5提问于2016-12-29得票数 1
, C++]| CA||Robert,,Williams| [CSharp,|CA ||Michael,Rose, |Spark |NJ |
浏览 11提问于2021-10-11得票数 2
我正在获取mongoDB文档，然后在处理之后，我想使用Bson.Document库将其存储到Hbase中在结构化流媒体中，我得到了DatasetDocument
scala> val stream = spark.readStream.format("kafka").option
浏览 15提问于2019-11-09得票数 2
我有spark scala应用程序。我正在尝试使用它内部的Futures来并行化几个独立的操作集。我在期货中调用它们，它们返回给我未来类型的DataFrame，我如何在最后合并它们，并在任何未来类型无法计算的情况下抛出错误。下面是我的代码。当我尝试在onComplete块中应用数据帧的联合时，它显示以下错误
value union is not a member of sc
浏览 2提问于2020-01-22得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
