1回答
尝试从Windows中的Eclipse程序连接到Windows。如何在类路径中设置hbase-site.xml？我下载了*site.xml文件，尝试将hbase-site.xml, core-site.xml and hdfs-site.xml作为source文件夹添加
浏览 4提问于2016-11-18得票数 0
1回答
目前在我的scala项目中，我使用kafka通过spark-streaming接收xml数据。我用一种简单的方式来做：lines.foreachRDD(rdd => { println(record)})
在此之后，我必须将我的</
浏览 8提问于2017-03-06得票数 0
如何从包含XML代码的字符串构建Spark dataframe？如果代码保存在一个文件中，我可以很容易地做到这一点 .options(rowTag='my_row_tag')但是，如前所述，我必须从包含常规XML的字符串构建数据帧。
浏览 1提问于2020-04-21得票数 0
我有一个包含两列的dataframe，一个pk和一个xml字符串。我需要将xml字符串转换为此数据框中的列。/
浏览 0提问于2019-07-24得票数 1
1回答
我是Scala/Spark编程的新手，我需要将DataFrame保存为XML文件，我从HQL (Hive)查询中获取DataFrame。它是一个简单的DataFrame (没有数组或其他复杂类型) 我已经研究并找到了spark-xml库，但是这个库似乎不能解决这个问题。
浏览 32提问于2019-03-10得票数 0
回答已采纳
我想使用spark中的Scala创建一个带有CSV/Dataframe的XML声明的XML文件。我正在使用Databricks spark库将DataFrame转换成XML格式。示例代码.format('com.databricks.spark.xml') \
.option
浏览 0提问于2018-07-02得票数 1
我正在尝试使用databricks notebook中的PySpark将XML文件加载到dataframe中。df = spark.read.format("xml").options().load(filePath) 在这样做的</e
浏览 40提问于2021-01-11得票数 1
SnappyData v.0-5**java.lang.NoClassDefFoundError: org/eclipse/jetty/server/handler<init>(SparkContext.scala:499)
我的pom.<e
浏览 6提问于2016-08-06得票数 1
1回答
同样的问题与齐柏林飞艇嵌入式火花和从我自己安装的火花外壳(1.6.3)
compression
浏览 0提问于2016-12-30得票数 2
回答已采纳
代码： val xmlDf: DataFrame = spark.read .option("nullValue", "")
.xml(df.select("payload").map(x => x.getString(0))) 警告:类XmlDataFrameReader中的方法xml已弃用(从0.13.0开始)：直接使用XmlReader .xml<
浏览 31提问于2021-10-07得票数 0
1回答
当我试图使用spark函数进行提取时，我没有得到正确的模式，而且记录已经损坏。
import com.databricks.spark.xml._import com.databricks.spark.xml.functions.from_xml</em
浏览 4提问于2021-12-15得票数 2
我想在scala spark中从CSV/DataFrame创建一个嵌套的XML。我使用Databricks spark-XML库将DataFrame转换为XML格式。我尝试创建如下所示的输出，但无法实现<row></row>我尝试
浏览 15提问于2018-02-23得票数 0
回答已采纳
我已经创建了一个dataframe，比如df1。我通过使用df1.cache()来缓存它。如何检查这是否已缓存？还有一种方法，使我能够看到所有缓存的RDD或数据文件。
浏览 9提问于2015-09-07得票数 22
回答已采纳
在Spark shell中，我创建了一个包含三个字符串的简单DataFrame："a“、"b”、"c“。将Limit(1)分配给数组，从而正确地生成row1 (A)。然后，将row1用作grfDF DataFrame生成tail1上的extend方法的参数。tail1不应该是数组(b，c)的新DataFrame吗？
为什么tail1仍然包含"a“而去掉了"b”？scala> gr
浏览 2提问于2017-04-19得票数 0
我有XML文件，其中包含使用withColumn函数在DataFrame上运行的所有转换，如下所示:如何在DataFrame上应用它。我有一个使用Scala ToolBox和runTmirror编写的代码，它在内部编译代码并在DataFrame上运行这些规则。它能很好地工作在不到100列的地方。但是现在需求已经改变了，列的数量从80列增加到210列，所以这段代码失败了，应该是StackOverflow error。这是Scal
浏览 0提问于2019-08-31得票数 0
回答已采纳
我使用schemaMerge加载文件，因为较新的文件有一些额外的列。此外，一些文件的列名是小写的，而其他文件的列名是大写的。integer,我遇到了一个关于ParquetFileFormat类的inferSchema方法的问题。模式合并被委托给spark sql的StructType merge方法。据我所知，该方法只能以区分大小写的方式工作。在内部，它使用映射按名称查找字段，如果大
浏览 23提问于2019-07-31得票数 4
回答已采纳
我正在运行一个简单的sparkSQL查询，它在两个数据集上进行匹配，每个数据集大约是500 is。所以整个数据都在1TB左右。失败的地方！我知道我不是在缓存一个巨大的数据，它只是一个数字，为什么它在这里失败了。(DataFrame.scala:1903) at org.apache.spark.sql.DataFrame.collect(DataFrame.scala:1384) org.apache.spark.sql.DataFrame</
浏览 3提问于2016-10-17得票数 1
回答已采纳
1回答
我正在尝试加载一个用spark sql以ORC格式创建的托管配置单元表。DataFrame.scala:1505) at org.apache.spark.sql.DataFrame.head(DataFrame</
浏览 21提问于2017-04-20得票数 3
对象的main方法中运行上述代码时所收到的错误：at org.apache.spark.sql.DataFrame.take(DataFrame.scala:1377)
at org.apache.spark.sql.Da
浏览 4提问于2015-11-04得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
