对于第二个语句，我得到一个错误。有人能解释一下为什么我会得到这个结果吗？scala> stagingDF.select("a_ingestion_dtm").show(2,false) ||2019-07-08 16:10:02.866005| only showing top 2 rows
scala> stagingDF.select
浏览 33提问于2019-08-21得票数 0
我正在使用scala集成的智能想法(像eclipse)，我创建了一个scala sbt项目，我使用spark 1.4.0和scala 2.11.6，我在:导入org.apache.spark时出错。{SparkContext，SparkConf}名称:= "simple“scalaVersion := "2.11.6“
libraryDependencies核心"org.apache.spark“%”<e
浏览 0提问于2015-06-18得票数 0
现在，我想像捕获一样捕获跟踪URL，并在我的其他scala项目中使用它。我该怎么做呢？我尝试重定向spark-submit输出，但它似乎不起作用，就像def submitSparkJob(filename+ pramas
val pio = new ProcessIO(_ => (),
浏览 1提问于2015-11-05得票数 2
在运行我的spark- my代码时，我在执行时得到了这个错误。我只是好奇地想知道这个TreeNodeException错误是什么。Exception in thread “main” org.apache.spark.sql.catalyst.errors.package
浏览 2提问于2017-10-25得票数 8
我有一个spark应用程序，它读取大量数据，将其加载到内存中，并在两者之间设置所有内容，以便用户多次查询内存中的数据帧。查询完成后，控制台上会提示用户继续输入新的输入集或退出应用程序。但是，我可以从spark-shell运行这个交互式spark应用程序吗？谢谢!
浏览 1提问于2017-05-16得票数 1
我正在编写一个进程，将从Spark- Scala应用程序写入SQL Server。它为每个数据分区生成多个插入块(正如预期的那样)，批处理大小为100K记录。当我监视事务日志时，我可以看到它被填满了，我希望INSERT BULK不会填满。
你能建议我如何实现每批的提交吗？
浏览 3提问于2018-09-16得票数 2
我发现，当我试图运行容器中包含的脚本时，Java抛出了一个异常，因为找不到容器的名称spark_master。Caused by: java.net.UnknownHostException: spark_master没有错误，只是吊着。
有什么好主意吗？有没有更好的方法来解决根本原因？.cloudfront.net/spark-$SPARK_BIN_VERSION.
浏览 5提问于2016-04-10得票数 2
回答已采纳
2回答
创建并使用进行约会
、、、
注:此问题与以下问题相关联： package test.udf.demo def transformDate(col("calculatedCol"), "dd-MM- yyyy"))))-1, lit('-')),substring(year(to_date(from_unixtime(unix_timestamp3, 4)))))
val d1=sparksession.udf.regis
浏览 2提问于2020-05-07得票数 0
1回答
在通过使用Spark时，我想包装一些常见的转换，以便更方便地将它们传递给mutate语法。示例2000-01-01 00:00:00.0我可以使用以下语法将这些转换为更有用的YYYY-MM-dd格式：挑战问题
应用</
浏览 3提问于2017-09-20得票数 3
回答已采纳
1回答
当我运行我的码头映像时，我想运行jar文件。但是，我得到了以下错误：Main类在jar文件的清单文件中设置。因此，只有在运行docker时才会观察到此错误：我的Dockerfile或jar文件中是否缺少一些应该复制SPARK_DIST spark-$SPARK_VERSION-bin-hadoop2.6
ENV SPARK_AR
浏览 0提问于2018-06-14得票数 0
回答已采纳
默认情况下，启用的配置文件是maven-3和scala-2.10。因为我面对的是错误value q is not a member of StringContext，所以我添加了：当
浏览 1提问于2015-03-10得票数 1
我正在遵循Spark1.6文档的快速入门，将包含应用程序的jar打包..。我得到的是"simple_2.10-0.1-SNAPSHOT.jar“，而这个jar文件中没有类。当我运行spark- ClassNotFoundException命令时，这将导致下一步的提交。
浏览 2提问于2016-04-29得票数 0
对，我在一个新的环境中，从Spark2.4升级到Spark3.0，我收到了这些错误我的代码是python，其中有sql。qu
浏览 11提问于2022-05-23得票数 0
回答已采纳
然而，当部署在kubernetes上时，我得到了错误当我深入研究更多内容时，我意识到这个jar文件是在dockerfile中使用的spark依赖项下载之后才下载的。-${SPARK_VERSION}/spark-${SPARK_VERSION}-bin-without-hadoop-scala-${SCALA_VERSION}.tgz &
浏览 4提问于2021-02-24得票数 2
当我运行一个普通的字数统计程序(使用下面的代码)，不包含任何Dataframe时，我可以使用spark-submit运行该应用程序。reduceByKey(_ + _)
sc.stop() }
浏览 2提问于2018-03-01得票数 0
1回答
我有一个dataframe "dailyshow“模式是：root+----+------------------+---------+------+----------------+
下面的代码用于转换和生成在sqlContext.sql("select occupation, count(*) a
浏览 2提问于2017-07-13得票数 0
回答已采纳
1回答
我正在为一个应用程序构建Dockerfile。当容器开始运行时，我想执行一个带参数的bash脚本，所以我把它设为一个入口点。但是，Docker找不到我的脚本所在的目录。项目文件夹中，路径实际上如下所示：/home/user/Documents/folder1/folder2/folder3/Projectname/runapp.sh
我曾尝试将此目录挂载为卷，但在运行构建映像时出现错误ENV SPARK_DIST spark-$SPARK_VE
浏览 2提问于2018-06-04得票数 3
回答已采纳
我正在scala中创建一个函数，我想在我的星星之火中使用它-- sql query.my查询在单元格中运行良好，或者如果我在星火sql中提供相同的查询，但是在多个地方使用相同的查询，所以我希望将它作为可重用的函数/方法创建，以便在需要时我只需调用它。我在scala类中创建了下面的函数。case _ => "some other logic"}For 01：
◾十进制整数字面值可能没有前导零。(八进制语法过时了。)this.Can，所以请指导我如何做t
浏览 3提问于2020-05-07得票数 0
回答已采纳
我正在使用Spark XML库(HyukjinKwon:spark- XML :0.1.1-s_2.11)处理一个大的xml文件。XML处理失败，因为有几条记录出现了分析异常。我有以下处理xml的代码，我尝试了'DROPMALFORMED‘选项，但没有帮助。.; 我想删除格式错误的记录，并继续处理文件。还有没有其他选择可以让我试试？感谢你的投入！ 编辑:查看源代码link，库支持格式错误的选项。因为我不太熟悉Scala，所以我不确定我是否使用了正确的语法。请给我建议。在浏览了源
浏览 9提问于2019-04-05得票数 0
我正在尝试使用org.apache.spark.sql.functions中可用的函数Dataset<Row> dfSelect =sqlContext.sql(
"SELECT unix_timestamp这些函数正常工作，但当我在Java中使用Dataset<Row> org.apache.spark.sql.Dataset.withColumn(String colName, Column col)函数时，我已经实现了如下所示，但这是错误的。(concat(df.col("D
浏览 5提问于2017-09-20得票数 0
回答已采纳
云服务器
ICP备案
对象存储
云直播
实时音视频
腾讯云开发者
