无法加载class | Spark-submit Intellij
|是一个关于Spark框架中使用Intellij进行开发时遇到的问题。下面是对这个问题的完善且全面的答案：
问题概述： 在使用Spark框架进行开发时，使用Intellij作为开发工具，可能会遇到无法加载class的问题。
解决方案：
- 确保项目依赖正确：首先，检查项目的依赖是否正确配置。在Intellij中，可以通过打开项目的pom.xml文件或者build.gradle文件来查看项目的依赖配置。确保Spark相关的依赖已经正确添加，并且版本与Spark框架版本兼容。
- 检查类路径配置：在Intellij中，可以通过以下步骤检查类路径配置：
- 打开项目的"Project Structure"（项目结构）对话框，可以通过点击菜单栏中的"File"（文件）->"Project Structure"（项目结构）打开。
- 在对话框左侧选择"Modules"（模块），然后选择当前项目的模块。
- 在右侧的"Dependencies"（依赖）选项卡中，检查是否已经正确添加了Spark相关的依赖。
- 如果依赖没有正确添加，可以点击右上角的"+"按钮来添加依赖。
- 检查编译配置：在Intellij中，可以通过以下步骤检查编译配置：
- 打开项目的"Project Structure"（项目结构）对话框。
- 在对话框左侧选择"Project"（项目），然后选择当前项目。
- 在右侧的"Project compiler output"（项目编译输出）中，确保输出路径设置正确。
- 如果路径设置不正确，可以点击右侧的"..."按钮来选择正确的输出路径。
- 清理和重新构建项目：有时候，项目中的一些临时文件或者编译文件可能会导致类加载问题。可以尝试清理和重新构建项目来解决问题。在Intellij中，可以通过点击菜单栏中的"Build"（构建）->"Rebuild Project"（重新构建项目）来进行清理和重新构建。
- 检查Spark配置：在使用Spark框架时，还需要确保Spark的配置正确。可以检查以下几个方面：
- 检查Spark的版本是否与项目依赖的版本一致。
- 检查Spark的相关配置文件，如spark-defaults.conf、spark-env.sh等，确保配置正确。
推荐的腾讯云相关产品和产品介绍链接地址： 腾讯云提供了一系列与云计算相关的产品，包括云服务器、云数据库、云存储等。以下是一些相关产品的介绍链接地址：
- 云服务器（CVM）：腾讯云的云服务器产品，提供弹性计算能力，支持多种操作系统和应用场景。了解更多：https://cloud.tencent.com/product/cvm
- 云数据库MySQL版（CDB）：腾讯云的云数据库产品，提供高可用、可扩展的MySQL数据库服务。了解更多：https://cloud.tencent.com/product/cdb_mysql
- 云对象存储（COS）：腾讯云的云存储产品，提供安全可靠的对象存储服务，适用于各种数据存储和分发场景。了解更多：https://cloud.tencent.com/product/cos
请注意，以上链接仅供参考，具体产品选择应根据实际需求进行评估和决策。
相关·内容
我知道这里以前有人问过这个问题，但我想我的情况有点不同。
我在Intellij中有一个简单的工作项目
当我通过Intellij运行程序时，程序运行得很好，并且我可以看到结果，但每当我导出为jar以通过spark-submit在本地运行时，它都会失败，并显示错误"failed to load class“
Im正在使用：spark-submit --class com.CarbonEmission --master local[*] MyPath\TestSparkJar.jar运行
下面是我的sbt：
我已经被这个问题困扰了好几天了，我希望有人能帮上忙。
浏览 56提问于2021-03-09得票数 0
1回答
我正在做一个使用Intellij作为ide的星火项目。我构建了一个在本地运行良好的工件。当我跑的时候
./bin/spark-submit --master yarn myjar.jar
我收到了这个消息
Exception in thread "main" java.lang.SecurityException: Invalid signature file digest for Manifest main attributes
该项目使用maven和一些直接加载到intellij中的依赖项。我该怎么处理呢？我应该只对依赖项使用maven吗？
浏览 0提问于2015-08-06得票数 0
我在一个系统上工作，在这个系统中，我让用户编写DSLS，并在运行时将其作为我的Type的实例加载，这些实例可以应用于RDDs之上。整个应用程序以spark-submit应用程序的形式运行，我使用ScriptEngine引擎来编译用Scala语言编写的DSL。每个测试在SBT和IntelliJ中都能正常工作。但是在执行spark-submit时，我的fat-jar中可用的类型不能在脚本中导入。我初始化脚本引擎如下所示。
val engine: ScriptEngine = new ScriptEngineManager().getEngineByName("scala")
pri
浏览 45提问于2018-08-07得票数 2
我有两个在编译时不依赖的模块的spark scala 1.6.1_2.10项目。第一个模块是启动spark driver应用程序。在第一个模块中，在一个rdd.map{}操作中，我尝试使用反射class.forName("second.module.function.MapOperation")加载一个类
我的spark-submit将两个模块的jars都作为主模块和其他--jars选项。
这段代码在我的intellij上运行得很好。如果我测试相同的类，这是因为集群上的ClassNotFound second.module.function.MapOperation在使用Cla
浏览 0提问于2017-06-10得票数 0
我尝试使用spark-submit在本地模式下启动我的Spark应用程序。我在Windows上使用的是Spark 2.0.2，Hadoop 2.6和Scala 2.11.8。这个应用程序在我的集成开发环境(IntelliJ)中运行得很好，我也可以使用实际的物理执行器在集群上启动它。
我正在运行的命令是
spark-submit --class [MyClassName] --master local[*] target/[MyApp]-jar-with-dependencies.jar [Params]
Spark像往常一样启动，但随后以
java.io.Exception: Failed t
浏览 9提问于2017-02-03得票数 5
我想运行一个独立的Spark脚本，这个脚本已经用sbt package命令编译过了。如何设置Scala脚本的正确配置，以便在IntelliJ集成开发环境中运行我的脚本？目前，我使用命令行和以下命令来运行它(但我想在IntelliJ中运行以进行进一步的调试，例如)：
~/spark-1.2.0/bin/spark-submit --class "CoinPipe" target/scala-2.10/coinpipe_2.10-1.0.jar /training/data/dir 7 12
Bellow是我正在尝试做的事情的快照：
浏览 2提问于2015-03-03得票数 6
我有一个MapR节点集群，安装了一个带有CentOs和MapR客户端的虚拟盒vm。我使用IntelliJ来开发Spark/Scala代码。我可以在我的MapR客户端上执行这一行，以便从IntelliJ (远程调试)进行调试。
spark-submit --driver-java-options -agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5005 --master local[2] --class MyClass myproject-1.0-SNAPSHOT.jar
因此，在执行星星之交之后，我需要单击Intell
浏览 1提问于2017-07-13得票数 1
回答已采纳
我已经将Apache Spark 1.1.1设置为在YARN (Hadoop-2.5.2)上运行。我可以使用spark-submit命令运行程序。
我使用的是IntelliJ IDEA 14，我能够使用spark-submit构建工件并运行生成的jar。
然而，我想知道是否有可能直接从IntelliJ运行整个程序？
我添加了必要的库并激活了hadoop-2.4概要文件。但是，我最终得到了以下错误
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.security.UserGroup
浏览 0提问于2014-12-03得票数 11
我正在使用Scala和IntelliJ IDE开发的Spark启动一个项目。
我想知道如何在-- properties-file配置中使用特定的Spark配置设置IntelliJ。
我正在读像"param1" -> sc.getConf.get("param1")这样的配置
当我从命令行执行火花作业时，效果就像一个魅力：/opt/spark/bin/spark-submit --class "com.class.main" --master local --properties-file properties.conf ./target/s
浏览 5提问于2018-01-03得票数 5
我正在尝试使用IntelliJ调试spark应用程序。我可以调试驱动程序部分(或者直到驱动程序上运行)，但是一旦它被移动到工作人员上，我就无法调试它。我通过侦听器从worker获得结果，但没有任何窗口来调试该工作人员。
我两种方法都试过了。首先，在IntelliJ IDE中运行spark应用程序，然后进行调试；其次，使用“submit”运行应用程序，然后使用远程调试。
我是在本地经营。下面是spark提交命令：
spark-submit --verbose --master "local" --class "Test" target/scala-2.11/tes
浏览 3提问于2016-09-07得票数 1
当在本地(IntelliJ IDEA)中运行相同的作业时，输出计数是正常的(例如，eg -55)。但是当在Yarn上使用spark-submit提交它时，只得到了几行(第12行)。
spark2-submit --master yarn --deploy-mode client --num-executors 5 --executor-memory 5G --executor-cores 5 --driver-memory 8G --class com.test.Main --packages com.crealytics:spark-excel_2.11:0.13.1 --driver-cl
浏览 6提问于2021-06-23得票数 0
3回答
如何在cmd上提交spark申请
、、、、
我有一个Spark应用程序，它是我最初使用maven (在windows上)创建的。我将我的maven项目转换为Eclipse项目，现在我正在通过Eclipse处理它。
我可以通过Eclipse运行应用程序来利用和验证这一点。
现在，我正在尝试通过命令行提交我的申请。我使用spark-submit命令，如下所示：
bin\spark-submit \
--class C:\Users\pc\Desktop\eclipse\myapp\src\main\java\myapp\Main.java \
--master local[8] \
C:\Users\pc\Desktop
浏览 3提问于2016-06-16得票数 3
回答已采纳
1回答
我用Intellij创建sbt项目，并将工件构建到jar文件中。我将jar文件放入服务器并提交，但是我得到了以下错误：
spark-submit --master spark://master:7077 --class streaming_process spark-jar/spark-streaming.jar
错误:加载类streaming_process失败。
21/01/23 04:41:32 INFO ShutdownHookManager:关机钩子呼叫
21/01/23 04:41:32 INFO ShutdownHookManager:删除目录ShutdownHookManage
浏览 1提问于2021-01-22得票数 2
我已经经历过各种相关的建议，但我仍然在挣扎。
我所拥有的：
Spark:2.3.1
Scala:2.11.8
OS: Windows 10
IDE:Intellij Idea
Code:
package: testpackage
merge.scala -->has do() method
mymain.scala -->has main() method and inside that merge.do()
Project Settings--Artifacts-->
浏览 1提问于2018-09-25得票数 1
回答已采纳
我需要为python解释器执行一些自定义设置:与pyspark特别相关："interpeter“实际上将是spark-submit (又名pyspark) shell脚本。其目的是能够在中运行 pyspark作业。在Run Configuration中运行也很好:这将是另一种方法。我使用IJ终极版--它有很好的python支持:除了这个特定的用例之外。
让我们将其与pycharm进行比较--特别是自定义解释器的能力--包括设置本地、远程或虚拟化：
Intellij终极版似乎缺少这些选项:而是指向python的库。对于给定的用例，这是不够的：
下面是下拉列表:请注意，
浏览 3提问于2017-02-26得票数 0
回答已采纳
我正在尝试学习一个基于IntelliJ IDEA的Scala-Spark JDBC程序。为此，我创建了一个Scala SBT项目，项目结构如下：
在类中编写JDBC连接参数之前，我尝试加载一个包含所有连接属性的属性文件，并尝试显示它们是否正确加载，如下所示：
testconnection.properties：
devUserName=username
devPassword=password
gpDriverClass=org.postgresql.Driver
gpDevUrl=jdbc:url
代码：
package com.yearpartition.obj
import java.
浏览 0提问于2018-07-23得票数 0
2回答
我是PySpark的新手。我使用下面的spark-submit进程在集群中的Hive中加载一个表。
/usr/hdp/2.5.0.0-1245/spark2/bin/spark-submit --driver-class-path /path/to/driver/sqljdbc4-3.0.jar --jars /path/to/driver/sqljdbc4-3.0.jar --deploy-mode cluster --master yarn /home/meter/myfile.py
每当我运行这个程序时，我就会收到无数的错误。喜欢
1. pyspark.sql.utils.analysi
浏览 1提问于2019-03-29得票数 2
我正在中读取JSON文件
val df=spark.read.json(properties.getProperty("jsonFilePath"))
当我从IDE(Intellij)运行时，这段代码可以工作，但是当我尝试使用submit命令执行时，它会给出以下消息
INFO FileScanRDD: Reading File path: file:///Users/path/to/json/file.json, range: 0-8822, partition values: [empty row]
由于这个原因，我无法处理JSON数据。知道这里会发生什么吗？
这是我
浏览 2提问于2019-05-19得票数 0
我有Hadoop集群Cloudera CDH 5.2和Apache Spark 1.5.0。
我可以使用集群的YARN、Spark和HDFS从IntelliJ IDEA或本地PC上运行我的应用程序吗？
或者我应该通过ftp将jar发送到主节点，然后通过spark-submit运行它？
浏览 0提问于2016-11-03得票数 1
我正在运行IntelliJ IDEA Community的最新版本，并下载并安装了Python3.7。问题是，我使用IntelliJ的控制台只运行Python2.7。我尝试过安装/卸载/更新安装，但是IntelliJ的唯一插件选项是Community，这似乎是Python2。不管怎么说。我如何能够为IntelliJ加载Python插件(如果有)？因此，我无法导入Pandas，无法通过代码工作。
如果我不需要复制和粘贴模块，或者如果它走的很糟糕的话，我不想从3.7到2复制和粘贴模块。
我尝试过安装/卸载/更新安装，但是IntelliJ的唯一插件选项是Community，这似乎是Python2。不
浏览 0提问于2019-08-20得票数 0
回答已采纳
我当前的开发周期是在IntelliJ中本地编辑代码，让它使用sbt ~ package自动打包到jar中，然后使用循环中的rsync命令自动复制到集群主节点。这一切都很可爱，而且很流畅，但是当我运行spark-submit时，我必须等待大约10到20秒，才能开始看到代码的输出。如果我想要不断地测试小变化的结果，这是一种非常缓慢的方法。
有没有一种方法可以重用JVM、SparkContext等，这样我就不必在spark-submit从头开始重新启动所有东西时等待了？我用的是纱线。
浏览 0提问于2015-07-28得票数 0
回答已采纳
2回答
操作系统：64xWindows 7
IDE: IntelliJ IDEA 12.1.4
在激活插件log4j和IdeaSpring之后，IntelliJ希望重新启动自己。在重新启动IntelliJ时，有2条消息提示不能初始化log4j和IdeaSpring。
我如何设置我的IntelliJ，使这两个插件工作？
消息:插件IdeaSpring初始化失败，将被禁用：
无法为IntelliJ IDEA构建#IC-129.713加载API连接器
请重新启动IntelliJ的想法。
和
插件com.intellij.javaee.ExternalResourceManager.addStdResour
浏览 2提问于2013-09-16得票数 4
回答已采纳
我能够成功地从构建示例项目
我也成功地提交了dse spark-submit。该程序运行良好，结果符合预期。
dse spark-submit --class com.datastax.spark.example.WriteRead target/writeRead-0.1.jar
现在，我希望将上述作业提交给在dse.yaml中配置的现有池
resource_manager_options:
worker_options:
cores_total: 6
memory_total: 32G
workpools:
- name: alwayson_sql
浏览 8提问于2020-05-14得票数 0
回答已采纳
4回答
我是很新的火花，我试图尝试火花提交。我在spring中创建了一个应用程序，使用mvn package创建了一个jar。但是，当我试图将jar提交给spark-submit时，无法找到主类。但是主要的类在jar中。
spark-submit --class com.dip.sparkapp.SparkappApplication --master local target/sparkapp-0.0.1-SNAPSHOT.jar
浏览 5提问于2017-07-19得票数 10
我是Spark和Scala的新手，但希望这不是一个多余/愚蠢的问题--我还没有找到答案。
我已经使用工具编译了一个fat jar，并且清单文件包含行MainClass: com.package.MyMainClass。但是，spark-submit仍然要求我使用--class参数来定义主类。从中，我了解到spark-submit从conf/spark-defaults.conf文件中获取其配置详细信息。我的其他属性(spark.master、spark.app.name)似乎可以在没有命令行参数的情况下正常加载，但是我还没有找到在这个文件中指定项目主类的方法。我随机尝试了spark.class
浏览 0提问于2014-07-24得票数 3
1回答
我将scala文件写成：
package cn.tedu.wordcount
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
object Driver {
def main(args: Array[String]): Unit = {
val conf=new SparkConf().setMaster("local").setAppName("wordcount")
val sc=new SparkContext(c
浏览 6提问于2021-07-20得票数 0
我有两个集群，一个在本地虚拟机中，另一个在远程云中。这两个集群都处于独立模式。
我的环境：
Scala: 2.10.4
Spark: 1.5.1
JDK: 1.8.40
OS: CentOS Linux release 7.1.1503 (Core)
地方专题组：
火花主:火花://现场1:7077
远程集群：
火花主:火花://远程1:7077
我想结束这一切：
在本地(我的笔记本上)在IntelliJ IDEA中编写代码(只是简单的字数)，并将Spark设置为spark://local1:7077和spark://remote1:7077，然后在IntelliJ
浏览 2提问于2015-11-09得票数 7
这可能是的副本，但它与Spark 1.3/4相关。我正在使用1.5.2。
我正在把log4j.properties打包在我的胖罐子里。它在两种情况下表现出不同的行为。在ubuntu machine 1上，我在用户目录中设置了spark。在类似的machine 2上，我安装了it系统。在机器2上，可以在以下位置获得默认log4j.properties：/etc/spark/conf/log4j.properties。
在machine 2上，fat-jar中的打包log4j.properties不会加载，但在machine 1上会加载。我在两台机器上使用相同的命令：
spark-submit
浏览 0提问于2016-02-03得票数 2
我想知道什么时候使用sbt assembly，什么时候使用sbt compile && sbt package
我正在用Intellij在我的本地计算机上编写一个程序，我用sbt compile && sbt package编译它，然后我将把它上传到一个集群中，并使用spark-submit运行它。这是最好的方法吗？我应该什么时候使用sbt assembly
浏览 0提问于2018-12-12得票数 3
回答已采纳
1回答
我正在运行一个spark python程序，需要调试应用程序。我做了一个spark-submit，我的spark正在等待连接一个调试端口。
我在Intellij有申请。创建了一个远程python调试配置，并尝试将其附加到spark侦听端口，但它显示
Failed to find free socket port
让我知道这里的问题是什么。
浏览 0提问于2018-03-28得票数 0
1回答
我有一个运行在docker上的Apache Spark集群(1个主机+1个工人)，我可以使用spark-submit提交一个适合管道的作业，然后它被保存到(PipelineModel.save(path)).文件保存在我的本地机器上，恰好在我执行spark-submit命令的位置。
当我想要加载PipelineModel并将其用于预测时，当我尝试部署生产代码时，问题就出现了。我无法传递包含已保存文件的文件夹。
这是我用来提交作业的代码：
spark-submit --class ch.supsi.isteps.Main --master spark://172.17.0.1:7077 --pa
浏览 2提问于2017-11-16得票数 2
2回答
无法在Intelij中运行程序
、、、、
我尝试使用IntelliJ中的play/debug按钮来运行或调试程序，但是我得到了错误:无法找到或加载主类
我从做了很多事情，但都不起作用。但是当我使用命令行并运行：mvn spring:run应用程序运行时，运行非常好。
我的主要方法如下：
@SpringBootApplication
public class HomeworkApplication {
public static void main(String[] args) throws IOException {
SpringApplication.run(HomeworkApplication.clas
浏览 3提问于2019-06-12得票数 0
2回答
更新最新的Android后，我无法加载项目anymore.And错误消息：
无法加载项目：
com.intellij.ide.plugins.PluginManager$StartupAbortedException:初始化“com.intellij.debugger.DebuggerManager”的致命错误
我试图再次下载它，并重新启动我的系统，它是不可用的。请帮助me.Thanks！
浏览 4提问于2016-07-14得票数 4
我使用的是: IntelliJ IDEA 11.1.3 (社区版)和Maven3.0.4。
该项目包含多个模块，其中一个模块创建了一个war文件。当我使用"mvn idea:idea“时，由于某些原因，IntelliJ无法加载此模块。错误消息是："10:40:04 AM加载项目时出错:无法加载模块“
我可以通过手动导入现有模块来解决这个问题，但这是一个非常烦人的问题。有没有人知道为什么会这样，会不会是maven或intellij的问题？我能做些什么来修复它吗？
浏览 1提问于2012-08-10得票数 3
回答已采纳
嗨。我的项目是Intellij spring boot 1.5.7 Gradle项目
当Intellij spring boot运行时，无法自动加载application.yml。
但是gradle bootRun的运行和加载性能非常好。
请给我提个建议。
浏览 0提问于2018-09-18得票数 0
我正在努力使用spark-submit向Apache Spark提交一个JAR。
为了让事情变得更简单，我尝试使用这个。代码是
import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
object SimpleScalaSpark {
def main(args: Array[String]) {
val logFile = "/Users/toddmcgrath/Development/spark-1.6.1-bin-hadoop2.4/README.md" // I'
浏览 0提问于2017-04-02得票数 4
1回答
为文本找到多个源
、、、
我有一个Java，它来自于一个Java程序，如果我在IntelliJ的想法中在本地运行这个Java程序，它就运行得很好。
当我将Java程序编译成jar文件时。如果我以java -cp jarFileName.jar com.pathToclass.ClassName inputArguments的形式运行这个程序，它会运行得很好。
但是，当我以spark-submit --master local[4] --class com.pathToclass.ClassName jarFileName.jar inputArguments的形式运行时，当read.textFile代码运行到rea
浏览 14提问于2021-03-16得票数 1
回答已采纳
我刚刚按照官方教程一步一步地在Ubuntu上安装了PhpStorm。
当我尝试启动/home/user/PhpStorm/phpstorm.sh时，我收到以下错误：
Java HotSpot(TM) 64-Bit Server VM (build 23.7-b01, mixed mode)
Error: Could not find or load main class com.intellij.idea.Main
因此，无法找到或加载com.intellij.idea.Main。有人能帮我吗？我不知道该怎么解决这个问题。
浏览 5提问于2013-03-02得票数 0
回答已采纳
当从一个文件加载数据到hive表时，我想从spark submit命令传递一条路径。我正在尝试使用下面的代码传递该路径，但是在load语句中显示不匹配的输入'$‘，期望在' Inpath’附近的StringLiteral inpath。 obj hive_scala{
def main(args:Array[String]){
// creating sparksession
val dbsession=HiveWareHouseSession.session(sparksession).build()
dbsession.setDat
浏览 24提问于2020-03-18得票数 0
回答已采纳
我目前正在使用Intellij构建我的开发IDE。我跟走的完全一样
build.sbt文件
name := "Simple Project"
version := "1.0"
scalaVersion := "2.11.7"
libraryDependencies += "org.apache.spark" %% "spark-core" % "2.0.0"
示例程序文件
import org.apache.spark.SparkContext
import org.apache.spark
浏览 1提问于2016-10-05得票数 15
回答已采纳
我正在使用IntelliJ中的spring-data-jpa启动一个项目，但是我无法加载javax.persistence (“javax.persistence包不存在”)。 我已经花了四个小时来解决一个看似非常简单的问题。我使用标准的spring UI创建项目，并选择了IntelliJ框架和spring-data-jpa选项。 我唯一的代码是： import javax.persistence.entity;
@entity
public class customer {
} 项目构建失败，IDE中的工具提示显示“无法解决符号持久性问题”，我错过了什么？ 我的目录结构可以在下面找到：
浏览 194提问于2019-05-19得票数 2
回答已采纳
1回答
我用scala写了一个spark程序。现在我想在终端中运行我写的脚本。在pyspark中，我对python文件使用spark-submit。现在，我想对我的scala程序执行同样的操作。我不想使用Intellij或用spark-shell编写我的程序。我只想在编辑器中编写代码，并在终端中使用命令来运行它。这有可能吗？提前谢谢你
浏览 16提问于2018-08-17得票数 0
回答已采纳
我在EMR步骤中执行一个spark-submit脚本，它将我的超级JAR作为主类，如下所示
spark-submit \
....
--class ${MY_CLASS} "${SUPER_JAR_S3_PATH}"
..。等
但是Spark默认加载JAR文件:/usr/lib/spark/jars/Guice-3.0.jar，其中包含com.google.inject.internal.InjectorImpl，这个类也在我的超级jar中的Guice-4.x jar中。这会在我的服务启动时产生一个java.lang.IllegalAccessError。
浏览 0提问于2019-05-22得票数 1
我试过了
以正常模式启动IntelliJ，
打开我现有的项目
查看版本控件中的项目。
但是所有这些活动都给了我这个错误：
无法加载项目: com.intellij.ide.plugins.PluginManager$StartupAbortedException: com.intellij.diagnostic.PluginException: TOPICPlugin: com.alayouni.ansiHighlight
版本： IntelliJ Community 2016.1.4
日志：建议我从哪里获得日志
浏览 3提问于2017-08-30得票数 0
回答已采纳
1回答
以下是错误
无法加载项目: com.intellij.ide.plugins.PluginManager$StartupAbortedException: com.intellij.diagnostic.PluginException: com/jediterm/终端/ui/TerminalWidget插件: org.jetbrains.plugins.terminal
浏览 3提问于2016-10-02得票数 0
如何使用python脚本执行多个火花提交命令。
Ex:
spark-submit --class com.demo.DemoApplication1 --master local[2] Demo1.jar
spark-submit --class com.demo.DemoApplication3 --master local[2] Demo2.jar
spark-submit --class com.demo.DemoApplication3 --master local[2] Demo3.jar
浏览 2提问于2020-07-06得票数 0
1回答
我用HDP 2.3在5台主机的集群上安装了hue 3.9。我的Ambari版本是2.1.2。
问题是，Hue初始设置屏幕显示：
如果没有运行的Livy Server，该应用程序将无法工作
几个问题早些时候出现了，但我必须解决它们。
在这个线程和这个web 之后，我尝试了几种方法，但是当我用根用户启动livy- root时，我得到了以下错误：
[root@m1 bin]# /usr/local/hue/build/env/bin/hue livy_server
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found
浏览 3提问于2015-12-14得票数 1
2回答
我正在尝试使用spark-submit部署spark job，它有一堆参数，比如
spark-submit --class Eventhub --master yarn --deploy-mode cluster --executor-memory 1024m --executor-cores 4 --files app.conf spark-hdfs-assembly-1.0.jar --conf "app.conf"
我正在寻找一种方法，将所有这些标志放在文件中传递给spark-submit，使我的spark-submit命令更简单，就像下面这样
spark-submit
浏览 24提问于2017-03-16得票数 4
回答已采纳
我在Android中有以下错误：
无法加载项目: com.intellij.ide.plugins.PluginManager$StartupAbortedException: com.intellij.diagnostic.PluginException: org/jetbrains/android/uipreview/AndroidLayoutPreviewToolWindowManager Plugin: org.jetbrains.kotlin.android.dsl
浏览 4提问于2016-09-10得票数 6
为了开始工作，我使用这个创建了一个jar文件。
我的Jar文件路径是
out/artifacts/sparkProgram_jar/sparkProgram.jar
一般来说，我的spark程序从MongoDB读取一个表，使用spark的mllib转换它，并将它写入MySQL。这是我的build.sbt文件。
name := "sparkProgram"
version := "0.1"
scalaVersion := "2.12.4"
val sparkVersion = "3.0.0"
val postgresVersio
浏览 2提问于2020-08-03得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
