我的spark流程序收到以下错误: Exception in thread "main“java.lang.NoClassDefFoundError:org/apache/spark/internal/Logging My version of Spark is 2.1,这与集群中运行的版本相同。我在互联网上找到的信息提示我,旧版本的org<
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStreamat org.apache.spark.Logging$.<init>(Logging.scala:162)
at org.apache.
我想做一些非常简单的事情(我相信),我在EMR Spark中运行我的自定义jar。现在我做的事情就像而且它被创建了一个fat jar (80MB-120MB),这是一个痛苦的上传到S3。我想要的,是使用要获得文件夹中的所有jar,只需在S3中上传一次,然后,每次我想要上传新的jar时,都会上传编译后的jar,而不需要依赖项。我相信这可以通过一个将所有jars复制到集群然