1回答
有这样的场景，在步骤1中，InvokeTakaraJar(参数..)被调用，它执行使用记录更新表的工作，但这是一个普通的Java jar而不是Spark代码 在步骤2中，存在var df =GetDBTable(参数..)它应该从上述步骤中更新的表中获取记录。问题是，由于第一步只是调用外部Java jar的main方法，它是从驱动程序运行的 并且第二步骤不等待步骤1的完成。 理想情况下，第二步需要等待第一步完成。如<
浏览 34提问于2021-10-13得票数 0
我在spark-env.sh中添加了以下内容我现在可以执行
import org.apache.spark.streaming.t
浏览 7提问于2014-08-01得票数 9
回答已采纳
我两天前就开始探索spark了。所以我对它还很陌生。我的用例是在我的scala代码中访问外部jar中的java函数，这是我用spark-shell编写的。但我想我没有正确加载我的罐子。下面是我正在做的事情 spark-shell --master local[2] --jars pathToJarsWithComma --conf="spark.driver.extraClassPath=pathToJarsWithColo
浏览 22提问于2019-03-25得票数 0
我想知道如何在scala中执行以下操作？
编写SQL查询，如SELECT、UPDATE等，以修改数据库中的表。我知道如何使用scala来实现它，但是如何在打包时将psql scala的连接器jar导入sbt？
浏览 0提问于2014-07-23得票数 40
回答已采纳
1回答
我还想知道，我们能否将一个完整的嵌套Json字符串传递给submit命令中的参数？我在这件事上太糊涂了，请提出建议。
浏览 2提问于2015-07-23得票数 1
我需要将一些外部依赖库(在我的例子中是spark-streaming-mqtt_2.10-1.5.2.jar)添加到我的pyspark计数代码中。我知道我们可以在submit中添加具有-jars属性的外部jars，也可以使用运行。但是我想将这个jar添加到我的代码中或文件中。我发现我们有SparkContext.addJar()方法，它可以包含在代码中</
浏览 8提问于2016-11-25得票数 1
回答已采纳
我在一个spring引导应用程序中创建了jar绑定，在这个应用程序中，我创建了火花会话来执行一些操作。然后，我将这个jar发送到AWS，或者作为一个spark-submit或java -jar可执行文件运行，但这是不起作用的。/spark-launcher_2.11-2.3.0.jar
BOOT-INF/lib/spark-kvstore_2.11-2.3.0.
浏览 0提问于2019-04-18得票数 2
我有很多参数要外部化，如果是的话，我们可以使用Excel，如何在submit中调用excel file，否则，理想的方法是什么。火花-提交
spark-submit --class "com.syntel.spark.sparkDVT" --master yarn --jars /root/config-1.3.1.jar,mysql-connector-javadirectory) at java.io.FileInputStream.o
浏览 4提问于2017-10-24得票数 0
回答已采纳
我试图使用Scala2.12.5和SBT1.6.2从Cassandra4.0.3中读取SPAR3.2.1中的DataFrame，但我遇到了一个问题。" %% "spark-core" % "3.2.1" % "provided",
浏览 4提问于2022-05-10得票数 1
我尝试通过json数据(使用spark.sql)在pyspark数据帧中查询hive表，但出现了以下错误 ERROR log: error in initSerDe: java.lang.ClassNotFoundException
浏览 28提问于2020-07-16得票数 0
现在我想使用jar在亚马逊网络服务上部署应用程序，但当我尝试使用sbt的命令package时，它会创建一个没有所有依赖项的jar，所以当我将其上传到亚马逊网络服务上时，它将无法工作，因为缺少Scala。有没有办法用SBT创建一个uber-jar？我在AWS上部署Spark是不是做错了什么？
浏览 1提问于2014-05-30得票数 1
2回答
我已经用Maven创建了一个带阴影的jar，应用程序运行良好，但是Tika解析器在运行时没有被使用。应用程序代码如下：JavaSparkContext sc = new JavaSparkContext(sparkConf根据文档，我可以使用spark.driver.extraClassPath属性配置运行时依赖项，因此我修改了我的$spark_HOME/conf/SMARS-defaults.conf模板文件，使其具有：
浏览 4提问于2016-06-21得票数 2
回答已采纳
1回答
1:我已经启动了一个火花主程序，如像这样的工人现在，我可以在星星之体中运行针对Oracle的查询：
val jdbcDF = spark.read.format(
浏览 1提问于2017-07-14得票数 1
回答已采纳
1回答
正如所解释的，我在Windows上安装了一个本地spark 1.5.2 (Hadoop2.4)。
我在"E:/installprogram/spark-1.5.2-bin-hadoop2.4/lib/jmatrw-v0.1-beta.jar“中复制了这
浏览 5提问于2015-12-29得票数 1
回答已采纳
2回答
我正在尝试使用"spark.jars“属性在spark作业中添加我的自定义jar。虽然我可以读取添加jar的日志中的信息，但是当我检查添加到类路径中的jar时，我没有发现it.Below是我也尝试过的函数。1)spark.jars3)spark.executor.extraLibraryPath
4)setJars(SeqS
浏览 4提问于2018-03-21得票数 0
3回答
一直试图将我的EMR5.11.0集群上的Spark2.2.1连接到我们的Redshift商店。我遵循的方法是-
/usr/share/aws/redshift/jdbc/RedshiftJDBC41.jar从pyspark.sql导入SQLContext_jreader.load())文件第1133行， call 文件“/usr/lib//python/pyspark/sql/utils.
浏览 3提问于2018-01-15得票数 4
我想使用从集群外部通过HTTP调用来执行Spark作业，其中Spark jar已经存在于HDFS中。我可以从集群节点上的shell中spark-submit该作业，例如：
spark-submit --class io.woolford.Main --master yarn-cluster hdfs://hadoop01:8020/path/to/spark-job.
浏览 1提问于2016-11-30得票数 2
1回答
火花放电罐式包装
、、、、
我有一些使用--packages标志运行的外部依赖项。但是，在scala中，我们可以使用maven下载所有所需的包，使用主星火程序创建jar文件，并将所有内容都包含在一个jar中，然后使用spark-submit将其提交到集群(在我的例子中是纱线)。有类似的东西，如jar用于火花放电吗？
关于星火的正式文件，没有这类资料。他们只是提到使用spark-submit <python-file>或添加--py-
浏览 1提问于2016-06-09得票数 4
2回答
我正在使用一个外部somelibrary.jar文件构建一个android应用程序。在eclipse中，我可以通过
如
浏览 5提问于2013-04-02得票数 1
回答已采纳
我在IntelliJ IDEA 2018中创建了一个Spark maven项目，并尝试导出我的主类的可执行jar文件。错误：Main-Class: Test
我用Apache Flink等其他处理引擎也做了同样的事情，IntelliJ可以创建一个在集群上成功运行的可执行jar因此，在Spark的情况下，我总是必须使用maven-assembly-plugin并使用以下命令导出jar文件：mvn clean
浏览 4提问于2018-06-17得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
