如何使用saveAsNewAPIHadoopFile spark scala将文件保存在同一目录中
saveAsNewAPIHadoopFile方法是Spark中用于将RDD保存到Hadoop文件系统中的方法，它可以将文件保存在同一目录中。
在使用saveAsNewAPIHadoopFile方法保存文件时，首先需要创建一个org.apache.hadoop.mapreduce.lib.output.FileOutputFormat类的实例，并设置输出目录路径，例如：
val conf = new Configuration()
val outputPath = "hdfs://path/to/output/directory"
FileOutputFormat.setOutputPath(conf, new Path(outputPath))然后，可以使用RDD的saveAsNewAPIHadoopFile方法将数据保存到指定的目录中。示例如下：
val data: RDD[(String, Int)] = // 要保存的数据
val keyClass = classOf[org.apache.hadoop.io.Text]
val valueClass = classOf[org.apache.hadoop.io.IntWritable]
data.saveAsNewAPIHadoopFile(outputPath, keyClass, valueClass, classOf[org.apache.hadoop.mapreduce.lib.output.TextOutputFormat[Text, IntWritable]], conf)这样，数据就会被保存在指定的目录中。
在这个过程中，我们使用了Hadoop的TextOutputFormat作为输出格式，可以根据需求选择其他的输出格式，例如SequenceFileOutputFormat、AvroKeyOutputFormat等。
推荐的腾讯云产品和产品介绍链接地址：
- 腾讯云对象存储 COS：https://cloud.tencent.com/product/cos
- 腾讯云云数据库 CDB：https://cloud.tencent.com/product/cdb
- 腾讯云弹性MapReduce EMR：https://cloud.tencent.com/product/emr
- 腾讯云计算引擎 CVM：https://cloud.tencent.com/product/cvm
注意：以上产品仅作为示例，请根据实际情况选择合适的产品。
相关·内容
我在斯帕克运行一个修改版的teragen程序，用Scala编写。我试图使用函数saveAsNewAPIHadoopFile()保存输出文件。有关守则如下：
dataset.map(row => (NullWritable.get(), new BytesWritable(row))).saveAsNewAPIHadoopFile(output)
代码正在成功编译。但是，在运行它时，我会得到以下错误：
Exception in thread "main" java.lang.RuntimeException: class scala.runtime.Nothing$ not
浏览 5提问于2015-03-12得票数 3
1回答
由于无法序列化对象，火花作业失败
、、、、
我正在运行一个spark作业来为我的HBase数据存储生成HBase。
它过去在我的Cloudera集群中正常工作，但是当我们切换到EMR集群时，它在下面的堆栈跟踪中失败了：
Serialization stack:
- object not serializable (class: org.apache.hadoop.hbase.io.ImmutableBytesWritable, value: 50 31 36 31 32 37 30 33 34 5f 49 36 35 38 34 31 35 38 35); not retrying
Serialization stack:
浏览 3提问于2017-06-21得票数 1
回答已采纳
1回答
我编写了一个吡火花脚本，读取两个coGroup文件，并将结果发送到elasticsearch集群；当我在本地运行它时，一切正常工作(大多数情况下)，我下载了org.elasticsearch.hadoop.mr.EsOutputFormat和org.elasticsearch.hadoop.mr.LinkedMapWritable类的elasticsearch-hadoop jar文件，然后使用--jars参数运行我的工作，我可以看到文档出现在我的elasticsearch集群中。
但是，当我试图在星火集群上运行它时，我会得到以下错误：
Traceback (most recent call
浏览 5提问于2015-04-03得票数 4
回答已采纳
我有类似于Spark1.3修复的异常，但是我用SparkVersion1.5.0-cdh5.5.2来面对它，它发生在将火花作业提交给kerberos的Yarn (hadoop.rpc.protection=privacy)时。
16/03/24 19:17:47 ERROR ApplicationMaster: User class threw exception: org.apache.hadoop.ipc.RemoteException(java.io.IOException): Delegation Token can be issued only with kerberos or we
浏览 1提问于2016-03-25得票数 0
回答已采纳
我按照的第一部分创建了一个外部配置单元表，并将其指向特定的S3 Bucket。在Hue界面中，我可以在成功创建后浏览数据示例。如果我切换到齐柏林飞艇并运行以下命令：%sql show tables，我可以看到我的表列在default数据库旁边。
现在，如果我实际尝试查询表，就会得到一个java.io.IOException: Not a file: s3://my-bucket/my-subdirectory错误。这个错误是有道理的，但是Hive会让你指定一个S3存储桶，而不是一个实际的S3文件，所以我不知道如何让两者都满意！
请注意，此目录中只有一个文件，并且我没有尝试任何分区。该文件经过压
浏览 1提问于2017-06-03得票数 0
1回答
我已经编写了这个示例程序来将RDD持久化到avro文件中。
我使用的是CDH 5.4和Spark 1.3
我编写了这个avsc文件，然后为User类生成了代码
{"namespace": "com.abhi",
"type": "record",
"name": "User",
"fields": [
{"name": "firstname", "type": "string"},
{"
浏览 0提问于2015-11-02得票数 0
我正在使用位于此处的自定义数据源https://github.com/sourav-mazumder/Data-Science-Extensions/releases 当我在本地使用Dockerized Spark环境处理它时，它可以按预期工作。然而，当我在EMR上使用它时，我在这个问题标题中得到错误。以下是使用的EMR配置选项、Spark启动消息以及我运行它时的测试代码和结果。我不确定我还需要配置什么。 ? 配置为： [
{
"configurations": [
{
"classification":
浏览 24提问于2019-04-12得票数 2
回答已采纳
在火花流作业中，我使用下面的代码片段将我的rdd数据保存到Hadoop的HDFS中的parquet文件中：
readyToSave.foreachRDD((VoidFunction<JavaPairRDD<Void, MyProtoRecord>>) rdd -> {
Configuration configuration = rdd.context().hadoopConfiguration();
Job job = Job.getInstance(configuration);
浏览 3提问于2017-06-14得票数 0
1回答
我有一个方法，它以拼图的形式编写我的一个类Foo，它被定义为Thrift。 import Foo
import org.apache.spark.rdd.RDD
import org.apache.thrift.TBase
import org.apache.hadoop.mapreduce.Job
import org.apache.parquet.hadoop.ParquetOutputFormat
import org.apache.parquet.hadoop.thrift.ParquetThriftOutputFormat
def writeThrif
浏览 19提问于2020-01-26得票数 1
回答已采纳
1回答
我有一个简单的项目结构：
WordCount
|
*-项目
？
|
\x{e76f}资源
( Message.txt )
|
？
？
？
？
？
|----------------------------------------|---spark
|----------------------------------------------|---Counter.scala
|
( build.sbt )
以下是Counter.scala的外观：
package org.apache.spark
object Counter {
def main(args: Array[Str
浏览 1提问于2018-11-28得票数 1
回答已采纳
5回答
--我将RDDmyClass转换为数据格式，然后将其注册为SQL表。
my_rdd.toDF().registerTempTable("my_rdd")
这个表是可调用的，可以使用以下命令演示
%sql
SELECT * from my_rdd limit 5
，但下一步会出现错误，即表未找到: my_rdd
val my_df = sqlContext.sql("SELECT * from my_rdd limit 5")
对于星火来说是个新手。不明白为什么会发生这种事。有人能帮我吗？
java.lang.RuntimeException: Table No
浏览 9提问于2015-05-15得票数 12
回答已采纳
我读过HDFS中的数据。我分析了它，但我在写作时得到了这个错误。错误的延续
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/TaskOutputFileAlreadyExistException
at org.apache.spark.sql.execution.datasources.InsertIntoHadoopFsRelationCommand.run(InsertIntoHadoopFsRelationCommand.scala:167)
at or
浏览 0提问于2020-05-15得票数 0
回答已采纳
我正在尝试将一个拼花文件写入HDFS，然后将其复制到s3。
我用齐柏林飞艇( Zeppelin )编写了代码，效果很好。没有任何问题，它将文件添加到s3文件路径。
var outputFolder = "buckent_name/path"
println("\n ---- TASK 1 ----- \n writing with path " + outputFolder)
wholeParquetFile
.withColumn("date_col", to_date(col("timestamp"), &
浏览 11提问于2022-05-17得票数 -1
回答已采纳
我正在尝试使用星火节约服务器来查询冰山表(外部表包含S3中的数据和Hivemetastore中的元数据)。我能够查询非冰山表，但是当我查询冰山表时，我得到的是以下错误。我们不可以通过星火节约服务器查询冰山表吗？
版本细节
火花- 3.2.1
斯卡拉- 2.12.15
冰山火花库-
我从maven中添加了其他S3、AWS依赖jars，并添加到spark文件夹中。
我已经使用以下命令启动了节俭服务器
start-thriftserver.sh \
--hiveconf hive.metastore.uris=thrift://$ip:$port \
--conf spar
浏览 31提问于2022-06-14得票数 2
回答已采纳
我正在使用这个教程：，但没有用。
我尝试过以下几种方法：
textFile=sc.textFile("README.md")
textFile.count()
下面是我收到的输出，而不是期望的结果126。
> textFile=sc.textFile("README.md")
15/11/18 13:19:49 INFO MemoryStore: ensureFreeSpace(182712) called with curMem=2
54076, maxMem=556038881
15/11/18 13:19:49 INFO MemoryStore: B
浏览 0提问于2015-11-19得票数 2
回答已采纳
使用Spark2.2.0在OS高级塞拉利昂。我正在运行一个Spark流应用程序来读取本地文件：
val lines = ssc.textFileStream("file:///Users/userName/Documents/Notes/MoreNotes/sampleFile")
lines.print()
这给了我
org.apache.spark.streaming.dstream.FileInputDStream logWarning - Error finding new files
java.lang.NullPointerException
at
浏览 1提问于2018-03-14得票数 3
回答已采纳
Team.When我在spark集群上运行一个程序来将RDD保存到phoenix，我总是报告这个错误。如下所示：
17/06/12 09:35:46 ERROR kerberos.SaveAsPhoenixApp$: save to phoenix error :java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.phoenix.mapreduce.PhoenixOutputFormat not found java.lang.RuntimeException: java.lang.Cla
浏览 13提问于2017-06-12得票数 0
我安装了sbt-1.3.4.msi，当我试图构建一个示例SparkPi.scala应用程序时，我得到了以下错误：
C:\myapps\sbt\sparksample>sbt
[info] Loading project definition from C:\myapps\sbt\sparksample\project
[info] Compiling 1 Scala source to C:\myapps\sbt\sparksample\project\target\scala-2.12\sbt-1.0\classes ...
[error] C:\myapps\sbt\sparksam
浏览 10提问于2020-07-07得票数 1
回答已采纳
我是一个火花新手，并使用windows 10，试图让火花工作。我正确地设置了环境变量，我还设置了winutils。当我进入spark/bin并键入spark-shell时，它会运行spark，但是它会给出以下错误。
此外，它也没有显示火花上下文或火花会话。
C:\Users\Akshay\Downloads\spark\bin>spark-shell
17/06/19 23:45:12 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-jav
浏览 7提问于2017-06-20得票数 6
回答已采纳
SnappyData v.0-5
我以非根用户的身份登录到Ubuntu，“foo”。SnappyData目录/安装属于'foo‘用户和'foo’组。
我在这里使用脚本启动所有节点(定位器、引线、服务器)：
SNAPPY_HOME/sbin/snappy-start-all.sh
定位器启动。服务器启动。铅会因这个错误而死。
16/07/21 23:12:26.883 UTC serverConnector INFO JobFileDAO: rootDir is /tmp/spark-j观察者/filedao/data 16/07/21 23:12:26.888 UTC ser
浏览 0提问于2016-07-21得票数 1
回答已采纳
2回答
我试图建立一个脂肪罐发送到火花提交使用sbt程序集。但是，我似乎无法正确地完成构建过程。
我当前的build.sbt如下
name := "MyAppName"
version := "1.0"
scalaVersion := "2.10.6"
libraryDependencies ++= Seq(
"org.apache.spark" %% "spark-core" % "1.6.0" % "provided",
"org.apache.spark
浏览 2提问于2016-02-09得票数 1
回答已采纳
希望使用sparklyr Spark install中包含的自定义scalac (Scala编译器)；可以在RStudio SparkUI选项卡(或从spark_web(sc))中找到>>环境>> /jars/scala-compiler-2.11.8.jar作为“系统环境”--而不是像中建议的那样，在基本目录中单独下载和安装scalac，并且链接到创建扩展的页面。
这是我目前使用的Ubuntu，但在下面的错误中停滞不前。我设置了一个与上面"hello world“示例中使用的Github-repo完全相同的目录。知道如何在不安装到建议的基本路径文件夹--即/o
浏览 2提问于2016-12-12得票数 2
我已经定义了一个带有Spark安装的Dockerfile。我希望从作为入口点定义的bash脚本加载我的应用程序。但是，这个脚本应该用参数来实现。此脚本位于项目文件夹中。问题是如何将此脚本设置为入口点，并将项目目录定义为workdir？
我的Dockerfile现在看起来是这样的：
FROM java:8
ENV SCALA_VERSION 2.11.8
ENV SBT_VERSION 1.1.1
ENV SPARK_VERSION 2.2.0
ENV SPARK_DIST spark-$SPARK_VERSION-bin-hadoop2.6
E
浏览 1提问于2018-06-01得票数 0
回答已采纳
我正在尝试处理一个文件，然后使用saveAsNewAPIHadoopFile方法将其保存为avro文件格式。以下是我的节目：
case类TrafficSchema(a: String，b: Int，c: Int，d: Int，e: Float)
def main(args: Array[String]) {
val tableName: String = "CHICAGO_TRAFFIC_TRACKER"
System.setProperty("hadoop.home.dir", "D:\\")
val input_Path = "E:
浏览 0提问于2018-12-11得票数 1
回答已采纳
我正在尝试运行一些过去很容易运行的简单程序，但是在运行下面的代码时遇到了问题(spark版本: 2.4.4/2.4.3) import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession
object Sampler extends App {
SparkSession
.builder()
.config(
new SparkConf()
.setAppName(appName)
.setMaster(master)
.set(
浏览 17提问于2019-12-12得票数 2
我的环境:Scala2.11.7，星火1.2.0在CDH spark-assembly-1.2.0-cdh5.3.8-hadoop2.5.0-cdh5.3.8.jar上
我用火花从芒果那里得到数据。但无法找到saveAsNewAPIHadoopFile方法。只有saveAsTextFile、saveAsObjectFile方法可用于保存。
val mongoConfig = new Configuration()
mongoConfig.set("mongo.input.uri", "mongodb://192.168.0.211:27017/chat.article&
浏览 3提问于2016-01-15得票数 1
回答已采纳
我正在windows上使用spark-1.5.1-bin-hadoop2.6。尝试了URL中的示例自包含应用程序(Python)：
。
命令是
spark-submit --master local[1] D:\spark-1.5.1-bin-hadoop2.6\examples\src\main\python\SimpleApp.py
得到以下错误
> Using Spark's default log4j profile:
> org/apache/spark/log4j-defaults.properties 15/10/22 11:48:37 INFO
> S
浏览 1提问于2015-10-22得票数 2
我尝试了下面的方法
spark.kubernetes.executor.volumes.persistentVolumeClaim.spark-local-dir-1.options.claimName=OnDemand
spark.kubernetes.executor.volumes.persistentVolumeClaim.spark-local-dir-1.options.storageClass=gp2
spark.kubernetes.executor.volumes.persistentVolumeClaim.spark-local-dir-1.options.sizeLimi
浏览 3提问于2022-01-27得票数 0
我正在读取数百万个xml文件
val xmls = sc.binaryFiles(xmlDir)
这一操作在当地进行得很好，但在纱线上却失败了：
client token: N/A
diagnostics: Application application_1433491939773_0012 failed 2 times due to ApplicationMaster for attempt appattempt_1433491939773_0012_000002 timed out. Failing the application.
ApplicationMaster host: N
浏览 2提问于2015-06-08得票数 4
我在窗口上安装了spark，但是它未能运行，显示了下面的错误：
<console>:16: error: not found: value sqlContext
import sqlContext.implicits._
^
<console>:16: error: not found: value sqlContext
import sqlContext.sql
^
我尝试了下面的链接，但是其中任何一个都解决了这个问题：
火花执行的完整日志如下：
D:\Sp
浏览 4提问于2016-04-19得票数 3
回答已采纳
2回答
用电火花建立与钻头的连接
、、、、
我正在尝试将数据从MapR DB中提取到一个数据文件中，使用MapR在pyspark中进行连接。
下面是我在我的电火花壳中所做的工作：
`dataframe_mysql = sqlContext.read.format("jdbc").option("url", "jdbc:drill:zk=localhost:5181/drill/demo_mapr_com-drillbits;schema=dfs;").option("driver","org.apache.drill.jdbc.Driver").optio
浏览 2提问于2017-08-11得票数 2
回答已采纳
我试图解决这个问题已经有一段时间了，但我似乎找不到答案。我正在用Scala编写一个简单的Spark应用程序，它实例化了一个NiFi接收器，尽管它使用SBT成功地构建了，但当我尝试使用spark-submit运行该应用程序时，我收到了以下错误：
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/nifi/spark/NiFiReceiver
at <app name>.main(main.scala)
at sun.reflect.NativeMethodAcce
浏览 4提问于2016-07-19得票数 2
2回答
考虑scala代码：
import com.amazonaws.services.glue.GlueContext
import com.amazonaws.services.glue.util.{GlueArgParser, Job, JsonOptions}
import org.apache.spark.SparkContext
import scala.collection.JavaConverters.mapAsJavaMapConverter
object MyGlueJob {
def main(sysArgs: Array[String]) {
val spa
浏览 1提问于2018-01-18得票数 2
我刚刚设置了一个AWS EMR集群(带有Spark 2.3.2的EMR版本5.18 )。我通过ssh进入主maschine并运行spark-shell或pyspark，得到以下错误：
$ spark-shell
log4j:ERROR setFile(null,true) call failed.
java.io.FileNotFoundException: /stderr (Permission denied)
at java.io.FileOutputStream.open0(Native Method)
at java.io.FileOutputStre
浏览 0提问于2018-11-04得票数 15
我正在尝试集成pyspark和python2.7 (Pycharm IDE)。我需要运行一些巨大的文本文件。
这就是我正在做的事情。
下载Spark (2.3.0-bin-hadoop-2.7)并解压，安装JDK
然后我尝试运行这个脚本
spark_home = os.environ.get('SPARK_HOME'，无) os.environ"SPARK_HOME“= "C:\spark-2.3.0-bin-hadoop2.7”从pyspark导入SparkContext，SparkConf从pyspark.sql导入SparkSession
conf = S
浏览 0提问于2018-06-01得票数 5
2回答
我使用Python和boto3在spark上处理了一些S3文件，当我下载这些文件时，它是不寻常的：‘S3’资源不存在。
因为没有在每个集群节点上安装boto3，所以我将boto3使用的依赖包打包为zip，并使用-- py-files提交的spark集群，然后发生了这个异常。
Py4JJavaErrorTraceback (most recent call last)
<ipython-input-3-8147865bf49c> in <module>()
2
3
----> 4 extractor.extract(paths)
浏览 1提问于2018-09-29得票数 1
我们使用Spark 1.4进行Spark流媒体。Kafka是Spark Stream的数据源。
记录每秒都会在Kafka上发布。我们的要求是每分钟将Kafka上发布的记录存储在一个文件夹中。流将每五秒读取一次记录。例如，在1200PM和1201PM期间发布的记录存储在文件夹“1200”中；1201PM和1202PM之间的记录存储在文件夹"1201“中，依此类推。
我写的代码如下
//First Group records in RDD by date
stream.foreachRDD (rddWithinStream -> {
JavaPairRDD<String
浏览 0提问于2016-03-23得票数 1
我花了很长时间寻找解决方案，但没有得到任何正确的算法。
在scala中使用Spark RDDs，在知道不能使用RDD[(Key, Value)]或其他可能将数据加载到内存的方法的情况下，我如何将Map[key, RDD[Value]]转换为Spark？
实际上，我的最终目标是通过键在Map[Key, RDD[Value]]上循环，并为每个RDD[Value]调用saveAsNewAPIHadoopFile
例如，如果我得到：
RDD[("A", 1), ("A", 2), ("A", 3), ("B", 4), ("B&#
浏览 3提问于2015-01-23得票数 6
我正在尝试运行一个简单的pyspark示例，它是我自己编写的，用于学习目的：
from pyspark import SQLContext
from pyspark import SparkContext
from pyspark.sql.types import StringType
from pyspark.sql.functions import udf
from urllib.parse import urlsplit
def extractPath(host, url):
if host in url:
return urlsplit(url).path
浏览 2提问于2019-03-28得票数 2
我正在尝试推送现有配置单元表中的数据，我已经在配置单元中创建了orc表，无法推送配置单元中的数据。如果我在spark控制台上复制粘贴，但不能通过spark-submit运行，则此代码可以工作。
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
object TestCode {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setAppName("first example").set
浏览 0提问于2018-04-11得票数 0
1回答
我正在尝试从AWS学习本教程。我正在进行快速示例步骤。
当我尝试运行该命令时：
aws emr add-steps --cluster-id j-xxxxx --steps Type=spark,Name=SparkWordCountApp,Args=[--deploy-mode,cluster,--master,yarn,--conf,spark.yarn.submit.waitAppCompletion=false,--num-executors,5,--executor-cores,5,--executor-memory,20g,s3://codelocation/wordcount.p
浏览 0提问于2017-01-24得票数 2
我试图将xlsx读取到PySpark，并尝试以多种方式导入Spark库，但在读取xlsx文件时仍然会出现错误。我在我的Mac上使用了Spark的独立模式。
我的代码：
# spark configuration
spark_path = "/spark/spark-3.0.1-bin-hadoop2.7"
findspark.init(spark_path)
spark = SparkSession.builder.master("local").appName("Word Count").config("--packages com.c
浏览 6提问于2021-03-04得票数 0
回答已采纳
2回答
在使用scala或pyspark读取存储在hadoop中的拼花文件时，会发生以下错误：
#scala
var dff = spark.read.parquet("/super/important/df")
org.apache.spark.sql.AnalysisException: Unable to infer schema for Parquet. It must be specified manually.;
at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$8
浏览 1提问于2017-07-20得票数 3
回答已采纳
1回答
我使用文件作为Spark流，我想计算流中的单词，但是应用程序什么也不打印，这是我的代码。我在Cloudera环境中使用Scala
import org.apache.spark.SparkConf
import org.apache.spark.streaming._
import org.apache.spark.streaming.StreamingContext
object TwitterHashtagStreaming {
def main(args: Array[String]) : Unit = {
val conf = new SparkConf().setAp
浏览 4提问于2017-09-26得票数 0
回答已采纳
1回答
嗨，在我的spark应用程序中，我正在从s3存储桶中读取csv文件。在尝试将相同的文件写入s3但抛出错误之后。 我使用aws密钥对aws s3进行身份验证。 以下是spark应用程序的代码 package com.spark.example
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.sql.SparkSession
import org.apache.log4j.{Logger,Level}
object S3IOTest {
def m
浏览 13提问于2020-04-28得票数 0
我有一个包含文件列表的文本文件。目前，我正在按顺序遍历我的文件列表
我的文件列表如下所示：
D:\Users\bramasam\Documents\sampleFile1.txt
D:\Users\Documents\sampleFile2.txt
并为每个文件执行以下代码，
val df = spark.read
.format("org.apache.spark.csv")
.option("header", false)
.option("inferSchema", false)
.option("delim
浏览 0提问于2018-05-24得票数 0
我在加载时遇到了问题，使用这种log.There是log4j的问题，我不知道on.Could是怎么做的，给我一些如何解决问题并正确运行的建议？
C:\dev\spark-1.6.0-bin-hadoop2.6\bin>spark-shell
log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.li
b.MutableMetricsFactory).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN Se
浏览 4提问于2016-02-25得票数 6
回答已采纳
我正尝试在独立模式下运行spark作业，但是命令没有从HDFS文件中拾取，jar文件存在于HDFS.The位置，并且当我在本地模式下运行它时，它工作得很好。 下面是我正在使用的命令 spark-submit --deploy-mode client --master yarn --class com.main.WordCount /spark/wc.jar 下面是我的程序： val conf = new SparkConf().setAppName("WordCount").setMaster("yarn")
val spark = new S
浏览 52提问于2019-01-19得票数 0
回答已采纳
我需要通过scala/spark应用程序连接到postgres数据库。当我在我的IDE中运行它时，它工作得很好，但是，当我尝试使用以下命令运行打包的可执行jar时，我得到了以下日志消息：
使用以下命令触发可执行jar：
java -cp HighestPerformingCampaign-assembly-1.0.jar com.scala.Executor
抛出异常：
Exception in thread "main" java.lang.ClassNotFoundException: Failed to find data source: jdbc. Please fin
浏览 31提问于2021-05-21得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
