" % "2.1.0" % "provided"17/03/08 05:19:15信息storage.BlockManager:删除RDD85
17/03/08 05:19:15错误worker.Worker: Worker.run捕获异常<
浏览 4提问于2017-03-08得票数 1
在通过ooze执行spark操作时，我得到了这个异常。有些时候作业运行得很好，有些时候我得到了这个异常。真的很奇怪，不知道为什么会这样。我在oozie lib和我的应用程序jar中都有spark jar的检查版本，并且它们是相同的(没有冲突)org.apache.spark</e
浏览 4提问于2020-04-15得票数 0
当我连接到一个运动流时，我得到了以下错误消息。java.lang.NoSuchMethodError: org.apache.spark.storage.BlockManager.get(Lorg/apache/spark/storage/BlockId/classifier_streaming.py
我正在本地机器上运行代码。同样的代码适用于Spark1.6。最近，我更改为Spark2.1，无法运行这
浏览 2提问于2017-04-03得票数 0
回答已采纳
我在运行无法连接到Kinesis数据源的胶水流式作业时遇到以下错误：WARNING:root:StreamingQueryException caught._2.11-2.4.0.jar,spark-streaming_2.11-2.4.0.jar,amazon-kinesis-client
浏览 0提问于2020-09-08得票数 0
在集群模式下，我试图在EMR4.3上运行示例的一个版本，但没有成功。具体来说，即使我可以访问流的元数据，也不会从Kinesis读取任何消息。相同的代码确实在相同的EMR集群上以客户端模式运行(即使用"local*")，但是当我尝试在集群模式下运行时，移动接收器的第一项工作就被卡住了：
在Spark的流页面中，我没有看到任何内容：
配置和设
浏览 4提问于2016-03-06得票数 2
4回答
我在Spark Yarn上运行一个作业，并试图向涌入的数据库发送消息，但我在一个okio冲突中崩溃：)
"org.apache.spark" %% "spark-streaming-k
浏览 2提问于2018-03-26得票数 2
我正在使用EMR集群来开发/运行Spark作业。现在我需要访问Kinesis并安装spark-sql-kinesis_2.11-2.2.0.jar。我还不是很清楚该怎么做。
浏览 7提问于2018-07-23得票数 1
回答已采纳
我是Apache Spark Streaming的新手。正在尝试构建Spark以从Kinesis Stream中读取值。KINESIS_APP_NAME = 'test-spark'
BATCH_DURATION = 2
AWS_ACCESS_KEY= ''我使用以下命令运行脚本
spark<
浏览 1提问于2016-11-25得票数 0
1回答
AWS EMR多作业依赖争用
、、、、
我使用Terraform来支持EMR集群并使用args调用这些步骤：启动时似乎存在争议图谋数独火花-外壳-包org.apache.spark:spark-streaming-kinesis-asl_2.11:2.4.5
这会导致问题，因为火花壳只能在主节点上可用/home/hadoop&
浏览 1提问于2020-07-01得票数 4
回答已采纳
我有一个在Mesos上运行的Spark集群(1.6.1)，其中有1个主服务器和4个从服务器。我正在运行的spark作业处理来自Kinesis Stream的数据。代码运行得很好，除了我可以看到Spark大量使用了两个从进程。
我的问题是，为什么Spark</e
浏览 13提问于2016-08-26得票数 0
val dstream = KinesisUtils.createStream(但是，当我使用sbt clean assembly将代码打包到jar中并使用spark submit运行它时，我得到了以下错误：
java.lang.NoS
浏览 1提问于2017-04-10得票数 0
我试图在HDP 2.2沙箱上运行一个简单的流作业，但面临java.lang.NoSuchMethodError错误。我能够在这台机器上运行SparkPi示例，没有任何问题。"yarn-cluster");中的错误文本
线程“驱动程序”中的异常$conforms()Lscala/Predef$$less$colon$less；：java.
浏览 1提问于2015-02-12得票数 3
2回答
当我尝试加入它们时，内部表是空的。.*join dw.client t蜂巢正在失败
处理语句时出错:失败:执行错误，从org.apache.hadoop.hive.ql.exec.spark.SparkTask.返回代码3星火作业在运行时失败。:由作业引发的异常，由: org.apache.spark.SparkException:由
浏览 7提问于2022-08-01得票数 0
我正在用aws kinesis写一篇spark streaming <groupId>org.apache.spark</groupId> <artifactId>spark-streaming-kinesis-asl_2.10</artifactId>
<ve
浏览 3提问于2017-04-27得票数 5
1回答
这将导致以下失败：
org.apache.spark.SparkException:由于阶段失败而中止作业:阶段7.0中的任务50失败4次，最近一次失败:阶段7.0中丢失的任务50.3 (TID，cluster_workerx.c.project.internal，执行器6)：ExecutorLostFailure (执行器6由于运行中的任务之一退出)原因:执行器心跳在133355 ms之后超时java.util.concurrent.ExecutionException:org.apache.spark</em
浏览 4提问于2020-01-10得票数 1
1回答
我正在EMR集群上运行这个过程，输出位置在aws S3上。下面是使用的命令：
spark-submit --deploy-mode cluster --class com.hotwire.hda.spark.prd.pricingengine.PRDPricingEngine--conf spark.yarn.submit.waitAppCompletion=true --num-executors 21 --executor-cores 4 --executor-memoryShutdownHookManager: De
浏览 2提问于2016-07-07得票数 3
回答已采纳
我正在尝试使用kinesis数据流创建实时情绪分析模型，并使用spark创建databricks笔记本。在databricks中有没有一种方法可以让代码块连续运行，直到用户决定终止它们的执行？ 我尝试将我的笔记本作为作业运行，但处理spark流的代码块永远都不会运行，不会让其他代码块完成ETL过程。下面是我如何设置它的代码： kinesisDF = spark \ .format("kinesis<
浏览 22提问于2020-06-27得票数 0
我目前在HDInsight集群中远程运行我的星火作业时遇到了问题：<dependency> <version>4.1.51.Final</version>最终构建的jar包含这个带有指定版本的包，并且在我的本地机器上运行<e
浏览 0提问于2020-07-22得票数 0
1回答
在我们的一个管道中，我们使用spark(java)进行聚合，它是使用oozie编排的。此管道使用以下行将聚合数据写入ORC文件。").partitionBy("partition_column_name").save(output);
失败的Oozie启动程序，主类org.apache.oozie.action.hadoop.SparkMain，main()抛出异常，org.apache.hadoop.hive.shi
浏览 0提问于2017-03-09得票数 0
回答已采纳
云服务器
ICP备案
即时通信 IM
对象存储
云直播
腾讯云开发者
