如何使用spark协调器获取每小时计划spark作业的具体时间
Spark协调器是Spark集群中的一个组件，用于调度和协调Spark作业的执行。它负责管理作业的调度顺序、资源分配和任务执行等工作。
要获取每小时计划Spark作业的具体时间，可以通过以下步骤：
- 配置Spark协调器：首先，需要在Spark集群中配置一个Spark协调器，例如使用Spark Standalone模式或者使用Apache Mesos、Hadoop YARN等资源管理器。具体配置方法可以参考Spark官方文档。
- 编写Spark作业：根据具体需求，编写Spark作业代码。可以使用Scala、Java、Python等编程语言进行开发。在作业中，需要指定作业的调度规则和执行逻辑。
- 设置作业调度规则：在Spark作业中，可以使用Spark的调度器API来设置作业的调度规则。例如，可以使用
setMaster("spark://coordinator_ip:coordinator_port")来指定作业的调度器为Spark协调器。 - 获取具体时间：在Spark作业中，可以使用
sparkContext.startTime()方法来获取作业的开始时间。根据每小时计划的要求，可以通过计算当前时间和作业开始时间的差值，来确定具体时间。
总结：
使用Spark协调器获取每小时计划Spark作业的具体时间，需要配置Spark协调器、编写Spark作业代码、设置作业调度规则，并在作业中使用sparkContext.startTime()方法来获取作业的开始时间。具体实现可以参考Spark官方文档和相关文档。
腾讯云相关产品推荐：
相关·内容
我花了一天的时间来找出为什么我的协调人没有像预期的那样工作，仍然没有得到任何线索。
我想有2个火花作业分别运行与第二个作业是依赖于第一个作业。我已经完成了每小时产生_SUCCESS文件的第一个工作。问题是，当第二个作业找到它的依赖项时，它得到了错误的HOUR。它总是在执行时选择00，而不是小时。下面是第二个作业依赖项的xml部分
浏览 9提问于2017-12-22得票数 0
当我试图杀死一个从oozie工作中调用的火花作业时，它并没有被杀死。这只是显示工作流作业被杀了。ThreadPoolExecutor.java:624)是我做错了什么，还是限制了我们不能扼杀oozie协调员在纱线上启动的火花应用程序
浏览 0提问于2018-09-03得票数 1
回答已采纳
发布此问题以了解Apache Spark如何收集和协调来自执行者的结果。
假设我正在运行一个有3个执行器的作业。我的DataFrame是分区的，并在这3个执行器上运行。那么，当我在DataFrame上执行count()或collect()操作时，spark将如何协调这三个执行器的结果呢？val prods = spark
浏览 33提问于2019-11-04得票数 0
1回答
抱歉，找不到需要的配置点。我计划spark应用程序，有时他们可能不会在一个小时后成功，在这种情况下，我想自动终止这个任务(因为我确定它永远不会成功，另一个计划可能会开始)。我发现了一个超时配置，但据我所知，它用于延迟工作流的启动。
那么有没有一种活着的‘暂停’呢？
浏览 1提问于2018-06-29得票数 0
3回答
我有一个案例，我想每隔一小时从远程存储下载一些数据，并将其作为键-值对存储在executor/worker上的RDD中。我想缓存这个RDD，这样将来在这个executor/worker上运行的所有作业/任务/批处理都可以使用缓存的RDD进行查找。这在Spark Streaming中是可能的吗？一些相关的代码或指向相关代码的指针会很有帮助。
浏览 1提问于2016-09-20得票数 2
1回答
我是Azure Data Factory的新手。在此之前，我一直在使用SSIS和Pentaho。最近，我开始使用这个工具来创建一些ETL，并且我注意到在过程结束时提供的时间值之间存在一些差异。所以我想知道它们是什么意思(持续时间-处理时间-时间)，特别是为什么持续时间和处理时间之间的巨大差异，这种差异是工具的标准准备时间还是类似的东西？ ? 致以问候。
浏览 22提问于2020-06-17得票数 0
2回答
我想使用Apache来操纵Google中的大量数据。在这种情况下，是否有必要拆分整个集群？星火在谷歌云存储上的效率和HDFS一样高吗？如果不是，那就更容易用木星和星火旋转一个大VM，并使用它来运行存储在GCS上的数据上的作业。
浏览 2提问于2018-08-13得票数 0
回答已采纳
当我在oozie中更改job.properties中的协调器作业的开始时间时，作业不是占用更改的时间，而是在旧的计划时间内运行。${startMinute}ZstartMinute=07作业不是在更改的<e
浏览 5提问于2015-01-16得票数 3
我正在开发一个要运行的Apache Spark作业，并计划将其部署为中的一个阶段。我的Spark作业是用Scala编写的，我想知道在Apache Spark作业的上下文中运行计时器的最佳方法是什么。我从中看到我可以使用java.util.concurrent或者java.util.Timer，但是我不确定线程在Spark
浏览 12提问于2019-07-17得票数 3
回答已采纳
我无法理解为Map Reduce和Spark作业分配资源的内部机制。在同一个集群中，我们可以运行Map Reduce和Spark作业，但是对于运行map reduce作业，内部资源管理器将为作业分配可用的资源，如数据节点和任务跟踪器。在内部执行我所需的N个数的映射器和减速器。
当涉及到Spark上下文时，它需要工作节点和执行<e
浏览 1提问于2017-06-10得票数 1
我有一个Spark作业，它读取一个源表，执行一些map / flatten / reduce操作，然后将结果存储到我们用于报告的单独的表中。目前，此作业是使用spark-submit脚本手动运行的。我有没有：
设置了一个cron作业来调用spark-submit脚本-将计划添加到我的作业类中，以便它只提交一次，但每晚执行操作？在Spar
浏览 52提问于2015-05-21得票数 36
回答已采纳
1回答
实验对于这个查询，我有两个作业Stage-15的最后一个RDD[48]和Stage-17的最后一个RDD[49]是一样的。怎么?我在日志中看到Stage-15执行之后，RDD[48]被注册为RDD[49]。支持这些观察的日志(只有
浏览 7提问于2016-06-10得票数 16
回答已采纳
为什么Presto比Spark SQL快？
此外，Presto和Spark SQL在计算架构和内存管理方面的区别是什么？
浏览 3提问于2018-04-25得票数 32
回答已采纳
我正在尝试获取spark-scala的本地时间，但它返回UTC。 我使用java.time.LocalDateTime来获取当前的时间戳。但它又回到了UTC标准。(DateTimeFormatter.ofPattern("YYYY-MM-dd HH:mm:ss.SSSSSS").format(LocalDateTime.now)) LocalDateTime在sparkshell中返回本地时间，但
浏览 51提问于2019-09-28得票数 1
我正在开发一个spark程序，其中我必须加载avro数据并对其进行处理。我正在尝试理解如何为spark应用程序创建作业ids。我使用下面的代码行来加载avro数据。sqlContext.read.format("com.databricks.spark.avro").load(path)
据我所知，作业in将基于程序中遇到的操作创建。我的作业计划每30分钟运行一次。当我查看这个应
浏览 10提问于2016-07-19得票数 0
我在我的一端运行示例作业，spark作业UI显示总正常运行时间为26秒，但当我将作业的持续时间列加起来时，它只有17-18秒，我应该依靠它来确定运行作业执行逻辑的总时间.I不关心启动和停止集群的时间.Is我如何忽略启动和停止集群的时间，并获得我的逻辑的最终执行时间</
浏览 1提问于2017-01-03得票数 0
1回答
我试图通过使用spark-cassandra-connector从cassandra获取数据，但在异常下获取数据。火花-卡桑德拉-连接器版本: 2.5.1 at org.apache.spark.SparkContext.runJob(SparkCont
浏览 5提问于2021-10-01得票数 2
回答已采纳
2回答
我想知道一些参数，以加快我的纱线集群上的火花作业。- spark.yarn.am.cores = 2- spark.executor.cores = 8- yarn.nodemanager.resource.memory-mbyar
浏览 0提问于2015-11-09得票数 0
1回答
每小时的Avro文件为20G，在读取avro文件时按年、月、日和小时划分，如下所示，spark.read.format("com.databricks.spark.avro").load(basePathwhere($year=2020 and $month=9 and $day=1 and $hour=1).write.paritionBy(paritionCol).parquet(path) --作业运行时间为但是，对于相同的火花配置(内存和实例
浏览 5提问于2020-09-28得票数 1
我已经创建了一个应用程序，它可以从文件中清除和丰富一些数据，并且这些数据在某一时间以Dataset<Row>的形式可用。在我的理想世界中，Apache Zeppelin能够抓住它，我只会创建一个笔记本，然后轻松地为最终用户获取数据可视化。
我试过Apache Zeppelin作为一个演示，但我从来没有真正参与其中。它能做我期望的事吗？或者，我的应用程序是否必须将它创建的Dataset<Row>的结果存储到某些拼板文件中，然后在其
浏览 4提问于2020-04-16得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
