首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

是否可以使用多个jar向flink集群提交作业

是的,可以使用多个jar向Flink集群提交作业。Flink是一个开源的流处理和批处理框架,它支持使用多个jar文件来提交作业。

提交作业到Flink集群可以通过以下几种方式实现:

  1. 使用Flink命令行界面(CLI):可以使用Flink提供的命令行界面来提交作业。通过命令行指定要提交的jar文件以及其他作业相关的参数,然后将作业提交到Flink集群。
  2. 使用Flink Web界面:Flink提供了一个Web界面,可以通过该界面上传并提交作业。在Web界面中,可以选择要提交的jar文件,并配置作业相关的参数,然后将作业提交到Flink集群。
  3. 使用Flink REST API:Flink还提供了REST API,可以通过发送HTTP请求来提交作业。可以使用HTTP POST请求将jar文件上传到Flink集群,并指定其他作业相关的参数,然后通过HTTP POST请求提交作业。

提交作业时,可以同时指定多个jar文件。这在以下几种情况下非常有用:

  • 依赖管理:如果作业依赖于其他的库或模块,可以将这些依赖打包成一个独立的jar文件,并将其与主要的作业jar文件一起提交。
  • 版本管理:如果需要在不同的环境中运行相同的作业,但是需要使用不同的版本,可以将不同版本的作业打包成不同的jar文件,并根据需要提交相应的jar文件。
  • 作业拆分:如果一个大型作业可以被拆分成多个独立的子任务,可以将每个子任务打包成一个独立的jar文件,并将它们一起提交到Flink集群。

总之,使用多个jar向Flink集群提交作业是完全可行的,并且可以根据具体需求灵活选择要提交的jar文件。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

如何使用hadoop命令CDH集群提交MapReduce作业

1.文档编写目的 ---- 在前面文章Fayson讲过《如何跨平台在本地开发环境提交MapReduce作业到CDH集群》,那对于部分用户来说,需要将打包好的jar包在CDH集群运行,可以使用hadoop...或java命令集群提交MR作业,本篇文章基于前面的文章讲述如何将打包好的MapReduce,使用hadoop命令CDH提交作业。...CDH集群的任意节点 [kstcjgjtey.jpeg] [xycss8rgfk.png] 注意:这里是将jar包上传至CDH集群的任意节点且hadoop命令可以正常运行。...4.非Kerberos集群提交作业 ---- 1.在命令行执行如下命令提交MR作业 hadoop jar mr-demo-1.0-SNAPSHOT.jar com.cloudera.mr.WordCount...] 6.总结 ---- 这里有几点需要注意,我们在本地环境开发MapReduce作业的时候,需要加载集群的xml配置,将打包好的MR jar提交集群使用hadoop命令运行时,代码里面的Configuration

2.2K60

如何使用java命令从非集群节点CDH集群提交MapReduce作业

1.文档编写目的 ---- 在前面文章Fayson讲过《如何使用hadoop命令CDH集群提交MapReduce作业》和《如何跨平台在本地开发环境提交MapReduce作业到CDH集群》,但有些用户需要在非...CDH集群的节点提交作业,这里实现方式有多种一种是将该节点加入CDH集群管理并部署GateWay角色,可以参考Fayson前面的文章《如何给CDH集群增加Gateway节点》,还有一种方式就是使用java...命令CDH集群提交MR作业。...conf文件以及生成keytab,并知道在代码中如何引用,否则请仔细阅读《如何使用hadoop命令CDH集群提交MapReduce作业》和《如何跨平台在本地开发环境提交MapReduce作业到CDH集群...配置文件的获取可以参考Fayson前面的文章《如何使用hadoop命令CDH集群提交MapReduce作业》 5.nonekb-yarn-conf目录,此目录用于存放非Kerberos环境的配置 [24kdm1wo0x.jpeg

1K60
  • 如何使用Oozie API接口Kerberos环境的CDH集群提交Spark作业

    Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 在CDH集群外的节点集群提交Spark...作业的方式有多种,前面Fayson介绍了Livy相关的文章主要描述如何在集群外节点通过RESTful API接口CDH集群提交Spark作业以及《如何使用Oozie API接口非Kerberos环境的...CDH集群提交Spark作业》,本篇文章主要介绍使用Oozie的API接口Kerberos集群提交Spark作业。...API接口非Kerberos环境的CDH集群提交作业》 《如何在Kerberos环境的CDH集群部署Livy》 《如何通过Livy的RESTful API接口Kerberos环境的CDH集群提交作业...在指定HDFS上运行的jar或workflow的路径时需要带上HDFS的路径,否则默认会找到本地的目录 Kerberos集群提交作业需要在程序中加载JAAS配置 Oozie-client提供了Kerberos

    1.9K70

    如何使用Oozie API接口Kerberos环境的CDH集群提交Shell作业

    APIKerberos和非Kerberos集群提交Spark和Java作业,本篇文章主要介绍如何使用Oozie Client APIKerberos环境的CDH集群提交Shell Action工作流...Oozie-client的API接口Kerberos集群提交Shell Action作业 * creat_user: Fayson * email: htechinfo@163.com * creat_date...: 《如何使用Oozie API接口非Kerberos环境的CDH集群提交Spark作业》 《如何使用Oozie API接口非Kerberos环境的CDH集群提交Java作业》 《如何使用Oozie...API接口非Kerberos环境的CDH集群提交Shell工作流》 《如何使用Oozie API接口Kerberos环境的CDH集群提交Spark作业》 《如何使用Oozie API接口Kerberos...环境的CDH集群提交Spark2作业》 《如何使用Oozie API接口Kerberos集群提交Java程序》 GitHub地址: https://github.com/fayson/cdhproject

    1.7K60

    如何使用Oozie API接口非Kerberos环境的CDH集群提交Java作业

    Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 前面Fayson介绍了《如何使用Oozie...API接口非Kerberos环境的CDH集群提交Spark作业》,本篇文章主要介绍如何使用Oozie Client API非Kerberos环境的CDH集群提交Java作业。...Oozie-client的API接口非Kerberos集群提交MapReduce作业 * creat_user: Fayson * email: htechinfo@163.com * creat_date...集群提交Java作业 [5kgk5bxszw.jpeg] 2.登录CM进入Yarn服务的“应用程序”菜单查看 [j38l4av0yi.jpeg] 3.打开Yarn的8088 Web界面查看 [c33z0jgipv.jpeg...] 可以看到作业已运行成功,到此已完成了通过OozieAPI接口创建workflow并运行的示例演示。

    1.1K70

    如何使用Oozie API接口非Kerberos环境的CDH集群提交Spark作业

    Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 在CDH集群外的节点集群提交Spark...作业的方式有多种,前面Fayson介绍了Livy相关的文章主要描述如何在集群外节点通过RESTful API接口CDH集群提交Spark作业,本篇文章我们借助于oozie-client的API接口非...Kerberos集群提交Spark作业。...API接口非Kerberos环境的CDH集群提交作业》 《如何在Kerberos环境的CDH集群部署Livy》 《如何通过Livy的RESTful API接口Kerberos环境的CDH集群提交作业...Oozie-client的API接口非Kerberos集群提交Spark作业 * creat_user: Fayson * email: htechinfo@163.com * creat_date

    1.4K70

    如何使用Oozie API接口Kerberos环境的CDH集群提交Spark2作业

    集群外的节点集群提交Spark作业,文章中均采用Spark1来做为示例,本篇文章主要介绍如何是用Oozie APIKerberos环境的CDH集群提交Spark2作业。...在指定HDFS上运行的jar或workflow的路径时需要带上HDFS的路径,否则默认会找到本地的目录 Kerberos集群提交作业需要在程序中加载JAAS配置 Oozie-client提供了Kerberos...Oozie API集群提交作业相关文章: 《如何使用Oozie API接口非Kerberos环境的CDH集群提交Spark作业》 《如何使用Oozie API接口非Kerberos环境的CDH集群提交...Java作业》 《如何使用Oozie API接口非Kerberos环境的CDH集群提交Spark作业》 《如何使用Oozie API接口Kerberos集群提交Java程序》 Livy相关文章: 《...Livy》 《如何通过Livy的RESTful API接口Kerberos环境的CDH集群提交作业》 提示:代码块部分可以左右滑动查看噢 为天地立心,为生民立命,为往圣继绝学,为万世开太平。

    3.3K40

    2021年大数据Flink(六):Flink On Yarn模式

    在实际开发中,使用Flink时,更多的使用方式是Flink On Yarn模式,原因如下: -1.Yarn的资源可以按需使用,提高集群的资源利用率 -2.Yarn的任务有优先级,根据优先级运行作业 -3...1.Client上传jar包和配置文件到HDFS集群上 2.ClientYarn ResourceManager提交任务并申请资源 3.ResourceManager分配Container资源并启动ApplicationMaster...YARN所分配的所有端口都是临时端口,这允许用户并行执行多个Flink 4.ApplicationMasterResourceManager申请工作资源,NodeManager加载FlinkJar包和配置构建环境并启动...flink run提交任务: /flink/bin/flink run  /export/server/flink/examples/batch/WordCount.jar run  /export/...server/flink/examples/batch/WordCount.jar 4.通过上方的ApplicationMaster可以进入Flink的管理界面 5.关闭yarn-session:

    1.4K20

    Flink】第二十五篇:源码角度分析作业提交逻辑

    本文继续讨论:在execute里,在最终将作业提交集群后,在集群调度作业之前,Flink主要做了些什么。 同样,先将主要的结论列出来,以便在阅读源码时可以和笔者有一个基本一致的语境。...启动集群 1) 使用yarn-session.sh提交会话模式的作业 2) 如果没有Flink Session集群,启动新的Flink Session集群 首先将应用配置和相关文件上传至HDFS;Yarn...ClientYarn提交创建Flink Session集群的申请,在分配的Containner中启动JobManager进程,并在其中运行YarnSessionClusterEntrypoint作为集群启动的入口...作业提交 1) Flink Client通过RestDsipatcher提交作业 2) 为作业创建一个JobMaster,构建ExecutionGraph 3....由flink shell 脚本 到 Flink作业 jar 的过程; 打开FLINK_HOME下的flink脚本,在最后一行可以看到flink本质是执行了一个org.apache.flink. client.cli.CliFrontend

    86130

    听说你熟悉Flink-On-Yarn的部署模式?

    Session-Cluster模式 Session-Cluster模式需要先启动集群,然后再提交作业,接着会yarn申请一块空间后,资源永远保持不变。...Yarn提交Container申请 跟踪ApplicationReport状态(确定是否启动成功,可能会由于资源不够,一直等待) 进行资源校验(如内存大小、vcore大小、队列) 通过YarnClient...启动任务 当启动集群后,即可使用./flink run -c mainClass /path/to/user/jar集群提交任务。...Per-Job-Cluster模式 一个任务会对应一个Job,每提交一个作业会根据自身的情况,都会单独yarn申请资源,直到作业执行完成,一个作业的失败与否并不会影响下一个作业的正常提交和运行。.../bin/flink run -m yarn-cluster -d -c mainClass /path/to/user/jar命令使用分离模式启动一个集群,即单任务单集群; 3.2.

    2.8K10

    大数据Flink进阶(十四):Flink On Standalone任务提交

    即:首先构建一个Flink集群Flink集群资源就固定了,所有提交到该集群Flink作业都运行在这一个集群中,如果集群提交的任务多资源不够时,需要手动增加节点,所以Flink 基于Standalone...一、Standalone Session模式 1、任务提交命令 在Standalone集群搭建完成后,基于Standalone集群提交Flink任务方式就是使用的Session模式,提交任务之前首先启动.../root/flink-jar-test/FlinkJavaCode-1.0-SNAPSHOT-jar-with-dependencies.jar 提交之后,可以看到页面中有三个任务,最后一个任务提交的名称改成了自定义任务名称.../taskmanager.sh start 启动两个TaskManager后可以看到Flink WebUI中对应的有2个TaskManager,可以根据自己任务使用资源的情况,手动启动多个TaskManager...,如果提交的任务使用资源多,还可以启动多个TaskManager。

    2.3K11

    Apache Flink on Kubernetes运行模式分析

    提交作业之前,必须先创建好Flink session集群。...多个任务可以同时运行在同一个集群内,任务之间共享K8sResourceManager、Dispatcher,但是JobManager是单独的。...flink集群提交任务请求了; 3)用户通过flink clientflink集群提交任务,flink client会生成Job graph,然后和jar包一起上传;当任务提交成功后,JobSubmitHandler...; 2)用户可以Flink作业Jar包和classpath依赖打包到自己的镜像里; 3)作业运行图由Flink Master生成,所以无需通过RestClient上传Jar包(图2步骤3)。...简介 分析以上四种部署模式,我们发现,对于Flink集群使用,往往需要用户自行维护部署脚本,kubernetes提交各种所需的底层资源描述文件(Flink Master,TaskManager,配置文件

    2.2K70

    flink之运行架构、作业提交流程

    作业管理器(JobManager) JobManager 是一个 Flink 集群中任务管理和调度的核心,是控制应用执行的主进程。...所以 JobMaster 和具体的 Job 是一一对应的,多个 Job 可以同时运行在一个 Flink 集群中, 每个 Job 都有一个自己的JobMaster。...在作业提交时,JobMaster会先接收到要执行的应用。“应用”一般是客户端提交来的Jar包,数据流图(dataflow graph)和作业图(JobGraph)。...启动之后,TaskManager会资源管理器注册它的slots;收到资源管理器的指令后, TaskManager 就会将一个或者多个槽位提供给 JobMaster 调用,JobMaster 就可以分配任务来执行了...作业流程 1、由客户端(App)通过分发器提供的 REST 接口,将作业jar包)提交给JobManager。

    11610

    Dlink的概念原理与源码扩展介绍

    一、Dlink 是什么 Dlink 是一个基于 Apache Flink 开发的 FlinkSQL Studio,可以连接多个 Flink 集群实例,并在线开发、执行、提交 FlinkSQL 语句以及预览其运行结果...远程环境 远程环境即为RemoteEnvironment,是在远程模式中指定集群提交 Flink 程序的句柄,在目标集群的环境里运行程序,通过调用ExecutionEnvironment.createRemoteEnvironment...Dlink 的共享会话相当于可以启动多个 sql-client 来进行会话操作,并且其他用户可以使用您的会话 key ,在对应环境中共享您的会话的所有信息。...Catalog或让同事排查bug,需要查看运行结果 本地环境 临时会话 异步提交集群集群不可用的情况下快速启动一个作业,不需要查看运行结果 本地环境 共享会话 异步提交 共享会话效果无效 远程环境...快速集群提交任务,不需要查看运行结果 远程环境 共享会话 异步提交 共享会话效果无效 四、源码扩展 Dlink 的源码是非常简单的, Spring Boot 项目轻松上手。

    2.5K20

    Dlink On Yarn 三种 Flink 执行方式的实践

    它是一个 交互式的 FlinkSQL Studio,可以在线开发、预览、校验 、执行、提交 FlinkSQL,支持 Flink 官方所有语法及其增强语法,并且可以同时对多 Flink 实例集群进行提交、...图中示例配置了一个 Flink on Yarn 的高可用集群,其中 JobManager HA 地址需要填写集群中所有可能被作为 JobManager 的 RestAPI 地址,多个地址间使用英文逗号分隔...( Yarn-Per-Job 和 Yarn-Application 也具有 JobManager,当然也可以手动注册,但无法提交任务) 如状态异常时,请检查被注册的 Flink 集群地址是否能正常访问...提交 User Jar 作业中心—— Jar 管理,注册 User Jar 配置。 右边作业配置的可执行 Jar 选择刚刚注册的 Jar 配置,保存后点击小火箭提交作业。...由于提交了个批作业,Yarn 可以发现已经执行完成并销毁集群了。 七、总结 综上所述,Dlink 的部署及搭建相关执行模式的步骤虽繁锁,但确实为一个一劳永逸的工作。

    2.6K40

    Flink运行方式及对比

    TaskManager 在第二步启动,任务运行完之后销毁 同上 同上 客户端进程 在客户端节点 在客户端节点 在集群中某个节点 适用范围 所有任务都共用一套集群,适合小任务,适合频繁提交场景 使用大任务...,非频繁提交场景 使用大任务,非频繁提交场景 Per-Job和Session对比 flink的yarn模式部署项目到集群上有三种: yarn-session yarn-per-job Application...Flink on Yarn-Session 这种方式需要先启动集群,然后在提交作业,接着会yarn申请一块空间后,资源永远保持不变。...如果资源满了,下一个作业就无法提交,只能等到yarn中的其中一个作业执行完成后,释放了资源,那下一个作业才会正常提交. 这种方式资源被限制在session中,不能超过。...Session 模式也称为多线程模式,其特点是资源会一直存在不会释放,多个 JobManager 共享一个 Dispatcher,而且还共享 Flink-YARN ResourceManager。

    2.3K51
    领券