首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

如何在flink作业jar较大时远程执行flink作业

在Flink中,当作业JAR文件较大时,可以通过以下步骤远程执行Flink作业:

  1. 上传作业JAR文件: 将作业JAR文件上传至可访问的文件服务器或对象存储服务。可以使用腾讯云的对象存储服务 COS(链接)进行文件上传。
  2. 编写启动脚本: 编写一个启动脚本,用于远程执行Flink作业。脚本中需要包含以下步骤:
    • 下载作业JAR文件:使用合适的方式从文件服务器或对象存储服务下载作业JAR文件到执行环境中。
    • 设置运行参数:根据实际需求,设置Flink作业的运行参数,例如并行度、内存配置等。
    • 执行作业:使用Flink命令行工具或编程接口启动作业,指定已下载的作业JAR文件。
  • 配置执行环境: 在执行远程作业的机器上配置必要的环境,包括Java运行时环境、Flink运行时环境和相关依赖库。可以参考腾讯云的弹性计算服务 CVM(链接)来创建虚拟机并配置环境。
  • 远程执行作业: 在执行环境中执行启动脚本,通过命令行或其他远程执行方式触发作业的启动。可以使用SSH连接远程服务器执行命令或使用腾讯云的轻量应用服务器(链接)来进行远程操作。

总结起来,要在Flink作业JAR较大时远程执行Flink作业,需要上传作业JAR文件至文件服务器,编写启动脚本并配置执行环境,然后通过远程执行方式触发作业的启动。

腾讯云相关产品推荐:

  • 对象存储服务 COS:提供可扩展的文件存储和访问能力,适合存储大型的作业JAR文件。产品链接
  • 弹性计算服务 CVM:提供灵活的云服务器实例,可用于配置执行环境和执行启动脚本。产品链接
  • 轻量应用服务器:提供简单、安全、高效的云服务器实例,适合进行远程执行操作。产品链接

请注意,以上推荐的产品链接仅为示例,具体产品选择应根据实际需求和使用场景来确定。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

Flink 实践教程-入门(9):Jar 作业开发

Flink Jar 作业既支持使用 DataStream API 编程也支持使用 Table API/SQL 编程, Table API 和 SQL 也可以很容易地集成并嵌入到 DataStream 程序中...流计算 Oceanus 支持 Flink Jar 作业Flink SQL 作业,本文将向您详细介绍如何使用 Flink DataStream API 进行 Jar 作业开发,并在流计算 Oceanus...执行程序 sEnv.execute("helloworld"); }} 打包 Jar 包 使用 IDEA 自带打包工具 Build Artifacts 或者命令行进行打包。...创建作业 在流计算 Oceanus 控制台,点击左侧【作业管理】,点击左上角【新建】新建作业作业类型选择 Jar 作业,点击【开发调试】进入作业编辑页面。...打包无需打包 flink 核心依赖,流计算 Oceanus 平台已提供。

1.1K40
  • Dlink On Yarn 三种 Flink 执行方式的实践

    二、原理 原理图 JobManager JobManager 并非 Flink 的 JM,而是作为 Dlink 的作业管理入口,负责 Flink 的各种作业执行方式及其他功能的调度。...配置管理、语句集管理、语法校验、逻辑验证、计划优化、生成 JobGraph、本地执行远程提交、SELECT 及 SHOW 预览等核心功能。...( Yarn-Per-Job 和 Yarn-Application 也具有 JobManager,当然也可以手动注册,但无法提交任务) 状态异常,请检查被注册的 Flink 集群地址是否能正常访问...右边执行配置: 预览结果:启用; 远程执行:启用。 点击快捷操作栏的三角号按钮同步执行该 FlinkSQL 任务。 预览数据 切换到历史选项卡点击刷新可以查看提交进度。...提交 User Jar 作业中心—— Jar 管理,注册 User Jar 配置。 右边作业配置的可执行 Jar 选择刚刚注册的 Jar 配置,保存后点击小火箭提交作业

    2.6K40

    伴鱼实时计算平台 Palink 的设计与实现

    执行流程 作业执行实则是作业提交的过程,根据作业类型的不同提交工作流有所区别,可细分为三类: Flink JAR 作业:我们摒弃了用户直接上传 JAR 文件的交互方式。...PyFlink 作业:与 Flink JAR 方式类似,少了编译的过程,提交命令也有所不同。 Flink SQL 作业:与上两种方式区别较大。...DOING:执行中状态,同样会调度实例监测,防止长期处于进行中的脏状态产生。 SUCCESSED:执行成功状态。随着用户的后续行为,重新提交、重新启动操作,状态会再次回到 UNDO 态。...实现机制 下图为 Flink 官方提供的作业角色流程图,由图可知,用户提交的代码将在 Client 端进行加工、转换(最终生成 Jobgraph )然后提交至远程集群。...而 coreJarFile 对应的就是 API 开发方式用户提交的 JAR 文件,只不过这里系统帮我们实现了。

    60410

    Dlink的概念原理与源码扩展介绍

    远程环境执行过程只包含 sql 任务的准备工作,即解析、优化、转化物理执行计划、生成算子、提交作业执行图。所以远程环境执行时所需要的 connector 等资源也需要在 lib 目录下引入。...例如,通过执行环境 + 共享会话可以确定唯一的 Catalog。 临时会话 临时会话指不启用共享会话,您每次交互执行操作,都会创建临时的独立的会话,操作解释后立即释放,适合作业解耦处理。...临时会话 同步执行 依靠集群单独开发FlinkSQL作业,需要查看运行结果 远程环境 共享会话 同步执行 依靠集群复用Catalog或让同事排查bug,需要查看运行结果 远程环境 临时会话 异步提交...dlink-client 该模块为 Client 的封装模块,依赖了 flink-client,并自定义了新功能的实现 CustomTableEnvironmentImpl、SqlManager 等。...|- flink-connector-jdbc_2.11-1.12.4.jar |- flink-csv-1.12.4.jar |- flink-json-1.12.4.jar |- mysql-connector-java

    2.5K20

    Dlink 实时计算平台——部署篇

    状态异常,请检查被注册的 Flink 集群地址是否能正常访问,默认端口号为8081,可能更改配置后发生了变化,查看位置为 Flink Web 的 JobManager 的 Configuration...Sql Studio 进入开发页面: 在中央的脚本编辑器中粘贴 Flink Sql,左边作业配置的 Flink 集群选中上文注册的测试集群,执行配置勾选远程执行,最后点击右上方三角形的开始按钮来执行语句...注意,如果不勾选执行配置的远程执行,则无法提交给远程集群,而是在本地环境运行。 执行历史 语句执行后,可以从下方历史选项卡中查看任务的执行状态,包含初始化、成功、失败等。‍...例如,当扩展 kafka 的连接器,只需要把 flink-json-1.12.5.jarflink-connector-kafka_2.11-1.12.5.jar 以及 flink-sql-connector-kafka...七、更多精彩 本文简简单单地带来了 dlink 的初次部署与体验的具体步骤,此外它还具备大量的新特性与功能来辅助 Flink Sql 开发与运维,作业管理、共享会话、血缘分析、函数文档、数据源管理、元数据中心以及

    2.7K20

    听说你熟悉Flink-On-Yarn的部署模式?

    如果资源满了,下一个作业就无法提交,只能等到yarn中的其中一个作业执行完成后,释放了资源,下个作业才会正常提交。...所有作业共享Dispatcher和ResourceManager;共享资源;适合规模小执行时间短的作业。 ? 2.1..../flink run -c mainClass /path/to/user/jar向集群提交任务。...接口提交任务 处理请求响应结果 设置ClassLoader 设置Context 执行用户程序main方法(当执行用户业务逻辑代码,会解析出StreamGraph然后通过ClusterClient#run...提供在Yarn上两种运行模式:Session-Cluster和Per-Job-Cluster,其中Session-Cluster的资源在启动集群就定义完成,后续所有作业的提交都共享该资源,作业可能会互相影响

    2.9K10

    大数据云原生系列| 微信 Flink on Kubernetes 实战总结

    Pulsar 计算(必要也会访问其他外部存储,Redis、FeatureKV等),计算结果可以落地到多种存储系统,例如对于报表类业务,计算结果写入 mysql/pg;对于实时样本特征拼接作业,计算结果写入...,这是因为 Java 启动的时候加载了一遍,在执行用户main函数的时候 Flink 又会去加载一遍,所以我们将主 jar 包下载到一个专门固定目录,例如/opt/workspace/main/,那么提交通过...等)默认都是放到 /tmp 目录下,这就会导致作业即使失败也会残留一些垃圾到母机上,长此以往,/tmp 目录势必会被撑爆,所以我们在启动 Java 进程设置参数 -Djava.io[3].tmpdir...属性配置、日志及监控 日志与监控,提升可观测性 从上面的声明式 yaml 配置可以看到,提交 Flink 作业是通过flinkProperties 选项来指定 Flink 属性参数,事实上 Flink...50+篇超实用云原生技术干货合集 如何在 Istio 中支持 Dubbo、Thrift、Redis 以及任何七层协议?

    2K21

    【推荐系统算法实战】Flink 架构及其工作原理

    ,已经进过优化,task chain)和JAR,将JobGraph转化为ExecutionGraph(physical dataflow graph,并行化),包含可以并发执行的tasks。.../path/to/job.jar Job模式:每一个job都重新启动一个Flink集群,完成后结束Flink,且只有一个Job Manager。资源按需申请,适合大作业。..../examples/batch/WordCount.jar 细节取决于具体环境,如不同的RM Application Deployment Framework模式:Flink作业JAR,并被提交到...Library模式:Flink作业为application-specific container image,Docker image,适合微服务。...当触发checkpoint,backend会快照所有本地state的修改(直至上一次checkpoint),然后马上让task继续执行。后台线程异步发送快照到远程storage。

    1.8K00

    Dlink Roadmap 站在巨人的肩膀上

    id=1 可以触发ID为1的作业执行,通常用于第三方调度平台 DolphinScheduler 和 XXL-Job 等通过 Http 请求调度触发 Dlink 中的 Flink 作业提交。...; 7.优化 ClickHouse SQL 校验逻辑; 8.解决 Yarn Application 解析数组异常问题; 9.解决自定义Jar配置为空会导致异常的bug; 10.解决任务提交失败注册集群报错的...Dlink 通过自定义报警规则及内容模板来触发报警或者推送报表,使用户第一间知晓生产环境的异常状况以及其自定义的报表及推送信息批流任务启停、依赖任务启停、集群操作推送等。...守护进程 Daemon 还管理作业执行等线程,Dlink 的 FlinkSQL 作业提交看似简单,但其后台进行了复杂的多步处理:准备执行环境、解析增强语法、组装语句集、解析翻译优化得到 JobGraph...离线方面,Dlink 通过界面配置库表同步的作业配置,作业启动后,Dlink 从配置中获取数据源信息及库表选择信息等其他配置项,自动构建 Flink作业并交由 Daemon 依赖调度托管大量任务的有序稳定执行

    2.5K30

    Dlink-0.2.0 新特性

    它是一个 FlinkSQL Studio,可以在线开发、预览、执行 FlinkSQL,支持 Flink 官方所有语法及其增强语法,并且可以远程提交 Sql 作业到集群,无打包过程。...多集群的远程使用与本地隔离使用,1.10、1.11 和 1.13 集群可能存在问题 优化了 FlinkSQL 执行与提交到远程集群的任务名,默认为作业的中文别名 优化了目录的操作,点击节点即可打开作业,...由于 Dlink 远程提交 Sql 任务的原理是在本地进行 FlinkSQL 的解析与执行优化,最终通过 Client 提交执行图到集群,然而该方式需要 Dlink 具备新 Connector 的依赖引用进行...提供了 dlink-client-1.12.jar dlink-client-1.12.jar 是对 Flink 1.12.4 的增强,内含片段机制、执行图获取等接口,并进行了本地与远程环境的封装,未来将提供更多增强特性...-- 必需 |- dlink-connector-jdbc.jar |- flink-connector-jdbc_2.11-1.12.4.jar |- flink-csv-1.12.4.jar |-

    70220

    Dinky 开源一周年了~

    整库实时入仓入湖 支持实时调试预览 Table 和 ChangeLog 数据及图形展示 支持语法逻辑检查、作业执行计划、字段级血缘分析等 支持 Flink 元数据、数据源元数据查询及管理 支持实时任务运维...三、发展历程 开源仓库 2021年6月6日,当时 Flink 社区正如火荼的发展,但苦于没有一款适合 Flink SQL 界面化开发的工具,于是增加了 Flink 的门槛与成本。...此外还支持了远程集群的任务管理, 监控Metrics、SavePoint、停止等操作。 0.5.0 带来了全新的平台架构,以支撑实时计算平台的能力,监控、报警、血缘等。...Hive 的实践》作者:文末 《Dlink On Yarn 三种 Flink 执行方式的实践》作者:文末 《Dlink 在 Flink-mysql-cdc 到 Doris 的实践》作者:文末 《Dlink...《Flink CDC 和 kafka 进行多源合并和下游同步更新》作者:谢帮桂 《Dinky在IDEA远程调试实践分享》作者:唐修红 《Dinky在Kubernetes的实践分享》作者:mydq 《Dinky

    3.5K21

    Flink RocksDB State Backend:when and how

    Flink中,记忆的信息(即状态)被本地存储在配置的状态后端中。为了防止发生故障丢失数据,状态后端会定期将其内容快照保存到预先配置的持久性存储中。...状态快照(即检查点[3]和保存点[4])存储在远程持久性存储中,用于在作业失败的情况下还原本地状态。选择适合生产部署的状态后端取决于系统的可伸缩性,吞吐量和延迟要求。 什么是RocksDB?...Flink中的RocksDB 将RocksDB用作状态后端所需的一切都捆绑在Apache Flink发行版中,包括本机共享库: $ jar -tvf lib/flink-dist_2.12-1.12.0...与执行完整快照相比,这大大减少了检查点时间。RocksDBStateBackend是当前唯一支持增量检查点的状态后端。...有关更多详细信息,请查看此博客文章[30],了解如何在Flink中管理RocksDB内存大小以及RocksDB内存使用情况[31]Wiki页面。

    3.1K31

    Flink Checkpoint机制原理剖析与参数配置

    快照性能优化方案 前面和大家分享了一致性快照的具体流程,这种方式保证了数据的一致性,但有一些潜在的问题: 每次进行Checkpoint前,都需要暂停处理新流入数据,然后开始执行快照,假如状态比较大,一次快照可能长达几秒甚至几分钟...当实际执行快照Flink可以立即向下广播Checkpoint Barrier,表示自己已经执行完自己部分的快照。...快照执行时,Flink将存储于本地RocksDB的状态同步到远程的存储上,因此使用这种State Backend,也要配置分布式存储的地址。...这种模式只在整个作业最多允许1个Checkpoint适用。...Checkpoint的初衷是用来进行故障恢复,如果作业是因为异常而失败,Flink会保存远程存储上的数据;如果开发者自己取消了作业远程存储上的数据都会被删除。

    1.8K31

    Flink 核心组件原理 多图剖析

    Graph 申请资源,调度任务,执行任务,保存作业的元数据,Checkpoint 协调各个 Task 的 Checkpoint。...); 将作业拆分成 Task,部署到不同的 TaskManager 上去执行;ctorSystem 是 基于 akka 实现的一个通信模块,负责节点之间的通信, Client 和 JobManager...Client 是客户端,当用户写好一个 Flink 的程序之后,会用 bin/flink run 这样的方式去提交 jar 包。...然后会启动一个 Client 的进程,找到 jar 包中的 main 方法,创建 Context Environment (执行环境),把代码解析成 JobGraph (有向无环图表示的作业), 向 JobManager...不管用户写的程序是 DataStream Api,DateSet Api,或者是 Flink SQL,都会打成 jar 包,jar 包中会写入 main 方法的类,Client 进程启动的时候就会执行

    2K20

    Dinky 0.6.1 已发布,优化 Flink 应用体验

    数据及图形展示 支持语法逻辑检查、作业执行计划、字段级血缘分析等 支持 Flink 元数据、数据源元数据查询及管理 支持实时任务运维:作业上线下线、作业信息、集群信息、作业快照、异常信息、作业日志、数据地图...极易用的任务构建方式 Flink 在构建 FlinkSQL Jar 任务通常需要考虑依赖及版本的维护、代码的编写、繁琐的编译打包过程等。...Dinky 的功能体验也十分注重扩展能力,在功能设计上尽可能地开放了最大的配置能力,自定义提示与补全语法、自定义数据源的Flink 配置与生成规则、自定义全局变量、自定义Flink执行环境、自定义集群配置的各种配置项等等...Flink 元数据持久化 Dinky 目前需要持久化 Flink Catalog,使作业开发不再需要编写 CREATE TABLE 等语句,转变为可视化的元数据管理功能。...功能很强大,尤其 SQL 提交到远程功能,缩短了开发jar的时间。 操作简单,运维方便,可以脱离 flinkwebui 实时管控JOB的运行情况、异常及时报警。 功能规划清晰,快速迭代。

    1.2K40
    领券