腾讯云

开发者社区

文档建议反馈控制台

首页

文章/答案/技术大牛

发布

社区首页 >问答首页 >利用气流提交Livy和跟踪作业的批处理POST方法提交火花作业

问利用气流提交Livy和跟踪作业的批处理POST方法提交火花作业
EN

Stack Overflow用户

提问于 2019-01-16 19:36:30

回答 1查看 4.1K关注 0票数 4

我想使用气流来协调作业，包括运行一些猪脚本，shell脚本和火花作业。

主要是关于星火作业，我想使用Apache，但不确定使用还是运行火花提交是个好主意。

什么是最好的方式跟踪火花工作使用气流，如果我甚至提交？

apache-spark

airflow

livy

语音识别特惠，低至14.9元！

提供业界非常具有性价比的语音识别服务，超高识别准确率，适用多场景

回答 1

Stack Overflow用户

回答已采纳

发布于 2019-01-16 21:29:26

我假设您是一个应用程序JAR，其中包含要提交给远程Spark集群的Java / Scala代码。可以说，在根据其他可能性进行评估时，Livy是远程的最佳选择：

指定远程master IP：修改全局配置/环境变量的需要
使用SSHOperator：SSH连接的可能会中断
使用依赖于EmrAddStepsOperator：的 EMR的

关于跟踪

Livy 只有报告 state和not progress (各阶段完成百分比)
如果您认为没有问题，可以通过Livy API轮询REST服务器，并在控制台中继续打印日志，这些日志将出现在WebUI (View Logs)中的任务日志中。

其他考虑因素

Livy 不支持为POST/batches请求重用SparkSession
如果这是必需的，则必须用PySpark编写应用程序代码并使用POST/session请求

参考文献

有用的链接

票数 3

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/54228651

复制

R语言：以多列标准筛选特定行

r 语言数据处理

在本期，我们会运用一个病例数据为大家进行讲解示范，这也是大猫课堂第一次针对阅读者提问进行的反馈，也希望大家能提供一些有趣的问题，来和我们一起分享，同时也感谢读者孤鹜惜秋，与我们分享其问题。话不多说，马上进入正题。

用户7652506

2020/08/12

2K0

python创建与遍历List二维列表

python 编程算法

python 创建List二维列表 lists = [[] for i in range(3)] # 创建的是多行三列的二维列表 for i in range(3): lists[0].append(i) for i in range(5): lists[1].append(i) for i in range(7): lists[2].append(i) print("lists is:", lists) # lists is: [[0, 1, 2], [0, 1, 2, 3,

演化计算与人工智能

2020/08/14

2.4K0

【Python】列表 List ⑦ ( 列表遍历 | 使用 while 循环遍历列表 | 使用 for 循环遍历列表 | while 循环与 for 循环对比 )

python list 遍历变量索引

将列表容器中的数据元素 , 依次逐个取出进行处理的操作 , 称为列表的遍历 ;

韩曙亮

2023/10/11

9810

列表：创建列表

编程算法

列表是Tcl语言中最重要的一种数据结构。什么是列表？列表是元素的有序集合，各个元素可以包含任何字符串，例如空格，反斜杠，换行符等。列表表现为特定结构的字符串，这意味着可以把它们赋值给一个变量，可以把它们做为参数传给命令，可以把它们嵌套到其他列表中。

Lauren的FPGA

2019/10/30

2.4K0

R语言入门之创建新的变量

编程算法

‍‍今天，米老鼠想和大家聊聊如何在R中创建新的变量。‍‍一般‍‍‍‍‍‍‍‍‍‍我们可以使用赋值符号 <- 来在数据中创建新的变量。下面我主要介绍三种创建新变量的基本方法

生信与临床

2020/08/06

2.5K0

R语言数据框、矩阵、列表的创建、修改、导出

文件存储编程算法

数据框来源主要包括用代码新建(data.frame)，由已有数据转换或处理得到(取子集、运算、合并等操作)，读取表格文件(read.csv,read.table等)及R语言内置数据

Magnolia

2023/01/06

8K0

python 的列表遍历删除

编程算法 python serverless

python的列表list可以用for循环进行遍历，实际开发中发现一个问题，就是遍历的时候删除会出错，例如

py3study

2020/01/07

2.4K0

【动手实践】Oracle 12.2新特性：多列列表分区和外部表分区

其他

在Oracle 12.2版本中，增加了大量的分区新特性，这其中包括：自动的列表分区创建在线的普通表转换分区表支持只读分区和读写分区混合以下介绍的三个特性同样是12.2新增的：多列列表分区、外部表分区、维护过滤而对于多列列表分区的支持，也是大家关注已久的特性，先看一下脚本（在 livesql.oracle.com 测试执行，推荐动手实践）： CREATE TABLE dba_by_db_in_yhem (dbalic NUMBER, username

数据和云

2018/03/06

1.1K0

【动手实践】Oracle 12.2 新特性：自动的列表分区创建

其他

2017年来了，我们要启动新的学习征程了。在过去我们一直思考，什么样的内容能够更帮助大家了解和学习到有用的知识？这个『动手实践』栏目就是这样一个改进和尝试吧，一个小小的范例，几分钟的线上实践（感谢Oracle），就能帮助大家熟悉一个知识点，几个重要的命令。如此是否会有不一样的体验？试一试吧。 ---- 在Oracle Database 12.2 之前，如果使用列表分区，当插入的数据超过了分区列表值设定，则会抛出异常；而如果存在大量的列表值需要定义，则可能需要一一设置。在12.2引入的新特性中 - Au

数据和云

2018/03/06

1.2K0

SharePoint2010新特性：InfoPath定义创建列表的界面

designer form infopath sharepoint 表单

在SharePoint2007的时候，自定义的列表可以使用CAML修改其展示页面，但是对于创建列表的页面，不容易自定义。现在在SharePoint2010中，增强了InfoPath Form Services，我们可以使用InfoPath Designer来快速设置自定义列表的修改和展示页面。

深蓝studyzy

2022/06/16

7200

[Excel技巧]创建下拉列表

excel 技巧设计数据统计

在单位用Excel做统计，想偷个小懒，比如食品一栏。能不能设计一个下拉列表，直接在列表框中选择，省去键盘的重复输入呢？

卷福同学

2023/04/28

2.3K0

Ordering列以或更好性能

数据库 sql

为减少数据库的存储空间，需要确保对列进行排序，通常最好先放置固定大小的列，然后再添加可变长度的列。

yzsDBA

2021/04/26

3210

Bash遍历字符串列表

bash shell

大家知道，通过python可以很容易实现各类数据结构，例如列表。但在bash中，实现一个列表相对来说会比较复杂。

zero000

2021/03/23

7.1K0

python基础之列表的遍历

编程算法 python

Python 是一门易于学习、功能强大的编程语言。它提供了高效的高级数据结构，还能简单有效地面向对象编程。Python 优雅的语法和动态类型以及解释型语言的本质，使它成为多数平台上写脚本和快速开发应用的理想语言。下面我们来介绍一下python列表的遍历相关知识。

jiankang666

2022/06/22

1K0

SharePoint 2010 新列表模板列表

java https 网络安全

发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/117742.html原文链接：https://javaforall.cn

全栈程序员站长

2022/07/11

7160

python for循环如何遍历多个数组和遍历list（列表）

其他

i = [1,2,3] o = [4,5,6] for i2,o2 in zip(i,o): print i2,o2 结果： 1 4 2 5 3 6 字典： i = {"1":"123","2":"abc"} o = {"3":"456","4":"def"} for k,v in zip(i,o): print i[k],o[v] 结果： 123 456 abc def ＝＝＝＝＝＝＝遍历List＝＝＝＝＝＝＝ list = ['html', 'js', 'css', 'p

简单、

2018/07/18

9.7K0

Python创建数字列表

list max min range sum

[1, 2, 3, 4, 5, 6, 7, 8, 9, 10] 10 1 sum is : 55

py3study

2020/01/03

1.3K0

点击加载更多

相似问题

循环遍历R中的列名以创建新列

循环遍历列以在R中创建新表

循环遍历dataframe以创建新的数据格式

遍历多个列以创建新变量

如何遍历多个列以创建多个新列。

414

活动推荐

玩转EdgeOne Pages有奖征集

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例