我有一个kerberized的集群，我想以"OS用户“的身份使用Livy运行Spark程序。使用proxyUser选项仅将纱线用户设置为代理用户，操作系统用户仍为Livy。如果这是不可能的，那么有人可以告诉我在Livy代码中发生了"spark-submit“来创建新的YARN应用程序
浏览 19提问于2019-05-25得票数 2
我已经成功地使用Spark配置了齐柏林飞艇。然而，我想使用多租户，为此我想用Livy和Spark配置Zeppelin。对于Livy，我提供了以下两条路径export HADOOP_CONF_DIR=/etc/hadoop/conf
我可以在Zeppelin
浏览 2提问于2017-01-12得票数 1
我有一个spark作业，我通常使用spark-submit和输入文件名作为参数来运行它。现在我想让工作对团队可用，这样人们就可以提交一个输入文件(可能通过一些web-API)，然后spark作业将被触发，它将返回给用户结果文件(也可能是通过web-API)。(我使用的是Java/Scala)
在这种情况下，我需要构建什么才能触发spark作业？有什么教程吗？我应该在这种情况下使用spark-streamin
浏览 0提问于2015-06-16得票数 0
我正在使用Livy的Java在我的集群上提交一个关于纱线的火花作业。目前，这些作业是以“Livy”用户的身份提交的，但我想以Livy的代理用户的身份提交该作业。可以通过向Livy服务器发送POST请求，并通过在POST数据中传递一个字段来做到这一点。我在想，这是否可以通过Livy的Java来完成。我使用标准的方式提交一份工作：
LivyClient client = new Liv
浏览 0提问于2017-07-21得票数 1
我的客户在AWS EMR上安装了一个安装在木星集线器上的AD连接器，以便通过AD在Jupyterhub上验证不同的用户。目前的理解是，当不同的用户通过木星中心上的木星笔记本向共享的EMR火花引擎提交他们的火花作业时，火花作业将通过Livy提交给火花引擎。每个Livy会议都将有一个相关的火花会话映射到它(这是我目前的理解和纠正我，如果我错了)
问题是，不同的木星中心用户是否会共享相同的 Livy会话(然后是不同的火花会话)还是不同的会话(然后是不同的火花会话
浏览 0提问于2018-12-24得票数 2
回答已采纳
我想在Spark集群外部的一个节点(VM实例)上安装Apache Livy服务器。我怎么做才能让LivyServer指向Spark集群？我已经下载并安装了livy on VM实例，使用 git clone https://github.com/cloudera/livy.gitmvn clean package -DskipTests在livy/conf/livy</
浏览 26提问于2019-09-24得票数 1
Livy继续使用Python2.7，不管使用什么。
这是在EMR集群上运行Livy 0.6.0。通过ssh登录到EMR主节点并运行pyspark将按预期启动python3。但是，Livy一直使用python2.7。Livy一直在使用python2.7。Livy一直在使用python2.7。我不需要在另一个集群上这样做，Livy只是默认使用pyth
浏览 6提问于2021-05-03得票数 2
1回答
场景:
我也想使用Livy。
我也将为Livy创建一个服务。Livy能否与外部火花主沟通，并将作业发送给外部火花主？或者Livy应该安装在火星主节点上？
浏览 0提问于2018-09-26得票数 1
无法通过Livy在纱线(集群或客户端)模式下运行Spark作业，我可以使用Livy运行火花作业，但作业是本地模式，在资源管理器上不可见。我想在纱线集群模式下运行这些作业。我正在使用Hortonworks HDP 2.6.1 hadoop发行版。HDP2.6.1有两个版本的火花(2.1.1和火花1.6.3)和两个版本的livy (1和2)。我们已更改以下档案：
/usr/hdp/2.6.1.0-129&
浏览 5提问于2017-08-24得票数 0
我已经打开了一个AWS EMR集群，并在pyspark3 jupyter notebook中运行以下代码：textRdd = sparkDF.select(textColName).rdd.flatMap运行这条线：成功了！有什么问题吗？
浏览 1提问于2019-09-23得票数 16
0回答
我有一个Spark集群在Hadoop上以YARN模式运行。我已经将Livy服务器配置为交互并将客户端spark作业提交到spark集群。我从java程序上传了一个数据文件和jar到Livy，它被上传到HDFS的.livySessions文件夹中。new File("/C:/HAL/kmeans_data.txt")).get();
Object str = client.uploadJar(new Fi
浏览 5提问于2017-01-02得票数 2
1回答
与Kerberos的连接
、、、
我能够通过Livy服务连接到非Kerberized集群，而不会出现来自远程Rstudio桌面(windows)的问题。但是，如果启用了Kerberos安全性，则连接将失败：sc <- spark_connect("http://host:8998", method = "livy")Error in livy_validate_http_response("Failed to create li
浏览 1提问于2017-06-23得票数 5
我试图使用驻留在GCP中的Livy运行我的应用程序，但我得到了以下信息：“java.lang.ClassNotFoundException: bigquery.DefaultSource引起的”如何
浏览 0提问于2021-07-01得票数 2
回答已采纳
我在上为Livy的REST的一部分编写了一个Java客户端。客户端分别使用Spring的RestTemplate.getForObject()和postForObject()来发出GET和POST请求。Livy服务器使用Kerberos进行保护。和请求工作得很好:我从Livy那里得到了预期的响应。我的代码对身份验证没有任何明确的作用。
我尝试过通过Kerberos作为几个不同的用户进行身份验证，但我总是遇到这个问题。Livy是否需要额
浏览 10提问于2017-10-24得票数 5
回答已采纳
我正在使用Livy/Spark，我对如何使用其中的一些感到有点困惑。在livy examples文件夹中有一个上传到spark的构建作业的示例。我喜欢正在使用的接口，但我想通过http连接到livy/spark，因为我没有java客户端。这样看来，如果我使用livyclient上传jars，它只存在于那个spark会话中。我希望能够通过shell做交互的事情，但我也想为我经常<e
浏览 2提问于2018-05-12得票数 1
问题是:我有一个web应用程序，需要利用spark集群来运行spark-sql查询。我的理解是，提交作业脚本是异步的，因此这在这里不起作用。我如何在这样的设置中利用spark？我是否可以像在自包含的spark应用程序中一样，在web应用程序中编写代码，即创建上下文，设置主URL，然后执行我需要做的事情？这能在web应用中工作吗？
浏览 3提问于2016-09-13得票数 2
，其中提到了运行livy的服务器ip和服务器端口。/dist/spark/spark-${SPARK_VERSION}/spark-${SPARK_VERSION}-bin-hadoop${HADOOP_VERSION}.tgz \ &am
浏览 0提问于2019-08-17得票数 1
我有一个包含5个节点的spark独立集群。所有节点都通过nfs挂载了相同的卷。这些挂载中的文件具有特定的linux文件权限。当我以用户x(在所有节点上都可用，并且在所有节点上具有相同的uid)的身份spark提交作业时，我希望spark executors也以用户x的身份运行，以便作业只能访问用户x有权访问的文件。使用纱线会有帮助吗？
浏览 0提问于2020-02-22得票数 1
我正在尝试将spark应用程序(Java)部署到spark engine，作为Bluemix上分析引擎服务的一部分。我遵循了这里提到的步骤
C:\Users\IBM_ADMIN\eclipse-workspace\mySparkApp\target>bx ae spark-submit --className mySparkApp.Main mySparkApp-0.0.1-SCurrent user
浏览 7提问于2018-05-03得票数 0
我是Spark的新手，所以任何建议，无论是关于相关工具或针对我的用例建议的设计更改，都将不胜感激。我目前的情况是，我有几百万个独立的Spark作业，运行时间不是很长(平均几秒钟)，我使用Livy以批处理模式提交它们。问题是，初始化每个作业的Spark上下文所需的时间比运行作业本身所需的时间要长得多。因此，我的想法是初始化spark上下文的修复池，并使用它们来运行所有这些作业，而不是每次运行<
浏览 2提问于2021-09-06得票数 1
云服务器
ICP备案
对象存储
腾讯会议
云直播
腾讯云开发者
