在python中使用livy时响应对象的状态为“dead”
在Python中使用Livy时，响应对象的状态为"dead"表示与Livy服务器的连接已经断开或会话已经终止。这可能是由于以下原因导致的：
- Livy服务器未启动：确保Livy服务器已经正确启动并正在运行。可以通过检查Livy服务器的日志文件或尝试重新启动Livy服务器来解决此问题。
- 会话超时：Livy服务器可能配置了会话超时时间，如果会话长时间没有活动，Livy服务器会自动终止会话。可以尝试重新创建一个新的会话来解决此问题。
- 服务器资源不足：如果Livy服务器的资源（如内存、CPU等）不足，会导致会话被终止。可以尝试增加服务器资源或优化代码以减少资源使用。
- 网络问题：如果存在网络问题，可能导致与Livy服务器的连接中断。可以检查网络连接是否正常，并尝试重新连接或重新启动网络设备。
推荐的腾讯云相关产品：腾讯云容器服务（Tencent Kubernetes Engine，TKE）
腾讯云容器服务（TKE）是腾讯云提供的一种高度可扩展的容器管理服务，可帮助用户轻松部署、管理和扩展应用程序。TKE提供了强大的容器编排和调度能力，支持自动伸缩、负载均衡、服务发现等功能，使用户能够更加高效地管理容器化应用。
相关·内容
我正在使用Livy运行一个spark字数统计程序(使用spark-submit在没有Livy的情况下运行它很好)。在使用Livy Rest请求提交作业时，它会返回作业的id，如下所示：
curl -X POST --data '{"file": "/home/ubuntu/SparkWordCount/target/Sparkwc.jar", "className": "org.learningspark.simple.WordCount", "files": ["hdfs://sparkmaser
浏览 1提问于2017-03-29得票数 0
我正在尝试使用livy，这也是我第一次使用REST api。跟随，当我键入
r = requests.post(statements_url, data=json.dumps(data), headers=headers)
然后
r.json()
我接收作为输出的u'java.lang.IllegalStateException: Session is in state dead'。根据本教程，会话状态应该是iddle，但在启动完成后，它似乎会更改为dead。我不知道该怎么做才能将状态保持在iddle中，这样我才能发出post请求。
在运行服务器的控制台中，我收到以下输出16/
浏览 11提问于2016-08-02得票数 0
回答已采纳
如果我的语言有误，我向您道歉。 我想在Spark集群外部的一个节点(VM实例)上安装Apache Livy服务器。我怎么做才能让LivyServer指向Spark集群？ 我已经下载并安装了livy on VM实例，使用 git clone https://github.com/cloudera/livy.git
cd livy
mvn clean package -DskipTests 在livy/conf/livy.conf中进行更改 livy.spark.master = spark://{spark-cluster-master_IP}:7077
livy.spark.deploy-m
浏览 26提问于2019-09-24得票数 1
在我安装Apache Livy的机器上(在Ubuntu 16.04上)：
(a)是否可以在Spark独立模式下运行它？
我正在考虑使用Spark 1.6.3，它是为Hadoop2.6预先构建的，可以从下载
(b)如果是，我如何配置它？
(c) Spark Standalone的HADOOP_CONF_DIR应该是什么？link 提到了以下环境变量：
export SPARK_HOME=/usr/lib/spark
export HADOOP_CONF_DIR=/etc/hadoop/conf
除了最后一个任务外，我已经成功地构建了Livy，该任务在Spark安装过程中尚未完成：
[INFO]
浏览 1提问于2016-11-30得票数 8
我已经制作了一个jar，其中我的主要代码是(用java火花编写的)。我还需要一些外部jar来运行我的主代码(主jar)，如何使用Livy中的python脚本提交和执行jar呢？(使用火花提交)
我只需要一个语法，如何做火花提交，在哪里，我的python脚本应该导出我的主jar (我正在使用‘请求’在python中的livy )
更新
在livy的批提交中出现了一些错误。
火花逻辑：
livy代码
火花提交(终端)
livy测井
当我使用/statements提交代码时，一切都很正常，但是现在我正在使用/batches通过一个文件来处理代码，我的SparkContext不起作用。另外，在使用
浏览 0提问于2019-08-04得票数 0
回答已采纳
Livy有一个批处理日志端点：GET /batches/{batchId}/log，在中指出
据我所知，这些日志是livy日志和，而不是火花驱动程序日志。我在一个print作业中有一个pyspark语句，它打印到驱动程序日志输出。
我能够通过描述批处理端点https://livy.incubator.apache.org/docs/latest/rest-api.html#batch找到驱动程序日志URL :通过访问json并单击日志
json响应url看起来是：http://ip-some-ip.emr.masternode:8042/node/containerlogs/container
浏览 7提问于2020-01-08得票数 3
我的要求:从web应用程序触发Yarn中的Spark作业，并在网页中显示结果。spark作业接受的参数很少，并使用需要返回给web应用程序的值计算DataSet。 在网上浏览之后，我认为Livy可以用来做这件事。 Livy已经安装了HDP 2.5。因此，我使用POST/Sessions创建了新的Livy会话，并包含了我的jar文件。 {"kind":"spark","name":"livy","jars":["/xyz.jar"],"proxyUser":"livy"
浏览 32提问于2020-03-30得票数 0
我正在创建一个EMR集群，并使用jupyter notebook运行一些spark任务。我的任务在执行大约1小时后就会死掉，错误是：
An error was encountered:
Invalid status code '400' from https://xxx.xx.x.xxx:18888/sessions/0/statements/20 with error payload: "requirement failed: Session isn't active."
我的理解是它与Livy config livy.server.session.t
浏览 2提问于2019-01-16得票数 13
回答已采纳
我在我的系统中安装了apache spark和apache Livy。当我运行python代码时，它给出了错误
'u'java.lang.IllegalStateException: Session is in state starting''
默认情况下，Apchy Livy在端口号8998上运行。我的python代码是
import json, pprint, requests, textwrap
host = 'http://localhost:8998'
data = {'kind': 'pyspark'
浏览 2提问于2017-09-07得票数 0
1回答
我正试图找到一种方法，在spark服务器上使用Livy API (or client)来推送python脚本。我试过以下几种方法。
curl -X POST '{"file"："/user/test/pi.py"}‘-H’内容-Type: application/json“localhost:8998/批”
，但是当我看到日志时，它给出的文件没有找到，因为它试图在服务器上找到路径。
使用Livy Python客户端。
R= client.upload_pyfile("/tmp/code/test.py")
浏览 3提问于2017-04-18得票数 3
下面是安装的内核：
$jupyter-kernelspec list
Available kernels:
apache_toree_scala /usr/local/share/jupyter/kernels/apache_toree_scala
apache_toree_sql /usr/local/share/jupyter/kernels/apache_toree_sql
pyspark3kernel /usr/local/share/jupyter/kernels/pyspark3kernel
pysparkkernel
浏览 0提问于2019-03-03得票数 3
我正在尝试使用fetch ()从我的网站用javascript向Livy发送POST请求。但是，CORS默认开启，请求失败。在将模式设置为'no-cors‘时，livy服务器发送一个空字符串作为响应(我无法访问该响应)。有没有办法修改livy.conf文件或在livy服务器中启用CORS？
任何帮助都将不胜感激。
浏览 0提问于2018-01-11得票数 1
2回答
我使用Livy通过创建jar文件来运行wordcount示例，jar文件工作非常好，并在HDFS中编写输出。现在，我想将结果返回到我的HTML页面。我正在使用，sbt，HDFS和Livy。
GET/批处理REST只显示日志和状态。
如何获得输出结果？
或者如何使用Livy中的REST读取HDFS中的文件？请帮我解决这个问题。
提前谢谢。
浏览 1提问于2018-07-03得票数 1
我正在使用Nifi ExecuteSparkInteractive处理器运行spark代码，我看到它的结果是成功、失败和等待。当结果进入成功和失败状态时，我能够很好地管理和路由结果，但有时我看到文件丢失，我认为它将处于等待状态，并且在我的Nifi流中没有为“等待”状态定义路由。谁能帮助我理解什么是“等待”状态，以及如何在不影响最终结果的情况下路由此状态下的控件。
提前谢谢你！
我尝试将nifi控件路由到UpdateAttribute处理器，但我看不到任何来自spark代码的结果。看起来在ExecuteSparkINteractive的“等待”状态下，代码没有被执行。
没有针对此问题的代码，因为
浏览 1提问于2019-06-23得票数 2
我正在尝试使用运行在Cloudera集群上的python3 witn来运行木星中心火花放电内核会话。
火花会话结束时没有任何有意义的错误，Livy日志有以下内容：
21/07/21 12:28:09 INFO yarn.Client: Submitting application application_1621851397242_29173 to ResourceManager
21/07/21 12:28:09 INFO impl.YarnClientImpl: Submitted application application_1621851397242_29173
21/07/21 1
浏览 9提问于2021-07-21得票数 1
我已使用以下AWS文档配置创建了EMR集群
{
"Classification": "livy-conf",
"Properties": {
"livy.spark.deploy-mode": "cluster",
"livy.impersonation.enabled": "true",
"livy.spark.yarn.appMasterEnv.PYSPARK_PYTHON": "/usr/bin/py
浏览 3提问于2018-10-16得票数 4
我制作了一个简单的python文件，希望在Livy.Livy中提交，它目前运行在local mode.Also中，我在livy.conf文件中提到了下面的属性。
Property name: livy.file.local-dir-whitelist,
value "/usr/local/livy/scripts"
我的文件保存在以下路径“/usr/local/livy/script”
import json, pprint, requests, textwrap
host = 'http://localhost:8998'
data = {'kind
浏览 1提问于2017-10-18得票数 0
1回答
我使用星火在HDInsight与木星笔记本。我使用%%配置“魔术”来导入包。每次该包出现问题时，都会出现以下错误：
代码失败是因为一个致命错误:会话不支持状态'shutting_down‘。
或
代码失败是因为一个致命错误:会话28意外到达最后状态“死”。见日志：
通常情况下，问题在于我错误地输入了包的名称，所以经过几次尝试，我可以解决它。现在，我试图导入火花流，甚至2.11，我认为我的名字是正确的，但我仍然收到错误。我看了各种各样的日志，但仍然找不到显示任何相关信息的日志。知道如何排除类似的错误吗？
%%configure -f
{ "conf": {
浏览 5提问于2017-05-03得票数 1
5回答
用休息触发火花作业
、、、、
我最近一直在尝试。我的问题更多的是为了激发就业机会。我贴出了关于理解火花工作的问题。在工作变得肮脏之后，我转向了我的要求。
我有一个REST端点，在这里我公开了API来触发乔布斯，我使用Spring4.0来实现Rest。接下来，我考虑在Spring中实现Jobs，在这里我将以编程方式提交作业，这意味着当端点被触发时，在给定的参数下，我将触发作业。我现在几乎没有设计选择了。
类似于下面的书面作业，我需要维护由抽象类调用的几个作业--可能是JobScheduler。
/*Can此代码从应用程序中抽象出来，并作为单独的作业编写。因为我的理解是，应用程序代码本身必须嵌入内部addJars。*/ S
浏览 9提问于2015-03-11得票数 26
回答已采纳
比方说，我想继续为提交给纱线的每个火花作业创建一个会话。每个连接都有一个唯一的用户，该用户一直在轮询状态和将语句发送到会话。我如何计算，在任何给定的时间里，Livy可以有多少个活动会话？是基于我配置的livy.spark.driver大小吗？这个计算所涉及的其他参数是什么？
浏览 1提问于2019-09-11得票数 1
2回答
我正在通过Curl提交livy (0.6.0)会话中的火花作业
作业是一个很大的jar文件，它像下面这样扩展了作业接口：
实际上，在使用以下curl命令运行此代码时：
curl -X POST -d '{"kind": "spark","files":["/config.json"],"jars":["/myjar.jar"],"driverMemory":"512M","executorMemory":"512M"}'
浏览 0提问于2019-09-02得票数 0
回答已采纳
1回答
我正在尝试发送带有参数的python脚本到Apache Livy。我已经有了一个使用以下python代码将文件内容(file_content)发送到Livy的代码：
data = {
'code': file_content
}
headers = {'Content-Type': 'application/json'}
r = requests.post(host + '/sessions/' + session_number + '/statements', data=json.dumps(da
浏览 0提问于2019-04-27得票数 2
我在AWS EMR集群中运行pyspark代码。我通过lambda函数给出了livy应用程序中的spark属性。
import requests
import json
def lambda_handler(event, context):
master_dns = event.get('clusterDetails', {}).get('Cluster', {}).get('MasterPublicDnsName')
headers = { "content-type": "application/json&
浏览 53提问于2021-03-16得票数 0
回答已采纳
3回答
我正在尝试提交火花作业通过livy使用rest api。但是如果我多次运行同一个脚本，它会运行多个具有不同作业ID的作业实例。我正在寻找一种方法，可以在启动新作业之前杀死运行相同名称的spark/yarn作业。Livy document说()删除批处理作业，但是livy session不返回应用程序名称，只返回应用程序id。
有没有其他方法可以做到这一点？
浏览 2提问于2017-06-28得票数 3
我正在尝试将spark应用程序(Java)部署到spark engine，作为Bluemix上分析引擎服务的一部分。我遵循了这里提到的步骤
在执行完所有步骤之后，在spark-submit时，我得到了以下错误
C:\Users\IBM_ADMIN\eclipse-workspace\mySparkApp\target>bx ae spark-submit --className mySparkApp.Main mySparkApp-0.0.1-S
NAPSHOT.jar
Current user is 'clsadmin'
Password>
Contacting
浏览 7提问于2018-05-03得票数 0
当我使用Data创建HDInsight Spark activity时，有两个类型的选项(脚本和jar)，当我选择jar来运行时(我使用scala来开发jar文件，它运行shows by remote livy submit)、失败和日志显示：
*stdout:
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/usr/hdp/2.6.5.3009-43/spark2/jars/slf4j-log4j12-1.7.16.jar!/org/slf4j/impl/Stati
浏览 3提问于2019-10-22得票数 1
我知道和。
我也看过
然而，所有这些都行不通。Livy继续使用Python2.7，不管使用什么。
这是在EMR集群上运行Livy 0.6.0。
在hadoop用户、我的用户、根用户和EC2-用户中，我已经将PYSPARK_PYTHON环境变量更改为/usr/bin/python3。通过ssh登录到EMR主节点并运行pyspark将按预期启动python3。但是，Livy一直使用python2.7。
我将export PYSPARK_PYTHON=/usr/bin/python3添加到/etc/spark/conf/spark-env.sh文件中。Livy一直在使用python2
浏览 6提问于2021-05-03得票数 2
是否可以在Livy Interpreter for Zeppelin中访问zeppelin context (z)？如果是，那么如何访问它。如果不是，这是否意味着Livy中的zeppelin可视化仅限于python库。
如何在scala和python之间交换变量。如果你通过z.put和z.get在齐柏林飞艇中使用标准的spark解释器，那就很简单了
浏览 1提问于2018-04-11得票数 3
我在GCP中运行了一个DataProc集群。我为它运行了Livy初始化脚本，我可以通过网关接口访问livy/sessions链接。我为我的火花魔法config.json设置了以下内容：
{
"kernel_python_credentials" : {
"auth": "None",
"url": "https://{SERVER}.dataproc.googleusercontent.com/livy"
},
"should_heartbeat
浏览 4提问于2021-12-30得票数 0
我创建了一个启用了Kerberos的AWS EMR集群，并且能够使用我的Kerberos keytab使用Java身份验证方法对hadoop.conf进行身份验证。但是，我不能访问Livy，因为我总是遇到这个错误：
HTTP错误:访问/时出现401问题。原因:需要身份验证
我在我的代码中找不到一种在线认证Livy的方法，唯一相关的模块是requests_kerberos，但它需要一个现有的有效TGT。我正在寻找一种方法，能够通过密钥表或主体name+password来验证李维。
如果这是不可能的，我如何在不影响Hadoop等其他组件的情况下禁用Livy的Kerberos？
浏览 1提问于2020-01-28得票数 0
1回答
我们使用Apache从星火库集群中的对象存储读取数据。
Apache : POST 请求有效负载：
{"code":" val df = spark.read.option(\"header\", true).json(\"xxx://somebucket@somenamespace/xyz\"); \n df.toJSON.collect.mkString(\"[\", \",\", \"]\")"}
我认为上面的邮递员工作没有问题。我们需要从Java调用这个API。当我们尝
浏览 0提问于2020-06-24得票数 0
回答已采纳
当使用pyspark在命令行上启动pyspark时，一切都按预期工作。然而，当使用Livy时，它不会。
我使用Postman建立了连接。首先，我将这段代码发送到sessions端点：
{
"kind": "pyspark",
"proxyUser": "spark"
}
会话转起来了，我可以看到Spark开始做纱线了。但是，我在容器日志中收到以下错误：
18/09/12 15:53:00 ERROR repl.PythonInterpreter: Process has died with 1
18/09/12 15:53
浏览 1提问于2018-09-12得票数 1
我使用Hadoop2.2.6迷你集群(1主和3个奴隶)和Ambari 2.1.0和Hue 3.8.1，Ubuntu12.04。Spark 1.2.1 (使用Scala2.10.3)是作为Ambari设置的一部分安装的。我已经安装了Livy-Server，以便能够使用Hue中的Spark。hue.ini文件中的可信内容如下：
[spark]
# Host address of the Livy Server.
livy_server_host=host1.com
# Port of the Livy Server.
livy_server_port=8998
# Configure l
浏览 3提问于2015-09-16得票数 0
回答已采纳
在用JupyterLab打开我的电子病历集群之后。我无法下载额外的语料库与nltk.download()。
码
nltk.download('wordnet')
误差
I/O operation on closed file
Traceback (most recent call last):
File "/usr/local/lib/python3.6/site-packages/nltk/downloader.py", line 817, in download
show('Downloading collection %r' %
浏览 4提问于2019-12-17得票数 3
1回答
我目前正在使用HDFS、Apache和Django，其目标是发送一个请求，以获得一些运行在HDFS中并调用Livy创建批处理的代码。现在，一切正常，我在HDFS中存储了一个包含.txt文件的基本字计数，而在htlm页面上，我只需单击一个简单的按钮就可以启动整个过程。
我成功地创建了wordcount结果，下一步是从Livy获取信息，例如，当前正在启动/运行/死/成功的会话的ID (或批)--某种类型的回调，但我需要它自我实现，以便知道每个会话的状态是什么。为此，我认为我可以使用Django-cron，因此我无法正确地设置它。我没有错误，但没有发生更多的事。我错过了什么？
目前正在使用Cento
浏览 6提问于2019-08-08得票数 1
回答已采纳
我重写了这段代码：
import org.apache.spark.sql.SparkSession
object SimpleApp {
def main(args: Array[String]) {
val logFile = "file:///root/spark/README.md"
val spark = SparkSession.builder.appName("Simple Application").getOrCreate()
val logData = spark.read.textFile(logFile).ca
浏览 0提问于2020-08-25得票数 0
回答已采纳
如何获得一个小型Python脚本来连接到现有的Spark实例，并对现有的RDD进行操作？
我正处于Windows 10上使用Spark的早期阶段，在“本地”实例上尝试脚本。我正在使用最新的稳定构建的火花(星火2.0.1为Hadoop 2.7)。我已经为Hadoop2.7.3安装和设置了环境变量。我正在用Python来试验Pyspark和VisualStudio2015CommunityandPython。
我正在尝试构建一个大型引擎，我将在这个引擎上运行单独的脚本来加载、按摩、格式化和访问数据。我肯定有一种正常的方法，这不是火花的意义吗？
不管怎么说，这是我目前的经历。这通常是意料之中的。当我
浏览 2提问于2016-11-06得票数 5
我正在使用startup通过S以来魔术和livy连接到EMR集群，非常频繁地(在会话启动时，不运行任何代码)：
> The code failed because of a fatal error: Session <ID> unexpectedly
> reached final status 'dead'. See logs: stdout:
> #
> # There is insufficient memory for the Java Runtime Environment to continue.
> # Nati
浏览 10提问于2022-06-22得票数 1
1回答
我想在Windows上编写一个Java应用程序，它使用Livy的Java与远程托管的Apache服务器对话。说：
将Livy客户端依赖项添加到应用程序的POM中：
<dependency>
<groupId>org.apache.livy</groupId>
<artifactId>livy-client-http</artifactId>
<version>0.4.0-SNAPSHOT</version>
</dependency>
注意:在livy的第一个Apache发布之
浏览 2提问于2017-08-02得票数 1
回答已采纳
我正在运行一个Sparkv2.0.0纱线集群。我让livy在火星之主旁边跑。
我已经设置了一个jupyter Python3记事本，并安装了和，尽管在创建会话时，我从笔记本中得到了一条错误消息。
Added endpoint http://spark-master:8998
Starting Spark application
ID YARN Application ID Kind State Spark UI Driver log Current session?
0 None pyspark idle ✔
---------------
浏览 10提问于2017-02-10得票数 2
回答已采纳
我正试着在k8s上运行jupyter来寻找火花。
在小实验之后:)我发现
k8s不支持客户端模式。
$ bin/spark-shell --master k8s://192.168.99.100:8443
...
...
Error: Client mode is currently not supported for Kubernetes.
那就是
火花外壳不能在集群模式下运行。
$ bin/spark-shell --master k8s://192.168.99.100:8443 --deploy-mode cluster
...
...
Error: Cluster deploy mo
浏览 0提问于2018-08-09得票数 0
2回答
因此，我最近刚开始使用python，我尝试在代码中使用while循环，但是当我单击run时，程序就会永远运行，而不会打印任何内容。我做了一些关于help循环的研究，但是我没有发现任何对我有帮助的东西。下面是完整的代码：
import random
HeroHP = random.randint(120 , 120)
WitchHP = random.randint(100 , 100)
Alive = 1
Dead = 0
if WitchHP > 0:
WitchStatus = Alive
if WitchHP < 1:
Witc
浏览 0提问于2016-06-03得票数 0
回答已采纳
我试图安装和运行PySpark在木星笔记本上的AWS ElasticMapReduce (电子病历)。如你所见
%%info
Current session configs: {'driverMemory': '1000M', 'executorCores': 2, 'kind': 'pyspark'}
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("docker-numpy").getOrCre
浏览 8提问于2020-06-06得票数 1
3回答
Python2.7弱引用模块的文档如下：
并非所有对象都可以弱引用；那些对象可以包括类实例、用Python编写的函数(但不是用C编写的)、方法(包括绑定和未绑定)、.
Python3.3对弱引用模块的文档表示如下：
不是所有的对象都可以弱引用；那些对象可以包括类实例、用Python编写的函数(但不是用C编写的)、实例方法、.
对我来说，这表明弱引用绑定方法(在所有版本的Python2.7-3.3中)都应该是好的，而在Python2.7中，对非绑定方法的弱引用应该是好的。
然而，在Python2.7中，对方法(绑定或未绑定)创建一个弱引用会导致一个死弱引用：
>>&g
浏览 4提问于2013-10-18得票数 18
回答已采纳
我在使用react native时仍然是新手，我遇到了这样的问题:我试图从这个接口中获取数据，只是为了获得死亡患者的值，但我在应用程序中什么都没有，它没有显示死亡的值，但在控制台中，它既显示了值，又显示了细节，下面是我使用的代码：
class Deaths extends React.Component{
constructor(){
super();
this.state = {
Dead: [
],
refreshing: false
}
}
}
renderItem = ({item}) => (
浏览 38提问于2020-05-06得票数 0
回答已采纳
1回答
在HDFS的/user/usr1 1/ path上，我放置了两个脚本pySparkScript.py和relatedModule.py。relatedModule.py是一个python模块，将被导入到pySparkScript.py中。
我可以用spark-submit pySparkScript.py运行脚本
但是，我需要通过Livy运行这些脚本。通常，我成功地运行单个脚本，如下所示：
curl -H "Content-Type:application/json" -X POST -d '{"file": "/user/usr1/pySpar
浏览 5提问于2019-12-10得票数 0
回答已采纳
2回答
我在Apache中成功地运行了一个SparkR笔记本。然而，当我创建地块(标准的R图，而不是ggplot)时，我想要控制图形的大小，即宽度和高度。有什么想法吗？
顺便说一句，我使用livy，所以我的代码片段看起来如下：
%livy2.sparkr
x = rnorm(10)
plot(x)
浏览 1提问于2018-01-12得票数 2
我使用的是Spark3.1.1，它使用Scala2.12，从下载的预构建Livy使用Scala2.11(可以在解压缩后找到名为repl_2.11-jars/的文件夹)。
参考Aliaksandr Sasnouskikh制作的，Livy需要重建，否则即使在后会话中也会抛出错误{'msg': 'requirement failed: Cannot find Livy REPL jars.'}。
在中，它提到：
默认情况下，Livy是针对ApacheSpark2.4.5构建的。
如果我想重建Livy，我如何才能改变它构建的火花版本？
提前谢谢。
浏览 20提问于2021-04-14得票数 3
回答已采纳
我注意到在将EMR笔记本附加到带有Hadoop、Spark和Livy的EMR 6.1.0集群上时，出现了一些奇怪的情况。 您知道，我在主节点上安装的包在缺省的Python3内核中不可用，但在缺省的PySpark内核中可用。 当我在PySpark内核上获得主机名时，我可以看到它与我的主节点的私有DNS名相匹配。然而，当我运行Python3或终端内核时，我得到了一个不同的主机名，该主机名与我的集群上的任何节点都不匹配。 当我使用Python3内核时，Python3代码从哪里运行？当我选择一个终端内核时，我使用的是什么EC2机器终端？我检查过了，我的主计算机上也没有运行docker容器 有没有可能
浏览 12提问于2020-09-18得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
