Spark History Server -标识作业写入的日志文件
Spark History Server是Apache Spark的一个组件，用于管理和展示Spark作业的历史记录和日志文件。它提供了一个Web界面，可以查看已完成的Spark作业的详细信息，包括作业的执行时间、任务的执行情况、输入输出数据等。
Spark History Server的主要功能包括：
- 历史记录管理：Spark History Server可以管理和存储Spark作业的历史记录和日志文件，方便用户随时查看和分析已完成的作业。
- 作业监控：通过Spark History Server，用户可以实时监控正在运行的Spark作业的进度和状态，包括任务的执行情况、资源使用情况等。
- 作业分析：Spark History Server提供了丰富的作业分析功能，可以对作业的执行情况进行统计和分析，帮助用户优化作业性能和调整资源配置。
- 日志查看：用户可以通过Spark History Server查看作业的详细日志，包括作业的输入输出数据、任务的执行日志等，方便故障排查和问题定位。
Spark History Server的应用场景包括：
- 性能优化：通过分析历史作业的执行情况和资源使用情况，可以发现性能瓶颈并进行优化，提高作业的执行效率。
- 故障排查：通过查看作业的详细日志和执行情况，可以快速定位和解决作业执行中的问题和错误。
- 资源管理：通过监控作业的资源使用情况，可以合理调整资源配置，提高资源利用率。
腾讯云提供了一个与Spark History Server类似的产品，即Tencent Spark History Server。它提供了与Apache Spark兼容的历史记录管理和作业监控功能，可以方便地查看和分析Spark作业的执行情况。更多关于Tencent Spark History Server的信息可以访问腾讯云官网：Tencent Spark History Server。
相关·内容
我们的电子病历群集上的/var/log/spark/apps/文件夹已被删除。我创建了一个具有相同名称的新hdfs文件夹，并将权限更改为777。现在，每个spark应用程序都成功地将日志写入此hdfs文件夹。
但是，该文件夹中还有其他内容，它允许您通过ssh隧道连接到Spark History Server来显示应用程序日志列表。在文件夹被删除之前，它工作得很好，但现在它不会显示任何spark应用程序日志(完整或不完整)，即使hdfs dfs -ls /var/log/spark/apps/显示文件夹中充满了日志。
通过EMR AWS控制台访问的Spark History Server仍然可以
浏览 2提问于2020-08-26得票数 0
我想使用Spark History Server API()来识别/tmp/spark-events/中某些作业写入的日志文件。我可以看到作业ID与日志文件名相同，所以我想如果我有一个唯一的作业名，我可以查找它并获得相关的ID。我这里的问题是我有一个scala应用程序，它在代码中设置应用程序名称：
val conf = new SparkConf()
.setAppName(s"TeraGen ($size)")
每次运行作业时，它都具有相同的名称。是否可以在命令行中覆盖应用程序名称？我试着传递--name，但这不起作用。
如果做不到，有没有更好的方法呢？
浏览 10提问于2018-01-22得票数 0
回答已采纳
我在Windows中运行Spark独立作业。我想使用Spark历史服务器监控我的spark作业。我已经用下面的命令启动了spark历史服务器，历史服务器启动成功。
C:\Users\Documents\Prev_D_Folder\Softwares\Softwares\spark-2.2.0-bin-hadoop2.7\spark-2.2.0-bin-hadoop2.7\spark-2.2.0-bin-hadoop2.7\bin>spark-class.cmd org.apache.spark.deploy.history.HistoryServer
我在本地运行了spark作
浏览 2提问于2019-05-02得票数 1
我正在构建一个日志分析平台来监控一个纱线集群上的火花作业，我想了解一下火花/纱线日志记录。我已经找了很多关于这件事，这是我的困惑。
spark.eventLog.dir或spark.history.fs.logDirectory中指定的目录存储了所有的应用程序主日志，并且通过spark中的log4j.properties，我们可以定制这些日志？
默认情况下，所有数据节点都将其执行程序日志输出到/var/log/中的文件夹中。启用日志聚合之后，您也可以将这些可执行程序日志带到spark.eventLog.dir位置吗？
我已经成功地建立了一个3节点虚拟hadoop纱线集群
浏览 0提问于2021-05-09得票数 1
回答已采纳
1回答
上下文：
火花3版(最新发布日期)EMR 6.1
1-根据doc：(/etc/spark/conf/spark-defaults.conf)正确填充设置
2-历史服务器服务已启动
3.制作和保存日志文件，并提供公开的权利
4-但顽固的History Server UI仍然拒绝显示内容，尽管作业的日志文件是生成的
我多次重新启动hsitory服务器，但没有运气。
我真的别无选择..。
有什么可能出错的吗？
浏览 1提问于2020-10-25得票数 1
回答已采纳
我有一个可以工作的Spark集群，其中一个主节点和一些工作节点运行在Kubernetes上。此群集已用于多个星火提交作业，并已开始运行。
在主节点上，我使用$ Spark _HOME/sbin/start历史记录-server.sh脚本和一些信任来确定历史服务器的日志应该写在哪里，从而启动了一个星火历史服务器：
spark.eventLog.enabled=true
spark.eventLog.dir=...
spark.history.fs.logDirectory=...
spark.hadoop.fs.s3a.access.key=...
spark.hadoop.fs.s3a.sec
浏览 2提问于2021-09-16得票数 1
回答已采纳
1回答
我已经在我的3节点集群上安装了CDH5.4.7。在Spark上运行第一个作业之后，我检查了应用程序历史页面。它是这样写的
Event log directory: hdfs://****:8020/user/spark/applicationHistory
No completed applications found!
Did you specify the correct logging directory? Please verify your setting of
spark.history.fs.logDirectory and whether you have the per
浏览 7提问于2017-10-09得票数 2
我有一个带有映像版本- 2.0.39-ubuntu18 18的Dataproc集群，它似乎将所有日志都放入了云日志记录中，这大大增加了我们的成本。
下面是用于创建集群的命令，我添加了以下命令- spark:spark.eventLog.dir=gs://dataproc-spark-logs/joblogs，spark:spark.history.fs.logDirectory=gs://dataproc-spark-logs/joblogs
若要停止使用云日志记录，请执行以下操作。日志也被重新定向到云日志记录。
下面是用于创建Dataproc集群的命令：
REGION=us-east1
ZO
浏览 16提问于2022-05-30得票数 1
回答已采纳
1回答
我正在使用PySpark (独立的没有hadoop等)并在下面调用我的火花放电作业，它运行得很好：
PYSPARK_PYTHON=python3 JAVA_HOME="/usr/lib/jvm/java-8-openjdk-amd64/jre" SPARK_HOME=~/.local/lib/python3.6/site-packages/pyspark spark-submit job.py --master local
历史服务器正在运行，但是我正在尝试配置火花历史服务器来读取正确的目录。我所配置的设置在/pyspark/conf/smack-env.sh中：
....
S
浏览 2提问于2020-07-25得票数 1
回答已采纳
我在大学中使用以下代码片段记录了我在Apache Spark中的一个工作。
conf = SparkConf()\
.setAppName("Ex").set("spark.eventLog.enabled", "true")\
.set("spark.eventLog.dir", "log")
作业完成后，我尝试复制日志文件app-20170416171823-0000。登录到我的本地系统，并尝试按照以下命令浏览录制的Spark Web UI。
sbin/start-his
浏览 1提问于2017-04-17得票数 0
我已经通过conda install pyspark在Ubuntu上的一个迷你环境中安装了火花放电。到目前为止，一切都很好:我可以通过spark-submit运行作业，也可以在localhost:4040检查正在运行的作业。但是我找不到start-history-server.sh，我需要查看已经完成的工作。
它应该在{spark}/sbin中，其中{spark}是spark的安装目录。我不知道通过conda安装spark时应该在哪里，但是我已经搜索了整个miniconda目录，并且似乎找不到start-history-server.sh。无论它的价值如何，这都适用于python3.7和2.7
浏览 1提问于2019-01-29得票数 3
回答已采纳
我试图在kubernetes POD上部署火花历史服务器。为此，我将使用以下命令：
helm repo add stable https://kubernetes-charts.storage.googleapis.com
helm install stable/spark-history-server --generate-name
但在这样做的同时，我面临的问题是以下是错误日志：-
Events:
Type Reason Age From Message
---
浏览 8提问于2020-09-11得票数 1
回答已采纳
我负责EMR的Flink作业。在我的EMR集群中，我可以在s3 Log URI:s3://aws-logs-xxxxx/elasticmapreduce/中看到我的作业日志，我的主节点中也有一些/usr/lib/flink/log/下的日志。因为我们只为根空间配置了20G，所以由于这些日志文件(flink-flink-historyserver-xxxxx.log)在/usr/lib/flink/log/下很容易达到限制。
我的问题是：
在/usr/lib/flink/log/As中定义写入日志文件的--只要我们已经登录了s3，我们还需要/usr/lib/flink/log/下的日志吗？，有什
浏览 3提问于2021-09-23得票数 0
1回答
我正在用星星之火在纱线上运行。我试图启动历史服务器
./start-history-server.sh
但是得到了以下错误。
starting org.apache.spark.deploy.history.HistoryServer, logging to /home/abc/spark/spark-1.5.1-bin-hadoop2.6/sbin/../logs/spark-abc-org.apache.spark.deploy.history.HistoryServer-1-abc-Efg.out
failed to launch org.apache.spark.deploy.hist
浏览 0提问于2015-12-15得票数 5
我需要访问Spark History Server，这样我就可以调整一个缓慢的spark作业的性能。
我正在寻找DSX中的链接，但找不到，所以我在Bluemix控制台中打开了spark服务，并直接从那里导航到spark历史服务器(Job history链接)。
有没有办法直接从DSX访问spark历史服务器？
浏览 13提问于2017-03-07得票数 1
回答已采纳
2回答
我想使用Spark的历史服务器来使用我的Web的日志机制，但是我发现在我的Windows机器上运行这段代码有些困难。
我做了以下工作：
将星星之火-defaults.conf文件设置为反映
spark.eventLog.enabled=true
spark.eventLog.dir=file://C:/spark-1.6.2-bin-hadoop2.6/logs
spark.history.fs.logDirectory=file://C:/spark-1.6.2-bin-hadoop2.6/logs
我的火花-env.sh反映：
SPARK_LOG_DIR "file://C:
浏览 6提问于2016-07-17得票数 0
回答已采纳
2回答
我在亚马逊电子病历上运行一个星火集群。我正在集群上运行PageRank示例程序。
在本地机器上运行程序时，我能够正确地看到输出。但在电子病历上也不起作用。S3文件夹仅显示空文件。
我使用的命令:用于启动集群：
aws emr create-cluster --name SparkCluster --ami-version 3.2 --instance-type m3.xlarge --instance-count 2 \
--ec2-attributes KeyName=sparkproj --applications Name=Hive \
--bootstrap-actions P
浏览 1提问于2015-02-18得票数 3
回答已采纳
1回答
我正在使用EMR步骤来运行我的作业。通常，当我想要分析作业的性能或了解它失败的原因时，我会查看spark历史服务器中的DAG可视化和作业错误等。例如，如果作业由于堆错误或Fetchfailed等原因而失败，我可以在spark历史服务器中清楚地看到它。但是，当我查看写入日志URI S3存储桶的stderr日志文件时，似乎找不到这样的描述。有没有办法获得这样的信息？我使用pyspark并将日志级别设置为 sc = spark.sparkContext
sc.setLogLevel('DEBUG') 你能洞察我做错了什么吗？
浏览 20提问于2021-01-19得票数 1
回答已采纳
1回答
我正在尝试将Apache日志( Spark的内容)保存到一个文件中，而不一定是stderr、stdout和log4j文件(尽管它们可能也很有用)，这样我就可以将其发送到其他人进行分析。
下面是Apache文档中描述的手册：
问题是，我正在上运行代码。Databricks将日志保存在其他地方，您可以从web中显示它们，但不能导出它们。当我将spark.eventLog.dir设置为DBFS中的位置运行Spark作业时，文件被创建，但它是空的。
是否有一种方法可以导出完整的Databricks作业日志，以便任何人都可以打开它而不给他们访问工作区的权限？
浏览 3提问于2022-11-29得票数 0
1回答
我试图让Spark在运行在Kubernetes上的集群上运行，我希望日志被写入minIO。我还使用minIO存储我的火花提交作业的输入和输出，它已经在工作了。
简单地工作火花提交作业
我的工作火花提交工作如下所示：
spark-submit \
--conf spark.hadoop.fs.s3a.access.key=XXXX \
--conf spark.hadoop.fs.s3a.secret.key=XXXX \
--conf spark.hadoop.fs.s3a.endpoint=https://someIpv4 \
--conf spark.hadoop.fs.s
浏览 2提问于2021-09-15得票数 1
回答已采纳
我正在测量一个不同资源配置的火花作业的运行时间，并需要比较每个阶段的运行时间。只有在作业运行时，我才能在UI中看到它们。我在Hadoop集群上运行我的工作，并使用Yarn作为资源管理器。
有什么办法保持每一阶段的运行时间吗？有他们的原木吗？
更新：
我阅读了注释中提到的监视文档，并添加了以下行，但它不起作用：
在spark-defaults.conf中：
spark.eventLog.enabled true
spark.eventLog.dir hdfs:///[nameNode]:8020/[PathToSparkEventLogDir]
spark.history.fs.log
浏览 1提问于2019-07-25得票数 0
回答已采纳
我想将spark.eventLog.enabled和spark.eventLog.dir设置在spark-submit或start-all级别--不需要在scala/java/python代码中启用它。我尝试了各种方法，但都没有成功：
将spark-defaults.conf设置为
spark.eventLog.enabled true
spark.eventLog.dir hdfs://namenode:8021/directory
或
spark.eventLog.enabled true
spark.eventLog.d
浏览 12提问于2015-07-06得票数 17
api.name: spark-history-server
file.upload.path: x
gcp.server.property.file.path: x
git.files.update.path: x
onprem.server.property.file.path: x
preferred.id.deployment.file.path: x
preferred.id.file.path: x
server.error.whitelabel.enabled: "false"
server.port: "18080&#
浏览 2提问于2021-07-06得票数 0
回答已采纳
1回答
我已经创建了一个server代理作业(在Server 2008 R2中)来备份服务器上的一些数据库。当备份文件夹设置为该计算机上的文件夹时，此任务运行良好，但当我试图将其设置为远程文件夹位置时，该任务无法工作。我得到了一个非常无用的错误Execution of job 'xxx' failed. See the history log for details.，我查看了windows事件日志，我看到消息‘`Package“DailyBackup失败了。
有没有办法获得更详细的日志记录？而且，我也在尽我所能(即将备份写到另一台服务器上的文件夹)。注意:我可以愉快地访问另一个服务器
浏览 0提问于2012-03-16得票数 0
回答已采纳
我们用Spark3.0.3编写了一个火花作业，现在我们要将作业迁移到spark 3.2.2。移民后，我们可以看到下面的问题
生成的事件日志大小大约在2GB之前，是500 2GB(在Spark3.0.3中)，作业花费了两倍的时间才能使用相同的资源运行。(早些时候花了8分钟，现在3.2.2版本大约需要16分钟。)请参阅在spark 3.2.2版本中创建的新阶段。是否有任何新的参数，我们必须配置的火花3.2.2版本？？
另一个问题，由于事件日志的巨大大小，我们无法为这个特定的任务打开历史服务器UI。获取
URI: /history/spark-b4e49f2681f7407aa7182b241025
浏览 1提问于2022-09-06得票数 1
我们有使用Spark Structured实现的流应用程序，它试图从Kafka主题读取数据并将其写入HDFS位置。
有时应用程序会失败，并出现异常：
_spark_metadata/0 doesn't exist while compacting batch 9
java.lang.IllegalStateException: history/1523305060336/_spark_metadata/9.compact doesn't exist when compacting batch 19 (compactInterval: 10)
我们无法解决此问题。
我找到的唯一解
浏览 0提问于2019-05-31得票数 6
我正在尝试找出如何最好地存储和检索数据，从S3到Cassandra，使用Spark:我在Cassandra中存储了日志数据。我使用DSE运行Spark来执行数据分析，它工作得很好。日志数据每天都在增长，在任何给定的时间，我只需要在Cassandra中使用两周。我仍然需要在某个地方存储较旧的日志至少6个月，经过研究，带有Glaciar的S3看起来是最有希望的解决方案。我想使用Spark来运行一个日常作业，该作业查找第15天的日志，将它们从Cassandra中删除，然后将它们发送到S3。我的问题是:我似乎无法确定正确的格式来将Cassandra行保存到文件中，这样有一天我可能会将文件重新加载到Sp
浏览 0提问于2015-07-18得票数 4
版本
Apache Spark 2.2.0
Hadoop 2.7
我想设置Apache Spark历史服务器。
Spark事件日志位于亚马逊S3中。
我可以将日志文件保存在S3中，但不能从历史服务器读取。
安装在/usr/local/spark上的Apache Spark
所以，$SPARK_HOME就是/usr/local/spark
$ cd /usr/local/spark/sbin
$ sh start-history-server.sh
我得到了以下错误
Exception in thread "main" java.lang.ClassNotFoundExcepti
浏览 1提问于2018-01-24得票数 1
我们有火花(1.2)运行的纱线与CDH 5.3.2，和火花历史服务器。
对于小作业历史记录，服务器能够工作，但对于很少几个大型作业，Spark无法检索日志/作业历史记录。并显示以下错误
2015-04-09 09:50:48,061 WARN org.eclipse.jetty.servlet.ServletHandler: Error for /history/application_1428034115331_31584
org.spark-project.guava.common.util.concurrent.ExecutionError: java.lang.OutOfM
浏览 11提问于2015-04-09得票数 4
回答已采纳
我已经设置了AWS Glue来输出Spark事件日志，以便它们可以导入到Spark History Server中。AWS为此提供了一个，我只想在本地运行历史服务器并导入事件日志。我想使用Docker来做这件事，这样同事们就可以很容易地运行同样的东西。
我遇到了问题，因为历史服务器是一个守护进程，所以容器启动并立即关闭。
如何使Docker镜像保持活动状态？
我的Dockerfile如下
ARG SPARK_IMAGE=gcr.io/spark-operator/spark:v2.4.4
FROM ${SPARK_IMAGE}
RUN apk --update add coreutils
浏览 17提问于2019-11-05得票数 1
回答已采纳
1回答
我已经创建了一个成功执行的AWS glue作业。但是，我无法将任何自定义日志记录放入作业中。
如何在亚马逊网络服务S3存储桶中创建日志文件，以便跟踪日常作业的执行情况？
目前，当我的作业执行时，它会创建默认日志(即spark日志)，我可以在AWS cloud watch中看到它。在AWS glue中记录事件的最佳实践是什么？
浏览 38提问于2018-12-04得票数 4
1回答
我在纱线模式下运行spark作业。我使用spark-submit在Unix shell脚本中运行作业。我想在日志文件中保留Unix文件夹上的spark-submit命令日志。
我试过了
spark-submit --master yarn --deploy-mode client --num-executors 10 --executor-memory 2G --driver-memory 2G --jars $spark_jars --class $spark_class $main_jar |& tee -a ${log_file}
使用tee命令。然后我检查上面命令的状态，如下
浏览 0提问于2019-07-02得票数 1
1回答
当Spark运行在Yarn上时，我可以简单地使用Spark -logs -applicationId appId来查看聚合日志，在完成一个火花作业之后。星火独立集群的等效方法是什么？
浏览 2提问于2017-09-01得票数 5
回答已采纳
我在dataproc中以作业的形式运行以下代码。在“群集”模式下运行时，无法在控制台中找到日志。
import sys
import time
from datetime import datetime
from pyspark.sql import SparkSession
start_time = datetime.utcnow()
spark = SparkSession.builder.appName("check_confs").getOrCreate()
all_conf = spark.sparkContext.getConf().getAll()
pri
浏览 23提问于2021-12-07得票数 3
回答已采纳
我们的Spark web UI (当从Yarn UI或Spark History Server访问时)不再更新，当我查看正在运行的Spark应用程序(我们的应用程序在Hadoop/Yarn集群上以客户端模式运行)时，重新加载浏览器窗口。这曾经适用于Spark 1.5.2，但在我们升级到HDP 2.6.4 (因此Spark 1.6.3和Spark 2.2.0)之后，我现在必须等待应用程序完成，然后才能进行web UI更新(对于1.6.3和2.2.0)。
似乎当我第一次在Spark web UI中查看应用程序时，我得到的是当前状态。但在此之后刷新浏览器窗口不会显示任何更新。只有在应用程序完成后，刷
浏览 0提问于2018-08-19得票数 2
我有一个星火EMR集群，有一个主节点和8个点节点。今天，所有的节点在运行作业时都会死掉，火花壳在运行后也是不可评估的。
单击hadoop控制台中显示错误2/4 local-dirs are bad: /mnt/yarn,/mnt3/yarn; 1/1 log-dirs are bad: /var/log/hadoop-yarn/containers的“不健康节点”
这似乎与中的磁盘空间问题有关，因此，如所述，我修改了纱线-site.xml。
<property>
<name>yarn.nodemanager.disk-health-checker.enable&l
浏览 2提问于2020-06-02得票数 0
回答已采纳
2回答
我需要将单词true或false传递给terraform中的数据模板文件。但是，如果我试图提供这个值，由于插值语法的原因，它会出现0或1。我试着按照中的建议做，但是这会导致\true\，这显然是不对的。与\\false\\ = \false\相同
更复杂的是，我还有一个场景，需要将变量的值传递给它，它可以等于true或false。有什么想法吗？
# control whether to enable REST API and set other port defaults
data "template_file" "master_spark_defaults"
浏览 1提问于2019-01-04得票数 1
回答已采纳
1回答
我在yarn客户端模式下运行spark作业。我在unix脚本中使用spark-submit命令运行这些作业。我想有每个spark作业运行的日志。我尝试使用下面的命令来获取日志：
spark-submit --master yarn --deploy-mode client --num-executors 10 --executor-memory 2G --driver-memory 2G --jars $spark_jars --class $spark_class $main_jar |& tee -a ${log_file}
但在这里，如果spark作业失败，它将不会被命令状态检
浏览 1提问于2019-07-05得票数 1
所以正如标题所暗示的。我想我记得那是胶水作业生成单个csv输出文件而不是多个文件的某种选项，这是特定于胶水配置的，并且独立于任何与apache spark相关的函数。为了实现这一点，pyspark文件中的哪些设置更改是必需的？提前感谢日志
浏览 0提问于2019-04-09得票数 0
一般来说，如何在不输出文件的情况下从spark作业中提取结果？
比方说，我有一个scala程序，它创建一个spark launcher作业。
我可以用Futures完成这个spark任务。一旦spark作业完成，我如何才能得到结果呢？(我之前的一种方法是让spark作业将结果写到一个文件中，然后外部scala程序读取该文件。<-我想避免这种策略)
浏览 1提问于2015-12-23得票数 0
1回答
我正在EMR上运行一个火花作业，(纱线，集群模式，临时的，集群在完成工作后关闭)，并打开调试模式。所有星火日志都按预期上传到s3，但我无法上传我自己的自定义日志.使用log4j，我试图将它们写到基于spark log4j.appender.algoLog.File=${spark.yarn.app.container.log.dir}/algoLog.log的折叠路径上
这个变量似乎没有定义。它试图直接写到根。/algoLog.log。如果我把它写到其他任意地点。它只是没有出现在s3上。如果我希望EMR在集群关闭后将它们上传到s3，那么我应该在哪里编写自己的日志文件？
浏览 0提问于2017-07-10得票数 0
首先是一点背景。我有一个带有两个节点的测试CDH集群。我正在尝试执行一个Oozie作业，下载一个文件，用SPARK处理它，然后在Solr中索引它。
群集被配置为使用Kerberos身份验证。CDH版本为5.7.1
当我尝试使用Oozie运行作业时，使用以下命令：
oozie job --oozie https://host:11443/oozie/ -run --config oozieExample/job.properties
除以下例外外，它将失败：
2016-08-12 12:29:40,415 WARN org.apache.oozie.action.hadoop.JavaActio
浏览 5提问于2016-08-12得票数 0
回答已采纳
1回答
如何将.jhist文件转换为OSX中的json格式？
我想知道是否有经过验证的软件包或命令可以这样做？
关于：MapReduce作业的另一个重要日志是作业历史文件(.jhist)。这些文件包含大量关于Mappers和减速机执行的性能数据，包括HDFS统计数据、处理的数据量、分配的内存等。我们配置我们的历史服务器( History Server )，将jhist文件定期写入HDFS，使用map还原e.Jobs History y.do-dir参数在Sears-site.xml中。
浏览 0提问于2015-09-20得票数 1
回答已采纳
在火花作业运行时，我经常分析它的DAG。但是，当应用程序运行时必须坐着观看应用程序以查看DAG，这是很烦人的。
所以，我试着使用这个叫做DAg的东西来查看spark history-server，我知道它可以帮助我查看过去的作业。我可以轻松地访问端口18080，并且可以看到历史服务器UI。
但是，它并没有向我展示任何与火花程序的执行有关的信息。我知道我在运行历史服务器，因为当我执行sudo service --status-all时，我看到
spark history-server is running [ OK ]
所以我已经尝试过这个问题的意思：。
我认为这是因为我运
浏览 5提问于2017-05-17得票数 10
1回答
我正在设计一些有气流的ETL数据管道。数据转换是通过配置AWS EMR Spark集群并向其发送一些作业来完成的。这些作业从S3读取数据，对其进行处理，然后使用date作为分区将其写回S3。
对于我的最后一步，我需要使用SQL脚本将S3数据加载到数据仓库，这些脚本使用Python脚本提交给Redshift，但是我找不到一种干净的方法来获取需要加载的数据，即。哪些日期分区是在Spark转换期间生成的(只能在作业执行期间知道，而不能事先知道)。
请注意，所有内容都是通过使用boto3库的Python脚本进行编排的，该库是从无法从外部访问的企业VM运行的。
从电子病历中获取此信息的最佳方式是什么？
浏览 18提问于2019-07-09得票数 0
回答已采纳
我们有多个Apache Spark作业，我们需要记录一些任务执行的事件和参数，以便进行调试和故障排除。
在Apache Spark作业代码中记录日志的实践是什么？
显而易见的解决方案是:使用Spark的loginfo(和其他方法，尽管不推荐)，一些日志框架(如log4s)或简单的println。
在我的Java开发人员背景下，我觉得直接将日志写入控制台是一种不好的做法。我们总是为它使用日志框架。
但是，如果我们为spark作业选择println日志记录，我们将能够简单地将日志收集到文件中，例如，从启动的shell脚本重定向到文件。此外，我们可以在spark管理控制台中看到输出。
所以我不知
浏览 7提问于2016-06-17得票数 0
2回答
我们正在使用星火历史3.2.1监控我们的星火应用程序。
我们有数千个日常作业(运行在Kubernetes上)，它们将事件日志写入S3桶(在一个专用文件夹中)。
我们正在使用历史服务器来分析和比较已完成的作业( UI中从未出现过不完整的运行作业，但它现在不是必需的)。
最近，我注意到我们在AWS计费资源管理器中的ListBucket API操作有所增加。这一成本高于StandardStorage的成本(我们为存储数据本身所付出的代价)。一个月就有几百人！
运行具有调试日志级别的历史服务器暴露了“问题”：历史服务器列表中列出了获取所有日志的桶，然后遍历每个文件夹以获得它的内容。因此，如果我想保留最
浏览 2提问于2022-02-20得票数 2
回答已采纳
我在dataproc集群中启用了以下策略
**"dataproc:dataproc.logging.stackdriver.enable": "true",
"dataproc:dataproc.logging.stackdriver.job.driver.enable": "true",
"dataproc:dataproc.monitoring.stackdriver.enable": "true",**
"dataproc:efm.mapreduce.shu
浏览 6提问于2022-09-26得票数 2
回答已采纳
1回答
我在Google Dataproc上运行了一个PySpark作业。
目标是将此作业的应用程序级日志记录在Stackdriver日志中，并从它们创建指标。
我如何才能做到这一点？我已经将spark的日志属性更改为写入/var/ log4j /spark/spark-out.log，但该文件似乎没有包含正确的数据。
浏览 0提问于2017-03-22得票数 1
我有一个包含5个节点的spark独立集群。所有节点都通过nfs挂载了相同的卷。这些挂载中的文件具有特定的linux文件权限。
当我以用户x(在所有节点上都可用，并且在所有节点上具有相同的uid)的身份spark提交作业时，我希望spark executors也以用户x的身份运行，以便作业只能访问用户x有权访问的文件。
我没有Kerberos，也没有HDFS。
在这个设置中这是可能的吗？使用纱线会有帮助吗？
浏览 0提问于2020-02-22得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
