如何查找EMR引导操作的stderr/stdout日志
EMR（Elastic MapReduce）是亚马逊AWS提供的一种云计算服务，用于处理大规模数据集的分布式处理框架。在EMR中，可以通过查找EMR引导操作的stderr/stdout日志来获取有关引导操作执行过程中的详细信息。
要查找EMR引导操作的stderr/stdout日志，可以按照以下步骤进行操作：
- 登录到AWS管理控制台（console.aws.amazon.com）。
- 导航到EMR服务页面。
- 在EMR服务页面上，选择要查找日志的EMR集群。
- 在集群详情页面上，点击"步骤"选项卡。
- 在步骤列表中，找到包含引导操作的步骤，并点击该步骤。
- 在步骤详情页面上，可以看到该步骤的摘要信息和日志路径。
- 点击日志路径旁边的链接，将会跳转到S3存储桶中包含引导操作日志的位置。
- 在S3存储桶中，可以找到stderr和stdout两个文件夹，分别包含了引导操作的错误日志和标准输出日志。
通过查看这些日志文件，可以了解引导操作的执行情况、错误信息以及输出结果。
在腾讯云中，类似的服务是Tencent Cloud EMR（https://cloud.tencent.com/product/emr），可以提供大规模数据处理的能力。在Tencent Cloud EMR中，查找EMR引导操作的stderr/stdout日志的步骤与上述步骤类似，可以在EMR集群的详情页面中找到相应的日志路径，并通过S3存储桶中的文件夹查看相关日志文件。
请注意，以上答案仅针对EMR引导操作的stderr/stdout日志的查找方法，具体操作步骤可能会因不同的云计算服务提供商而有所差异。
相关·内容
我有一个使用bootstrap操作( B.A )创建的EMR集群，控制台显示B.A有错误。
有没有什么方法可以像检查普通步骤一样检查B.A的stderr/stdout？
浏览 20提问于2021-05-23得票数 0
1回答
我们已经更新了emr -5.30.0的emr版本。从那时起，我们在bootstrap中遇到错误。“由于引导错误而终止”我检查了日志，但找不到任何适当的
浏览 4提问于2020-11-05得票数 0
4回答
我在AWS EMR上运行一个非常简单的Spark作业，似乎无法从我的脚本中获得任何日志输出。, file=sys.stderr)并使用火花记录器(如所示)EMR在作业运行后给了我两个日志文件：controller和stderr。两个日志都不包含"Hell
浏览 1提问于2017-03-06得票数 22
回答已采纳
我一直试图在我的EMR集群上安装Spacy来运行Pyspark作业，但没有成功。我对EMR的引导操作如下所示sudo python3 -m spacyinstall -U pandassudo python3 -m spacy download en
正如你在上
浏览 1提问于2019-10-10得票数 4
我运行的EMR集群开始与气流，我需要一些方式传递错误信息回气流。气流运行在python中，所以我需要在Python中完成这个任务。
目前，错误日志在配置详细信息下的“logs”部分中。访问它可能是一种方式，但任何方式访问错误日志从emr与python将是非常感谢的。
浏览 3提问于2021-06-04得票数 0
回答已采纳
1回答
确保Hadoop EMR上的日志
、、、、
我在Amazon EMR上有一个长时间运行的Hadoop流作业(15个节点，>1.5小时)。该作业在大约75%的完成率时失败。我将Python用于mapper和reducer。我做了以下优化：sys.stderr = os.fdopen(sys.stderr.fileno(), 'w', 0)
logging.getL
浏览 1提问于2012-06-12得票数 2
1回答
我有一个火花的工作，一些非常长的运行任务。当任务开始时，我可以转到executors选项卡，查看我的所有执行器及其任务。我可以点击stderr链接来查看这些任务的日志，这对于监视非常有帮助。也就是说，我仍然可以通过ssh-ing到worker节点并查找正确的目录(例如/mnt/var/log/hadoop-yarn/containers/application_1486407288470_00
浏览 2提问于2017-02-07得票数 1
5回答
在Spark上运行EMR作业时，我无法在Scala中找到来自Scala中的Spark调用的错误日志或消息。
我在哪里能拿到这些？我将用Scala编写的Scala提交给EMR，使用script-runner.jar将参数--deploy-mode设置为cluster，--master设置为yarn。它可以很好地管理这项工作。但是，我没有在println中看到Amazon EMR UI语句，其中它列出了"stderr，stdoutetc.
浏览 7提问于2015-05-27得票数 20
回答已采纳
Livy有一个批处理日志端点：GET /batches/{batchId}/log，在中指出
据我所知，这些日志是livy日志和，而不是火花驱动程序日志。01_000001/livy/和我可以单击一个html页面，其中添加了url叶：stdout/?实际上，我只能获得stdout的HTML页面，在yarn/emr/hadoop资源管理器中是否存在类似于这个stdou
浏览 7提问于2020-01-08得票数 3
2回答
我一直在网上积极寻找有关这方面的信息，但这似乎是一个有点特殊的用例。我希望后端作为PID 1-作为捕获后端日志与坞/openshift。为此，我在entrypoint.sh脚本的末尾有一个exec命令，该命令启动我的后端，从而用我的后端替换entrypoin
浏览 2提问于2018-04-12得票数 3
我让所有东西都正常工作并设置好了，但是当我试图访问某个任务的stdout/stderr时，它是在寻址正在运行任务的工作人员的私有IP (例如- )。我想从UI中访问这些日志，但是当然，无法访问那些内部IP(私有子网和私有IP)，难道没有办法将这些stderr/stdout日志上传到桶中，然后从历史服务器UI访问它吗？
浏览 7提问于2022-05-10得票数 0
如果我使用UI中的“清除”选项，UI将显示具有关闭状态的任务，但我仍然可以看到任务在EMR上运行。def execute_on_emr(cmd): s = f.read()
keyfile = StringIO.StringIO, stderr</e
浏览 0提问于2017-04-26得票数 3
我刚刚设置了一个AWS EMR集群(带有Spark 2.3.2的EMR版本5.18 )。，得到以下错误：java.io.FileNotFoundException: /stderrorg.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
log4j:ERROR Either File or DatePattern options ar
浏览 0提问于2018-11-04得票数 15
要调试pod，我们需要来自该特定pod的windows系统事件日志和应用程序事件日志。 是否可以不使用'kubectl log‘命令来收集上面提到的日志？
浏览 38提问于2021-09-03得票数 0
在作业成功完成后，我无法在oozie日志中找到System.out.println输出。我在谷歌上搜索了很多小时，发现了
然后我得到了“行动计划”( action JobCompleted )“16546”的externalId最后，
浏览 0提问于2018-09-12得票数 2
1回答
我正在通过AWS接口创建一个EMR集群，但这一次我尝试使用HIVE和s3。
data_location = "s3a://bucket/report_emr_interimdb_spark.hadoop.fs.s3a.secret.k
浏览 0提问于2019-09-05得票数 1
我正试图通过控制台在EMR上运行一个pyspark脚本。为此，我首先在本地测试脚本，将一个小样本csv从s3下载到我的计算机上，并使用火花提交将聚合结果写回本地文件夹。现在，我必须在EMR上运行相同的脚本，使用一个集群，因为我必须在更大的范围内这样做。到目前为止，我已经尝试了在堆栈溢出和其他论坛中所能找到的所有内容，并且无法消除以下错误：
19/11/18 18:40:07 INFO RMProxy: Connecting to ResourceManager我想这就
浏览 3提问于2019-11-18得票数 1
回答已采纳
2回答
一直试图找出如何让py2exe更优雅地处理错误。\AppName\AppName.exe.log中创建的日志文件(有时写入此文件夹时有权限错误)，=>将日志重定向到c:\ProgramData
我在想，我可能只是把代码放在了错误的位置，而py2exe引导代码是在我设置这些代码之后启动的，但我不确定。在生成错
浏览 1提问于2013-09-16得票数 6
回答已采纳
2回答
mrjob:建立EMR日志记录
、、、、
我试图使用mrjob在EMR上运行hadoop，并且无法知道如何设置日志记录(在map/reduce步骤中用户生成的日志)，所以在集群结束后，我将能够访问它们。我尝试使用logging模块、print和sys.stderr.write()设置日志记录，但到目前为止还没有成功。对我来说唯一可行的方法是将日志写入文件，然后将机器SSH读取，但这很麻烦。我希望我的日志转到stderr</
浏览 3提问于2014-09-30得票数 6
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
