列出纱线应用程序作业
纱线应用程序作业（Yarn Application）是指在云计算环境中运行的基于Yarn框架的应用程序。Yarn是Apache Hadoop生态系统中的一个集群资源管理器，用于管理和调度集群中的任务。纱线应用程序作业可以是各种类型的任务，如数据处理、机器学习、图计算等。
纱线应用程序作业的分类：
- 批处理作业：用于处理大规模的数据集，通常是离线的数据处理任务。例如，数据清洗、ETL（抽取、转换和加载）、数据分析等。
- 流处理作业：用于实时处理数据流，通常是在线的数据处理任务。例如，实时监控、实时分析、实时推荐等。
- 机器学习作业：用于训练和预测模型，通常需要大量的计算资源和数据集。例如，图像识别、自然语言处理、推荐系统等。
纱线应用程序作业的优势：
- 高可靠性：Yarn框架具有自动容错和故障恢复机制，能够保证应用程序的高可靠性。
- 高扩展性：Yarn框架可以根据应用程序的需求动态分配和调度集群资源，实现高效的资源利用和扩展性。
- 灵活性：Yarn框架支持多种编程模型和语言，如MapReduce、Spark、Hive等，使得开发人员可以根据需求选择合适的编程模型。
- 高性能：Yarn框架通过优化资源调度和任务执行策略，提供高性能的计算和数据处理能力。
纱线应用程序作业的应用场景：
- 大数据处理：纱线应用程序作业可以用于处理大规模的数据集，如数据清洗、数据分析、数据挖掘等。
- 实时数据处理：纱线应用程序作业可以用于实时处理数据流，如实时监控、实时分析、实时推荐等。
- 机器学习：纱线应用程序作业可以用于训练和预测机器学习模型，如图像识别、自然语言处理、推荐系统等。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云容器服务（Tencent Kubernetes Engine）：https://cloud.tencent.com/product/tke
- 腾讯云云服务器（CVM）：https://cloud.tencent.com/product/cvm
- 腾讯云云数据库MySQL版（TencentDB for MySQL）：https://cloud.tencent.com/product/cdb_mysql
- 腾讯云人工智能（AI）：https://cloud.tencent.com/product/ai
- 腾讯云物联网（IoT）：https://cloud.tencent.com/product/iotexplorer
- 腾讯云移动开发（移动应用托管）：https://cloud.tencent.com/product/baas
请注意，以上链接仅供参考，具体产品选择应根据实际需求进行评估和决策。
相关·内容
1回答
我提到了链接，并对纱线的工作原理有了合理的理解。纱线可以有多租户应用程序运行，例如，先生，火花等.
关键是特定于应用程序的ApplicationMaster (AM)。
当客户端向资源管理器提交作业时，资源管理器如何知道它是什么类型的应用程序(MR，Spark)，从而启动适当的ApplicationMaster？
有谁能帮助RM如何知道什么样的工作是提交给它的吗？
编辑：
这个问题是: RM如何知道什么样的工作已经提交，而不是纱线或先生或火花之间的任何关系。
RM接收到一个作业，所以它必须启动第一个容器来运行特定于应用程序的ApplicationMaster，因此RM如何知道向它提交了什么样的
浏览 4提问于2018-03-30得票数 2
运行mapreduce 2的集群没有作业跟踪器，而是分成两个独立的组件，即资源管理器和作业管理器。但是，这些内容对于用户来说是透明的，用户在提交mapreduce作业时不需要知道集群是运行mapreduce 1还是2。
我不能完全理解的是Yarn应用程序。它与普通的mapreduce应用程序有什么不同？作为纱线应用程序运行mapreduce作业有什么好处，等等？有人能帮我解释一下吗？
浏览 2提问于2015-04-16得票数 0
我试图从java应用程序中调用mapreduce作业。在以前的hadoop版本(1.x)中，我创建了一个配置对象和一个作业对象，在配置中设置了mapred.job.tracker和fs.default.name，并运行了作业。现在，在Hadoop2.x中，作业跟踪器已经不存在了，也没有任何关于如何以编程方式运行MR1作业的文档。有什么想法吗？
我要找的是一个解释，如下所示：
浏览 2提问于2013-12-13得票数 4
回答已采纳
3回答
我有点困惑如何开发新的MapReduce2应用程序来处理纱线，以及旧的应用程序会发生什么。
我目前有MapReduce1应用程序，主要包括：
配置要提交到集群的作业的驱动程序(以前的JobTracker，现在的ResourceManager)。
映射器+减速器
一方面，我看到在MapReduce1中编码的应用程序在MapReduce2 / see中是兼容的，只是使用新的CDH5库重新编译(我使用Cloudera发行版)。
但另一方面，我看到了与MapReduce应用程序不同的编写纱线应用程序的信息(使用YarnClient、ApplicationMaster等)：
但对我来说
浏览 7提问于2015-06-25得票数 4
我在我的笔记本上安装了伪分布式Hadoop2.2.0环境，我可以运行mapreduce应用程序(包括Pig和Hive作业)，应用程序的状态可以从Web http://localhost:8088中看到
我已经下载了星火库，只是使用了文件系统-HDFS的火花applications.when我启动了一个火花应用程序，它正在启动，执行也成功地完成了预期。
但是Web http://localhost:8088并没有列出已完成/启动的Spark应用程序。
请建议，如果有任何其他额外的配置是需要看到星火应用程序在网络用户界面。
(注意:当尝试通过http://localhost:50070应用程序将文
浏览 0提问于2014-09-23得票数 1
1回答
我尝试在我的java应用程序中“运行”spark作业，搜索，我发现了以下两种方法：ClientsArguments和SparkLauncher。
有人能给我解释一下这两者之间的区别吗？启动和提交作业/应用程序Spark之间的区别？谢谢。
浏览 0提问于2016-08-29得票数 0
当flink的内部作业失败时，如何使纱线上的flink应用程序终止或失败？无论有多少作业失败，应用程序仍在运行，因此无法立即发现问题。你有什么想法吗？
浏览 1提问于2018-03-22得票数 0
首先，我看到我正在运行的作业是由一个应用程序主节点处理的，它不是主节点(不同的IP地址)。因此，我认为我的作业仅由一个节点处理。但是当我检查mapper作业是在哪里处理时，它们实际上是由其他从节点处理的。
我有点困惑，因为我认为主节点也将是应用程序主节点，它将处理作业管理。但在这种情况下，事实并非如此。
有人能帮助我理解为什么我的工作的当前管理是由从节点(称为应用程序主节点)而不是由我的主节点来处理的吗？
另一个问题是hadoop中的主节点被认为是一个单一的故障点，但是当我们有一个次要节点时，就可以了。对于应用程序主节点的情况，是否也应将其视为单个故障点？因为如果从节点处于关闭状态，就不会有我
浏览 7提问于2016-01-20得票数 0
回答已采纳
我在一个非常大的数据集上运行了一个单元查询，它花费了太多的时间来进行查询，所以我决定用以下方法杀死这个应用程序：
yarn kill -application-id
现在，当我从CLI检查时：
yarn application -list
然后，上面提到的应用程序不会出现在列表中。
但是，当我从ambari登录到Tez视图时，应用程序显示仍然处于运行状态(创建它几乎已经24小时了)。
我试图在命令行中再次杀死它，但是它说应用程序已经完成了。
我还签入了资源管理器UI，该作业的状态显示它已被杀死。
正因为如此，每当我试图运行任何新的蜂窝作业，它只是排队，我不能运行任何其他作业。
浏览 1提问于2019-01-08得票数 2
回答已采纳
1回答
在启动MR作业时发生以下异常后，我已将kerberos集群更改为unkerberized。
由于appattempt_1458558692044_0001_000001的AM容器退出，Application application_1458558692044_0001失败了1次，exitCode：-1000有关更详细的输出，请查看应用程序跟踪页面：，单击指向每次尝试的日志的链接。诊断:不允许此尝试失败的操作。应用程序失败。
浏览 3提问于2016-03-22得票数 0
1回答
我正在尝试从unix获得基于oozie id的星火应用程序id。当我尝试使用oozie -info <oozie_id>@<action_name>时，我能够得到地图减少作业id。如何获得星火应用程序id？
浏览 6提问于2020-07-17得票数 0
假设有Spark作业将从HDFS读取名为records.txt的文件，并执行一些转换和一个操作(将处理后的输出写入HDFS)。作业将被提交到纱线集群模式。
还假设records.txt是一个128 MB的文件，其中一个HDFS复制块也位于节点1中。
让我们说纱线分配是节点1内的执行器。
纱线如何在输入数据所在的节点上准确地分配执行器？
谁告诉纱线records.txt的一个复制的HDFS块在节点1中可用？
如何通过星火应用程序找到数据本地化？它是由运行在应用程序母版中的驱动程序完成的吗？
纱线知道数据的重要性吗？
浏览 1提问于2018-04-20得票数 5
回答已采纳
1回答
我有一个Java应用程序，它可以连续运行，并检查数据库中的表是否有新的记录。当在表中添加一个新记录时，Java应用程序执行解压缩文件并将其放入HDFS位置，然后触发一个火花作业(我是在Java中使用'SparkLauncher“类编程触发火花作业)，该类处理在HDFS位置中新添加的文件。
我已经使用Oozie Java Action计划了集群中的Java应用程序。该簇为HDP核化簇。
这份工作在24小时内非常正常。所有解压缩都会发生，火花作业正在运行。
但是24小时后，在Java应用程序中会发生解压缩，但是资源管理器不会触发火花作业。
异常:连接到服务器时遇到的异常:INFO: org
浏览 0提问于2017-07-01得票数 0
回答已采纳
2回答
oozie使用纱容器吗？
、、、
我们目前正在集群中运行大量Oozie作业。
其中许多作业使用模板，并具有子工作流。
这些作业并不总是包含大任务和重作业，它们大多包含一个小shell脚本。
Hue作业浏览器显示了大量的Oozie步骤。
我们现在有时感觉到集群被这些作业负载过重了。这让我不禁纳闷，是不是每一份工作都有一个纱线容器呢？
如果是这样的话，这将意味着对于一个2分钟的工作，我们有效地使用了比所需资源多2-10倍的资源。
浏览 11提问于2016-08-11得票数 0
运行更大的纱线作业(Hadoop版本HDP-3.1.0.0 (3.1.0.0-78))的主要限制是什么，以及如何增加它？基本上希望同时执行更多的sqoop作业(所有这些任务都相当大)。
我目前假设我需要增加Resource堆大小(因为我在运行纱线作业时看到的是Ambari仪表板上出现的情况)。如何向RM堆添加更多资源/为什么RM堆看起来只占总RAM的一小部分(用于纱线？)集群的另一边？
查看Ambari:纱线集群内存为55 is，但RM堆仅为900 is。
有更多经验的人能告诉我有什么不同吗?在运行更多的纱线应用程序时，哪一个是限制因素(再说一次，我如何增加它)？还有什么我该看的吗？有医生详
浏览 3提问于2020-11-01得票数 0
回答已采纳
我已经设置了Spark在纱线上运行，我的目标是以编程的方式通过应用程序id获得星火作业进度的更新。
我的第一个想法是解析纱线GUI的HTML输出。然而，这种GUI的问题是，与火花作业相关的进度条没有定期更新，甚至大部分时间都不会更改:当作业开始时，百分比大约是10%，并且它坚持这个值直到作业完成。因此，这样的纱线进度条只是与火花工作无关。
当我单击对应于火花作业的应用程序母版链接时，我被重定向到在作业运行期间临时绑定的Spark。阶段页面与火花作业的进展非常相关。但是它是普通的HTML，所以解析起来很痛苦。在Spark文档中，他们谈到了一个JSON，但是我似乎无法访问它，因为我在Spark下面
浏览 0提问于2018-08-23得票数 0
回答已采纳
根据
AWS EMR“从AMI 3.1.1 (Hadoop 2.x)和AMI 2.4.8 (Hadoop 1.x)开始，您可以在一个长期运行的集群的生命周期内提交无限数量的步骤，但在任何给定时间只能有256个步骤处于活动状态或挂起”
我的问题是：
如果您已经达到256的限制，您将在哪里以及如何找到提交的其余作业？
EMR是否保持已提交作业的队列，当一个作业完成(成功/失败)时，它将从“不可见的客户端作业队列”中选择另一个作业吗？
如果EMR有这样的队列(如第2段所述)，它将保留这些工作多长时间？
我们能通过EMR访问吗?提交的作业不在256个作业之列？
我期待着你的回
浏览 0提问于2018-03-19得票数 2
回答已采纳
2回答
现在我有一个在亚马逊ec2上运行的作业，我使用putty连接到ec2集群，但是只知道putty的连接是lost.After，我重新连接到ec2集群，我没有作业的输出，所以我不知道我的工作是否仍然是running.Anybody，是否知道如何检查火花作业的状态？
谢谢
浏览 4提问于2015-04-21得票数 0
回答已采纳
我们在dataproc集群上使用纱线运行spark作业--我们在python中也有一个包装程序，它对作业的状态进行不断的轮询，并且我们从纱线中监视作业状态-如下所示：
dataproc = discovery.build('dataproc', 'v1', credentials=credentials)
job_id = '8873a82c-6201-48d4-8ad3-d8f236ef9c49'
projectId='dev-111111'
REGION = 'global'
result = datapro
浏览 4提问于2017-01-21得票数 0
回答已采纳
假设我尝试将一个Spark (2.4.x)作业提交到Kerberized集群，而没有有效的Kerberos凭据。在本例中，Spark启动程序多次尝试启动Hadoop IPC调用，但失败：
20/01/22 15:49:32 INFO retry.RetryInvocationHandler: java.io.IOException: Failed on local exception: java.io.IOException: org.apache.hadoop.security.AccessControlException: Client cannot authenticate via:[T
浏览 6提问于2020-01-22得票数 2
回答已采纳
当通过Livy提交一个长期运行的Spark批处理作业时，作业默认为五次重试，这需要花费很长时间才能最终失败。我如何才能改变这一点，使工作立即失败？
我的环境是Spark1.6，运行在Azure HDInsight (HDP)上。
谢谢!
浏览 2提问于2016-10-31得票数 0
回答已采纳
2回答
纱线与MapReduce机架
、、、、
我知道纱线框架的基本知识，但是对于MapReduce，我仍然感到缺乏一些理解。
关于纱线，我读到MapReduce只是可以在纱线上运行的应用程序之一；例如，对于纱线，在同一个集群上可以运行各种不同的作业，MapReduce作业、火花作业等等。
现在，重点是，每种类型的工作都有自己的“工作阶段”，例如，当我们谈到MapReduce时，它有不同的阶段，如Mapper、排序、Shuffle、Reducer等。
具体到这个场景，谁“决定”、“控制”这些阶段？是MapReduce框架吗？
据我所知，纱线是一个运行不同作业的基础设施；因此，当我们提交一个MapReduce作业时，它是否首先进入MapRed
浏览 0提问于2018-03-30得票数 0
回答已采纳
2回答
我们使用纱线作为集群管理器运行火花流作业，我将每个节点的7个核心专用于每个节点，如下面的图所示
当作业运行时.它只使用2、vcore、和5，被单独使用，作业速度慢，很多批排队。
我们如何使它使用所有的7个vcore.这是它可以使用的，这是运行时的用法，这样它就可以提高我们的工作速度。
如果社区中的任何专家能帮助我们解决问题，我将不胜感激，因为我们是亚恩和火花公司的新手。
浏览 4提问于2017-02-09得票数 3
实际上，我怀疑是否可以在不生成日志的情况下运行Hadoop/Spark作业。
例如，我应该能够使用星火提交触发星火作业，但它不应将任何日志存储在任何位置，即我们的资源管理器或星火历史服务器不应该能够显示与应用程序相关的任何信息。甚至像应用程序是否成功这样的信息也是如此。如果可以这样做，我会要求提供类似的信息，Mapreduce作业和Hive on Tez作业。
我搜索了一下，但是找不到任何关于这个的信息。
浏览 4提问于2022-09-14得票数 2
Hadoop2.0提供了的高可用性。上述体系结构实现了高可用性。
我对“资源经理”有疑问。
MRv2的基本思想是将JobTracker的两个主要功能--资源管理和作业调度/监视--分成不同的守护进程。其想法是拥有一个全局ResourceManager (RM)和每个应用程序的ApplicationMaster (AM)。应用程序要么是传统意义上的Map-Reduce作业中的单个作业，要么是作业的DAG。
ResourceManager和每节点从节点NodeManager (NM)构成了数据计算框架.ResourceManager是在系统中所有应用程序之间仲裁资源的最终权威机构。
我们可
浏览 1提问于2015-09-05得票数 0
回答已采纳
1回答
我知道在纱线集群上运行星火应用有两种模式。
在纱线-集群模式中，驱动程序在应用程序母版(在纱线集群内)中运行。在纱线-客户端模式中，它在提交作业的客户端节点中运行。
我想知道使用一种模式比另一种模式有什么好处？我们应该在什么情况下使用哪种模式。
浏览 2提问于2016-05-07得票数 2
回答已采纳
我正在尝试限制spark应用程序的尝试。失败一次后，该作业将在yarn客户端模式下重新提交。 我正在使用来自Azure Data的HDInsight活动，如果参数是从ADF传递的，Factory.It将限制为一次尝试。 val conf: SparkConf = new SparkConf()
conf.set("spark.yarn.maxAppAttempts","5")
conf.set("yarn.resourcemanager.am.max-attempts","5")
val sc = SparkS
浏览 49提问于2019-04-10得票数 0
1回答
我已经创建了一个hdfs集群。我必须配置纱线，以便允许纱线应用程序主程序能够根据需要在mesos集群上创建用于作业处理的容器。
如何将hdfs集群与下面的mesos集成，以便它能够在mesos上创建容器？
我需要找到一种方法来运行除纱线集群(客户机节点、边缘节点或通过下面的mesos派生的资源)之外的另一个资源上应用程序主服务器创建的容器。基本上，我必须创建一个按需的，只计算集群，它可以运行纱线应用程序一旦纱线用完。
浏览 10提问于2022-05-02得票数 0
1回答
如果将新作业提交到Apache YARN集群，状态页面通常会指示作业实际是如何提交的(以及其他内容)：
Application Type: SPARK
这表明用户最有可能使用spark-submit向资源管理器发出新作业。
是否可以通过参数更改该字符串的值，就像更改应用程序的名称一样？
浏览 17提问于2018-09-08得票数 1
回答已采纳
如何能够向Google (PySpark)提交多个作业，并将不适合当前执行器的作业排队？
只有提交作业才不适用于排队，这里是下列任何作业的输出：
$ gcloud dataproc jobs submit pyspark myjob.py
...
WARN Utils:70 - Service 'SparkUI' could not bind on port 4040. Attempting port 4041
为此，纱线应采用“队列”参数。但是，我找不到与dataproc一起使用它的文档.？
浏览 0提问于2016-04-08得票数 2
回答已采纳
我用Yarn下载了Hadoop的CDH4 tar，作业运行良好，但我不知道从哪里查看作业的日志。在MRv1中，我只去了JobTracker的web应用程序，它有工作历史。各个作业的日志也可以从这里访问，或者通过转到logs /userlog目录。
在我新的Yarn安装程序中(只在单台计算机上运行)，我有日志目录，但没有logs /userlog文件夹。
当我转到ResourceManager网页localhost:8088时，有一个“所有应用程序”部分，但是这里没有显示条目。当我转到JobHistory网页localhost:19888时，没有列出任何作业。
我想知道是否存在配置问题。以下是我
浏览 6提问于2012-12-01得票数 4
我们已经为高可用性配置了一个应用程序。
在这两个节点中，其中一个被激活(比如NN1)，另一个(比如NN2) NameNode进程被终止。所以现在NN1是活动的。
现在我们提交了一个mapreduce作业，日志一直说
“应用程序提交尚未完成，提交的应用程序application_someid仍处于NEW_SAVING"中。
这种情况发生大约17分钟，然后成功地执行作业。因此，这意味着已经发生了故障转移，并且NN1是活动的。但为什么要花这么长时间？
纱线记录上写着：
INFO org.apache.hadoop.ipc.Client:重试连接到服务器：。已经尝试了9次；重试策略是Retry
浏览 1提问于2015-11-03得票数 1
我在dataproc集群上运行pyspark作业。如果我不设大师的话，一切都会好的。但是，我想知道，我们怎样才能让师父。我不会得到主节点的url地址。我只是试图复制主节点、计算引擎、Ip地址和setMaster('spark://<MASTER_COMPUTE_ENG_ADRESS>:7077')，但是它的抛出错误。
有人能告诉我，在哪里可以找到GCP数据协议上的主节点url，以及如何在火花作业中设置主服务器？
浏览 3提问于2022-08-09得票数 2
1回答
如何拖尾纱线原木？
、、、、
我正在使用下面的命令提交一个火花作业。我想使用类似于Linux机器中的tail命令操作的应用程序Id来跟踪纱线日志。 export SPARK_MAJOR_VERSION=2
nohup spark-submit --class "com.test.TestApplication" --name TestApp --queue queue1 --properties-file application.properties --files "hive-site.xml,tez-site.xml,hbase-site.xml,application.properties&
浏览 37提问于2019-01-23得票数 0
回答已采纳
1回答
我是Apache和Cloudera管理人员的新手，我在运行我的第一个Spark应用程序时遇到了一些问题。
在我的集群中有两个具有RAM和核心的虚拟机：
13.4G /4核作为主节点，node01
4G /4核作为从节点，node02
当我运行su - hdfs -c "spark-shell --executor-memory 1G --executor-cores 1 --num-executors 1"时，它显示
警告cluster.YarnScheduler:初始作业未接受任何资源；请检查群集用户界面，以确保员工已注册并拥有足够的资源
我不知道要在哪里配置
浏览 2提问于2019-09-04得票数 0
我正在使用Hadoop版本0.20.2 (Cloudera分发版cdh3u6)并看到问题。据我所知，如果我在/etc/hadoop/conf/mapred-site.xml中设置了一个值，它应该会自动覆盖Hadoop默认值。因此，我设置了一个变量如下：
<property>
<name>mapred.child.java.opts</name>
<value>-Xmx1024m</value>
</property>
然而，这并没有任何影响。现在，我知道该文件正在由hadoop读取，因为如果我将变量设置为<f
浏览 2提问于2014-01-08得票数 2
是否可以选择在不使用远程桌面的情况下获得HDInsight中所有已提交作业的列表？？(通过.net SDK或web接口)
有一个函数'ListJobs‘。
但它显示异常“502- Web服务器在充当网关或代理服务器时接收到无效响应”。
另外，我无法访问带有namenode (远程桌面IP)的作业跟踪器门户。
()
浏览 5提问于2014-07-29得票数 1
回答已采纳
我正在运行星火流作业，当我为我的星火流作业设置应用程序名(一个更好的可读字符串)时，它不会出现在Hadoop运行的应用程序UI中。在Hadoop中，我总是将类名视为名称。
val sparkConf = new SparkConf().setAppName("BetterName")
如何在Spark中设置作业名，使其出现在Hadoop中？
运行应用程序的Hadoop是-
update看起来这只是星火流作业的问题，但是无法找到解决方案。
浏览 2提问于2015-10-27得票数 6
回答已采纳
我使用“在纱线上运行单个Flink作业”模式在纱线上运行flink作业，命令如下所示：./bin/flink运行-m -yn --yn 5./-yn/batch/WordCount.jar
问题是：
无论我如何修改参数：' -yn‘(-yn 2/-yn 3/-yn 4.)，纱线集群只为我的工作创建1 TaskManager和1 JobManager。我的纱线集群只有3个节点(一个resourceManager，两个nodeManager)，我认为flink的纱线客户端可能会发现只有两个nodeManager，因此客户机只创建了两个管理器，一个是作业管理器，一个是任务管理器。
我
浏览 1提问于2018-09-14得票数 2
我想获得spark作业用于监视目的的平均资源利用率，如何轮询星火应用程序的cpu和内存利用率？
浏览 9提问于2018-01-09得票数 1
回答已采纳
1回答
我安装了CDH 5.5.1与Hue，Hadoop，Spark，Hive，Oozie，Yarn和ZooKeeper。
当我运行Spark作业或MapReduce作业时，Hue会在作业历史记录中显示一个问题。问题是，当我重新启动CDH服务(而不是物理节点)时，它会删除重新启动之前的所有作业历史记录。
在Hadoop上，我怀疑有几个文件包含有关任务的信息，并且可能是保存职务信息的文件。他们的hadoop路径是：
/tmp/logs/user/logs/
/user/history/done/2016/
我在Cloudera Manager配置页面、Hue配置页面和一些配置文
浏览 4提问于2016-04-07得票数 0
回答已采纳
1回答
我已经在我的机器上安装了Hadoop-2.6.0并启动了所有服务。
与我的旧版本相比，这个版本不启动作业跟踪器和任务跟踪器作业，而是启动nodemanager和resourcemanager。
问题：-
我相信这个版本的Hadoop使用纱线来运行作业。我不能再运行地图减少作业了吗？
我应该写一份适合纱线资源管理器和应用程序管理器的工作吗？
有我可以提交的Python作业样本吗？
浏览 2提问于2015-12-31得票数 1
回答已采纳
问题:当我向Hadoop2.2.0集群提交作业时，它不会出现在作业跟踪器中，但是作业成功地完成了。通过这个，我可以看到输出并正确运行，并在运行时打印输出。
我尝试过多种选择，但工作跟踪器看不到工作。如果我使用2.2.0Hadoop运行流作业，它会显示在任务跟踪器中，但是当我通过hadoop客户机api提交它时，它不会出现在作业跟踪器中。我正在查看端口8088上的ui界面，以验证该作业。
环境 OSX小精灵，Java1.6，Hadoop2.2.0单节点集群，Tomcat 7.0.47
码
try {
configuration.set("fs.defaultFS&
浏览 4提问于2014-01-25得票数 9
回答已采纳
1回答
我正在运行一个电火花流作业的纱线，并希望添加警报，以防作业终止。
是否有一种不使用pid来检查作业是否正在运行的方法(因为它将继续更改)。在作业运行时，我检查了netstat -ntlp的输出一次，当任务没有运行时，我检查了一次输出。但产量没有差别。
浏览 0提问于2015-12-17得票数 1
我所知道的是纱线的介绍，它取代了JobTracker和TaskTracker。
我已经看到了一些Hadoop2.6.0/2.7.0安装教程，它们将mapreduce.framework.name配置为seen，将mapred.job.tracker属性配置为本地或主机:端口。
对mapred.job.tracker属性的描述是
MapReduce作业跟踪器运行的主机和端口。如果“本地”，则作业作为单个映射和减少任务在进程中运行。
我怀疑为什么我们要配置它，如果我们使用纱线，我的意思是JobTracker不应该运行对吗？
如果我的问题是愚蠢的请原谅我。
编辑:这是我所说的教程。
浏览 2提问于2015-06-16得票数 3
回答已采纳
假设我们有一个具有300个数据节点+1个名称节点的Yarn集群。如果我们在集群模式下执行火花作业，那么驱动程序将从哪里开始？我已经读到驱动程序将驻留在集群模式的应用程序母版中。这是否意味着，驱动程序将驻留在该特定作业的300个数据节点中的任何一个上？
例如，对于每个火花作业，将创建一个驱动程序。因此，让我们假设第一个作业是在集群模式下执行的，并获得第54个数据节点来启动那里的驱动程序。如果下一个作业是在集群模式下执行的，它会在集群中获取一些随机数据节点并在那里启动驱动程序吗？有谁能澄清一下吗？
浏览 2提问于2020-08-01得票数 1
回答已采纳
2回答
在测试多个作业同时运行或稍后提交的较小作业时火花作业的行为时。我在spark中遇到了两个设置。一种是可用的调度模式，如下图所示：
其中一个在调度程序中，如下所示
我想了解两个设置和抢占之间的区别。我的要求是，在处理更大的工作时，在两者之间提交的小工作必须获得资源，而不需要等待更长时间。
浏览 2提问于2016-08-10得票数 1
回答已采纳
这就是我希望能回答我的问题的线索。但这四个答案都解释了如何杀死整个应用程序。
我怎么才能停止工作？比如伯爵？
我可以在Spark中通过单击相应任务上的“杀死”来完成这一任务。我认为，必须能够列出正在运行的作业，并通过CLI直接与它们交互。
实际上，我是在Glue端点上使用PySpark编写笔记本。如果我杀死了应用程序，那么整个端点就会死掉，我必须创建一个新的集群。我只想停止工作。在笔记本中取消它只会分离同步，作业将继续运行，从而阻止执行任何进一步的命令。
浏览 4提问于2019-10-01得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
