1回答
要知道两个查询中哪一个在同一集群上最快，但独立于当时的集群使用情况，最好的方法是什么？我一直使用总CPU时间(CP毫秒)，但它看起来可能不准确，因为一些非MR操作不计入MapReduce时间(例如输入文件解压缩)。
浏览 3提问于2018-09-01得票数 0
我一直在搜索默认的hadoop-metrics2.properties文件，它只是通过JMX公开所有可用的指标，但找不到一个。
浏览 2提问于2012-06-17得票数 3
1回答
我正在尝试使用JMX导出Hadoop集群的指标。它适用于HDFS和resourceManager。将其添加到HADOOP_OPTS、HADOOP_NAMENODE_OPTS、HADOOP_DATANODE_OPTS和YARN_RESOURCEMANAGER_OPTS。如何导出作业的Mapreduce指标？我想导出作业操作，如映射和缩减。作为下图中显示作业UI的指标： ?
浏览 16提问于2019-06-03得票数 0
我使用的是Hadoop 2.7.2。有没有办法测量在nodelabel中运行的作业的资源使用情况？我正在寻找一种通过jmx的方法。
浏览 20提问于2018-06-25得票数 0
我试图使用金牛座和JMeter通过Gitlab运行性能测试。我有一个包含多个要测试端点的NavWeb.jmx，但我正在尝试设置两个作业，一个作业运行整个测试计划，另一个作业包含一个作业矩阵，您可以在其中选择和选择要测试的端点。示例：(run_perf_test_QA将它们全部运行在一起，而run_single_test允许您选择运行哪个测试)
我目前的解决方案是有两个JMX文件，一个是启用测试的，另一个是禁用的。然后，我使用启用</
浏览 2提问于2020-10-27得票数 1
回答已采纳
我正在尝试使用Nagios监视Hadoop集群。我的目标是监控所有Hadoop守护进程的状态和资源使用情况，比如DataNode，Jobtracker和Tasktracker等等。那么，我的问题是:是否有使用Nagios进行Hadoop监控的系统解决方案？舒明
浏览 0提问于2013-03-23得票数 2
回答已采纳
2回答
嗨，我想知道jobconf和job对象之间的基本区别，目前我像这样提交我的作业我看到了像这样提交作业的其他方法job.waitForCompletion(true); 如何使用jobconf为作业指定
浏览 6提问于2013-08-23得票数 18
回答已采纳
我在一本书(专业Hadoop )中读到，可以通过指定作业配置mapreduce.job.jvm.numtasks来启用JVM重用。我的问题是，我们需要在驾驶类中设置这个吗？在我正在使用的Hadoop版本的其他地方，这个API能被替换吗？还是我找错地方了？我正在使用Hadoop版本1.0.3。
浏览 2提问于2014-10-19得票数 0
回答已采纳
1回答
(NetUtils.java:805) at org.apache.hadoop.ipc.Client.call(Client.java$Proxy22.allocate(Unknown Source)
at org.apache.hadoop</em
浏览 3提问于2020-02-12得票数 0
回答已采纳
我是hadoop的新手，我的hadoop版本是2.0.0-cdh4.0.1。但我不知道该用哪个图书馆。mapred或mapreduce或mapreduce.lib，jobconf或job等等。我试过Hadoop第三次教育的例子:权威指南，我收到了很多警告。但当我尝试2ed教育的例子时，情况要好得多。完全把我搞糊涂了。谢谢。
浏览 2提问于2012-09-04得票数 0
回答已采纳
我使用的是Cloudera的Hadoop发行版CDH-0.20.2CDH3u0。有没有办法使用在hadoop框架外运行的JAVA程序来获取作业跟踪器状态、任务跟踪器状态、计数器等信息？我尝试使用JMX收听，但hadoop提供的关于Jobtracker、tasktracker和datanode的信息非常少。它不提供任何与正在运行的作业状态相关的JMX属性，如映射完成百分比、减少完成百分比、任务完成百分比、尝试完成百分比、计数器状态等。
此外，我还尝试使用hadoo
浏览 1提问于2011-07-08得票数 2
回答已采纳
2回答
O‘’Reilly一书中对hbase的少量描述展示了如何使用' hbase‘命令行包装器来运行使用hbase的map-reduce作业。但是，我们的代码有一个很长的类路径，所以我们希望使用由JobConf.setClassByJar和' hadoop‘命令启用的hadoop的lib目录特性。普通的hadoop作业可以调用hbase API吗？hbase命令行到底做了什么？
(hadoop 0.20.2，hbase对应)
浏览 2提问于2011-04-13得票数 0
我正在尝试将hadoop管道作业添加到GCP中的工作流模板中，但没有给出这样的示例。google的官方文档指定了如何提交hadoop作业，但是没有可用于提交hadoop管道作业的参数。
浏览 15提问于2020-07-22得票数 1
回答已采纳
我正在研究使用ELK/EFK堆栈监控hadoop集群的可能性。我已经搜索了公共领域，但找不到任何相关的东西。 在这方面的任何帮助都将受到高度感谢。
浏览 28提问于2019-05-10得票数 0
是否有任何rest API或Hadoop指标可用于获取用于单个节点的dfs。目前，我正在通过手动执行以下命令来获取用于单个节点的dfs
hdfs dfsadmin -report
浏览 0提问于2017-05-19得票数 0
src.zip/py4j/protocol.py"，第328行，在get_return_value py4j.protocol.Py4JJavaError中:调用z:org.apache.spark.api.python.PythonRDD.newAPIHadoopRDD.时出错：：com.google.cloud.hadoop.io.bigquery.JsonTextBigQueryInputFormat :java.lang.ClassNotFoundException_jsc.hadoopConfiguration().g
浏览 1提问于2019-06-15得票数 1
回答已采纳
我正在使用以下命令来获取kafka中所有主题的列表但是我得到了以下错误 java.net.BindException: Address already in use (Bind failed)
浏览 4提问于2018-01-19得票数 0
我刚刚开始使用JMX来监控activemq，我已经启用了远程监控。现在的问题是，如何只允许localhost访问JMX API？或者有没有一种方法可以在不启用远程监控的情况下使用JMX API。
浏览 0提问于2009-09-30得票数 0
回答已采纳
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
