腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(6510)
视频
沙龙
1
回答
通过命令行上的Hadoop作业客户端提交Hadoop作业
、
我一直在尝试查找有关如何通过命令行提交hadoop作业的信息。还有另一个命令,我正在尝试查找有关该命令的信息,但一直未能找到- hadoop job -submit作业文件提前谢谢。
浏览 2
提问于2012-09-17
得票数 1
回答已采纳
1
回答
spark-1.4.1 saveAsTextFile到S3的速度在emr-4.0.0上非常慢
、
、
我在amazom aws emr 4.0.0中运行spark 1.4.1实际上,saveAsTextFile说它是在4.356秒内完成的,但在那之后,我在接下来的90秒内从com.amazonaws.latency记录器中看到了许多带有404错误的INFO消息 spark> sc.parallelize(List.range(0, 1600000),160).map(x => x + "\t" + "A"*100).sa
浏览 2
提问于2015-09-02
得票数 7
1
回答
在Oozie中定义Avro键的模式
、
、
、
我的Oozie文件配置是: <name>
mapred
.output.key.class</name></property> <name>
mapred
.mapoutput.key.class</name> <va
浏览 2
提问于2014-02-13
得票数 0
1
回答
如何检查映射程序的输入大小(以字节为单位)?
、
我注意到在500个地图绘制者中,几乎有3倍的完成时间差异。这似乎意味着每个映射程序的输入文件大小差异并不是一个真正的因素。可能是不同节点之间的性能差异?欢迎任何有识之士/评论!
浏览 2
提问于2012-06-20
得票数 1
1
回答
如何在本地使用火花BigQuery连接器?
、
、
、
、
RichTrackEvent, RichTrackEvent](sc, googleCloudStorageUrl) conf.set("
mapred
.bq.project.id
浏览 1
提问于2016-06-14
得票数 2
回答已采纳
1
回答
mapred
-site.xml文件未出现在Hadoop 2.7.0中
、
hadoop-2.7.0/etc/hadoop目录中没有
mapred
-site.xml文件。但是该目录中有一个
mapred
-site.xml.template文件。这两个文件是相同的还是
mapred
-site.xml文件丢失了?该目录中有hadoop-env.sh和core-site.xml文件。
浏览 0
提问于2015-06-14
得票数 3
回答已采纳
1
回答
Nutch + Solr导致java.lang.OutOfMemoryError: Java堆空间
、
、
、
、
1 at org.apache.hadoop.
mapred
.MapTask$NewDirectOutputCollector.close(MapTask.java:650
浏览 2
提问于2014-09-07
得票数 0
1
回答
使用MySQL作为元存储从配置单元查询元数据
、
、
、
、
我正在寻找一种使用HiveQL命令查询我的配置单元数据的元数据的方法。
浏览 12
提问于2018-02-14
得票数 1
1
回答
AWS EMR:是按插槽还是按节点设置"
mapred
.child.java.opts“选项?
、
、
、
我想知道您是否设置了
mapred
.child.java.opts选项,它是设置每个工作节点的内存量,还是设置每个映射/缩减插槽的内存量?例如
mapred
.child.java.opts=Xmx2000m,是不是每个节点或插槽大约2 GB? 谢谢
浏览 0
提问于2015-01-28
得票数 0
3
回答
了解hadoop中默认调度程序的技术
我已经在3个Ubuntu系统12.04中安装了多节点安装程序。我在所有three.Now中使用Hadoop1.2.1,我希望默认运行哪个调度器?如何查看Hadoop1.2.1中运行的默认调度程序?
浏览 2
提问于2014-04-12
得票数 1
1
回答
hadoop大文件不分裂
、
、
、
我有一个大小为136MB的输入文件,我启动了一些WordCount测试,我只监视一个映射器。然后,我在我的dfs.blocksize中将64MB设置为64MB,我仍然得到了一个映射器。我做错了吗?
浏览 4
提问于2015-06-21
得票数 0
回答已采纳
1
回答
在单个节点Hadoop集群情况下增加减速器数超过1的串行还原器执行
、
、
我在
mapred
-site.xml文件中设置的值是:
mapred
.tasktracker.map.tasks.maximum=8
mapred
.job.map.memory.mb=1536
mapred
.tasktracker.reduce.tasks.m
浏览 4
提问于2014-03-25
得票数 0
回答已采纳
1
回答
Mahout随机森林分类器示例ArrayIndexOutOfBoundsException
、
、
、
、
在尝试运行时,我遇到java.lang.ArrayIndexOutOfBoundsException: 100错误。这里100是与树的数量绑定的。映射部分100%完成,reduce为0%。我使用hadoop-1.2.1和mahout-distribution-0.7。我也尝试过mahout-distribution-0.9,但也出现了同样的错误。
浏览 3
提问于2014-03-24
得票数 0
1
回答
为什么hadoop容量调度程序使用200%的容量
、
、
我在伪分布式模式下配置了hadoop,使用了默认的容量-Scheduler.xml,并按如下方式配置了
mapred
-site.xml: </property><name>
mapred
.jobtracker.taskScheduler</name> <value>org.apache.hadoop.
mapred
.CapacityTaskSchedul
浏览 4
提问于2012-10-15
得票数 2
1
回答
超过Hadoop内存限制
、
对于此作业,
mapred
.job.map.memory.mb设置为1536。将其设置为1536*2 = 3072会有所帮助,但会导致一个映射任务使用两个插槽,这是不可取的。
浏览 2
提问于2012-04-13
得票数 0
1
回答
mapred
-site.xml中指定的参数是否覆盖hadoop中代码中给出的参数?
、
如果我在
mapred
-site.xml中指定了参数
mapred
.tasktracker.reduce.tasks.maximum的值为2,并且如果程序的代码将reduce任务指定为job.setNumReduceTasks(1),那么会忽略
mapred
-site.xml中指定的参数,还是会遵从它,同时执行两个减少任务。
浏览 0
提问于2013-09-15
得票数 0
回答已采纳
1
回答
运行insert查询时返回错误
、
、
是否包含以下配置: yarn.app.mapreduce.am.env HADOOP_
MAPRED
_HOME=${ hadoop分发目录的完整路径} mapreduce.map.env HADOOP_
MAPRED
_HOME=${ hadoop分发目录的完整路径} mapreduce.reduce.env HADOOP_
MAPRED
_HOME=${hadoop分发目录的完整路径} 在查看
mapred
-site.xml配置文件时mapreduce.jobtracker.address localhost:54311 mapr
浏览 3
提问于2020-12-28
得票数 0
1
回答
如何在不使用Sqoop的情况下自动同步Hive外部表和MySQL表?
、
、
我在本地机器(Linux)中已经有了一个MySQL表,并且我有一个与MySQL表具有相同模式的Hive外部表。谢谢,Sumit
浏览 40
提问于2018-06-26
得票数 1
2
回答
mapred
-site.xml在使用YARN的Hadoop2中是完全无用的吗
、
我从许多Hadoop相关页面中发现,在Hadoop2中,许多
mapred
-site配置不再起作用,而是使用yarn-site.xml。但是如果是这样,为什么还要维护
mapred
-site.xml呢?
浏览 0
提问于2016-05-12
得票数 1
1
回答
在hadoop 1.2.1中更改默认调度程序
、
我最近检查了
mapred
-default.xml,它存在于hadoop 1.2.1.jar中,是中指示的,但我没有找到该点击的位置,也没有更改调度条件。请提前提供指导感谢
浏览 3
提问于2016-04-22
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Hadoop集群配置
配置hadoop模式与配置ssh秘钥对
3.安装hadoop
Hadoop的配置单机模式和伪分布式介绍以及配置ssh公私钥
关于配置Hadoop的三种模式
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券