1回答
我在Hive中有一个非分区表，它使用一个批处理来填充60万条记录。此批处理在填充表之前清除表中的数据。我正在尝试将这些数据导出到分区的oracle表中。当首次导出时，sqoop导出是成功的。但是，当试图将数据导出为另一个分区时，我将得到以下错误。
我想在这里实现的是，sqoop导出应该将数据导出到不同的分区。org.apache.sqoop.mapreduce.AsyncSqlRecordWriter.write(AsyncSqlRecordWriter.java:233)错误: java.io.IOEx
浏览 3提问于2022-01-05得票数 0
如何在oozie工作流XML上为MapReduce操作配置自定义分区程序？我尝试使用： <name>mapreduce.job.partitioner.class</name></property> <name>mapreduce.partition
浏览 0提问于2017-08-02得票数 0
我在mapreduce中实现了二级排序，并试图使用Oozie (来自Hue)来执行它。<workflow-app name="MyTriplets" xmlns="uri:oozie:workflow:0.5">
<start to="mapreduceAction failed, error message[${wf:errorMessa
浏览 0提问于2017-09-12得票数 0
回答已采纳
1回答
我正在尝试使用sqoop从分区的hive表导出到mysql。Open failed for file /path/to/table/<table name>/<partition name>, attempt to open a directoryat com.cloudera.sqoop.mapreduce.CombineShimRecordReader.getCurrentK
浏览 1提问于2013-01-21得票数 0
回答已采纳
3回答
我对Hive和MapReduce很陌生，非常感谢您的回答，并提供了一个正确的方法。
对于第二种方法，我只看到了IN
浏览 5提问于2013-01-11得票数 3
1回答
rdd.partitioner.get它说有10个分区，分区是使用HashPartitioner完成的。scala> rdd.partitions.sizescala> rdd.partitioner.isDefined它说有4个分区，没有定义分区。那么，Spark中的默认分区</e
浏览 1提问于2015-12-28得票数 20
回答已采纳
在学习Hadoop MapReduce时，我偶然发现了如何创建自定义分区器类。我知道我们需要在类中定义抽象的getPartition方法。这个方法应该返回当前键值对的分区号(一个整数)。现在，分区的数量将等于减少作业的任务数。如果在自定义分区器中，一个人写了一些逻辑来根据'value‘而不是'key’来选择分区呢？根据我的理解，这可能意味着具有相同键(但不同值)的记录可能会被不同的reduce任务处理，这不是MapReduce所保证的。这不是异常吗？
浏览 1提问于2015-09-02得票数 1
回答已采纳
1回答
但是，我认为有26个任务，每个分区有一个任务，每个文件有一个分区。
如果有人能给我更多关于实际发生的事情的见解，那就太好了。
浏览 2提问于2016-11-18得票数 4
Hadoop MapReduce洗牌的默认行为是在分区内对混叠键进行排序，而不是跨分区排序(使键跨分区排序的是总顺序)。我会问如何使用Spark (分区内排序，但不是跨分区排序)实现相同的目标。RDD的sortByKey方法是进行全排序
RDD的repartitionAndSortWithinPartitions是在分区内进行排序，而不是跨分区，但不幸的是，它增加了一个额外的步骤来执行重新分区是否有一种直接的方法在分区</
浏览 3提问于2017-04-11得票数 15
回答已采纳
伙计们，我在单元中有一个表，它有720个分区，每个分区有400多个文件，文件的平均大小是1G。现在我执行以下SQL:插入覆盖表test_abc select *从DEFAULT.abc A，其中A.P_HOUR ='2017042400‘；set mapred.min.split.size.per.rack=5000000000;set mapreduce</e
浏览 4提问于2017-04-28得票数 3
回答已采纳
我在一个单节点Hadoop集群上运行一个MapReduce作业，但是我的磁盘驱动器被MapReduce目录中的attempt_*_spill_*.out文件完全填满了。
浏览 4提问于2014-03-31得票数 1
回答已采纳
有谁知道任何免费访问的集群，这些集群对公众开放，并且使用Hadoop/MapReduce框架？有很多关于如何使用MapReduce的教程，但是有没有一种方法可以在不使用本地单机并安装所需框架的情况下测试这些示例呢？
谢谢!
浏览 0提问于2011-03-17得票数 3
回答已采纳
然后，我不会在任何地方使用合并/重新分区，而是使用7-8分区完成我的DAG。我在这里看到了一个主题，但是它是关于“更多”分区的，这对我一点帮助都没有。注意:在程序中，我读取了另一个包含10个文件的文件夹，Spark成功地创建了10个分区。在这个成功的工作完成后，我运行上面的问题转换。
浏览 1提问于2018-08-01得票数 2
回答已采纳
我可以查询最新的分区(前一天的数据)，它将很好地使用分区。...garbage...MapReduce Jobs Launched:
Job 0: Map: 1 Reduce: 1 Cumulative CPU: 6.43 sec HDFS Read: 46281957 HDFS然而，当我试图查询更早的分区时，hive似乎可以很好地读取分区，但不返回任何结果
浏览 2提问于2012-11-02得票数 2
1回答
我的脚本由于堆空间问题而失败，无法处理太多的分区。为了避免这个问题，我尝试将所有分区插入到一个分区中，但我面临以下错误 set mapreduce.reduce.memory.mb=6144;
set mapreduce.reduce.java.opts
浏览 6提问于2021-01-19得票数 1
回答已采纳
1回答
我已经编写了用于对数据集进行分区的自定义分区程序。我希望使用相同的分区程序对两个数据集进行分区，然后在下一个mapreduce作业中，我希望每个映射器处理来自两个源的相同分区，并执行一些功能，如连接等。我如何确保一个映射器从两个源获得对应于相同分区的拆分？
任何帮助都将不胜感激。
浏览 3提问于2010-07-04得票数 2
2回答
我目前正在编写一个mapreduce程序来找出两个hive表之间的差异。我的配置单元表在一个或多个列上进行分区。因此，文件夹名称包含已分区列的值。
有没有办法读取配置单元分区表。
浏览 0提问于2013-04-24得票数 2
回答已采纳
mapreduce分区内的数据是否排序，如果是，如何排序？AFAIK，它是根据密钥分组的。如果它在内部排序，那么对所有分区中的所有数据进行排序不是一种开销吗？
浏览 1提问于2014-09-25得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
