首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

MapperReduce常见错误及解决方案

1)导包容易出错。尤其Text和CombineTextInputFormat。 2)Mapper中第一个输入的参数必须是LongWritable或者NullWritable,不可以是IntWritable. 报的错误是类型转换异常。 3)java.lang.Exception: java.io.IOException: Illegal partition for 13926435656 (4),说明Partition和ReduceTask个数没对上,调整ReduceTask个数。 4)如果分区数不是1,但是reducetask为1,是否执行分区过程。答案是:不执行分区过程。因为在MapTask的源码中,执行分区的前提是先判断ReduceNum个数是否大于1。不大于1肯定不执行。 5)在Windows环境编译的jar包导入到Linux环境中运行, hadoop jar wc.jar com.atguigu.mapreduce.wordcount.WordCountDriver /user/atguigu/ /user/atguigu/output 报如下错误: Exception in thread "main" java.lang.UnsupportedClassVersionError: com/atguigu/mapreduce/wordcount/WordCountDriver : Unsupported major.minor version 52.0 原因是Windows环境用的jdk1.7,Linux环境用的jdk1.8。 解决方案:统一jdk版本。 6)缓存pd.txt小文件案例中,报找不到pd.txt文件 原因:大部分为路径书写错误。还有就是要检查pd.txt.txt的问题。还有个别电脑写相对路径找不到pd.txt,可以修改为绝对路径。 7)报类型转换异常。 通常都是在驱动函数中设置Map输出和最终输出时编写错误。 Map输出的key如果没有排序,也会报类型转换异常。 8)集群中运行wc.jar时出现了无法获得输入文件。 原因:WordCount案例的输入文件不能放用HDFS集群的根目录。 9)出现了如下相关异常

05
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    JavaSE - 异常

    2)java.lang.ClassNotFoundException 指定的类找不到,出现原因:类的名字和路径加载错误,通过程序通过字符串来加载某个类是时引发的错误 3)java.lang.NumberFormatException 字符串转为数字异常,出现原因:字符串中包含非数字型 4)java.lang.IndexOutOfBoundsException 数组角标越界异常,出现原因:数组长度限制,常出现在遍历数组的时候 5)java.lang.IllegalArgumentException 方法传递参数错误 6)java.lang.ClassCastException 数据类型转换异常 7)java.lang.NoClassDefFoundException 未找到类定义错误 8)java.langInstantiantionException 实例化异常 9)java.lang.NoSuchMethodException 方法不存在异常 10)org.apache.ibatis.binding.BindingException:Invalid bound statement(not found) batis中方法名绑定异常,出现原因:Mapper.xml中的id和Dao层的接口中定义的方法不一致

    03

    cmd下运行java程序报错:错误: 找不到或无法加载主类

    通常出现这种问题有以下三种原因: 第一:环境变量配置不正确,配置环境变量时一定要将CLASSPATH配上,(配置教程) 第二:执行方法有误,进入java文件目录下,首先执行javac xxx.java,生成一个xxx.class文件,然后执行java xxx 第三:程序有问题,比如我之前直接在cmd下执行eclipse下的java文件,始终报“错误: 找不到或无法加载主类”这个异常,但是在eclipse下执行同一个文件却没有问题,后来仔细发现原来是java文件中的包名导致的,删除掉红色框中的内容即可正常运行。这是在编译通过的情况下执行编译后的文件出现的问题,如果编译都没通过那就是java文件的问题,仔细检查一下文件是否有异常,比如类没有被public修饰,或者main方法没有static修饰等等。

    04

    HBase thrift2 TIOError

    如果HBase thrift2报:“TIOError exception: Default TException”, 这个可能是因为操作的表不存在,不一定是网络或磁盘操作异常。 HBase Thrift2偷懒了,所有异常被统一成了TIOError和TIllegalArgument两个异常, 导致调用者无法区分,而且出错信息也没能很好的带过来,增加了定位工作量。 在HBase client中为如下一个继承关系: public class TableNotFoundException extends DoNotRetryIOException public class DoNotRetryIOException extends HBaseIOException public class HBaseIOException extends IOException HBase master相关日志: 2017-05-27 17:20:42,879 ERROR [thrift2-worker-7] client.AsyncProcess: Failed to get region location org.apache.hadoop.hbase.TableNotFoundException: ABCDE         at org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation.locateRegionInMeta(ConnectionManager.java:1285)         at org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation.locateRegion(ConnectionManager.java:1183)         at org.apache.hadoop.hbase.client.AsyncProcess.submit(AsyncProcess.java:422)         at org.apache.hadoop.hbase.client.AsyncProcess.submit(AsyncProcess.java:371)         at org.apache.hadoop.hbase.client.BufferedMutatorImpl.backgroundFlushCommits(BufferedMutatorImpl.java:245)         at org.apache.hadoop.hbase.client.BufferedMutatorImpl.flush(BufferedMutatorImpl.java:197)         at org.apache.hadoop.hbase.client.HTable.flushCommits(HTable.java:1461)         at org.apache.hadoop.hbase.client.HTable.put(HTable.java:1017)         at org.apache.hadoop.hbase.thrift2.ThriftHBaseServiceHandler.put(ThriftHBaseServiceHandler.java:243)         at sun.reflect.GeneratedMethodAccessor2.invoke(Unknown Source)

    02

    扫码

    添加站长 进交流群

    领取专属 10元无门槛券

    手把手带您无忧上云

    扫码加入开发者社群

    相关资讯

    热门标签

    活动推荐

      运营活动

      活动名称
      广告关闭
      领券