Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >解决 Unable to load native-hadoop library for your platform方法之一

解决 Unable to load native-hadoop library for your platform方法之一

作者头像
张哥编程
发布于 2024-12-19 02:55:20
发布于 2024-12-19 02:55:20
3920
举报
文章被收录于专栏:云计算linux云计算linux

安装hadoop启动之后总有警告:Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

原因:

Apache提供的hadoop本地库是32位的,而在64位的服务器上就会有问题,因此需要自己编译64位的版本。

1、首先找到对应自己hadoop版本的64位的lib包,可以自己手动去编译,但比较麻烦,也可以去网上找,好多都有已经编译好了的。

2、可以去网站:http://dl.bintray.com/sequenceiq/sequenceiq-bin/ 下载对应的编译版本

3、将准备好的64位的lib包解压到已经安装好的hadoop安装目录的lib/native 和 lib目录下:

解决 Unable to load native-hadoop library for your platform方法之一_环境变量
解决 Unable to load native-hadoop library for your platform方法之一_环境变量
解决 Unable to load native-hadoop library for your platform方法之一_apache_02
解决 Unable to load native-hadoop library for your platform方法之一_apache_02

4、然后增加环境变量:

解决 Unable to load native-hadoop library for your platform方法之一_hdfs_03
解决 Unable to load native-hadoop library for your platform方法之一_hdfs_03

5、增加下面的内容:

解决 Unable to load native-hadoop library for your platform方法之一_apache_04
解决 Unable to load native-hadoop library for your platform方法之一_apache_04

6、让环境变量生效

解决 Unable to load native-hadoop library for your platform方法之一_apache_05
解决 Unable to load native-hadoop library for your platform方法之一_apache_05

7、自检hadoop checknative –a 指令检查

解决 Unable to load native-hadoop library for your platform方法之一_apache_06
解决 Unable to load native-hadoop library for your platform方法之一_apache_06
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2022-03-01,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
win10搭建hadoop和spark
jdk8-x64:https://www.oracle.com/java/technologies/javase-jdk8-downloads.html
静谧星空TEL
2021/04/27
1.2K0
win10搭建hadoop和spark
MAC解决Unable to load native-hadoop library for your platform
参考官方网站:http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-common/NativeLibraries.html
week
2018/08/24
1.6K0
MAC解决Unable to load native-hadoop library for your platform
【详解】HadoopWARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatf
在使用Hadoop的过程中,你可能会遇到这样的警告信息:“WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...”。这条警告通常出现在Hadoop的日志中,表明Hadoop未能加载适用于当前操作系统的本地库。本文将探讨这个警告的原因、影响以及如何解决。
大盘鸡拌面
2025/05/24
1300
Hadoop学习1--解决启动过程中的问题
方法:http://www.aboutyun.com/thread-12694-1-1.html  http://www.linuxidc.com/topicnews.aspx?tid=13 http
小端
2018/04/16
6380
大数据学习之路01——让Hadoop在MacOS上跑起来
解决方案:重新编译hadoop,将编译后的hadoop-dist/target/hadoop-2.8.4/lib/native替换$HADOOP_HOME/lib/native。
汪志宾
2019/05/16
3K0
大数据学习之路01——让Hadoop在MacOS上跑起来
Porn Data Anaylize — Hadoop安装
这是一个系列的数据分析相关项目,包括环境搭建,数据分析,分析代码,分析报告等。目前数据来源于爬取到的100,000+数据 文章主要介绍相关的方法和原理,也算是自己对于大数据的一个初步的认识。
obaby
2023/02/24
3210
64位CentOS上编译 Hadoop 2.2.0
下载了Hadoop预编译好的二进制包,hadoop-2.2.0.tar.gz,启动起来后,总是出现这种警告: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
星哥玩云
2022/07/01
4350
Hadoop2.6版本集群环境搭建
2、linux版本:[spark@S1PA11 ~]$ cat /etc/issue Red Hat Enterprise Linux Server release 5.4 (Tikanga)
星哥玩云
2022/07/04
3770
命令修改副本数:hadoop fs -setrep
1、hadoop fs -setrep setrep Usage: hadoop fs -setrep [-R] [-w] <numReplicas> <path> Changes the replication factor of a file. If path is a directory then the command recursively changes the replication factor of all files under the directory tree rooted a
程裕强
2022/05/06
3850
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-
1、执行脚本程序报如下所示的错误: 1 [hadoop@slaver1 script_hadoop]$ hadoop jar web_click_mr_hive.jar com.bie.hive.mr.ClickStreamThree /home/hadoop/data_hadoop/weblog/preprocess/output/2018-05-19 /home/hadoop/data_hadoop/weblog/preprocess/click_pv_out/2018-05-19 2 18/05
别先生
2018/05/28
1.1K0
hadoop2.6.0完全分布式手动安装
遇到的问题: 15/05/01 09:56:48 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 下载:http://dl.bintray.com/sequenceiq/sequenceiq-bin/ 覆盖: tar -xvf hadoop-native-64-2.6.0.tar -C /home/cluster/hadoop/lib/native
字母哥博客
2020/09/23
3340
CentOS 6.5上搭建Hadoop环境详解
本文详细记录在开发服务器CentOS 6.5上搭建Hadoop的详细过程。 ssh连接免密码配置 由于配置过程中需要频繁的进行ssh连接到开发服务器执行命令以及通过scp命令向服务器拷贝文件等依赖ssh连接的操作。所以,配置本地环境跟服务器之间的ssh免密码连接可以有效的提升工作效率。 由于我本机已经生成过公钥,所以我只需将已有的公钥拷贝到服务器即可。推荐使用ssh-copy-id命令,简单又不会出错。手动copy 再append的公钥文件尾,容易因为操作问题,造成无法正确识别公钥。 注:如果你没有生成过公
小小科
2018/05/04
7410
CentOS 6.5上搭建Hadoop环境详解
17/11/24 05:08:44 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform
别先生
2018/01/02
1.3K0
17/11/24 05:08:44 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform
搭建Hadoop2.7.2和Hive2.3.3以及Spark3.1.2
Hadoop是一个用Java编写的Apache开源框架,允许使用简单的编程模型跨计算机集群分布式处理大型数据集。Hadoop框架工作的应用程序在跨计算机集群提供分布式存储和计算的环境中工作。Hadoop旨在从单个服务器扩展到数千个机器,每个都提供本地计算和存储。
小陈运维
2021/10/20
1.2K0
HADOOP之3节点集群
1.apache提供的hadoop-2.4.1的安装包是在32位操作系统编译的,因为hadoop一些C++的本地库,所以如果在64位的操作上安装hadoop-2.4.1就需要重新在64操作系统上重新编译
py3study
2020/01/09
1K0
HADOOP之3节点集群
【九】Hadoop3.3.4HA高可用配置
在 Hadoop 生态系统中,NameNode 是文件系统的中心管理器,负责管理 HDFS 的元数据。为了避免单点故障(Single Point of Failure,SPOF),Hadoop 引入了 NameNode 的高可用性架构。主要组件包括:
火之高兴
2024/08/06
2930
【九】Hadoop3.3.4HA高可用配置
学习Spark——那些让你精疲力尽的坑
这一个月我都干了些什么…… 工作上,还是一如既往的写bug并不亦乐乎的修bug。学习上,最近看了一些非专业书籍,时常在公众号(JackieZheng)上写点小感悟,我刚稍稍瞄了下,最近五篇居然都跟技术无关,看来我与本行业已经是渐行渐远了。 所以,趁着这篇博客,重拾自己,认清自己,要时刻谨记我是一名码农。不过,摸着良心说,最近的技术方面也是有所感悟和积累的,比如如何写好设计文档,如何使用延时队列,如何使用防刷技术等等。当然了,今天我们还是沿着“学习Spark”这条路继续走下去。 上篇主要介绍了在Mac下如
JackieZheng
2018/01/16
2.3K0
学习Spark——那些让你精疲力尽的坑
Hadoop SequnceFile.Writer 压缩模式及压缩库浅析
先说明SequnceFile的压缩类型(Compression Type)分为三种NONE,RECORD,BLOCK,通过配置项io.seqfile.compression.type指定:             NONE, Do not compress records  即不压缩             RECORD, Compress values only, each separately.   每条记录都对value进行一次压缩             BLOCK, Compress sequen
囚兔
2018/02/08
8130
Mac部署hadoop3(伪分布式)
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
程序员欣宸
2019/10/22
1.3K0
Mac部署hadoop3(伪分布式)
安装和配置Spark(单节点)
Apache Spark被称为第三代大数据处理平台,也当前应用最广泛的大数据处理方案,这篇文章将介绍如何在Linux系统(Cent OS7)上以单机模式(Stand alone)模式安装Apache Spark。当前的最新稳定版是2.3.1。
张子阳
2018/09/28
3.8K0
安装和配置Spark(单节点)
相关推荐
win10搭建hadoop和spark
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档