# 简介

NativeIO主要用于实现一些Java未实现的IO相关的接口。通过JNI的的方式直接调用底层操作系统的系统函数，提升效率和性能。

# 源码详解

主要分下面几部分：

- JNI初始化，包括底层JNI代码。

## 初始化

核心初始化的代码是在NativeIO里面的静态代码块里面实现的，通过参数hadoop.workaround.non.threadsafe.getpwuid控制是否支持线程安全，默认是线程安全的。
初始化只会做一次，不会重复初始化，关键代码如下：

```java
static {
      if (NativeCodeLoader.isNativeCodeLoaded()) {
        //确保只加初始化一次。
        try {
          Configuration conf = new Configuration();
          boolean workaroundNonThreadSafePasswdCalls = conf.getBoolean(
              WORKAROUND_NON_THREADSAFE_CALLS_KEY,
              WORKAROUND_NON_THREADSAFE_CALLS_DEFAULT);

          initNativePosix(workaroundNonThreadSafePasswdCalls);
          nativeLoaded = true;
          // 省略。。。。
        } catch (Throwable t) {
         // 省略。。。。
        }
      }
    }
```

### initNativePosix详解

initNativePosix的JNI在NativeIO.c里面，函数的定义如下，其中，`JNIEnv *env, jclass clazz`为JNI默认需要带的参数，`jboolean doThreadsafeWorkaround`是函数initNativePosix的入参。

```c
JNIEXPORT void JNICALL
Java_org_apache_hadoop_io_nativeio_NativeIO_initNative(
  JNIEnv *env, jclass clazz, jboolean doThreadsafeWorkaround)
```

在initNativePosix里面核心函数有：

- nioe_init(env)：主要是初始化NativeIOException异常对象。
- fd_init(env);初始化java.io.FileDescriptor
- workaround_non_threadsafe_calls_init(env);初始化一个Object对象，用于实现加锁。

## 底层IO操作

NativeIO提供了很多底层IO操作的JNI。主要包括：

| 函数名称                                                    | 作用                                                                                                                         |
| ------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------ |
| getPmdkLibPath()                                            | 获取HADOOP_PMDK_LIBRARY的路径                                                                                                |
| isPmemCheck(long address, long length)                      | 用于判断一段内存区域是否位于真正的持久内存上                                                                                 |
| pmemMapFile(String path, long length, boolean isFileExist); | 是将持久内存（Persistent Memory，PMEM）上的文件映射到进程的虚拟地址空间,调用库函数pmem_map_file                              |
| pmemUnMap(long address, long length)                        | pmem_unmap是持久内存编程中的一个关键函数，它就像一位负责收尾的清道夫，安全地解除之前建立的内存映射关系，并确保数据的持久化。 |

其他实现可自行查看NativeIO.c，基本都是对操作系统函数的封装，不再重复列出用途。


NativeIO主要用于实现一些Java未实现的IO相关的接口。通过JNI的的方式直接调用底层操作系统的系统函数，提升效率和性能。

NativeIO 源码解析

大数据开发工程师

编程语言

操作系统

后端

NativeIO通过JNI调用底层系统函数提升IO性能，核心包括JNI初始化、线程安全控制及持久内存操作。初始化仅执行一次，支持pmem_map_file等持久内存映射功能，实现对系统函数的封装调用。

内存映射

Java

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

NativeIO 源码解析-腾讯云开发者社区-腾讯云

NativeIO 源码解析

NativeIO 源码解析

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐