首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
首页标签文件系统

#文件系统

Linux Ext系列文件系统(看这一篇就够了!)

用户11317877

硬盘是典型的"块"设备, 操作系统读取硬盘数据的时候, 其实是不会一个个扇区地读取, 这样效率太低, 而是一次性连续读取多个扇区, 即一次性取⼀个”块”(blo...

000

IBM:基于ML模型的防勒索设计

数据存储前沿技术

文中详细讨论了特征选择、模型选择、文件系统类型、数据集和工作负载等训练挑战,并提出了多种技术来提高模型性能,包括决策树集成、元后处理特征处理、以及文件系统特性的...

7510

Samsung:从QLC应用生态来看大容量SSD前景

数据存储前沿技术

文中强调了IUs大于LBA格式带来的挑战,以及为确保I/O操作符合较大IU大小所需的内存管理问题。此外,提出了一种通过Folio抽象来保证内存分配以适应大IU的...

9010

STARBLAZE(忆芯):SSD中分布式软件架构

数据存储前沿技术

按:之前学习材料整理过大量海外厂商方案,随着不断推进,不少国内优秀方案也逐渐映入眼帘。抱着学习的心态尝试理解要义,如有误,欢迎指出,多交流,才能进步!

10110

Hammerspace:全局并行文件系统架构案例

数据存储前沿技术

按:鹏弟最近在学习国内JuiceFS产品文档,数据与元数据分离,构建统一命名空间设计,在软件定义存储领域并不算新事物,国内SDS厂商几乎都有自己统一存储方案。A...

11310

Micron:验证16KB IU对SSD_WAF的影响

数据存储前沿技术

16K IU 引起的写入放大因子(WAF)主要影响未对齐的写入操作,且对读取操作没有影响。影响随着写入大小的增加而显著降低,文件系统通常会聚合写入以减少 WAF...

8510

Deepseek批量删除文件标题名的部分字符串

AIGC部落

如果文件路径中包含非法字符(例如 : 和 --),会导致操作系统无法正确识别路径。Windows 文件系统中,文件名不能包含某些特殊字符(如 :),而 -- 虽...

7000

为什么大语言模型这么大?

云云众生s

AI模型主要由浮点数构成,通过分词器和嵌入模型等各种组件处理输入来运行。它们的大小从千兆字节到太字节不等,更大的参数数量可以提高性能和细微差别表示。但是,它们是...

5000

IPTVnator – 最方便的开源 IPTV 播放器

轩源

IPTVnator 是一款视频播放器应用程序,提供对 IPTV 播放列表播放(m3u、m3u8)的支持。该应用程序允许用户使用远程 URL 或从本地文件系统上传...

28210

云原生计算现在有了自己的文件系统:CubeFS

云云众生s

基于Kubernetes的分布式系统如果没有一个合适的、能够清晰地将计算层和存储层分离的文件系统会怎样?

3700

【Linux】理解Linux中一切皆文件、缓冲区、ext2文件系统、软硬链接

_小羊_

在windows中是文件的东西,在linux中也是文件;其次一些在windows中不是文件的东西,比如进程、磁盘、显示器、键盘这样硬件设备也被抽象成了文件,你可...

6910

Ext2 文件系统:数字世界的基石,深度解码超时空存储魔法

用户11458826

本篇博主将带大家深入底层探秘系统是如何与磁盘进行相互交流的,配合精美配图,细节讲解来带大家深入探究(注:本篇文章建议了解磁盘内部物理结果组成及设计再进行阅读)。...

6910

FUSE 文件系统和 libfuse 介绍

云水木石

文件系统为应用程序提供了一个访问数据的通用接口。文件系统可以在用户态中实现,比如像鸿蒙这样的微内核。但大多数宏内核操作系统(如 Linux),文件系统是在内核态...

9810

Linux实验二:文件IO操作

Francek Chen

1、掌握Linux中系统调用、文件描述符的基本概念; 2、掌握文件I/O的基本系统调用,如open, read, write, lseek, close等。

6510

HDFS的数据写入流程是怎样的?请描述数据写入的过程。

GeekLiHua

腾讯 | 业务安全工程师 (已认证)

下面是一个简单的Java代码示例,演示了如何使用HDFS的API进行数据写入操作:

6310

HDFS如何处理故障和节点失效?请解释故障恢复机制。

GeekLiHua

腾讯 | 业务安全工程师 (已认证)

以上代码示例演示了如何使用HDFS的API进行数据写入操作,并模拟节点失效的情况。首先,我们创建HDFS的配置对象,并设置文件系统的默认地址。然后,通过调用Fi...

6600

HDFS的数据读取流程是怎样的?请描述数据读取的过程。

GeekLiHua

腾讯 | 业务安全工程师 (已认证)

HDFS(Hadoop Distributed File System)是一种用于存储和处理大规模数据的分布式文件系统。在HDFS中,数据读取的流程如下:

5800

HDFS中的数据一致性是如何保证的?请解释数据一致性的概念和实现方式。

GeekLiHua

腾讯 | 业务安全工程师 (已认证)

HDFS(Hadoop分布式文件系统)是一个用于存储和处理大规模数据的分布式文件系统。在HDFS中,数据的一致性是指在多个副本之间保持数据的一致性,即多个副本中...

8710

NameNode和DataNode在HDFS中的作用是什么?

GeekLiHua

腾讯 | 业务安全工程师 (已认证)

在这个过程中,NameNode负责处理创建目录、创建文件、删除文件和删除目录等操作的请求,并维护文件系统的元数据。DataNode负责存储文件的实际数据块,并执...

7100

Hadoop的Secondary NameNode在HDFS中的作用是什么?

GeekLiHua

腾讯 | 业务安全工程师 (已认证)

Hadoop是一个开源的分布式计算框架,用于处理大规模数据集的存储和分析。Hadoop的核心组件之一是Hadoop分布式文件系统(HDFS),它是一个高度可扩展...

6200
领券