小伙伴们大家好，JuiceFS v0.17 在国庆小长假来临之际如期发布了！这是我们在 2021 年秋季推出的第二个版本，让我们直奔主题，看看都有哪些新变化吧。
Linux是一种开放的、因Internet而产生的操作系统。Internet的发展、以网络为中心的计算模式如电子商务被迅速接受和普及，都为 Linux提供了更巨大的机会，使之成为企业和部门级的首选平台。同时，Linux也以其对新技术的巨大包容能力为自身发展提供了良好的生长和栖息环境。这表现在其内核技术的发展为Linux环境下管理数据、存储数据、分配数据、升级数据提供了高性能的系统技术支持。ext3文件系统就属这类技术中较突出的一种。 日志文件系统 通常在系统运行中写入文件内容的同时，并没有写入文件的元数据（如权限、所有者及创建和访问时间），如果在写入文件内容之后与写入文件元数据之前的时间差里，系统非正常关闭，处于写入过程中的文件系统会非正常卸载，那么文件系统就会处于不一致的状态。当重新启动时，Linux会运行fsck程序，扫描整个文件系统，保证所有的文件块都被正确地分配或使用，找到被损坏的目录项并试图修复它。但是，fsck不保证一定能够修复损坏。出现这种情况时，文件中不一致的元数据会填满已丢失文件的空间，目录项中的文件项可能会丢失，也就造成文件的丢失。 为了尽量减少文件系统的不一致性，缩短操作系统的启动时间，文件系统需追踪引起系统改变的记录，这些记录存放在与文件系统相分离的地方，通常我们叫“日志”。一旦这些日志记录被安全地写入，日志文件系统就可以应用它们清除引起系统改变的记录，并将它们组成一个引起文件系统改变的集，将它们放在数据库的事务处理中，保持在状态下有效数据的正常运行，不与整个系统的性能发生冲突。在任何系统发生崩溃或需要重新启动时，数据就遵从日志文件中的信息记录进行恢复。由于日志文件中有定期的检查点，通常非常整齐。文件系统的设计主要考虑效率和性能方面的问题。 Linux可以支持许多日志文件系统，包括FAT、VFAT、HPFS（OS/2）、NTFS（Windows NT）、UFS、XFS、JFS、ReiserFS、ext2、ext3等。 ext3支持多种日志模式 ext3 是ext2文件系统的高一级版本，完全兼容ext2，与ext2主要区别便是具有快速更新文件的存储功能。计算机自磁盘上读取或写入数据开始就必须保证文件系统中文件与目录的一致性，所有日志文件中的数据均以数据块的形式存放在存储设备中，当磁盘分区时文件系统即被创建，按照文件形式、目录形式支持存储数据和组织数据。Linux的文件和目录采用层次结构文件系统，文件系统一般是在安装系统时通过使用“mount”命令安装上的，用于使用的文件链表存储在文件/etc/fstab中，用于维护而安装的文件链表则存放在/etc/mtab中。 ext3提供多种日志模式，即无论改变文件系统的元数据，还是改变文件系统的数据（包括文件自身的改变），ext3 文件系统均可支持，以下是在/etc/fstab文件引导时激活的三种不同日志模式： ◆data=journal日志模式 日志中记录包括所有改变文件系统的数据和元数据。它是三种ext3日志模式中最慢的，但它将发生错误的可能性降至最小。使用“data= journal” 模式要求ext3将每个变化写入文件系统2次、写入日志1次，这将降低文件系统的总性能，但它的确是使用者最心爱的模式。由于记录了在ext3中元数据和数据更新情况，当一个系统重新启动的时候，这些日志将起作用。 ◆data=ordered日志模式 仅记录改变文件系统的元数据，且溢出文件数据要补充到磁盘中。这是缺省的ext3日志模式。这种模式降低了在写入文件系统和写入日志之间的冗余，因此速度较快，虽然文件数据的变化情况并不被记录在日志中，但它们必须做，而且由ext3的daemon程序在与之相关的文件系统元数据变化前执行，即在记录元数据前要修改文件系统数据，这将稍微降低系统的性能（速度），然而可确保文件系统中的文件数据与相应文件系统的元数据同步。 ◆data=writeback日志模式 仅记录改变文件系统的元数据，但根据标准文件系统，写程序仍要将文件数据的变化记录在磁盘上，以保持文件系统一致性。这是速度最快的ext3日志模式。因为它只记录元数据的变化，而不需等待与文件数据相关的更新如文件大小、目录信息等情况，对文件数据的更新与记录元数据变化可以不同步，即ext3是支持异步的日志。缺陷是当系统关闭时，更新的数据因不能被写入磁盘而出现矛盾，这一点目前尚不能很好解决。 不同日志模式间有差别，但设置的方法一样方便。可以使用ext3文件系统指定日志模式，由/etc/fstab启动时完成。例如，选择data=writeback日志模式，可以做如下设置： /dev/hda5 /opt ext3 data=writeback 1 0 在一般情况下，
网络发现是zabbix最具特色的功能之一，它能能够根据用户事先定义的规则自动添加监控主机或服务等，Zabbix的网络发现功能可以基于：
来源：Linux爱好者 ID：LinuxHub Linux文件管理从用户的层面介绍了Linux管理文件的方式。Linux有一个树状结构来组织文件。树的顶端为根目录(/)，节点为目录，而末端的叶子为包含数据的文件。当我们给出一个文件的完整路径时，我们从根目录出发，经过沿途各个目录，最终到达文件。 我们可以对文件进行许多操作，比如打开和读写。在Linux文件管理相关命令中，我们看到许多对文件进行操作的命令。它们大都基于对文件的打开和读写操作。比如cat可以打开文件，读取数据，最后在终端显示： $cat test
Linux文件管理从用户的层面介绍了Linux管理文件的方式。Linux有一个树状结构来组织文件。树的顶端为根目录(/)，节点为目录，而末端的叶子为包含数据的文件。当我们给出一个文件的完整路径时，我们从根目录出发，经过沿途各个目录，最终到达文件。 我们可以对文件进行许多操作，比如打开和读写。在Linux文件管理相关命令中，我们看到许多对文件进行操作的命令。它们大都基于对文件的打开和读写操作。比如cat可以打开文件，读取数据，最后在终端显示： $cat test.txt 对于Linux下的程序员来说，了解文件
2、在Linux中，元数据中的inode号（inode是文件元数据的一部分但其并不包含文件名，inode号即索引节点号）才是文件的唯一标识而不是文件名。（例如对一个文件重命名(mv)但inode号仍相同）。
从事IT运维工作5年,zabbix使用4年,擅长Zabbix、Shell、Python、java等，喜欢研究Zabbix以及Promethues等开源监控工具。
在Linux中文件被分为用户数据(user data)与元数据(metadata).
简单来说，“ 包管理器(package manager)”（或“软件包管理器”）是一种工具，它允许用户在操作系统上安装、删除、升级、配置和管理软件包。软件包管理器可以是像“软件中心”这样的图形化应用，也可以是像 apt-get 或 pacman 这样的命令行工具。
题图来自 My second impression of Rust and why I think it's a great general-purpose language![1]
作者：星辰算力平台 1. 背景 随着大数据、人工智能技术的蓬勃发展，人类对于算力资源的需求也迎来大幅度的增长。在腾讯内部，星辰算力平台以降本增效为目标，整合了公司的GPU训练卡资源，为算法工程师们提供统一的底层GPU算力服务。借助于虚拟化、算力挖掘等技术，平台服务公司内各BG的AI训练场景，GPU利用率业界领先。同时，通过云原生任务化的方式，对接了内部各大业务，促进了AI技术研究效率的提升和创新研究。 当下，由于AI训练时的高性能计算设备（如NVIDIA GPU）成本高昂，如果任务在训练过程中不能保证
随着数字化转型的工作推进，数据治理的工作已经被越来越多的公司提上了日程。作为新一代的元数据管理平台，Datahub在近一年的时间里发展迅猛，大有取代老牌元数据管理工具Atlas之势。国内Datahub的资料非常少，大部分公司想使用Datahub作为自己的元数据管理平台，但可参考的资料太少。
在 Linux 系统中，打包和压缩文件是常见的操作。不同的打包类型适用于不同的用途和需求。本文将详细介绍 5 种常见的 Linux 打包类型，包括tar、gzip、bzip2、zip 和 7z，以及它们的特点、使用方法和适用场景。
tar（tape archive）是一种常见的 Linux 打包工具，它主要用于将多个文件和目录打包成单个文件。tar 不会压缩文件，只是将文件集合在一起，以方便传输或备份。它的特点包括：
自从2015年初进行了xtts增量的U2L迁移测试之后，国内很多人都开始利用这种方案进行数据库跨平台迁移了，基本上都是利用Oracle 封装的perl脚本。其中Oracle MOS文档 11G – Reduce Transportable Tablespace Downtime using Cross Platform Incremental Backup (文档 ID 1389592.1) 明确提到目标端环境必须是Linux, 这里该文档中的一段原话： The source system may be a
大家知道Linux内核初始发布的时候使用的是Minix文件系统，但是该文件系统基本上就是一个玩具。它有很多限制，比如只能支持64MB的磁盘空间，而文件名最大只能11个字节等等。这些限制对于今天来看似乎是不可思议的。
我们知道linux系统内核的主要工作之一是管理系统中安装的物理内存，系统中内存是以page页为单位进行分配，每个page页的大小是4K，如果我们需要申请使用内存则内核的分配流程是这样的，首先内核会为元数据分配内存存储空间，然后才分配实际的物理内存页，再分配对应的虚拟地址空间和更新页表。
XFS文件系统进入内核已有15个年头，并且在那之前它就已经被用在运行IRIX的生产系统上5年之久。但是，就像Dave Chinner在他linux.conf.au 2018的演讲上一开始说的那样，现在也许是时候教这条文件系统界的“老狗”一些新的花招了。与一些更加现代的文件系统相比，XFS还缺少不少新特性，比如快照(snapshots)和子卷(subvolumes)；但是Dave正在思考如何给XFS增加这些特性并着手编码。
背景 计算机硬件性能在过去十年间的发展普遍遵循摩尔定律，通用计算机的CPU主频早已超过3GHz，内存也进入了普及DDR4的时代。然而传统硬盘虽然在存储容量上增长迅速，但是在读写性能上并无明显提升，同时SSD硬盘价格高昂，不能在短时间内完全替代传统硬盘。传统磁盘的I/O读写速度成为了计算机系统性能提高的瓶颈，制约了计算机整体性能的发展。 硬盘性能的制约因素是什么？如何根据磁盘I/O特性来进行系统设计？针对这些问题，本文将介绍硬盘的物理结构和性能指标，以及操作系统针对磁盘性能所做的优化，最后讨论下基于磁盘I/O
本文描述了为Linux ext2fs文件系统设计和实现事务元数据日志的工作进展。我们回顾了崩溃后恢复文件系统的问题，并描述了一种旨在通过向文件系统添加事务日志来提高ext2fs崩溃恢复速度和可靠性的设计。
默认情况下，Hive会使用Derby来存储元数据（主要是表、列、分区Partition的信息）。Derby是一个嵌入式的本地数据库，只能单进程进行访问，不允许多个连接。因此，Derby只适合本地测试，不适合用在生产环境。Hive支持使用单独的数据库来存储元数据，比如MySql、PostgreSql等，本文将介绍如何配置Hive使用MySql存储元数据。
作者 | 高昌健 当提到文件系统时，大部分人都很陌生。但实际上我们几乎每天都会使用它。比如，大家打开 Windows、macOS 或者 Linux，不管是用资源管理器还是 Finder，都是在和文件系统打交道。如果大家曾经手动安装过操作系统，一定会记得在第一次安装时需要格式化磁盘，格式化时就需要为磁盘选择使用哪个文件系统。 维基百科上的关于文件系统 [1] 的定义是： In computing, file system is a method and data structure that the
邓延军 (deng.yanjun@163.com), 硕士研究生, 西安电子科技大学软件工程研究所
在美国的大雪天气影响下，Linux 之父 Linus Torvalds 的家经历了 6 天断电，但他还是 2 月底赶出了 5.12-rc1 内核。
[root@controller ~]#yum install openstack-neutron openstack-neutron-ml2 openstack-neutron-linuxbridge python-neutronclient ebtables ipset
将一个字符串转换成一个整数(实现Integer.valueOf(string)的功能，但是string不符合数字要求时返回0)，要求不能使用字符串转换整数的库函数。数值为0或者字符串不是一个合法的数值则返回0。
RAIDZ vs RAID本质区别 传统RAID访问,如果出现坏块，上层应用也会读取到坏块 ZFS的RAIDZ访问,如果出现坏块，通过内部机制构造完整块给应用 ZFS存储池 设计用来管理物理设备，就像管理linux内核的虚拟内存一样 存储池内所有文件系统共享存储空间 存储池是由一颗树组成，叶子节点是物理磁盘设备，非叶子节点是逻辑设备(逻辑设备是按照mirror/raid-1或者其他存储模式通过叶子节点的物理设备构建起来的逻辑设备 ZFS内核架构 VFS:Linux内核的虚拟文件系统
lustre介绍 lustre是一个开源、分布式、高性能的分布式存储。lustre广泛被HPC领域使用。lustre目前仅仅支持本地数据容错，在未来版本2.16推出会支持EC，做到数据容错。 lustre 运行在linux操作系统，采用了C/S的网络架构。lustre的整个软件栈是在linux内核实现，提供统一的文件系统命名空间。 lustre组件介绍 MGS+MGT:MGS提供注册lustre server、lustre client以及lustre文件系统的配置信息。MGT是为MGS提供存储的stora
1）分配sk_buff内存给每个数据包，并在数据包传送到用户态时释放内存。这个过程需要消耗大量的总线cycle(从CPU传输数据到内存)；
种基础构件，包括队列、交换器、绑定、虚拟主机等，他们组成了AMQP协议消息通信的基础，而这些构件以元数据的形式存在
Doris 运行在 Linux 环境中，推荐 CentOS 7.x 或者 Ubuntu 16.04 以上版本，同时你需要安装 Java 运行环境，JDK最低版本要求是8。我们这里使用的是Linux Centos7.9版本，jdk为1.8。
不要使用此安装方式，讲述这种安装方式，仅仅用于测试hive默认使用derby数据库的缺陷。你可以在下面的安装步骤中看到，我连环境变量都没有配置。
当提到文件系统，大部分人都很陌生。但我们每个人几乎每天都会使用到文件系统，比如大家打开 Windows、macOS 或者 Linux，不管是用资源管理器还是 Finder，都是在和文件系统打交道。如果大家有自己动手装过操作系统的话，第一次安装的时候一定会有一个步骤就是要格式化磁盘，格式化的时候就需要选择磁盘需要用哪个文件系统。
在Linux 操作系统中，当应用程序需要读取文件中的数据时，操作系统会先分配一些内存，将数据从磁盘读入到这些内存中，然后再将数据发给应用程序；当需要往文件中写数据时，操作系统先分配内存接收用户数据，然后再将数据从内存写到磁盘上。然而，如果有大量数据需要从磁盘读取到内存或者由内存写入磁盘时，系统的读写性能就变得低下。因为无论是从磁盘读数据，还是写数据到磁盘，都是一个很消耗时间和系统资源的过程。
Docker多阶段构建是一个优秀的技术，可以显著减少 Docker 镜像的大小，从而加快镜像的构建速度，并减少镜像的传输时间和存储空间。本文将详细介绍 Docker 多阶段构建的原理、用途以及示例。
Mysql错误日志： Version: '5.1.34-percona-highperf-log' socket: '/home/mysql/mysql.sock' port: 3306 Source distribution 140324 5:00:02 InnoDB: Failed to set O_DIRECT on file /tmp/#sql593e_191_0.ibd: CREATE: Invalid argument, continuing anyway 140324 5:
文件系统是用来管理和组织保存在磁盘驱动器上的数据的系统软件，其实现了数据完整性的保证，也就是保证写入磁盘的数据和随后读出的内容的一致性。除了保存以文件方式存储的数据以外，一个文件系统同样存储和管理关于文件和文件系统自身的一些重要信息（例如：日期时间、属主、访问权限、文件大小和存储位置等等）。这些信息通常被称为元数据（metadata）。
大多数现代Linux发行版默认为ext 4文件系统，就像以前的Linux发行版默认为ext3、ext2，以及-如果追溯到足够远的话-ext。 如果您是Linux新手或者是文件系统新手，您可能会想知道ext 4给表带来了什么，而ext3却没有。考虑到诸如btrfs、XFS和ZFS等备用文件系统的新闻报道，您可能还想知道ext4是否还在积极开发中。 我们不能在一篇文章中涵盖所有关于文件系统的内容，但是我们将尝试让您了解Linux的默认文件系统的历史、它所处的位置以及所期待的内容。 我大量地引用了各种ext文件系统文章以及我在编写本概览时的经验。
Kubernetes 真正的超级功能之一是其开发者优先的网络模式，它提供了易于使用的功能，如 L3/L4 服务和 L7 入口，将流量引入集群，以及用于隔离多租户工作负载的网络策略。随着越来越多的企业采用 Kubernetes，围绕多云、安全、可视性和可扩展性的新要求，用例的范围也在扩大。此外，服务网格和 serverless 等新技术对 Kubernetes 底层的定制化提出了更多要求。这些新需求都有一些共同点：它们需要一个更加可编程的数据平面，能够在不牺牲性能的情况下执行 Kubernetes 感知的数据包操作。
当涉及到 Linux 系统的内存管理时，"Buffers" 和 "Cached" 是两个经常会引起混淆的术语。这两个概念都代表了系统内存的一部分，但它们的作用和工作方式有所不同。
文件系统要解决的一个关键问题是怎样防止掉电或系统崩溃造成数据损坏，在此类意外事件中，导致文件系统损坏的根本原因在于写文件不是原子操作，因为写文件涉及的不仅仅是用户数据，还涉及元数据(metadata)包括 Superblock、inode bitmap、inode、data block bitmap等，所以写操作无法一步完成，如果其中任何一个步骤被打断，就会造成数据的不一致或损坏。
在Rust源代码中，rust/library/std/src/sys/itron/time.rs文件是用于实现与ITRON操作系统相关的时间功能。ITRON是一种实时操作系统，被广泛用于嵌入式系统中。这个文件中定义了一些与时间相关的结构体和函数。
交互方式-用户接口：CLI（linux命令行）、WUI（hive web页面）、Client（连接远程服务HiveServer2，eg：JDBC、ODBC）
本系列的定位是对XTTS及相关技术进行深入的学习研究。作为本系列的开篇，本着实用性的原则，我先把一次实际生产环境U2L的迁移实战实施方案进行提炼简化，旨在能清楚说明该如何使用XTTS这种解决方案来进行U2L迁移，先达到可以跟着做下来的初级目标，如果有兴趣再去深入研究相关细节。
在Hadoop1.0的架构中，HDFS的所有的元数据都放在一个namenode中，只有一个namespace(名字空间)。这样随着HDFS的数据越来越多，单个namenode的资源使用必然会达到上限，而且namenode的负载也会越来越高，限制了HDFS的性能。
进入大数据时代，调查报道愈加成为信息战。从哪里收集有效数据？如何抽取、筛选、整合、分类大量琐碎的信息？如何分享、存储数据，并实现随取随用？钱塘君整理了一张数据收集和处理工具清单，分为八大类，方便实用，各有所长，供大家选择。 ---- 1.全文本搜索和挖掘的搜索引擎： 包括：搜索方法、技术：全文本搜索，信息检索，桌面搜索，企业搜索和分面搜索 开源搜索工具： Open Semantic Search：专门用于搜索自己文件的搜索引擎，同样的还有Open Semantic Desktop Search:可用于搜索单
Alluxio（/əˈlʌksio/）是大数据和机器学习生态系统中的数据访问层。最初作为研究项目「Tachyon」，它是在加州大学伯克利分校的 AMPLab 作为创建者 2013 年的博士论文创建的。Alluxio 于 2014 年开源。
项目地址：https://github.com/7ORP3DO/infoooze#-getting-started
Nacos是阿里zhuc中间件团队开源的一款服务发现、配置和管理微服务的中间件，关键的特性包括：
原作者：Bane Radulovic 译者： 庄培培 审核： 魏兴华 DBGeeK社群联合出品 ASM disk header ASM磁盘头可能是ASM元数据中最广为人知的部分。之前你可能认为当它被破坏或丢失时，只能寄希望于Oracle技术支持人员协助来恢复。在本节中将解释ASM磁盘头的重要性和它包含的信息。 Block zero ASM磁盘是以AU为单位进行格式化的，部分AU会存放ASM元数据，其他AU存放数据库中的相关数据（如数据文件、备份文件、归档文件等等）。包含ASM元数据的AU会以元数
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议
