比如:多事务的执行方法,当不止一个请求到来时候,前面都还没执行以及有许多工作需要完成这时候常常是串行执行、交叉并发执行、同时并发执行；
在好朋友lhelper的帮助下，开始学习全文搜索引擎lucene了。从网上搜索了一些全文搜索的资料后发现这方面的产品很多，光是在http://www.searchtools.com 上你可以查到100多个搜索的工具（包括源代码）。如果你在百度上以“全文搜索”为关键字 搜索的话，会发现除了理论上的介绍以外，大部分的实例都是来自lucene。为什么只有lucene这么广为接受呢？
在上一章当中，写了文件的生成过程。这一章主要讲解文件格式（V3版本）的具体细节。 1、字典文件格式详解 字典文件的作用是在存储的时候将字符串等类型转换为int类型，好处主要有两点： 1、减少存储占用空间 2、用在需要group by的字段上比较合适，可以减少计算时的shuffle的数据量。 每一个字典列都有对应的三种文件.dict, .sortindex, .dictmeta文件，输出格式都是thrift格式 1.1 .dict文件 字典的值每满1000就作为一个chunk输出一次，具体的类是ColumnD
RabbitMQ的持久化包含两个部分：队列索引(queue index)和消息存储(message store)。
很多小伙伴工作很长时间了，对于MySQL的掌握程度却仅仅停留在表面的CRUD，对于MySQL深层次的原理和技术知识了解的少之又少，随着工作年限的不断增长，职场竞争力却是不断降低的。很多时候，出去面试时，被面试官吊打的现象成了家常便饭。
可以看到这是一颗二叉排序树，时间复杂度是和二分查找差不多的。每次都可以舍掉一半的数据。
Lucene是目前最流行的Java开源搜索引擎类库,最新版本为7.4.0。Lucene通常用于全文检索,Lucene具有简单高效跨平台等特点,因此有不少搜索引擎都是基于Lucene构建的,例如:Elasticsearch,Solr等等。
众所周知，mysql等数据库的LIKE模糊搜索不支持索引，因此查询效率极低，需要结合第三方索引引擎程序(索引程序)来提高查询性能。
Lucene作为最优秀的开源搜索引擎，内部实现了复杂的架构和算法，用来支撑对海量数据的存储和搜索。Lucene的存储和搜索都与底层的索引文件息息相关，Lucene发展过程中，也不断对索引文件格式进行优化和调整：
Lucene是apache软件基金会4 jakarta项目组的一个子项目，是一个开放源代码的全文检索引擎工具包，但它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎（英文与德文两种西方语言）。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。Lucene是一套用于全文检索和搜寻的开源程式库，由Apache软件基金会支持和提供。Lucene提供了一个简单却强大的应用程式接口，能够做全文索引和搜寻。在Java开发环境里Lucene是一个成熟的免费开源工具。就其本身而言，Lucene是当前以及最近几年最受欢迎的免费Java信息检索程序库。人们经常提到信息检索程序库，虽然与搜索引擎有关，但不应该将信息检索程序库与搜索引擎相混淆。
作者个人研发的在高并发场景下，提供的简单、稳定、可扩展的延迟消息队列框架，具有精准的定时任务和延迟队列处理功能。自开源半年多以来，已成功为十几家中小型企业提供了精准定时调度方案，经受住了生产环境的考验。为使更多童鞋受益，现给出开源框架地址：
存储引擎 Storage engine：MySQL 中的数据、索引以及其他对象是如何存储的，是一套文件系统的实现。
首先学习一下 lucene 的索引文件结构。本文介绍 Field 相关信息的存储文件格式。
首先学习一下lucene的索引文件结构. 本文介绍 Field 相关信息的存储文件格式.
田春峰 欢迎订阅作者微博
Lucene的索引里面存了些什么，如何存放的，也即Lucene的索引文件格式，是读懂Lucene源代码的一把钥匙。
具体报错如下： Table '.\tablename' is marked as crashed and should be repaired 提示说论坛的帖子表posts被标记有问题，需要修复。我记得以前也出现过类似的问题,但是只要点击Phpmyadmin上的repair按纽就自动修复了,但是这次很绝,什么都没有.于是赶快上网查找原因。最终将问题解决。解决方法如下： 找到mysql的安装目录的bin/myisamchk工具，在命令行中输入： myisamchk -c -r ../data/tablename/table.MYI 然后myisamchk 工具会帮助你恢复数据表的索引。好象也不用重新启动mysql，问题就解决了。 问题分析： 1、 错误产生原因，有网友说是频繁查询和更新dede_archives表造成的索引错误，因为我的页面没有静态生成，而是动态页面，因此比较同意这种说法。 还有说法为是MYSQL数据库因为某种原因而受到了损坏，如：数据库服务器突发性的断电、在提在数据库表提供服务时对表的原文件进行某种操作都有可能导致 MYSQL数据库表被损坏而无法读取数据。总之就是因为某些不可测的问题造成表的损坏。 2、问题解决办法。 当你试图修复一个被破坏的表的问题时，有三种修复类型。如果你得到一个错误信息指出一个临时文件不能建立，删除信息所指出的文件并再试一次--这通常是上一次修复操作遗留下来的。 这三种修复方法如下所示： % myisamchk --recover --quick /path/to/tblName % myisamchk --recover /path/to/tblName % myisamchk --safe-recover /path/to/tblName 第一种是最快的，用来修复最普通的问题；而最后一种是最慢的，用来修复一些其它方法所不能修复的问题。 检查和修复MySQL数据文件 如果上面的方法无法修复一个被损坏的表，在你放弃之前，你还可以试试下面这两个技巧： 如 果你怀疑表的索引文件(*.MYI)发生了不可修复的错误，甚至是丢失了这个文件，你可以使用数据文件(*.MYD)和数据格式文件(*.frm)重新生 成它。首先制作一个数据文件(tblName.MYD)的拷贝。重启你的MySQL服务并连接到这个服务上，使用下面的命令删除表的内容： mysql> DELETE FROM tblName; 在 删除表的内容的同时，会建立一个新的索引文件。退出登录并重新关闭服务，然后用你刚才保存的数据文件(tblName.MYD)覆盖新的(空)数据文件。 最后，使用myisamchk执行标准的修复(上面的第二种方法)，根据表的数据的内容和表的格式文件重新生成索引数据。 如果你的表的 格式文件(tblName.frm)丢失了或者是发生了不可修复的错误，但是你清楚如何使用相应的CREATE TABLE语句来重新生成这张表，你可以重新生成一个新的.frm文件并和你的数据文件和索引文件(如果索引文件有问题，使用上面的方法重建一个新的)一 起使用。首先制作一个数据和索引文件的拷贝，然后删除原来的文件(删除数据目录下有关这个表的所有记录)。 启动MySQL服务并使用当初的CREATE TABLE文件建立一个新的表。新的.frm文件应该可以正常工作了，但是最好你还是执行一下标准的修复(上面的第二种方法)。
优点： 1.Elasticsearch是分布式的。不需要其他组件，分发是实时的，被叫做”Push replication”。 2.Elasticsearch 完全支持 Apache Lucene 的接近实时的搜索。 3.处理多租户（multitenancy）不需要特殊配置，而Solr则需要更多的高级设置。 4.Elasticsearch 采用 Gateway 的概念，使得完备份更加简单。 5.各节点组成对等的网络结构，某些节点出现故障时会自动分配其他节点代替其进行工作。 缺点：
具体报错如下： Table '.\Tablename\posts' is marked as crashed and should be repaired 提示说论坛的帖子表posts被标记有问题，需要修复。我记得以前也出现过类似的问题,但是只要点击Phpmyadmin上的repair按纽就自动修复了,但是这次很绝,什么都没有.于是赶快上网查找原因。最终将问题解决。解决方法如下： 找到mysql的安装目录的bin/myisamchk工具，在命令行中输入： myisamchk -c -r ../data/tablename/posts.MYI 然后myisamchk 工具会帮助你恢复数据表的索引。好象也不用重新启动mysql，问题就解决了。 问题分析： 1、 错误产生原因，有网友说是频繁查询和更新dede_archives表造成的索引错误，因为我的页面没有静态生成，而是动态页面，因此比较同意这种说法。 还有说法为是MYSQL数据库因为某种原因而受到了损坏，如：数据库服务器突发性的断电、在提在数据库表提供服务时对表的原文件进行某种操作都有可能导致 MYSQL数据库表被损坏而无法读取数据。总之就是因为某些不可测的问题造成表的损坏。 2、问题解决办法。 当你试图修复一个被破坏的表的问题时，有三种修复类型。如果你得到一个错误信息指出一个临时文件不能建立，删除信息所指出的文件并再试一次--这通常是上一次修复操作遗留下来的。 这三种修复方法如下所示： % myisamchk --recover --quick /path/to/tblName % myisamchk --recover /path/to/tblName % myisamchk --safe-recover /path/to/tblName 第一种是最快的，用来修复最普通的问题；而最后一种是最慢的，用来修复一些其它方法所不能修复的问题。 检查和修复MySQL数据文件 如果上面的方法无法修复一个被损坏的表，在你放弃之前，你还可以试试下面这两个技巧： 如 果你怀疑表的索引文件(*.MYI)发生了不可修复的错误，甚至是丢失了这个文件，你可以使用数据文件(*.MYD)和数据格式文件(*.frm)重新生 成它。首先制作一个数据文件(tblName.MYD)的拷贝。重启你的MySQL服务并连接到这个服务上，使用下面的命令删除表的内容： mysql> DELETE FROM tblName; 在 删除表的内容的同时，会建立一个新的索引文件。退出登录并重新关闭服务，然后用你刚才保存的数据文件(tblName.MYD)覆盖新的(空)数据文件。 最后，使用myisamchk执行标准的修复(上面的第二种方法)，根据表的数据的内容和表的格式文件重新生成索引数据。 如果你的表的 格式文件(tblName.frm)丢失了或者是发生了不可修复的错误，但是你清楚如何使用相应的CREATE TABLE语句来重新生成这张表，你可以重新生成一个新的.frm文件并和你的数据文件和索引文件(如果索引文件有问题，使用上面的方法重建一个新的)一 起使用。首先制作一个数据和索引文件的拷贝，然后删除原来的文件(删除数据目录下有关这个表的所有记录)。 启动MySQL服务并使用当初的CREATE TABLE文件建立一个新的表。新的.frm文件应该可以正常工作了，但是最好你还是执行一下标准的修复(上面的第二种方法)。
kdm,kdi,kdd 三个文件共同存储了Lucene中Point类型的数据及索引，Point存储及搜索过程中使用BKD树数据结构，因此这三个文件和BKD关系比较密切， 建议在阅读前了解相关的BKD树理论.
在我们之前的文章中，我们讨论了多模式索引[1]的设计，这是一种用于Lakehouse架构的无服务器和高性能索引子系统，以提高查询和写入性能。在这篇博客中，我们讨论了构建如此强大的索引所需的机制，异步索引机制的设计，类似于 PostgreSQL[2] 和 MySQL[3] 等流行的数据库系统，它支持索引构建而不会阻塞写入。
有网友联系我，说自己的dz站不小心删库了！本地没有备份，已经运维了好几年了。看能不能恢复，在咨询后发现他用的小皮面板，很显然没有做好备份功能！在查阅一番后，知道了自Mysql8.0后，当用户创建了数据库后，会在MySQL8.0.12\data目录下产生相应的恢复文档，用于后期的恢复！当然Mysql之前的版本也有这个功能，但是文件格式变了！
2. indexCreatedVersionMajor 该字段描述的是创建该segments_N文件时的lucene的版本，在读取阶段，索引文件可能被不同的版本的lucene读取，该值用来判断兼容性
导读：经过不断地迭代，如今Git的功能越来越完善和强大。然而Git的第一个提交源码仅约1000行，当时的Git实现了哪些功能？本文将从源码开始，分析其核心思想，挖掘背后优秀的设计原理。
fasta是一种常用的序列存储格式，GATK、IGV等软件对序列进行快速查找的时候通常需要建立fasta的索引文件。fa文件的索引为fai结尾的文件，可以使用samtools faidx命令创建，具体用法如下：
我们都知道日志聚合后的文件是存放在HDFS中的，然而每个application可能会有很多的container，每个container又有多个日志文件，那么日志聚合后，这些日志文件在HDFS中是怎样进行存放的。本文就来聊聊hadoop日志聚合后的文件格式及相关内容。
前言：目前自己在做使用Lucene.net和PanGu分词实现全文检索的工作，不过自己是把别人做好的项目进行迁移。因为项目整体要迁移到ASP.NET Core 2.0版本,而Lucene使用的版本是3.6.0 ，PanGu分词也是对应Lucene3.6.0版本的。不过好在Lucene.net 已经有了Core 2.0版本（4.8.0 bate版），而PanGu分词，目前有人正在做，貌似已经做完，只是还没有测试~，Lucene升级的改变我都会加粗表示。 Lucene.net 4.8.0 https://
MySQL索引的建立对于MySQL的高效运行是很重要的，索引可以大大提高MySQL的检索速度。
在了解Lucene索引的详细结构之前，先看看Lucene索引中的基本数据类型。
mysql 数据库作为现在互联网企业首选的数据库，我们程序员就应该对它多一些了解，我在拉勾训练营学到第五阶段啦，了解了mysql 整体架构，记录下来。
在最近工作中接触到了视频点播和直播业务，也了解到了一些流媒体的后端技术，这段时间希望将了解到的一些知识总结下来，这篇文章主要介绍 HLS 流媒体协议 的基础知识。
从InnoDB存储引擎的逻辑存储结构看，所有数据都被逻辑地存放在一个空间中，称之为表空间（tablespace）。表空间又由段（segment）、区（extent）、页（page）组成。页在一些文档中有时也称为块（block），InnoDB存储引擎的逻辑存储结构大致如下:
使用 SHOW INDEX 命令来列出表中的相关的索引信息。可以通过添加\G来格式化输出信息
一.索引的作用 一般的应用系统，读写比例在10:1左右，而且插入操作和一般的更新操作很少出现性能问题，遇到最多的，也是最容易出问题的，还是一些复杂的查询操作，所以查询语句的优化显然是重中之重。 在数据量和访问量不大的情况下，mysql访问是非常快的，是否加索引对访问影响不大。但是当数据量和访问量剧增的时候，就会发现mysql变慢，甚至down掉，这就必须要考虑优化sql了，给数据库建立正确合理的索引，是mysql优化的一个重要手段。 索引的目的在于提高查询效率，
在计算机科学领域，服务（Service）是指在计算机网络或分布式系统中执行的可独立访问的软件组件，它们提供特定的功能或任务。服务可以是网络服务，如Web服务器、数据库服务器，也可以是系统服务，如日志服务、时间同步服务。服务的目标是通过网络或系统调用为其他程序或用户提供某种功能，以促进系统的模块化和可扩展性。
今天楼主给大家列一下关于数据库几个常见问题的要点，如果大家对其中的问题感兴趣，可以自行扩展研究。
A 对象代码库文件 AAM Authorware shocked文件 AAS Authorware shocked包 ABF Adobe二进制屏幕字体 ABK CorelDRAW自动备份文件 ABS 该类文件有时用于指示一个摘要（就像在一篇有关科学方面的文章的一个摘要或概要，取自abstract） ACE Ace压缩档案格式 ACL CorelDRAW 6键盘快捷键文件 ACM Windows系统目录文件 ACP Microsoft office助手预览文件 ACR 美国放射医学大学文件格式 ACT Microsoft office助手文件 ACV OS/2的驱动程序，用于压缩或解压缩音频数据 AD After Dark屏幕保护程序 ADA Ada源文件（非-GNAT） ADB Ada源文件主体（GNAT）；HP100LX组织者的约定数据库 ADD OS/2用于引导过程的适配器驱动程序 ADF Amiga磁盘文件 ADI AutoCAD设备无关二进制绘图仪格式 ADM After Dark多模块屏幕保护；Windows NT策略模板 ADP FaxWork用于传真调制解调器的交互安装文件；Astound Dynamite文件 ADR After Dark随机屏幕保护；Smart Address的地址簿 ADS Ada源文件说明书（GNAT） AFM Adobe的字体尺度 AF2，AF3 ABC的FlowChat文件 AI Adobe Illustrator格式图形 AIF，AIFF 音频互交换文件，Silicon Graphic and Macintosh应用程序的声音格式 AIFC 压缩AIF AIM AOL即时信息传送 AIS ACDSee图形序列文件；Velvet Studio设备文件 AKW RoboHELP的帮助工程中所有A-关键词 ALAW 欧洲电话音频格式 ALB JASC Image Commander相册 ALL 艺术与书信库 AMS Velvet Studio音乐模块（MOD）文件；Extreme的Tracker模块文件 ANC Canon Computer的调色板文件，包含一系列可选的颜色板 ANI Windows系统中的动画光标 ANS ANSI文本文件 ANT SimAnt For Windows中保存的游戏文件 API Adobe Acrobat使用的应用程序设计接口文件 APR Lotus Approach 97文件 APS Microsoft Visual C++文件 ARC LH ARC的压缩档案文件 ARI Aristotle声音文件 ARJ Robert Jung ARJ压缩包文件 ART Xara Studio绘画文件；Canon Crayola美术文件；Clip Art文件格式；另一种光线跟踪格式；AOL使用的用Johnson—Grace压缩算法压缩的标记文件 ASA Microsoft Visual InterDev文件 ASC ASCⅡ文本文件；PGP算法加密文件 ASD Microsoft Word的自动保存文件；Microsoft高级流媒体格式（microsoft advanced streaming FORMat，ASF）的描述文件；可用NSREX打开 Velvet Studio例子文件 ASE Velvet Studio采样文件 ASF Microsoft高级流媒体格式文件 ASM 汇编语言源文件，Pro/E装配文件 ASO Astound Dynamite对象文件 ASP 动态网页文件；ProComm Plus安装与连接脚本文件；Astound介绍文件 AST Astound多媒体文件；ClarisWorks“助手”文件 ASV DataCAD自动保存文件 ASX Cheyenne备份脚本文件；Microsoft高级流媒体重定向器文件，视频文件 ATT AT< Group 4位图文件 ATW 来自个人软件的Any Time Deluxe For Windows个人信息管理员文件 AU Sun/NeXT/DEC/UNIX声音文件；音频U-Law（读作“mu-law”）文件格式 AVB Computer Associates Inoculan反病毒软件的病毒感染后文件 AVI Microsoft Audio Video Interleave电影格式 AVR Audio Visual Research文件格式 AVS 应用程序可视化格式 AWD FaxVien文档 AWR Telsis数字储存音频文件扩展名格式 Axx ARJ压缩文件的分包序号文件，用于将一个大文件压至几个小的压缩包中（xx取01-99的数字） A3L Authorware
索引用来快速地寻找那些具有特定值的记录，所有MySQL索引都以B-树的形式保存。如果没有索引，执行查询时MySQL必须从第一个记录开始扫描整个表的所有记录，直至找到符合要求的记录。表里面的记录数量越多，这个操作的代价就越高。如果作为搜索条件的列上已经创建了索引，MySQL无需扫描任何记录即可迅速得到目标记录所在的位置。
上一篇mysql面试的文章之后收到不少朋友的意见，希望深入讲讲复制、日志的格式这些，今天，我们就来深挖一下mysql的复制机制到底有哪一些，以及binlog和relay-log的结构到底是什么样子的。
前几天因为mysql数据库部分数据损坏原因，我尝试了下恢复数据，之后整理以下文档，供各位参考,
MySQL存储引擎有MyISAM、InnoDB、MEMORY、CVS、MRG_MyISAM、BLACKHOLE、SEQUENCE、ARCHIVE等，常用的有InnoDB、MyISAM和MEMORY，可以通过命令：
什么是jar包 JAR（Java Archive）是Java的归档文件，它是一种与平台无关的文件格式，它允许将许多文件组合成一个压缩文件。 如何打/解包 使用jdk/bin/jar.exe工具，配置完环境变量后直接使得jar命令即可。 jar命令格式 jar {c t x u f }[ v m e 0 M i ][-C 目录]文件名... {ctxu}，这四个参数必须选选其一。 [v f m e 0 M i]，这几个是可选参数，文件名也是必须的。 参数说明-c创建一个jar包-t显示jar中的内容列表-
Delta Lake 现阶段判定一条数据是不是已经存在是比较暴力的，直接做一次全表join（如果有分区会好点）。这样可以得到待更新记录所在的文件路径。在特定场景，这个开销会非常大。上次和一位朋友聊天，他对这个点也"耿耿于怀"。 尤其是做MySQL表同步的时候，通常是没有分区的，这就意味着每次都有一次全表扫描。
数据库引擎是用于存储、处理和保护数据的核心服务。利用数据库引擎可控制访问权限并快速处理事务，从而满足企业内大多数需要处理大量数据的应用程序的要求。 使用数据库引擎创建用于联机事务处理或联机分析处理数据的关系数据库。这包括创建用于存储数据的表和用于查看、管理和保护数据安全的数据库对象（如索引、视图和存储过程）。
Shapefile文件是美国ESRI公司发布的文件格式，因其ArcGIS软件的推广而得到了普遍的使用，是现在GIS领域使用最为广泛的矢量数据格式。官方称Shapefile是一种用于存储地理要素的几何位置和属性信息的非拓扑简单格式。
左边的数据表，一共有两列七条记录，最左边的是数据记录的物理地址。为了加快Col2的查找，可以维护一个右边所示的二叉查找树，每个节点分别包含索引键值，和一个指向对应数据记录物理地址的指针，这样就可以运用二叉查找在一定的复杂度内获取到对应的数据，从而快速检索出符合条件的记录。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
