文件的逻辑结构是用户组织文件时可见的结构，即用户所观察到的文件组织形式。文件的逻辑结构是用户可以直接处理的数据及其结构，它独立于物理特性，又称为文件组织。
ORACLE 数据库系统是美国 ORACLE 公司（甲骨文）提供的以分布式数据库为核心的一组软件产品，是目前最流行的客户/服务器(CLIENT/SERVER)或 B/S 体系结构的数据库之一。比如SilverStream 就是基于数据库的一种中间件。
Kafka中的Message是以topic为基本单位组织的，不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建top
Kafka中的Message是以topic为基本单位组织的，不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的)，每个partition存储一部分Message。借用官方的一张图，可以直观地看到topic和partition的关系。
Oracle介绍 ORACLE数据库系统是美国ORACLE公司（甲骨文）提供的以分布式 数据库为核心的一组软件产品，是目前最流行的客户/服务器(CLIENT/SERVER)或B/S体系结构的数据库之一。比如SilverStream就是基于数据库的一种中间件。ORACLE数据库是目前世界上使用最为广泛的数据库管理系统，作为一个通用的数据库系统，它具有完整的数据管理功能；作为一个关系数据库，它是一个完备关系的产品；作为分布式数据库它实现了分布式处理功能。但它的所有知识，只要在一种机型上学习了ORACLE知识，便
Milvus 作为一款开源的特征向量相似度搜索引擎，其开源半年以来，在全球已经有数百家企业或组织用户。这些用户涉及各个领域，包括金融、互联网、电商、生物制药等。在部分用户的生产场景中，其数据大多是持续地、动态地生成，且要求这些动态生成的数据入库后能很快被检索到。
学习是一个循序渐进的过程，从面到点、从宏观到微观，逐步渗透,各个击破，对于Oracle, 怎么样从宏观上来理解呢？先来看一个图，这个图取自于教材，这个图对于从整体上理解ORACLE 的体系结构组件，非常关键。
对于一个数据库系统来说，假设这个系统没有运行，我们所能看到的和这个数据库相关的无非就是几个基于操作系统的物理文件，这是从静态的角度来看,如果从动态的角度来看呢,也就是说这个数据库系统运行起来了，能够对外提供服务了，那就意外着数据库系统启动了自己的一个实例，综合以上2个角度，Oracle如何定义上述描述呢？
1、为什么要使用数据库？ 数据库技术是计算机科学的核心技术之一。使用数据库可以高效且条理分明地存储数据、使人们能够更加迅速、方便地管理数据。数据库具有以下特点： ·可以结构化存储大量的数据信息，方便用户进行有效的检索和访问 ·可以有效地保持数据信息的一致性.完整性,降低数据冗余 ·可以满足应用的共享和安全方面的要求 2、数据库的基本概念 ⑴什么是数据？ 数据就是描述事物的符号记录，数据包括数字、文字、图形、声音、图像等；数据在数据库中以“记录”的形式存储，相同格式和类型的数据将存放在一起；数据库中，每一行数据就是一条“记录”。 ⑵什么是数据库和数据库表？ 不同的记录组织在一起就是数据库的“表”，也就数说表就是来存放数据的，而数据库就是“表”的集合。 ⑶什么是数据库管理系统？ 数据库管理系统(DBMS)是实现对数据库资源有效组织、管理和存取的系统软件。它在操作系统的支持下，支持用户对数据库的各种操作。DBMS主要有以下功能： ·数据库的建立和维护功能：包括建立数据库的结构和数据的录入与转换、数据库的转储与恢复、数据库的重组与性能监视等功能 ·数据定义功能：包括定义全局数据结构、局部逻辑数据结构、存储结构、保密模式及数据格式等功能。保证存储在数据库中的数据正确、有效和相容，以防止不合语义的错误数据被输入或输出, ·数据操纵功能：包括数据查询统计和数据更新两个方面 ·数据库的运行管理功能：这是数据库管理系统的核心部分，包括并发控制、存取控制、数据库内部维护等功能 ·通信功能：DBMS与其他软件之间的通信 ⑷什么是数据库系统？ 数据库系统是一人一机系统，一由硬件、操作系统、数据库、DBMS、应用软件和数据库用户组成。 ⑸数据库管理员（DBA） 一般负责数据库的更新和备份、数据库系统的维护、用户管理工作、保证数据库系统的正常运行。 3、数据库的发展过程 ·初级阶段-第一代数据库：在这个阶段IBM公司研制的层次模型的数据库管理系统-IMS问世 ·中级阶段-关系数据库的出现：DB2的问世、SQL语言的产生 ·高级阶段-高级数据库：各种新型数据库的产生；如工程数据库、多媒体数据库、图形数据库、智能数据库等 4、数据库的三种模型 ·网状模型：数据关系多对多、多对一，较复杂 ·层次模型：类似与公司上下级关系 ·关系模型：实体（实现世界的事物、如×××、银行账户）-关系 5、当今主流数据库 ·SQLServer：Microsoft公司的数据库产品，运行于windows系统上。 ·Oracle：甲骨文公司的产品；大型数据库的代表，支持linux、unix系统。 ·DB2：IBM公司的德加·考特提出关系模型理论，13年后IBM的DB2问世 ·MySQL：现被Oracle公司收购。运行于linux上，Apache和Nginx作为Web服务器，MySQL作为后台数据库，PHP/Perl/Python作为脚本解释器组成“LAMP”组合 6、关系型数据库 ⑴基本结构 关系数据库使用的存储结构是多个二维表格，即反映事物及其联系的数据描述是以平面表格形式体现的。在每个二维表中，每一行称为一条记录，用来描述一个对象的信息：每一列称为一个字段，用来描述对象的一个属性。数据表与数据库之间存在相应的关联，这些关联用来查询相关的数据。关系数据库是由数据表之间的关联组成的。其中： ·数据表通常是一个由行和列组成的二维表，每一个数据表分别说明数据库中某一特定的方面或部分的对象及其属性 ·数据表中的行通常叫做记录或者元组，它代表众多具有相同属性的对象中的一个 ·数据表中的列通常叫做字段或者属性，它代表相应数据库中存储对象的共有的属性 ⑵主键和外键 主键：是唯一标识表中的行数据，一个主键对应一行数据；主键可以有一个或多个字段组成；主键的值具有唯一性、不允许为控制（null）；每个表只允许存在一个主键。 外键：外键是用于建立和加强两个表数据之间的链接的一列或多列；一个关系数据库通常包含多个表，外键可以使这些表关联起来。 ⑶数据完整性规则 ·实体完整性规则：要求关系中的元组在主键的属性上不能有null ·域完整性规则：指定一个数据集对某一个列是否有效或确定是否允许null ·引用完整性规则：如果两个表关联，引用完整性规则要求不允许引用不存在的元组 ·用户自定义完整性规则 7、SQLServer系统数据库 master数据库：记录系统级别的信息，包括所有的用户信息、系统配置、数据库文件存放位置、其他数据库的信息。如果该数据库损坏整个数据库都将瘫痪无法使用。 model数据库：数据库模板 msdb数据库：用于SQLServer代理计划警报和作业 tempdb数据库：临时文件存放地点
PostgreSQL 是一个很有意思的数据库，在使用中有一些习惯可以在同等的硬件下，更加有效的使用硬件提供的资源，让管理和使用POSTGRESQL 获得更多的性能。下面就说说一些使用POSTGRESQL 的习惯。
从今天开始DB2相关的内容 系统为 Redhat 7.4 数据库为 v10.5fp10 上节我们说了如何建立DB2实例，这节内容为建立数据库 DB2中一个实例下可以有多个数据库，一个数据库只能属于一个实例 1. 建立数据库目录 首先我们建立存放容器(数据文件)的目录 这里我们假设建立的数据库名称为testdb su - root mkdir /db2data cd /db2data mkdir db2_archive tbs_data backup cd /db2data/tbs_data m
MATLAB 允许你使用数据在另一个应用程序读取 ASCII 文件，MATLAB提供了多种数据输出选项。
具体报错如下： Table '.\tablename' is marked as crashed and should be repaired 提示说论坛的帖子表posts被标记有问题，需要修复。我记得以前也出现过类似的问题,但是只要点击Phpmyadmin上的repair按纽就自动修复了,但是这次很绝,什么都没有.于是赶快上网查找原因。最终将问题解决。解决方法如下： 找到mysql的安装目录的bin/myisamchk工具，在命令行中输入： myisamchk -c -r ../data/tablename/table.MYI 然后myisamchk 工具会帮助你恢复数据表的索引。好象也不用重新启动mysql，问题就解决了。 问题分析： 1、 错误产生原因，有网友说是频繁查询和更新dede_archives表造成的索引错误，因为我的页面没有静态生成，而是动态页面，因此比较同意这种说法。 还有说法为是MYSQL数据库因为某种原因而受到了损坏，如：数据库服务器突发性的断电、在提在数据库表提供服务时对表的原文件进行某种操作都有可能导致 MYSQL数据库表被损坏而无法读取数据。总之就是因为某些不可测的问题造成表的损坏。 2、问题解决办法。 当你试图修复一个被破坏的表的问题时，有三种修复类型。如果你得到一个错误信息指出一个临时文件不能建立，删除信息所指出的文件并再试一次--这通常是上一次修复操作遗留下来的。 这三种修复方法如下所示： % myisamchk --recover --quick /path/to/tblName % myisamchk --recover /path/to/tblName % myisamchk --safe-recover /path/to/tblName 第一种是最快的，用来修复最普通的问题；而最后一种是最慢的，用来修复一些其它方法所不能修复的问题。 检查和修复MySQL数据文件 如果上面的方法无法修复一个被损坏的表，在你放弃之前，你还可以试试下面这两个技巧： 如 果你怀疑表的索引文件(*.MYI)发生了不可修复的错误，甚至是丢失了这个文件，你可以使用数据文件(*.MYD)和数据格式文件(*.frm)重新生 成它。首先制作一个数据文件(tblName.MYD)的拷贝。重启你的MySQL服务并连接到这个服务上，使用下面的命令删除表的内容： mysql> DELETE FROM tblName; 在 删除表的内容的同时，会建立一个新的索引文件。退出登录并重新关闭服务，然后用你刚才保存的数据文件(tblName.MYD)覆盖新的(空)数据文件。 最后，使用myisamchk执行标准的修复(上面的第二种方法)，根据表的数据的内容和表的格式文件重新生成索引数据。 如果你的表的 格式文件(tblName.frm)丢失了或者是发生了不可修复的错误，但是你清楚如何使用相应的CREATE TABLE语句来重新生成这张表，你可以重新生成一个新的.frm文件并和你的数据文件和索引文件(如果索引文件有问题，使用上面的方法重建一个新的)一 起使用。首先制作一个数据和索引文件的拷贝，然后删除原来的文件(删除数据目录下有关这个表的所有记录)。 启动MySQL服务并使用当初的CREATE TABLE文件建立一个新的表。新的.frm文件应该可以正常工作了，但是最好你还是执行一下标准的修复(上面的第二种方法)。
携手创作，共同成长！这是我参与「掘金日新计划 · 8 月更文挑战」的第18天，点击查看活动详情 >>
rosedb 是一个稳定、高性能、快速、内嵌的 k-v 数据库，支持多种数据结构，包含 String、List、Hash、Set、Sorted Set，接口名称风格和 Redis 类似。
具体报错如下： Table '.\Tablename\posts' is marked as crashed and should be repaired 提示说论坛的帖子表posts被标记有问题，需要修复。我记得以前也出现过类似的问题,但是只要点击Phpmyadmin上的repair按纽就自动修复了,但是这次很绝,什么都没有.于是赶快上网查找原因。最终将问题解决。解决方法如下： 找到mysql的安装目录的bin/myisamchk工具，在命令行中输入： myisamchk -c -r ../data/tablename/posts.MYI 然后myisamchk 工具会帮助你恢复数据表的索引。好象也不用重新启动mysql，问题就解决了。 问题分析： 1、 错误产生原因，有网友说是频繁查询和更新dede_archives表造成的索引错误，因为我的页面没有静态生成，而是动态页面，因此比较同意这种说法。 还有说法为是MYSQL数据库因为某种原因而受到了损坏，如：数据库服务器突发性的断电、在提在数据库表提供服务时对表的原文件进行某种操作都有可能导致 MYSQL数据库表被损坏而无法读取数据。总之就是因为某些不可测的问题造成表的损坏。 2、问题解决办法。 当你试图修复一个被破坏的表的问题时，有三种修复类型。如果你得到一个错误信息指出一个临时文件不能建立，删除信息所指出的文件并再试一次--这通常是上一次修复操作遗留下来的。 这三种修复方法如下所示： % myisamchk --recover --quick /path/to/tblName % myisamchk --recover /path/to/tblName % myisamchk --safe-recover /path/to/tblName 第一种是最快的，用来修复最普通的问题；而最后一种是最慢的，用来修复一些其它方法所不能修复的问题。 检查和修复MySQL数据文件 如果上面的方法无法修复一个被损坏的表，在你放弃之前，你还可以试试下面这两个技巧： 如 果你怀疑表的索引文件(*.MYI)发生了不可修复的错误，甚至是丢失了这个文件，你可以使用数据文件(*.MYD)和数据格式文件(*.frm)重新生 成它。首先制作一个数据文件(tblName.MYD)的拷贝。重启你的MySQL服务并连接到这个服务上，使用下面的命令删除表的内容： mysql> DELETE FROM tblName; 在 删除表的内容的同时，会建立一个新的索引文件。退出登录并重新关闭服务，然后用你刚才保存的数据文件(tblName.MYD)覆盖新的(空)数据文件。 最后，使用myisamchk执行标准的修复(上面的第二种方法)，根据表的数据的内容和表的格式文件重新生成索引数据。 如果你的表的 格式文件(tblName.frm)丢失了或者是发生了不可修复的错误，但是你清楚如何使用相应的CREATE TABLE语句来重新生成这张表，你可以重新生成一个新的.frm文件并和你的数据文件和索引文件(如果索引文件有问题，使用上面的方法重建一个新的)一 起使用。首先制作一个数据和索引文件的拷贝，然后删除原来的文件(删除数据目录下有关这个表的所有记录)。 启动MySQL服务并使用当初的CREATE TABLE文件建立一个新的表。新的.frm文件应该可以正常工作了，但是最好你还是执行一下标准的修复(上面的第二种方法)。
数据库的体系结构是指数据库的组成、工作过程、以及数据库中数据的组织与管理机制，要了解Oracle数据库的体系结构，必须理解Oracle系统的主要组件和重要概念。
数据文件和日志文件是数据库中最关键的文件。它们是数据存储的地方。每一个数据库至少有一个与之相关的数据文件，通常情况下不仅仅一个，有非常多。数据在数据文件里是怎样组织的？要了解这些内容我们首先必须理解什么是表空间（tablespace）、段（segment）、区（extent）、块（block），这些都是oracle数据库在数据文件里组织数据的基本单元。如今我们来理解这些概念。 块是数据存储的物理单位，也是数据文件里最基础的单位，数据直接存储在块上。是oracle空间分配的最小单位。oracle中的块大小常见的有三种，2KB、4KB、8KB。块的大小在数据库创建时就已经固定下来，数据库中每一个块的大小都是同样的，并且全部的块都有同样的格式，由“块头＋表文件夹＋行文件夹＋空暇空间＋数据空间”组成。块头包括着块类型（比方是表块、还是索引块）的信息、磁盘上块的位置等信息。表文件夹（table directory），假设有的话，包括着此块中存储各行的表的信息（假设一个块中存有多个表中的数据）。行文件夹（row directory）包括着数据行的描写叙述信息，它是一个指针数组，指示了每一行在数据块中的物理位置。块头、表文件夹、行文件夹统称为块开销（block overhead），是oracle原来统计、管理块本身的。剩下的两部分非常easy，已经存有数据的就是数据空间，临时没存的就是空暇空间。 区又叫盘区，是数据文件里一个连续的分配空间，它比块要大，由块组成。有些对象分配空间时可能至少须要两个盘区，比方回滚段，而这两个盘区不一定要求相连。区的大小从一个块到2GB不等 段是oracle数据库中的分配单位，对象如表、索引等都是以段为单位进行分配。当创建一个表时将创建一个表段，创建一个索引时就创建一个索引段。每个消耗存储空间的对象终于被存储到一个单一的段中。有回滚段、暂时段、聚簇段、索引段等。 表空间是一个逻辑容器，它和数据文件关联起来，一个表空间至少有一个数据文件与之关联。一个表空间能够有多个段，一个段仅仅能属于一个表空间。 方案（schema）又叫模式，是比表空间小一级的逻辑概念，它也是一个逻辑容器。多个用户可能共用一个表空间，那怎样区分开每个用户？那么在表空间中对每个用户都有一个相应的方案，用于保存单个用户的信息。 oracle中存储的层次结构总结例如以下： 一、数据库由一个或多个表空间组成 二、表空间由一个或多个数据文件组成，一个表空间包括多个段 三、段由一个或多个区组成 四、区是数据文件里一个连续的分配空间，由一个或多个块组成 五、块是数据库中最小、最主要的单位，是数据库使用的最小的I/O单元 六、每一个用户都有一个相应的方案
--==========================================
PS：本项目将在D盘下创建名为Test的文件夹（D:/Test) 。如若想修改文件位置，需在后续代码中一并修改。
mysql索引: 是一种帮助mysql高效的获取数据的数据结构，这些数据结构以某种方式引用数据，这种结构就是索引。可简单理解为排好序的快速查找数据结构。如果要查“mysql”这个单词，我们肯定需要定位到m字母，然后从下往下找到y字母，再找到剩下的sql。
如何加快查询，最直接有效的办法就是增加索引，在不使用索引的情况下试图采用其他方式加快查询就是在浪费时间。本文先介绍下MySQL索引的基本数据结构，再对索引的基本规则做下总结。
表空间是一个逻辑概念，物理上对应一个或多个数据文件 datafile 或临时文件 tempfiles,逻辑上表空间是存储段的容器。（段也是逻辑概念，是数据库中的对象如表、索引等）
提示：公众号展示代码会自动折行，建议横屏阅读 1 MLOG CHECKPOINT是什么 在MySQL 5.7存储引擎InnoDB崩溃恢复中，我们一定看到过MLOG_CHECKPOIN的身影。从上一个检查点(LOG CHECKPOINT)开始，进行第一次redo日志扫描(参考函数recv_group_scan_log_recs() )，就是要找到MLOG_CHECKPOINT。那么MLOG_CHECKPOINT是用来做什么的？ 大家都知道在InnoDB恢复的过程，是先应用redo日志，再执行undo操作。
结论 如果不清楚自己应该用什么引擎，那么请选择InnoDB，Mysql5.5+的版本默认引擎都是InnoDB，早期的Mysql版本默认的引擎是MyISAM ---- MyISAM 和 InnoDB的适用场景 MyISAM适合：(1)做很多count 的计算；(2)插入不频繁，查询非常频繁；(3)没有事务。 InnoDB适合：(1)可靠性要求比较高，或者要求事务；(2)表更新和查询都相当的频繁，并且表锁定的机会比较大的情况。 ---- MyISAM 和 InnoDB的区别 1)MyISAM类型不支持事务处理等
在Oracle中，实例指的是数据库启动后的后台进程和内存，它和数据库是一一对应的，不过在RAC中一个数据库对应多个实例。在一个Server上一般只有一个数据库实例。
一、Oracle 表空间的组成 Everoone knows Oracle数据库真正存放数据的是数据文件,Oracle表空间是逻辑上的概念,他在物理上是并不存在的,把多个DataFile合并到一起就是
Zookeeper作为TDBank系统的一个重要模块，我们运营它已经两年多。在使用过程中，我们也遇到了一些问题及走过很多弯路，本文主要对zookeeper运营经验进分享。 Zookeeper在TDBank中的使用场景 TDBank主要利用zookeeper实现配置管理、配置更新通知、节点主备容灾、节点心跳管理等。使用到的模块包括消息中间件Tube、流式处理平台storm、分拣中心TDSort及配置管理中心TDManager，各模块利用zookeeper的功能如下 Tube 我们利用zookeeper
小心，有一个ORA-600的错误正在靠近。 对于Oracle的管理员来说，600是一个熟悉而陌生的数字，熟悉的是很多的用户都会遇到几次，陌生的是绝大数情况下都束手无策。这类错误一般oracle程序异常
Zookeeper作为TDBank系统的一个重要模块，我们运营它已经两年多。在使用过程中，我们也遇到了一些问题及走过很多弯路，本文主要对zookeeper运营经验进分享。 Zookeeper在TDBank中的使用场景 TDBank主要利用zookeeper实现配置管理、配置更新通知、节点主备容灾、节点心跳管理等。使用到的模块包括消息中间件Tube、流式处理平台storm、分拣中心TDSort及配置管理中心TDManager，各模块利用zookeeper的功能如下 Tube 我们利用zookeep
ORACLE 数据库的逻辑单元。 数据库—表空间 一个表空间可以与多个数据文件（物理结构）关联
Kafka作为大数据技术生态的重要组件，尤其是实时流数据处理场景下，作为分布式生产/消费系统，得到广泛的重用。而Kafka在数据生产和消费上，日志是主要的场景。今天的大数据开发学习分享，我们就来讲讲kafka日志结构的基础。
最近运维中时常涉及到MongoDB的维护工作，今天详细梳理下MongoDB数据存储方面的内容。首先需要深入了解的一个概念：Memeory-Mapped Files 通过上图可以看出MongoDB数据库
作为《手撕MySQL》系列的第二篇文章，今天介绍一下MySQL的二进制日志（bin log），注意不要和MySQL的InnoDB存储引擎特有的重写日志（redo log）混淆，bin log是记录所有数据库表数据及表结构变更的二进制日志（不会记录查询操作），借助这个日志可以实现：数据恢复和 主从复制（不难理解，因为所有涉及变更的操作都记录了下来，可以追溯）。
重新分配分区后，新增分区要等几分钟后才可被触发使用 多分区场景下，kafka服务端lag 有负数情况，目前官方修复为最多-1,此bug并不影响数据的准确性，客户端消费依然是正常
我在多年以前写下的DBA四大守则，其中的一条是“不以规矩，不成方圆”。任何一个企业的运维环境，都需要基本的规矩和准则，有所遵守、有所规范，才能保持长治久安，不出或少出低级错误和纰漏。运维的核心就应当是
随着问问题的同学越来越多，公众号内部私信回答问题已经很困难了，所以建立了一个群，关于各种数据库的问题都可以，目前主要是 POSTGRESQL, MYSQL ,MONGODB ,POLARDB ,REDIS 等，期待你的加入，加群请添加微信liuaustin3.
MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。属于NoSQL（非关系型数据库）。
Redo日志是Oracle为确保已经提交的事务不会丢失而建立的一种机制。实际上，Redo日志的存在是为两种场景准备的，一种称之为实例恢复（Instance Recovery），一种称之为介质恢复（Media Recovery）。
索引项的顺序与表中记录的物理顺序一致。对于聚集索引，叶子结点即存储其真实的数据行，不再有另外单独的数据页。
在Windows环境下如果做数据的备份、转移和还原是非常简单的，直接使用可视化的操作，然后通过远程桌面操作，同时可以通过远程桌面或者文件夹共享的方式将备份文件转移到另外一台服务器上。
Oracle中逻辑结构包括表空间（TABLESPACE）、段（SEGMENT）、区（EXTENT）和块（BLOCK）。数据库由表空间构成，而表空间又是由段构成，而段又是由区构成，而区又是由Oracle块构成，即块→区→段→表空间→数据库。
-----------------------接Part 8-------------------
索引：是一种特殊的文件，它们包含着对数据表里所有记录的引用指针。更通俗的说，数据库索引好比是一本书前面的目录，能加快数据库的查询速度。
很多小伙伴工作很长时间了，对于MySQL的掌握程度却仅仅停留在表面的CRUD，对于MySQL深层次的原理和技术知识了解的少之又少，随着工作年限的不断增长，职场竞争力却是不断降低的。很多时候，出去面试时，被面试官吊打的现象成了家常便饭。
在打开的编辑窗口输入以下SQL命令：注意，命令中所有标点符号及括号都必须是英文状态下的半角符号。
Oracle数据库是数据的物理存储。这就包括(数据文件ORA或者DBF、控制文件、联机日志、参数文件)。其实 Oracle数据库的概念和其它数据库不一样,这里的数据库是一个操作系统只有一个库。可以看作是 Oracle就只有一个大数据库。
oracle分两块，oracle数据库软件和oracle数据库。oracle数据库软件位置通过以下命令可以找到：
最近主要在研究大数典型应用adhoc query，要实现秒级的adhoc query，通常有3种思路： 1、用搜索技术，将查询都建立索引，然后用搜索技术来实现。这种技术目前主要限制是索引建立和存储成本高，索引建立不及时，例如支付宝的higo。 2、实时计算，对不能指定维度的查询，理论上认为是实时计算，每个列上建立函数索引，这种典型的代表是mesa。关于mesa，前面我有篇简单的介绍性文章《mesa介绍:google 近实时数据仓库系统》，深入的大家可以看一看google的论文。淘宝的garuda公开的材料来
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
