通过这个 Node.js 和 MySQL 示例项目，我们将看看如何有效地处理 数十亿行 占用 数百GB 存储空间的数据。
Hive可以管理HDFS中的数据，可以通过SQL语句可以实现与MapReduce类似的同能，因为Hive底层的实现就是通过调度MapReduce来实现的，只是进行了包装，对用户不可见。 Hive对HDFS的支持只是在HDFS中创建了几层目录，正真的数据存在在MySql中，MYSQL中保存了Hive的表定义，用户不必关系MySQL中的定义，该层对用户不可见。Hive中的库在HDFS中对应一层目录，表在HDFS中亦对应一层目录，如果在对应的表目录下放置与表定义相匹配的数据，即可通过Hive实现对数据的可视化及查询等功能 综上所述，Hive实现了对HDFS的管理，通过MySQL实现了对HDFS数据的维度管理 Hive基本功能及概念 database table 外部表，内部表，分区表 Hive安装 1. MySql的安装（密码修改，远程用户登陆权限修改） 2. Hive安装获取，修改配置文件(HADOOP_HOME的修改，MySQL的修改) 3. 启动HDFS和YARN(MapReduce)，启动Hive Hive基本语法： 1. 创建库：create database dbname 2. 创建表：create table tbname Hive操作： 1. Hive 命令行交互式 2. 运行HiveServer2服务，客户端 beeline 访问交互式运行 3. Beeline 脚本化运行 3.1 直接在 命令行模式下 输入脚本命令执行(比较繁琐，容易出错，不好归档) 3.2 单独保存SQL 命令到 文件，如etl.sql ，然后通过Beeline命令执行脚本 数据导入： 1. 本地数据导入到 Hive表 load data local inpath "" into table .. 2. HDFS导入数据到 Hive表 load data inpath "" into table .. 3. 直接在Hive表目录创建数据 Hive表类型： 1. 内部表: create table 表数据在表目录下，对表的删除会导致表目录下的数据丢失，需要定义表数据的分隔符。 2. 外部表: create external table 表目录下挂载表数据，表数据存储在其他HDFS目录上，需要定义表数据的分隔符。 3. 分区表：与创建内部表相同，需要定义分区字段及表数据的分隔符。在导入数据时需要分区字段，然后会在表目录下会按照分区字段自动生成分区表，同样也是按照目录来管理，每个分区都是单独目录，目录下挂载数据文件。 4. CTAS建表 HQL 1. 单行操作：array，contain等 2. 聚合操作：(max,count,sum)等 3. 内连接，外连接（左外，右外，全外） 4. 分组聚合 groupby 5. 查询 : 基本查询，条件查询，关联查询 6. 子查询： 当前数据源来源于 另个数据执行的结果，即当前 table 为临时数据结果 7. 内置函数: 转换, 字符串, 函数 转换：字符与整形，字符与时间， 字符串：切割，合并， 函数：contain，max/min，sum， 8. 复合类型 map（key，value）指定字符分隔符与KV分隔符 array（value）指定字符分隔符 struct(name,value) 指定字符分割与nv分隔符 9. 窗口分析函数 10. Hive对Json的支持
在脚本之家看到的这篇文章(http://www.jb51.net/article/46401.htm)，转载过来：
使用 Kafka，如何成功迁移 SQL 数据库中超过 20 亿条记录？我们的一个客户遇到了一个 MySQL 问题，他们有一张大表，这张表有 20 多亿条记录，而且还在不断增加。如果不更换基础设施，就有磁盘空间被耗尽的风险，最终可能会破坏整个应用程序。而且，这么大的表还存在其他问题：糟糕的查询性能、糟糕的模式设计，因为记录太多而找不到简单的方法来进行数据分析。我们希望有这么一个解决方案，既能解决这些问题，又不需要引入高成本的维护时间窗口，导致应用程序无法运行以及客户无法使用系统。在这篇文章中，我将介绍我们的解决方案，但我还想提醒一下，这并不是一个建议：不同的情况需要不同的解决方案，不过也许有人可以从我们的解决方案中得到一些有价值的见解。
我们的一个客户遇到了一个 MySQL 问题，他们有一张大表，这张表有 20 多亿条记录，而且还在不断增加。如果不更换基础设施，就有磁盘空间被耗尽的风险，最终可能会破坏整个应用程序。而且，这么大的表还存在其他问题：糟糕的查询性能、糟糕的模式设计，因为记录太多而找不到简单的方法来进行数据分析。我们希望有这么一个解决方案，既能解决这些问题，又不需要引入高成本的维护时间窗口，导致应用程序无法运行以及客户无法使用系统。在这篇文章中，我将介绍我们的解决方案，但我还想提醒一下，这并不是一个建议：不同的情况需要不同的解决方案，不过也许有人可以从我们的解决方案中得到一些有价值的见解。
1. 什么是表分区 2. 分区的两种方式 2.1 水平切分 2.2 垂直切分 3. 为什么需要表分区 4. 分区实践 4.1 RANGE 分区 4.2 LIST 分区 4.3 HASH 分区 4.4 KEY 分区 4.5 COLUMNS 分区 5. 常见分区命令 6. 小结 松哥之前写过文章跟大家介绍过用 MyCat 实现 MySQL 的分库分表，不知道有没有小伙伴研究过，MySQL 其实也自带了分区功能，我们可以创建一个带有分区的表，而且不需要借助任何外部工具，今天我们就一起来看看。 1. 什么是表分区
当我们需要比较复杂的表的时候，且我们有明确的列信息，就可以使用AI工具直接生成我们的DDL语句，如果需要插入一些DML语句也可以直接让其生成，自行执行插入即可。
CAP 理论是一个很好的思考框架，它对分布式系统的特性做了高度抽象，比如抽象成了一致性、可用性和分区容错性，并对特性间的冲突（也就是 CAP 不可能三角）做了总结。一旦掌握它，你就像拥有了引路人，自然而然就能根据业务场景的特点进行权衡，设计出适合的分区容错一致性模型。
有赞大数据技术应用的早期，我们使用 Sqoop 作为数据同步工具，满足了 MySQL 与 Hive 之间数据同步的日常开发需求。
在网易集团内部有大大小小几百套 hive 集群，为了满足网易猛犸大数据平台的元数据统一管理的需求，我们需要将多个分别独立的 hive 集群的元数据信息进行合并，但是不需要移动 HDFS 中的数据文件，比如可以将 hive2、hive3、hive4 的元数据全部合并到 hive1 的元数据 Mysql 中，然后就可以在 hive1 中处理 hive2、hive3、hive4 中的数据。
http://www.searchdoc.cn/rdbms/mysql/dev.mysql.com/doc/refman/5.7/en/index.com.coder114.cn.html
存储引擎:可以看作是数据表存储数据的一种格式，不同的格式具有的特性也各不相同。 举例说明:只有InnoDB存储引擎支持事务、外键、行级锁等特性，而MyISAM则支持压缩机制等特性。 存储引擎的特点:本身是MySQL数据库服务器的底层组件之一，最大的特点是采用“可插拔”的存储引擎架构。 “可插拔”的理解:指的是对正在运行的MySQL服务器依然可根据实际需求使用特定语句加载（插入，INSTALL PLUGIN语句）或卸载（拔出，UNINSTALL PLUGIN语句）所需的存储引擎文件。
昨天内容中说了MySQL5.6引入了online DDL，但是没有详细的展开说，这块儿内容比较多，只能一点一点的写了，今天再来看这里的内容。
之前刚学Spark时分享过一篇磨炼基础的练习题，➤Ta来了，Ta来了，Spark基础能力测试题Ta来了!，收到的反馈还是不错的。于是，在正式结课Spark之后，博主又为大家倾情奉献一道关于Spark的综合练习题，希望大家能有所收获✍
我们创建一个表，并生成两个表分区CUS_PART1,CUS_PART2.关于分区的分类可以参考https://www.cnblogs.com/wnlja/p/3979684.html
文件系统负责组织数据的存储和恢复方式。 无论如何，随着时间的推移，文件系统可能会被破坏，并且可能无法访问它的某些部分。 如果您的文件系统出现这种不一致，建议验证其完整性。
今天有一个朋友问我一个MySQL的建表问题，问题的现象是创建表失败，根据他的反馈，问题比较奇怪， CREATE TABLE XXX ..此处省略260多个字段 `xxxxIsAllowIn` varchar(4) COLLATE utf8_bin DEFAULT NULL COMMENT 'xx是否准入(是，否)', `xxxxIsAllowIn` varchar(30) COLLATE utf8_bin DEFAULT NULL COMMENT '理财-准入', PRIMARY KEY (
//如果哪里有问题的话我们可以一起讨论( qq: 2970911340,邮箱+@qq.com),这也是我第一次写博客 练练手
分区是一种表的设计模式，通俗地讲表分区是将一大表，根据条件分割成若干个小表。但是对于应用程序来讲，分区的表和没有分区的表是一样的。换句话来讲，分区对于应用是透明的，只是数据库对于数据的重新整理。本篇文章给大家带来的内容是关于MySQL中分区表的介绍及使用场景，有需要的朋友可以参考一下，希望对你有所帮助。
这篇文章将详细地介绍MySQL的高可用解决方案—— MySQL InnoDB Cluster。
普通索引：(index) 对关键字没有要求，如果一个索引在多个字段提取关键字，称为复合索引
2016 年，我们发表了关于 Schemaless—Uber Engineering 的可扩展数据存储的博文（一、二）。在这两篇博文中，我们介绍了 Schemaless 的设计，并解释了开发它的原因。今天这篇文章我们将要讲的是 Schemaless 向通用事务性数据库 Docstore 的演化历程。
MySQL从5.1版本开始支持分区的功能。分区是指根据一定的规则，数据库把一个表分解成多个更小的、更容易管理的部分。就访问数据库的应用而言，逻辑上只有一个表或一个索引，但是实际上这个表可能由数十个物理分区对象组成，每个分区都是一个独立的对象，可以独自处理，可以作为表的一部分进行处理。分区对应用来说是完全透明的，不影响应用的业务逻辑。 MySQL分区的优点主要包括以下4个方面： 和单个磁盘或者文件系统分区相比，可以存储更多数据。 优化查询：在Where子句中包含分区条件时，可以只扫描必要的一个或多个分区来
我们都知道，随着业务量的增长，数据量也会随之增加，这个时候就需要关注业务大表，因为大表会影响查询性能，DDL变更时间很长，影响业务的可用性，同时导致从库延迟很大，如果业务做了读写分离，导致用户重复操作产生脏数据，例如重复下单。
MySQL有9种存储引擎，不同的引擎，适合不同的场景，我们最常用的，可能就是InnoDB，应该是从5.5开始，就成为了MySQL的默认存储引擎。
如果你使用过 Google 或 YouTube，那么你很可能已经访问过分片数据。分片通过将数据分区存储在多个服务器上，而不是将所有内容放在一个巨大的服务器上，以实现扩展数据库的目的。这篇文章将介绍数据库分片的工作原理、思考如何给你自己的数据库分片，以及其他一些有用的、可以提供帮助的工具，尤其是针对 MySQL 和 Postgres。
《高性能MySQL》中：分区的一个主要目的是将数据按照一个较粗的粒度分在不同的表中，这样做可以将相关的数据放在一起，另外，如果想一次批量删除整个分区的数据也会变得很方便。
1、为什么要分表？ 数据库数据越来越大，随之而来的是单个表中数据太多。以至于查询速度变慢，而且由于表的锁机制导致应用操作也搜到严重影响，出现了数据库性能瓶颈。 mysql中有一种机制是表锁定和行锁定，是为了保证数据的完整性。表锁定表示你们都不能对这张表进行操作，必须等我对表操作完才行。行锁定也一样，别的sql必须等我对这条数据操作完了，才能对这条数据进行操作。当出现这种情况时，我们可以考虑分表或分区。
数据库数据越来越大，随之而来的是单个表中数据太多。以至于查询速度变慢，而且由于表的锁机制导致应用操作也搜到严重影响，出现了数据库性能瓶颈。
转自：https://github.com/alibaba/RocketMQ/wiki/rmq_vs_kafka 淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件，使用MySQL作为消息存储媒介，可完全水平扩容，为了进一步降低成本，我们认为存储部分可以进一步优化，2011年初，Linkin开源了Kafka这个优秀的消息中间件，淘宝中间件团队在对Kafka做过充分Review之后，Kafka无限消息堆积，高效的持久化速度吸引了我们，但是同时发现这个消息系统主要定位于日志传输，对于使用在淘宝交易、订
1. 主：binlog线程——记录下所有改变了数据库数据的语句，放进master上的binlog中；
MySQL数据库与 Oracle、 SQL Server 等数据库相比，有其内核上的优势与劣势。我们在使用MySQL数据库的时候需要遵循一定规范，扬长避短。本规范旨在帮助或指导RD、QA、OP等技术人员做出适合线上业务的数据库设计。在数据库变更和处理流程、数据库表设计、SQL编写等方面予以规范，从而为公司业务系统稳定、健康地运行提供保障。
MySQL是一种流行的开源关系型数据库管理系统，它可以在多种操作系统上运行。下面是MySQL的安装和配置步骤：
反复安装+上网百度，终于发现虚拟机安装CentOS6.2时不能进入图形化安装的问题，竟然是内存小于1G的问题（CentOS5.5在内存512M时也能进行图形化安装）。
分区是将一个表的数据按照某种方式，逻辑上仍是一个表，也就是所谓的分区表。分区引入了分区键的概念，分区键用于根据某个区间值(或者范围值)、特定值列表或者hash函数值执行数据的聚集，让数据根据规则分布在不同的分区中，让一个大对象变成一些小对象，从而实现对数据的分化管理。作为MySQL数据库中的一个重要机制，MySQL分区表优点和限制也是一目了然的，然而又能够同时实现共存。
在一些系统中有时某张表会出现百万或者千万的数据量，尽管其中使用了索引，查询速度也不一定会很快。这时候可能就需要通过分库，分表，分区来解决这些性能瓶颈。
系统设计中，这三点只能取其二，一般的分布式系统要求必须有分区容错性。剩下的只能从 C 或者 A 中取舍。
MySQL是一种常用的关系型数据库管理系统，分区表是一种在MySQL数据库中处理大规模数据的最佳方案之一。分区表技术可以将一个大型的表按照某种规则进行拆分成多个小型表，每个小型表称为一个分区，从而提高系统性能、快速处理海量数据和节省存储空间。
23. 总成绩大于150分，且数学大于等于70，且年龄大于等于19岁的学生的平均成绩是多少？
在大型数据库系统中，查询和检索数据的性能通常是一个关键问题。在MySQL中，如果单表数据量过大，查询的性能通常会变得很低。
搞懂AbstractFetcherThread的processPartitionData、truncate、buildFetch等方法，就掌握了拉取线程的处理逻辑。串联起这三个方法的doWork方法就能完整理解Follower副本应用拉取线程（即ReplicaFetcherThread线程），从Leader副本获取消息并处理的流程了。
前言：分区是指根据一定的规则，数据库把一个表分解成多个更小的，更容易管理的部分。分区对应用来说是完全透明的，不影响应用的业务逻辑。
简单来说，微服务架构就是把传统的一个单体应用以一套"小服务"的方式进行开发，这些"小服务"可以运行在不同机器上，它们在自己的进程中运行，"小服务"之间可以通过像是 HTTP API 这样的轻量级的机制进行通信,这些"小服务"紧紧围绕项目的业务需求开发，同时，它们是以业务边界进行划分成独立的微服务。这些微服务看似独立又像是一个整体，构成了一个业务集群。
MySQL 8.0.21 版本已于昨日发布（dev.mysql.com），开始对一些术语如 Master / Slave 等做了替换。下面是来自官方团队对此版本的重点功能解读。
从表面意思上看，MySQL分表就是将一个表分成多个表，数据和数据结构都有可能会变。MySQL分表分为垂直分表和水平分表。
在“集群”标签，勾选“使用集群”，然后定义三个分区。这里的分区实际指的是数据库实例，需要指定自定义的分区ID，数据库实例的主机名（IP）、端口、数据库名、用户名和密码。定义分区的目的是为了从某一个分区甚至某一个物理数据库读取和写入数据。一旦在数据库连接里面定义了数据库分区，就可以基于这个信息创建了一个分区schema。
数据库分区是一种物理数据库设计技术。虽然分区技术可以实现很多效果，但其主要目的是为了在特定的SQL操作中减少数据读写的总量以缩减sql语句的响应时间，同时对于应用来说分区完全是透明的。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
