Hive作为Hadoop生态圈重要的一员已经被我们所熟知，它作为一个基于Hadoop的数据仓库工具，用来做离线的数据分析工作。那么什么是数据仓库，它与我们经常使用的数据库有什么不同呢？
决策支持系统（DSS）：综合利用大量数据有机组合众多模型（数据模型及数据处理模型）通过人机交互。辅助各级决策者实现科学决策的系统。
1.如有错误欢迎大家指出，我会及时更正，有什么不懂也可以留言提问，互相交流吗。 2.也许大家觉得这没什么，但是我会认真对待，把它当成我的笔记、心得、这样才能提升自己。
1、echo 命令 打开回显或关闭请求回显功能，或显示消息。如果没有任何参数，echo [批处理与联机处理] 批处理与联机处理 命令将显示当前回显设置。 语法 echo [{on|off}] [message] Sample：@echo off / echo hello world 在实际应用中我们会把这条命令和重定向符号（也称为管道符号，一般用> >> ^）结合来实现输入一 些命令到特定的文件中。 2、举例： 第一步：建立批处理文件 第二步：写代码 @echo
1865 年，Richard Millar Devens 在“商业和商业轶事百科全书”中提出了“商业智能”(BI) 一词。” 他用它来描述银行家亨利弗内斯爵士如何通过在竞争前收集信息并根据信息采取行动而从中获利。最近，在 1958 年，一位名叫汉斯·彼得·卢恩 (Hans Peter Luhn) 的 IBM 计算机科学家撰写了一篇文章，描述了通过使用技术收集商业智能 (BI) 的潜力。
前言： 如果碎片程度小于30%，建议使用重组而不是重建。因为重组不会锁住数据页或者数据表，并且降低CPU的资源。 总得来说，重组会清空当前的B-TREE，特别是索引的叶子节点，重组数据页和消除碎片。和重建不同，重组不会添加任何新数据页。 准备工作： 为了了解是否有必要重组索引，需要首先查看碎片程度，如果在10%以下，那一般没必要做什么维护，如果在10%~30%，就建议进行重组。 步骤： 1、 以下各种重组索引的方法： --不指定参数重组索引： ALTER INDEX [idx_refno] ON [or
TiDB 作为一款高效稳定的开源分布式数据库，在国内外的银行、证券、保险、在线支付和金融科技行业得到了普遍应用，并在约 20 多种不同的金融业务场景中支撑着用户的关键计算。在TiDB 在金融行业关键业务场景的实践（上篇）中，我们介绍了 TiDB 在银行核心交易场景的应用，本篇文章将主要分享 TiDB 在核心外围的关键业务场景的实践。
TPS，为Transaction processing systems的缩写，是一个事务处理系统，又称为电子数据处理系统(electronic data processing system，EDPS)，它是指面向企业最底层的管理系统，对企业日常运作所产生的事务信息进行处理。
一、背景 1.1.什么是批量处理 1.2.批量处理拥有广泛的使用场景 1.3.批量处理需要良好的架构设计 二、批量处理中的关键设计 2.1从SpringBatch看批量任务设计模式 2.2任务调度设计 三、总结 一、背景 1.1.什么是批量处理 维基百科给批量处理的定义是指在没有人工干预的情况下，由一个计算机程序基于一份批量的输入执行一系列的任务的一种处理模式。这句话可能有点拗口，简单来说，批量处理是一种处理模式，这种模式在进行数据处理时，输入数据一般包含多条，处理过程中一般没有人工交互。而另一种主流的
数据仓库 ( Data Warehousing ) 和 联机分析处理 ( OLAP ) 技术 简介 :
分析型系统进行联机数据分析，一般的数据来源是数据仓库，而数据仓库的数据来源为可操作型系统，可操作型 系统的数据来源于业务数据库中，那么我们常用的数据仓库的组成和架构一般如下图所示
数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。
数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。
通常来说，我们把业务分为来两类，在**线事务处理系统（OLTP）和在线分析系统（OLAP）**或者DSS（决策支持系统），这两类系统在数据库的设计上是如此的不同，甚至有些地方的设计是像相悖的。
看做什么，如果不需要对数据进行实时处理，那么大部分情况下都需要把数据从hbase/mysql（数据库）“导入”到hive（数据仓库）中进行分析。“导入”的过程中会做一些元数据转换等操作。 相关知识如下 数据仓库的几个概念 http://www.ppvke.com/Blog/archives/27862 什么是OLTP？ 联 机事务处理系统(OLTP)，也称为面向交易的处理系统，其基本特征是顾客的原始数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果。也 称为实时系统(Real time S
1、当今的数据处理大致可以分成两大类： 联机事务处理On-Line Transaction Processing 联机分析处理On-Line Analytical Processing
现在越来越多的企业开始使用商业智能BI软件，用来整合企业中现有的各种数据，对这些数据按照不同的需求进行处理分析，并快速准确地形成分析报告，为企业决策提供数据支持，帮助企业做出明智的业务经营决策。
TLDR：本综述收集了最新的面向搜索与推荐应用的多样性论文，并在统一的组织体系下总结了该方向的方法类型、评价指标和所用技术。另外，对现有的多样性技术进行详细分析并提出了分类法，同时讨论其优点和缺点。最后，本文给出了该方向的开放性问题，并讨论了未来研究方向。
人们在谈商业智能（BI）时，经常会提到OLAP，有的人可能认为OLAP工具就是BI。其实OLAP仅是BI的一部分，是很重要的一项分析技术。那什么是OLAP呢？
是传统的关系型数据库(Oracle、Mysql...)的主要应用，主要是基本的、日常的事务处理，数据量小(千万级)，准确性及一致性要求高，例如银行交易，商城订单交易。
OLAP（On-Line Analytical Processing）即联机分析处理，通过对数据大量分析，得出分析报告，提供决策支持，其侧重数据分析能力，比喻说用户行为分析。
OLTP 是 Online Transaction Processing 的简称，是一个联机事务处理系统，主要目标是数据处理而不是数据分析。OLTP 系统的主要关注点是记录事务当前的更新，插入以及删除操作。OLTP 的查询比较简短，因此需要比较少的处理时间以及比较少的空间。
联机事务处理（OLTP, online transactional processing）系统：涵盖组织机构大部分的日常操作，purchasing, inventory, banking,manufacturing, payroll, registration, accounting
1. 多维数据库简介 多维数据库（Multi Dimesional Database,MDD）可以简单地理解为：将数据存放在一个n维数组中，而不是像关系数据库那样以记录的形式存放。因此它存在大量稀疏矩阵，人们可以通过多维视图来观察数据。多维数据库增加了一个时间维，与关系数据库相比，它的优势在于可以提高数据处理速度，加快反应时间，提高查询效率。MDD的信息是以数组形式存放的，所以它可以在不影响索引的情况下更新数据。因此MDD非常适合于读写应用。 1.1. 关系数据库存在的问题 利用SQL进行关系数据库查询的局限性： 1) 查询因需要“join”多个表而变得比较烦琐 ，查询语句(SQL) 不好编程； 2) 数据处理的开销往往因关系型数据库要访问复杂数据而变得很大。 关系型数据库管理系统本身局限性： 1) 数据模型上的限制 关系数据库所采用的两维表数据模型，不能有效地处理在大多数事务处理应用中，典型存在的多维数据。其不可避免的结果是，在复杂方式下，相互作用表的数量激增，而且还不能很好地提供模拟现实数据关系的模型。关系数据库由于其所用数据模型较多，还可能造成存储空间的海量增加和大量浪费，并且会导致系统的响应性能不断下降。而且，在现实数据中，有许多类型是关系数据库不能较好地处理的 。 2) 性能上的限制 为静态应用例如报表生成，而设计的关系型数据库管理系统，并没有经过针对高效事务处理而进行的优化过程。其结果往往是某些关系型数据库产品，在对GUI和Web的事务处理过程中，没有达到预期的效果。除非增加更多的硬件投资，但这并不能从根本上解决问题。 用关系数据库的两维表数据模型，可以处理在大多数事务处理应用中的典型多维数据，但其结果往往是建立和使用大量的数据表格，仍很难建立起能模拟现实世界的数据模型。并且在数据需要作报表输出时，又要反过来将已分散设置的大量的两维数据表，再利用索引等技术进行表的连接后，才能找到全部所需的数据，而这又势必影响到应用系统的响应速度。 3) 扩展伸缩性上的限制 关系数据库技术在有效支持应用和数据复杂性上的能力是受限制的。关系数据库原先依据的规范化设计方法，对于复杂事务处理数据库系统的设计和性能优化来说，已经无能为力。此外，高昂的开发和维护费用也让企业难以承受。 4) 关系数据库的检索策略，如复合索引和并发锁定技术，在使用上会造成复杂性和局限性。 1.2. 多维数据库的相关定义 维（Dimension）：是人们观察数据的特定角度，是考虑问题时的一类属性，属性集合构成一个维（时间维、地理维等）。 维的层次（Level）：人们观察数据的某个特定角度（即某个维）还可以存在细节程度不同的各个描述方面（时间维：日期、月份、季度、年）。 维的成员（Member）：维的一个取值，是数据项在某维中位置的描述。（“某年某月某日”是在时间维上位置的描述）。 度量（Measure）：多维数组的取值。（2000年1月，上海，笔记本电脑，0000）。 OLAP的基本多维分析操作有钻取（Drill-up和Drill-down）、切片（Slice）和切块（Dice）、以及旋转（Pivot）等。 钻取：是改变维的层次，变换分析的粒度。它包括向下钻取（Drill-down）和向上钻取（Drill-up）/上卷(Roll-up)。Drill-up是在某一维上将低层次的细节数据概括到高层次的汇总数据，或者减少维数；而Drill-down则相反，它从汇总数据深入到细节数据进行观察或增加新维。 切片和切块：是在一部分维上选定值后，关心度量数据在剩余维上的分布。如果剩余的维只有两个，则是切片；如果有三个或以上，则是切块。 旋转：是变换维的方向，即在表格中重新安排维的放置（例如行列互换）。 1.3. 多维数据库的特点 后关系型数据库的主要特征是将多维处理和面向对象技术结合到关系数据库上。这种数据库使用强大而灵活的对象技术，将经过处理的多维数据模型的速度和可调整性结合起来。由于它独有的可兼容性，对于开发高性能的交换处理应用程序来说，后关系型数据库非常理想.在后关系型数据库管理系统中，采用了更现代化的多维模型，作为数据库引擎。并且，这种以稀疏数组 为基础的独特的多维数据库架构，是从已成为国际标准的数据库语言基础上继承和发展的，是已积累了实践经验的先进而可靠的技术。 多维数据模型能使数据建模更加简单，因为开发人员能够方便地用它来描述出复杂的现实世界结构，而不必忽略现实世界的问题，或把问题强行表现成技术上能够处理的形态，而且多维数据模型使执行复杂处理的时间大大缩短。例如开发一个服装连锁店信息管理系统时，如果用关系数据库，就需要建立许多表，一张表用来说明每种款式所具有的颜色和尺寸，另一张表用来建立服装和供应商之间的映射，并表示它是否已被卖出，此外还需要建一些表来表示价格变化、各店的库存等等。每成交一笔生意，所有这些表都需要修改，很快这些关系数据库就会变得笨重而
OLAP的标准概念叫作“联机分析处理系统”，与之对应的是OLTP“联机事务处理系统”。OLTP对于事务性的要求非常高，常用于银行、证券等系统，但运行速度相对有限。有感于此，关系数据库之父Codd便在1993年提出了OLAP的概念，认为用户的很多决策需要依赖大量的计算与多维的分析才能解决，并作为一类单独的产品，与OLTP区分开来。
对于sql开发人员来说，需要了解开发的数据库应用于哪种类型，下面对数据库的应用做了分类
0x00 前言 整理一些数据仓库中的常用概念。大部分概念不是照搬书上的准确定义，会加入很多自己的理解。 0x01 概念 数据仓库（Data Warehouse） 数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。 个人理解，数据仓库不单单是一个概念，其实算是对数据管理和使用的一种方法论，它包括了如何合理地收集数据、如何规范的管理数据、如何优雅地使用数据，以及任务调度、数据血统分析等一系列内容。 在大数
DB（Database）数据库 ODS（Operational Data Store）运营数据存储 DW（Data Warehouse）数据仓储 DM（Data Market）数据集市
转载来源: https://www.cnblogs.com/ivan-uno/p/9051225.html
数据仓库（数仓）与大数据区别，数据仓库（数仓）与数据库的区别，大数据与传统数据库的区别等等，这篇文章带你了解。
情况说明： 现在需要做一个数据存储，500w左右的数据，日后每天大约产生5w条左右的数据。想把这些数据存储起来，供日后的数据分析用？使用上面说的三种数据库中的哪中比较好？是否有必要建立集群？ 个人看法是：从长远角度看，由于单台机器的性能瓶颈，后期肯定要做集群，单纯的做复制最终也无法缓解单台master上读的负担。因此，使用mysql的话会使用cluser。但是了解到mysql的cluser要用好的化还要做负载均衡，而mysql的均衡器是第三方的，无法很好的与mysql整合。使用mongodb的自动分片集
之前介绍了数据库的两种最常见的存储模型：NSM 和 DSM （列式存储的起源：DSM），今天介绍这两种存储模型和 HTAP 的联系。
大家好呀！这里是爱学习的 Guide！今天给大家科普一个速度快到飞起的数据库——ClickHouse。
情况说明： 现在需要做一个数据存储，500w左右的数据，日后每天大约产生5w条左右的数据。想把这些数据存储起来，供日后的数据分析用？使用上面说的三种数据库中的哪中比较好？是否有必要建立集群？ 个人看法是：从长远角度看，由于单台机器的性能瓶颈，后期肯定要做集群，单纯的做复制最终也无法缓解单台master上读的负担。因此，使用mysql的话会使用cluser。但是了解到mysql的cluser要用好的化还要做负载均衡，而mysql的均衡器是第三方的，无法很好的与mysql整合。使用mongodb的自动分片集群能
在上一章节《你需要的不是实时数仓 | 你需要的是一款强大的OLAP数据库(上)》，我们讲到实时数仓的建设，互联网大数据技术发展到今天，各个领域基本已经成熟，有各式各样的解决方案可以供我们选择。
操作型处理，叫联机事务处理 OLTP（On-Line Transaction Processing，），也可以称面向交易的处理系统，它是针对具体业务在数据库联机的日常操作，通常对少数记录进行查询、修改。用户较为关心操 作的响应时间、数据的安全性、完整性和并发支持的用户数等问题。传统的数据库系统作为数据管理的 主要手段，主要用于操作型处理。
数据仓库的基本特征包括以下几个方面：1)数据仓库面向主题。2)数据集成。3)数据相对稳定。4)数据反映历史变化。
数据库(OLTP)、数据仓(OLAP)是数据应用本身孵化出的孪生兄弟，却又代表数据应用的两面性。
场景描述：今年有个现象，实时数仓的建设突然就被大家所关注。我个人在公众号也写过和转载过几篇关于实时数据仓库建设的文章和方案。
根据数据的使用特征，可简单做如下划分。在选择技术平台之前，我们需要做好这样的定位。
Han Hsiao 观点： 简单说：数据挖掘就是从海量数据中找到隐藏的规则，数据分析一般要分析的目标比较明确，数据统计则是单纯的使用样本来推断总体。 主要区别： “数据分析”的重点是观察数据，“数据挖掘”的重点是从数据中发现“知识规则”KDD（Knowledge Discover in Database），数据统计的重点是参数估计和假设检验。 1. “数据分析、数据统计”得出的结论是人的智力活动结果，“数据挖掘”得出的结论是机器从学习集（或训练集、样本集）发现的知识规则。 2. “数据分析”需要人工
在数据库中，窄表和宽表是两种设计思想，分别指的是列数少或者列数多的表格。
多维数组架构使用多维数组来存储数据，以提高查询和分析性能。例如，MOLAP（多维在线分析处理）数据库采用这种架构。
这几天看了一些专业的解释，还是对ODS、DW和DM认识不够深刻，所以就查了相关的资料，分享给大家一起学习。
二者对比 对比属性 OLTP OLAP 读特性 每次查询只返回少量记录 对大量记录进行汇总 写特性 随机、低延时写入用户的输入 批量导入 使用场景 用户，Java EE项目 内部分析师，为决策提供支持 数据表征 最新数据状态 随时间变化的历史状态 数据规模 GB TB到PB
OLTP是事件驱动、面向应用的，也称为面向交易的处理过程。其基本特征是前台接收的用户数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果，是对用户操作的快速响应。例如银行类、电子商务类的交易系统就是典型的OLTP系统。其具备以下特点：
联机事务处理过程（On-Line Transaction Processing）也就是我们通常称之的OLTP。 联机分析处理过程（On-Line Analysis Processing）则被称为OLAP。
数据库技术对于数据分析有着非常重要的意义，了解数据库技术的基础是每一个分析师的必备素质。
很多小伙伴在日常接触中接触国产数据库很少，大部分在开发应用上使用的是由甲骨文，微软等公司提供了MySQL，SQLserver。普通程序员很少能用到newSQl数据库，TiDB就是一种newSQL数据库，在大趋势下，向国际对接是避免不了的，但也存在一个问题，近期看到新闻国外某知名数据库厂商宣布称“暂停在俄罗斯的所有业务”，相信很多国内小伙伴的心情，绝不是隔岸观火，而是细思恐极。数据库产品一直都是国内人员的焦点话题，面对现如今全球的“非常时期”，国产数据库到底能不能支棱起来呢？今天呢我就带领大家认识国产数据库TiDB数据库。为什么要介绍TiDB呢，看图说话。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
