数据库是“一类软件”，这样的软件能够针对数据进行管理（增删改查） 存储数据用文件就可以了，为什么要做数据库呢？ 文件保存数据有以下几个缺点：
统计信息，没有数据是没有的，但统计信息怎么收集，标准是什么，怎么使用，就值得去看看了。
这里需要提示一下，在获取金额和数量的是时候一定要进行类型转换，否则会报类型错误。
Java集合是Java提供的工具包，位于java.util.*中，包含了集合、链表、队列、栈、数组、映射等常见的数据结构。
“磁盘”这个词，对于程序员来说并不陌生，我们知道它是一种存储介质，主要用来存储数据的，可以说常用的中间件基本上都离不开它，比如我们常用的MySQL数据库、kafka消息引擎，甚至redis缓存都离不开磁盘。
3）尽量避免NULL：很多表都包含可为NULL（空值）的列，通常情况下最好指定为NOT NULL。因为如果查询中包含可为NULL的列，对于Mysql来说更难优化。
http://www.searchdoc.cn/rdbms/mysql/dev.mysql.com/doc/refman/5.7/en/index.com.coder114.cn.html
1、选择索引的数据类型 MySQL支持很多数据类型，选择合适的数据类型存储数据对性能有很大的影响。通常来说，可以遵循以下一些指导原则： (1)越小的数据类型通常更好：越小的数据类型通常在磁盘、内存和CPU缓存中都需要更少的空间，处理起来更快。 (2)简单的数据类型更好：整型数据比起字符，处理开销更小，因为字符串的比较更复杂。在MySQL中，应该用内置的日期和时间数据类型，而不是用字符串来存储时间；以及用整型数据类型存储IP地址。 (3)尽量避免NULL：应该指定列为NOT NULL，除非你想存储NULL。在
schema就是数据库对象的集合，这个集合包含了各种对象如：表、视图、存储过程、索引等。为了区分不同的集合，就需要给不同的集合起不同的名字，默认情况下一个用户对应一个集合，用户的schema名等于用户名，并作为该用户缺省schema。所以schema集合看上去像用户名。
KUDU 支持用户对一个表指定一个范围分区规则和多个 Hash 分区规则，如下图：
数据库系列数据类型整理 一、Oracle 数据库 （11g） 1.1 oracle 数据库的基础数据类型 1.2 字符型 1.3 数值型 1.4 日期型 1.5 其他类型 二、MySQL数据库 （5.5） 2.1 整形 2.2 浮点型 2.3 日期和时间型 2.4 字符类型 2.5 mysql 数据库常用类型总结 学到哪里整理到哪里 一、Oracle 数据库 （11g） 1.1 oracle 数据库的基础数据类型 字符型 数值型 日期型 其他类型 （存储大对象数据类型） 1.2 字符型 比如我们要存储学校
当CPU处理数据时，它会先到Cache中去寻找，如果数据因之前的操作已经读取而被暂存其中，就不需要再从随机存取存储器（Main memory）中读取数据——由于CPU的运行速度一般比主内存的读取速度快，主存储器周期（访问主存储器所需要的时间）为数个时钟周期。因此若要访问主内存的话，就必须等待数个CPU周期从而造成浪费。
从以奖励为基础的尝试中建立真实的客户关系 一个忠诚度系统不应当是关于积分、奖励或地位的。虽然这些福利可以吸引消费者，但它们不能培养起忠诚度。这些系统的重点应当是，收集大量数据以便用于构建既有利于消费者又有利于品牌的关系。 在这里“有用”非常关键——因为消费者其实并不真正在乎企业是否保持数据简洁并且具有相关性。每个人在这一点或者其他某一点上可能在一项关于忠诚度的注册表上对他们的年龄撒谎，这已经不是什么秘密了。或选择不回答调查问题，故意或者无意地提供了不正确的数据，或以他们永不检查的、垃圾邮件地址作为联系方式。
索引是什么？为什么要有mysql 索引，解决了什么问题，其底层的原理是什么？为什么使用B+树做为解决方案？用其他的像哈希索引或者B树不行吗？
首先，索引（Index）是什么？如果我直接告诉你索引是数据库管理系统中的一个有序的数据结构，你可能会有点懵逼。
在计算机的组成结构中，有一个很重要的部分，就是存储器。存储器是用来存储程序和数据的部件，对于计算机来说，有了存储器，才有记忆功能，才能保证正常工作。
据普林斯顿大学网站2018年11月报道，通过改变计算的一个基本特性，普林斯顿的研究人员研发了一种新型的计算机芯片，获得了更好的性能，并大大降低了该芯片应用于人工智能系统中的能量需求。
可以把没有索引的表理解为Java中的List，在没有索引的情况下，我们要查找指定的数据，只能遍历这个list，但是随着数据量的逐渐增大，遍历list产生的开销也随之增大。因此我们需要一个无需遍历整个list（ps：无需扫描整张表）就可以找到指定数据的方案，这个方案就是索引。（ps：遍历list可以理解为mysql的全表扫描）
分批读取大量数据的excel文件，每次读取1000行数据，然后插入数据库，并且去执行一个方法，执行完毕后更新此行数据的状态。需要获取已更新数据的占比，即计算百分比。
Kafka 最初由 Linkedin 公司开发，是一个分布式、支持分区的、多副本的，基于 Zookeeper 协调的分布式消息系统，其最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于 Hadoop 的批处理系统、低延迟的实时系统、Storm/Spark 流式处理引擎、Web/Nginx 日志、访问日志，消息服务等等，用 Scala 和 Java 语言编写，Linkedin 于 2010 年将其贡献给了 Apache 基金会并成为顶级开源项目。
结语，正在发生的未来。凡是过去，皆为序曲。历史最悠久的做事方法并不是最好的。大数据时代是名副其实的“信息社会”。大数据给我们带来了巨大的风险，但我们可以建立规范自身的新准则。更大的数据来自人本身。在一个利用数据做出决定的数据里，人类的直觉、常识和意外运气就显得十分重要。因为科技永远无法揭示人类的伟大。大数据提供的不是最终答案，而只是参考答案，为我们提供暂时的帮助，以便等待更好的方法和答案出现。这也提醒我们在使用这个工具的时候，应当怀有谦恭之心。铭记人性之本。
索引对于良好的性能非常关键，尤其是当表中的数据量越来越大时，索引对性能的影响愈发重要。
列式数据库是以列相关存储架构进行数据存储的数据库，主要适合于批量数据处理和即时查询。相对应的是行式数据库，数据以行相关的存储体系架构进行空间分配，主要适合于大批量的数据处理，常用于联机事务型数据处理。
80/20法则通常被认为是源于意大利经济学家维尔弗雷多·帕累托。帕累托出生于1848年，他是（至少被认为是）占领运动的早期成员之一。他发现意大利国家财富的80%是掌握在几乎少于20%的人口手中的。由此
NoSQL，泛指非关系型的数据库,随着互联网的发展传统的关系型数据库面对持续增长的数据处理起来显得越来越力不从心，此时非关系型数据库应运而生。
信息存储在硬盘里，把它拆开也看不见里面有任何东西，只有些盘片。假设，你用显微镜把盘片放大，会看见盘片表面凹凸不平，凸起的地方被磁化，凹的地方是没有被磁化；凸起的地方代表数字1（磁化为1），凹的地方代表数字0。因此硬盘可以以二进制来存储表示文字、图片等信息。
过滤器在数据科学中的应用十分广泛，包括数据库查询、数据快速检索，数据去重等等。过滤器的出现是为了解决在大量数据的环境下，能够更好更快的（节省计算资源或者存储资源）筛查数据的需求。实际的应用场景有：
MySQL是目前业界最为流行的关系型数据库之一，而索引的优化也是数据库性能优化的关键之一。所以，充分地了解MySQL索引有助于提升开发人员对MySQL数据库的使用优化能力。
Django 提供了很多字段类型，比如 URL/Email/IP/ 但是 mysql 数据没有这些类型，这类型存储到数据库上本质是字符串数据类型，主要目的是为了封装底层 SQL 语句。
选择数据类型的原则 MySQL支持多种数据类型，选择合适的数据类型存储数据对MySQL存储引擎来说至关重要，下面的一些原则可以在选择数据类型的时候做出更合适的选择。 选择最小数据类型 通常情况下，选择可以正确存储数据的最小数据类型。因为最小数据类型占用的磁盘、内存和缓存更少，执行的更快。在选择合适最小数据类型的时候，选择你认为不会超出范围的最小类型。 选择简单数据类型 简单数据类型的各种操作通常需要更少的CPU周期。 避免列值为NULL 除非非常有必要，通常情况下，需要将列值设置为NOT NULL。NULL
我们都知道,当数据量大了的时候,我们都会选择使用多台服务器共存数据,通过 取模方式进行随机分配服务器存储.
用 GPU 运行神经网络的方法近年来已经为人工智能领域带来了惊人的发展，然而两者的组合其实并不完美。IBM 研究人员希望专门为神经网络设计一种新芯片，使前者运行能够更快、更有效。
在执行Spark的应用程序时，Spark集群会启动Driver和Executor两种JVM线程，前者为主控进程，负责创建Spark上下文，提交Spark作业（Job），并将作业转化为计算任务（Task），在各个Executor进程间协调任务的调度，后者负责在工作节点上执行具体的计算任务，并将结果返回给Driver，同时为需要持久化的RDD提供存储功能。由于Driver的内存管理相对来说较为简单，本文主要对Executor的内存的管理进行分析，上下文中的Spark内存均特指Executor的内存。
首先数据选择有几个简单原则： 更小的通常更好。一般情况下，应该尽量使用可以正确存储数据的最小数据类型。例如只需要存 0~200，tinyint unsigned 更好。更小的数据类型通常更快，因为它们占用更少的磁盘、内存和 CPU 缓存，并且处理时需要的 CPU 周期也更少。 简单就好。简单数据类型的操作通常需要更少的 CPU 周期。例如，整型比字符操作代价更低，因为字符集和校对规则（排序规则）使字符比较 比 整型比较更复杂。这里有两个例子：一个是应该使用 MySQL 内建的类型（date, time, d
decimal(a,b) a指定小数点左边和右边可以存储的十进制数字的最大个数，最大精度38。 b指定小数点右边可以存储的十进制数字的最大个数。小数位数必须是从 0 到 a之间的值。默认小数位数是 0。、
索引定义：索引是依靠某些数据结构和算法来组织数据，最终引导用户快速检索出所需要的数据
HDFS采用Master/Slave的架构来存储数据，这种架构主要由四个部分组成，分别为HDFS Client、NameNode、DataNode和Secondary NameNode。下面我们分别介绍这四个组成部分：
数据库通过锁机制来解决并发场景-共享锁（读锁）和排他锁（写锁）。读锁是不阻塞的，多个客户端可以在同一时刻读取同一个资源。写锁是排他的，并且会阻塞其他的读锁和写锁。简单提下乐观锁和悲观锁。
前言 本文主要针对的是关系型数据数据库MySql。键值类数据库可以参考最简大数据Redis。先简单梳理下Mysql的基本概念，然后分创建时和查询时这两个阶段的优化展开。 1.0 基本概念简述 1.1
上篇文章说了，mysql可以指定行格式，compact，dynamic，他结构有变长字段长度列表，null值，头部和真实数据存储，compact真实数据会存一定量的页，后面指向页的页码，dynamic全部存的页码，char会根据字符集来变换存储，行溢出是65535个字节，其中null值占一个，数据长度占两个，所以实际65532个字节，也会根据不同字节来变换。Index页存储这标记是否删除，删除的数据会组成垃圾链表，也叫可重用链表，而页里的数据，会根据next_Records来组成链表方便查询，二分查找法查找不同组的槽点。
文章目录 分布式NoSQL列存储数据库Hbase_列族的设计（五） 知识点01：课程回顾 知识点02：课程目标 知识点03：Hbase设计：列族的设计 知识点04：聊天系统案例：需求分析 知识点05：聊天系统案例：Hbase表设计 知识点06：聊天系统案例：环境准备 知识点07：聊天系统案例：模拟生成数据 知识点08：聊天系统案例：构建Rowkey 知识点09：聊天系统案例：测试写入代码 知识点10：聊天系统案例：查询需求分析 知识点11：聊天系统案例：测试查询代码 知识点12：聊天系统案例：查询问题 知
去重是大数据计算中的常见场景，本文介绍了Flink结合数据倾斜问题的一般性解决方案——两阶段聚合，以及位图（Bitmap）的优化版数据结构——Roaringbitmap给出的一种实时去重解决方案，并在最后与其他方案进行了对比。
链表是一种物理存储单元上非连续、非顺序的存储结构，数据元素的逻辑顺序是通过链表中的指针链接次序实现的。链表由一系列结点(链表中每一个元素称为结点)组成，结点可以在运行时动态生成。每个结点包括两个部分：一个是存储数据元素的数据域，另一个是存储下一个结点地址的指针域。 相比于线性表顺序结构，操作复杂。由于不必须按顺序存储，链表在插入的时候可以达到O(1)的复杂度，比另一种线性表顺序表快得多，但是查找一个节点或者访问特定编号的节点则需要O(n)的时间，而线性表和顺序表相应的时间复杂度分别是O(logn)和O(1)。
不知道你有没有这种感觉，那些所谓的数据结构和算法，在日常开发工作中很少用到或者几乎不曾用到，可能只是在每次换工作准备面试的时候才会捡起来学习学习。
在上面的例子中，数组 a 中有 5 个元素。 也就是说 ，a 的长度是 6 。我们可以使用 a [0] 来表示数组中的第一个元素。因此，a [0] = A 。类似地，a [1] = B，a [2] = C，依此类推。
OOP-面向对象编程(Object Oriented Programming）,在Java中（几乎）一切都是对象。
顺序表存储数据，需预先申请一整块足够大的存储空间，然后将数据按照次序逐一存储，逻辑关系就是靠元素间物理空间上的邻接关系来维持
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
