Oracle数据库里的直方图使用了一种称为Bucket（桶）的方式来描述目标列的数据分布。Bucket（桶）是一个逻辑上的概念，相当于分组，每个Bucket就是一组，每个Bucket里会存储一个或多个目标列中的数据。Oracle会用两个维度来描述一个Bucket，这两个维度分别是ENDPOINT_NUMBER和ENDPOINT_VALUE，Oracle会将每个Bucket的这两个维度记录在数据字典基表SYS.HISTGRM$中。列的直方图的类型可以通过查询视图DBA_TAB_COL_STATISTICS的HISTOGRAM列来获取，一般情况下包含3类，NONE（没有直方图）、FREQUENCY（频率直方图，也叫等频直方图）、HEIGHT BALANCED（高度平衡直方图，也叫等高直方图）。在Oracle 12c中，又新增了两种类型的直方图，分别是顶级频率直方图（Top Frequency Histogram）和混合直方图（Hybrid Histogram），本书只讨论频率和高度平衡直方图。
https://github.com/juju/ratelimit 是一个基于令牌桶算法的限流器：令牌桶就是想象有一个固定大小的桶，系统会以恒定速率向桶中放 Token，桶满则暂时不放。漏桶算法和令牌桶算法的主要区别在于，"漏桶算法"能够强行限制数据的传输速率(或请求频率)，而"令牌桶算法"在能够限制数据的平均传输速率外，还允许某种程度的突发传输。
沿用现有的S3存储模型以及标准协议，将多个底层bucket(带权重)聚合成一个大的bigbucket，用户所有的操作都基于同一个bigbucket进行，不再需要进行bucket切换。
此文是个人学习归纳的记录，腾讯云独家发布，未经允许，严禁转载，如有不对, 还望斧正, 感谢!
Elasticsearch作为一款基于Lucene打造的分布式搜索引擎，常用于搜索和日志场景，而在数据分析场景，Elasticsearch也提供了聚合Aggregations API支持完成复杂的查询分析，并且可以使用Kibana完成数据的可视化。本文就如何使用Elasticsearch进行数据分析做一个简单的介绍。
已知样本分类，每种分类的样本占比数，及样本总数，需要随机获取这些分类的样本。比如，我有4种任务，分别为任务A，任务B，任务C，任务D, 每种任务需要重复执行的总次数为1000，每次执行随机获取一种任务来执行，不同分类任务执行次数占比为 A:B:C:D = 3:5:7:9
作者：高斌龙，腾讯云大数据Elasticsearch高级开发工程师 前言 Elasticsearch作为一款基于Lucene打造的分布式搜索引擎，常用于搜索和日志场景，而在数据分析场景，Elasticsearch也提供了聚合Aggregations API支持完成复杂的查询分析，并且可以使用Kibana完成数据的可视化。本文就如何使用Elasticsearch进行数据分析做一个简单的介绍。 概览 聚合分析主要为了解决以下问题： 网站的平均加载时间是多久？ 根据交易记录来看谁是最有价值的客户？ 每个种类的产品
Ceph对象网关是一个构建在librados之上的对象存储接口，它为应用程序访问Ceph 存储集群提供了一个RESTful风格的网关。
1 bucket index背景简介 bucket index是整个RGW里面一个非常关键的数据结构，用于存储bucket的索引数据，默认情况下单个bucket的index全部存储在一个shard文件（shard数量为0，主要以OMAP-keys方式存储在leveldb中），随着单个bucket内的Object数量增加，整个shard文件的体积也在不断增长，当shard文件体积过大就会引发各种问题，常见的问题有: 对index pool进行scrub或deep-scrub的时候，如果shard对应的Obj
限流对某一时间窗口内高于系统承载的请求进行限制，通过限速来保护系统，一旦达到限制速率则可拒绝服务，等待。常见调用平台及服务，比如微信发消费券服务每秒500qps，万一我们超过请求频次，就会发生意想不到的业务问题，踩过坑的小伙伴深有体会
map 是由 key-value 对组成的；key 只会出现一次.主要的数据结构有两种：哈希查找表（Hash table）、搜索树（Search tree）。哈希查找表一般会存在“碰撞”的问题，就是说不同的 key 被哈希到了同一个 bucket。一般有两种应对方法：链表法和开放地址法。搜索树法一般采用自平衡搜索树，包括：AVL 树，红黑树。
mimic数据库中有非常多的指标是需要根据时间计算出来， 跟时间有关的指标都需要通过官方的时间函数进行计算得出
Prometheus会将所有采集到的监控样本数据以时间序列的方式保存在内存数据库中,并且定时保存到硬盘上.时间序列是按照时间戳和值的序列顺序存放的,我们称之为向量,每条时间序列通过指标名称和一组标签集命名.如下所示,可以将时间序列理解为一个以时间为X轴的数字矩阵:
分布式系统中，全局唯一 ID 的生成是一个老生常谈但是非常重要的话题。随着技术的不断成熟，大家的分布式全局唯一 ID 设计与生成方案趋向于趋势递增的 ID，这篇文章将结合我们系统中的 ID 针对实际业务场景以及性能存储和可读性的考量以及优缺点取舍，进行深入分析。本文并不是为了分析出最好的 ID 生成器，而是分析设计 ID 生成器的时候需要考虑哪些，如何设计出最适合自己业务的 ID 生成器。
Elasticsearch聚合查询是一种强大的工具，允许我们对索引中的数据进行复杂的统计分析和计算。本文将详细解释一个聚合查询示例，该查询用于统计满足特定条件的文档数量，并计算其占总文档数量的百分比。这里回会分享如何统计某个字段的空值率，然后扩展介绍ES的一些基础知识。
我们在学习 Redis 的 Hash 表的时候难免脑子里会想起其他 Hash 表的实现，然后进行一番对比。通常我们如果要设计一个 Hash 表，那么我们需要考虑这几个问题：
大数据时代，无人不知Google的“三驾马车”。“三驾马车”指的是Google发布的三篇论文，介绍了Google在大规模数据存储与计算方向的工程实践，奠定了业界大规模分布式存储系统的理论基础，如今市场上流行的几款国产数据库都有参考这三篇论文。 《The Google File System》，2003年 《MapReduce: Simplified Data Processing on Large Clusters》，2004年 《Bigtable: A Distributed Storage System
上篇文章我们介绍了微服务的限流，详细分析了计数器限流和令牌桶限流算法，这篇文章来说说熔断。
上面引用的是维基百科对map的定义，意思是说，在计算机学科中，map是一种抽象的数据结构，它由key和value组成组成键值对的集合，在集合中每个key最多出现一次。像关联数组、符号表、字典数据结构都是map的一种具体实现 map数据结构在实际的项目使用的非常频繁，很多语言都提供了mpa数据结构，像Java语言的HashMap，Go语言中的map和sync.Map数据类型。map基本操作包含添加key和value键值对，获取key对应的value, 删除key,遍历操作。
在Impala的HDFS_SCAN_NODE中有一个counter，叫AverageHdfsReadThreadConcurrency，其相关解释如下所示：
网上分析golang中map的源码的博客已经非常多了，随便一搜就有，而且也非常详细，所以如果我再来写就有点画蛇添足了（而且我也写不好，手动滑稽）。但是我还是要写，略略略，这篇博客的意义在于能从几张图片，然后用我最通俗的文字，让没看过源码的人最快程度上了解golang中map是怎么样的。
在 dict.h 文件中，Hash 表是一个二维数组（dictEntry **table）。
如果表没有定义主键，则默认情况下它是仅追加 表类型(Append Only Table)。 根据桶(Bucket)的定义，我们有两种不同的仅追加模式："Append For Scalable Table"和"Append For Queue"；两种模式支持不同的场景，提供不同的功能。 只能向表中插入一条完整的记录。 不支持删除或更新，并且不能定义主键。 此类表适合 不需要更新的用例（例如日志数据同步）。
在多云策略与数据迁移趋势下，企业往往需要将数据在不同云服务提供商之间进行迁移。本文介绍如何使用rclone工具同步腾讯云COS（Cloud Object Storage）桶中的数据到华为云OBS（Object Storage Service）。先决条件是您已经使用华为云在线迁移工具完成了初始数据迁移，现在我们需要保持后续的数据一致性。
大家在使用COS存储的过程中，会遇到一个场景：出于各种各样的原因比如业务调整，需要清理COS当中的大量文件。腾讯云支持多种多样的清理方法，常见的方法如下：
考虑到一种需求场景，我们需要统计系统qps、每秒平均错误率等。qps表示每秒的请求数目，能想到的最简单的方法就是统计一定时间内的请求总数然后除以总统计时间，所以计数是其中最核心的部分。通常我们的额系统是工作在多线程的环境下，所以计数我们可以考虑使用AtomicInteger/AtomicLong系列，AtomXXX中没有使用锁，使用的是循环+CAS，在多线程的条件下可以在一定程度上减少锁带来的性能损失。但是在竞争特别激烈的情况，会大量出现cas不成功的情况带来性能上的开销。为了更进一步分散线程写的压力，JDK8中引入了LongAdder，前面的博客中介绍了LongAdder，LongAdder会分成多个桶，将每个线程绑定到固定的桶空间中进行读写，计数可以对所有的桶中的值求总数。前面提到求qps最简单的方法就是统计一定时间内的请求总数然后除以总统计时间，这样的方法虽然简单但是对有一定的问题，比如说统计出的qps跳跃性会比较大，不够平滑等。在本文中将介绍HystrixRollingNumber，这个数据结构在统计qps等类似的求和统计的场景下非常有用。
本文主要介绍 Elasticsearch 的聚合功能，介绍什么是 Bucket 和 Metric 聚合，以及如何实现嵌套的聚合。
Shuffle描述是一个过程，表现出的是多对多的依赖关系。Shuffle是连接map阶段和Reduce阶段的纽带，每个Reduce Task都会从Map Task产生的数据里读取其中的一片数据。Shuffle通常分为两个部分:Map阶段的数据准备和Reduce阶段的数据副本。
Ceph Mgr Prometheus 的模块没有提供用户数据使用量的指标，而在 Ceph 日常运维中，我们希望知道哪个用户用了多少存储容量，或者距离 Quota 还有多少，方便自动化扩容等等，所以推荐一个开源的 prometheus exeporter 来通过 radosgw 来输出用户在 Ceph 集群使用的量。 再次明确一下，这个 usage 的监控，主要需要两方面的指标。
Sentinel的熔断降级实现有两个模式，一开始是基于熔断规则的简单处理(说简单其实不简单)，目前已改为了基于断路器模式实现，这也是业内常见实现。
熟悉Redis的人都知道，它是单线程的。因此在使用一些时间复杂度为O(N)的命令时要非常谨慎。可能一不小心就会阻塞进程，导致Redis出现卡顿。
作者：David LoriteSolanas 译者：littlefish 原文链接：https://sysdig.com/blog/monitor-etcd/?utm_sq=ghrnv67yh1
map 通过 hasTable 实现了我们最常见的 key-value 存储，能快速的对数据集增删查改。同时 Go 里的 map 也有很多特殊的地方，比如它的无序性、并发不安全等。今天，就让我们对 map 进行深入研究，看看它是怎么设计的。
circuit-breaker： circuit表示电路，大家译为熔断器非常精准。
令牌桶算法 (Token Bucket) 和 Leaky Bucket 效果一样但方向相反的算法，更加容易理解。\
在OC底层探索06-isa本身藏了多少信息你知道吗？分析了isa。 在OC底层探索08-基于objc4-781类结构分析中分析了bits；
boltdb是一个k-v存储引擎，它的核心操作是读写数据。本文从使用者的角度，结合读写数据的实例，分析读&写数据是如何执行的，以及各个组件是如何串联起来工作的。
map 是 Go 语言提供的一种抽象数据类型，它表示一组无序的键值对。用 key 和 value 分别代表 map 的键和值。而且，map 集合中每个 key 都是唯一的：
token bucket算法，是基于qps来限流，其简单的实现，就是计算单位时间补充token的速率，然后每次tryConsume的时候根据速率修正availableTokens。
Elasticsearch中的聚合是一种以结构化的方式提取和展示数据的机制。可以把它视为SQL中的GROUP BY语句，但是它更加强大和灵活。
以上是bucket4j给出的一个简单实现，用于理解token bucket算法 这个算法没有采用线程去refill token，因为bucket太多的话，线程太多，耗cpu 这个算法没有存储每个period使用的token，设计了lastRefillTimestamp字段，用于计算需要填充的token 每次tryConsume的时候，方法内部首先调用refill，根据设定的速度以及时间差计算这个时间段需要补充的token，更新availableTokens以及lastRefillTimestamp 之后限流判断，就是判断availableTokens与请求的numberTokens
本文首发于京东零售平台公众号，https://mp.weixin.qq.com/s/uzuz7rqctQ-bjdRcf1tO9g
HashMap底层就是一个数组结构，数组的每一项又是一个链表，当新建一个HashMap 的时候，就会初始化一个数组。
•PrometheusMissingRuleEvaluations•PrometheusRuleFailures
哈希表，是作为unordered_map与undered_set等的底层容器，自gcc2.9后源码量大增！
CRUSH是ceph的核心设计之一，CRUSH算法通过简单计算就能确定数据的存储位置。因此ceph客户端无需经过传统查表的方式来获取数据的索引，进而根据索引来读写数据，只需通过crush算法计算后直接和对应的OSD交互进行数据读写。这样，ceph就避免了查表这种传统中心化架构存在的单点故障、性能瓶颈以及不易扩展的缺陷。
在 Elasticsearch 中,cardinality 算法用来计算字段的基数(不重复的值的个数).
比如想要addr是beijing的,同时必须满足条件：name是 paxi,或者，phoneNumber是 1234567890
以上是bucket4j给出的一个简单实现，用于理解token bucket算法。 这个算法没有采用线程去refill token，因为bucket太多的话，线程太多，耗cpu 这个算法没有存储每个period使用的token，设计了lastRefillTimestamp字段，用于计算需要填充的token 每次tryConsume的时候，方法内部首先调用refill，根据设定的速度以及时间差计算这个时间段需要补充的token，更新availableTokens以及lastRefillTimestamp 之后限流判断，就是判断availableTokens与请求的numberTokens
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议
