最近需要使用嵌入式数据库进行存储应用本地信息，本文章主要进行记录当前比较流行的嵌入式数据库相关的链接，嵌入式数据库往往是以lib的形式存在，常用于持久化存储软件的信息，嵌入式数据库往往和应用软件紧密集成：
会保证每周不低于两篇更新，订阅方式见👉这里，欢迎喜欢我文章的朋友们的订阅支持，激励我产出更多优质文章。 RocksDB 是很多分布式数据库的底层存储，如 TiKV、CRDB、NebulaGraph 等等。在 DataDog 工作的 Artem Krylysov 写了一篇文章（原文链接：https://artem.krylysov.com/blog/2023/04/19/how-rocksdb-works/）来对 RocksDB 做了一个科普，通俗易懂，在这里翻译下分享给大家。
在TiDB中（TiDB是一个分布式SQL数据库，其存储引擎TiKV是一个分布式的key-value存储引擎），TiKV使用了RocksDB作为其底层存储引擎，利用RocksDB提供的键值存储与读写功能，以及LSM-tree架构来实现数据的持久化和高效读写。
距离上篇对账文章也有几个月之久，对账二期系统早已如期上线。 对于该系统，目前只有两个字，稳定得一比。
本文将介绍 SHOW ENGINE ROCKSDB STATUS 中关于 STATISTICS 统计值与后台线程的实现原理。
了解 Redis 的同学都知道它是一个纯内存的数据库，凭借优秀的并发和易用性打下了互联网项的半壁江山。Redis 之所以高性能是因为它的纯内存访问特性，而这也成了它致命的弱点 —— 内存的成本太高。所以在绝大多数场合，它比较适合用来做缓存，长期不被访问的冷数据被淘汰掉，只有热的数据缓存在内存中，这样就不会浪费太多昂贵的内存空间。
MQTT 协议标准中规定 Broker 必须存储离线客户端的消息。在之前的版本中，EMQX 开源版采用了基于内存的会话存储，企业版则在此基础上进一步提供了外部数据库存储方案，借此实现数据持久化。
「第一部分 简介」 1. TXRocks简介 RocksDB是一个非常流行的高性能持久化KV存储，最初是Facebook的数据库工程师团队基于Google LevelDB开发。经过大量的适配工作，Facebook的数据库工程师将RocksDB改造为MySQL的一个存储引擎MyRocks。 TXRocks是TXSQL团队基于RocksDB的事务型存储引擎，得益于RocksDB LSM Tree存储结构，既减少了InnoDB页面半满和碎片浪费，又可以使用紧凑格式存储，因此TXRocks在保持与InnoDB接近
RocksDB是FaceBook起初作为实验性质开发的一个高效数据库软件，旨在充分实现快存上存储数据的服务能力。RocksDB是一个c++库，可以用来存储keys和values，且keys和values可以是任意的字节流，支持原子的读和写。除此外，RocksDB深度支持各种配置，可以在不同的生产环境（纯内存、Flash、hard disks or HDFS）中调优，支持不同的数据压缩算法、和生产环境debug的完善工具。 RocksDB的主要设计点是在快存和高服务压力下性能表现优越，所以该db需要充分挖掘Flash和RAM的读写速率。RocksDB需要支持高效的point lookup和range scan操作，需要支持配置各种参数在高压力的随机读、随机写或者二者流量都很大时性能调优。
做 TiDB 的缘起是从思考一个问题开始的：为什么在数据库领域有这么多永远也躲不开的坑？从 2015 年我们写下第一行代码，3 年以来我们迎面遇到无数个问题，一边思考一边做，尽量用最小的代价来快速奔跑。
TiDB这个词，相信大家或多或少都曾经耳闻过，但是很多人觉得他是分布式数据库，自己的业务是使用mysql，基本使用不上这个技术，可能不会去了解他或不会去深入了解。最近一个月，基于实际业务的应用场景，从测试环境测试基础学习，到生产环境性能压测、高可用测试、故障测试等的学习，到今天TiDB终于完成了线上业务的承接使命，而这一切只是开始，而非终点；
今天博主主要介绍两个开源项目，然后创建应用最终实现的效果就像简版的Redis服务那样，通过http的get请求，能够插入和获取数据，项目暂取名为kedis，源码后面会上传到git仓库。他们分别是Facebook开源的Rocksdb和netty实现的http容器RestExpress。通过实现这样的一个key/value系统实例来学习这两个框架的使用。
TiKV 是一个支持事务的分布式 Key-Value 数据库，有很多社区开发者基于 TiKV 来开发自己的应用，譬如 titan、tidis。尤其是在 TiKV 成为 CNCF 的 Sandbox 项目之后，吸引了越来越多开发者的目光，很多同学都想参与到 TiKV 的研发中来。这时候，就会遇到两个比较大的拦路虎：
自2015年开始，手游从萌芽期发展到如今炙手可热的领域，发展的速度之快一定推动了背后技术的改革换新，传统的技术为了适应新时代的变化，也会不断进化，而Tendis的出现也让所有关注朋友们眼前一亮，那么，如何打造一款受欢迎的KV存储数据库？ 5月22日08:50-18:00，3306π将集结多位行业专家，在广东广州天河区黄埔大道中322号粤大金融城国际酒店六楼平安厅与大家相约互动，点击「阅读原文」即可报名。 此次活动中，腾讯云数据库专家工程师，Tendis技术负责人陈福荣也将分享《如何打造一款受欢迎的KV存储
为什么最近一直在看分布式数据库,因为第六感给我的指示是, 分布式数据库是国产数据库下一个要发力的点, 为什么. 如果作为一个产品经理, 首先一个产品要有用户的画像, 那么什么数据库是可以找到金主"爸爸"的, 分布式数据库,并且这些金主们, 应该都很有钱. 单体数据库能吸引大量资金的时代是要过去了. 一个维护费用低,稳定性强, 扩展能力强并且将之前数据库的"毛病" 都一一扫尽的数据库产品, 银行和金融机构应该是很欢喜的. 这也是一些银行自研分布式数据库,或者使用商用分布式数据库的原因吧.
这个项目有很多 key/value 数据（约 100 GB）需要使用，使用时基本是只读的，偶尔更新时才会批量导入，且可以忍受短暂的停机导入。我一想 TiKV 和 Pika 等很多 key/value 数据库都选用了 RocksDB，应该是比较靠谱的，于是就选它了。
RocksDB其实是一种嵌入式的K:V数据库，系统无需安装，之前本人的安装RocksDB安装 ，其实多此一举。由于RocksDB是C++开发的，它的Java API大多其实只是对C++ API的一种调用。
原文：Delivering Billions of Messages Exactly Once 作者：Amir Abu Shareb 翻译：雁惊寒
TiKV 底层使用了 RocksDB 作为存储引擎，然而 RocksDB 配置选项很多，很多情况下只能通过反复测试或者依靠经验来调优，甚至连 RocksDB 的开发者都自嘲，他们没办法弄清楚每个参数调整对性能的影响。如果有一个自动 tuning 的方案就可以大大减少调优的人力成本，同时也可能在调优的过程中，发现一些人工想不到的信息。我们从 AutoML 中得到启发，希望能用 Automated Hyper-parameter Tuning 中的一些方法来对数据库参数进行自动调优。
茄子科技（海外 SHAREit Group）是一家全球化互联网科技公司，主要从事移动互联网软件研发与全球移动广告变现解决方案、跨境支付解决方案等互联网服务等业务。茄子快传（SHAREit）是茄子科技旗下的代表产品， 是一款一站式数字娱乐内容与跨平台资源分享平台，累计安装用户数近 24 亿。茄子科技作为一家出海企业，已经在东南亚、南亚、中东以及非洲等地区，打造了多款工具和内容的应用，并且在 Google Play 的下载榜上常年名列前茅。
身处在现在这个大数据时代，我们处理的数据量需以 TB、PB, 甚至 EB 来计算，怎么处理庞大的数据集是从事数据库领域人员的共同问题。解决这个问题的核心在于，数据库中存储的数据是否都是有效的、有用的数据，因此如何提高数据中有效数据的利用率、将无效的过期数据清洗掉，便成了数据库领域的一个热点话题。在本文中我们将着重讲述如何在数据库中处理过期数据这一问题。
Checkpoint 的存储的位置取决于配置的 State backend（JobManager 内存，文件系统，数据库...）。
场景描述：当Flink程序的checkpoint被激活时，状态会被持久化到checkpoint，以防止数据丢失和无缝恢复。状态在内部如何组织和它们如何以及在哪持久化，依赖于所选的状态后端。
Tendis是腾讯互娱CROS DBA团队 & 腾讯云数据库团队自主设计和研发的分布式高性能KV存储数据库，兼容Redis核心数据结构与接口。
上次在云函数里面整了一个嵌入式的SQL数据库以后爽的连云开发数据库都不想用了。不过有的时候还是需要用到kv存储，那能不能也serverless一把呢？level就是一个还不错的选择。打包一个层以后直接引用就可以了：
微澜是一款用于查询技术、行业、企业、科研机构、学科及其关系的知识图谱应用，其中包含着百亿级的关系和数十亿级的实体，为了使这套业务能够完美运行起来，经过调研，我们使用 Nebula Graph 作为承载我们知识图谱业务的主要数据库，随着 Nebula Graph 的产品迭代，我们最终选择使用 v2.5.1 版本的 Nebula Graph 作为最终版本。
为了支持在不同数据库之间的可移植性，MySQL Server针对C风格的注释在解析上做了一些扩展，当注释满足如下风格时，MySQL Server将会解析并执行注释中的代码：
上一篇 文章我们实现了区块链的工作量证明机制（Pow），尽可能地实现了挖矿。但是距离真正的区块链应用还有很多重要的特性没有实现。今天我们来实现区块链数据的存储机制，将每次生成的区块链数据保存下来。有一点需要注意，区块链本质上是一款分布式的数据库，我们这里不实现"分布式"，只聚焦于数据存储部分。
RocketMQ 在我们的项目中使用非常广泛，在使用的过程中，也遇到了很多的问题。比如没有多环境的隔离，在多个版本同时开发送测的情况下，互相干扰严重。RocketMQ 的投递可能会失败，导致丢失消息。另外开源版本的 RocketMQ 不支持任意时间精度的延时消息，仅支持特定的 level。在使用的过程中，我们做了一些针对性的优化，整理出了这篇文章。
通过这篇文章《"--"注释在Oracle和MySQL下的区别》，我们了解了注释的具体使用方式，GreatSQL技术社区的《MySQL Server可执行注释》则为我们讲解了"可执行"注释的作用，确实值得借鉴。
tidb这个技术名词很多同学或多或少都曾经耳闻过，但是很多同学觉得他是分布式数据库，自己的业务是使用mysql，基本使用不上这个技术，可能不会去了解他。最近业务上有个需求使用到了tidb，于是学习了一下基本原理，会发现这些原理其实不仅仅局限于分布式数据库这一块，很多技术都是通用的，所以在这里写一下分享一下学习tidb的一些心得。
5月29日，MongoDB中文社区携手MongoDB官方和Tapdata一起在长沙开展2021年第一场线下大会。本次大会带来了包括MongoDB的典型应用案例，MongoDB的分布式能力、数据迁移技术架构、存储引擎相关技术分享，以及MongoDB在物联网实时数据融合平台、互联网证券及金融系统的实战经验。
RocksDB项目是起源于Facebook，是一款作为各种存储介质上的服务器工作负载的存储引擎，最初专注于快速存储（尤其是闪存存储）。它是一个 C++ 库，用于存储任意大小的字节流的键和值。它支持点查找和范围扫描，并提供不同类型的 ACID 保证。
Go生态圈有好几个K/V数据库，我们经常用它来做我们的存储引擎，但是这些数据库引擎的性能如何呢？本文试图用性能而不是功能的数据考察这些数据库，我测试了几种场景： 并发写、并发读、单一写并发读、并发删除，得出了一些有趣的数据。
现实世界有许多的Key-Value数据库，它们都被广泛应用于很多系统。比如，我们能够用Memcached数据库存储一个MySQL查询结果集给后续相同的查询使用，用MongoDB存储文档以得到更好的查询性能等等。 针对不同的场景，我们应该选不同的Key-Value数据库，没有一个Key-Value数据库适用于所有解决方案，但是如果你仅仅想要一个简单、易于使用、快速、支持多种强大数据结构的Key-Value数据库，Redis可能是你作为开始的一个很好的选择。 Redis是一个先进的Key-Value缓存和数据库
RocksDB 想必大家并不陌生，它是一款高性能的嵌入式KV数据库，是众多自研数据库背后的男人。
项目简介 Tendis是腾讯互娱CROS DBA团队 & 腾讯云数据库团队自主设计和研发的分布式高性能KV存储数据库，兼容Redis核心数据结构与接口，可提供大容量、低成本、强持久化的数据库能力，适用于兼容Redis协议、需要大容量且较高访问性能的温冷数据存储场景。Tendis目前已经被应用到腾讯内、外部大型项目中。 集群架构 Tendis使用去中心化集群架构，每个数据节点都拥有全部的路由信息，用户可以访问集群中的任意节点，并且通过redis的move协议，最终路由到正确的节点。 每个Tendis节
在 TUG 网易线上企业行活动中，来自网易游戏的资深数据库工程师田维繁老师分享了 TiDB 海量 region 集群调优主题，以下内容整理自当天活动分享实录。 此次分享的主题包括三个方面：
RocksDB是Facebook的一个实验项目，目的是希望能开发一套能在服务器压力下，真正发挥高速存储硬件（特别是Flash存储）性能的高效数据库系统。这是一个C++库，允许存储任意长度二进制kv数据。支持原子读写操作。
本周由于Myuki大佬感染新冠，国际板块暂停更新一周，将在下周补齐，所以本周只有国内板块。
最近遇到两个问题,wriedtiger引擎到底支持不支持LSM tree , 2 为什么percona的mongodb Dump 了ROCKSDB 的数据库引擎.
我们公司主要从事平台技术开发和建设方面，工作的重点方向主要在解决用户在数据治理中的各种问题，让用户能更高效地管理自己的数据，进而产生更大的价值，比如如何整合现有功能流程，节省用户使用成本；增加新平台不断调研，丰富平台功能；新平台功能、性能改造，从而满足用户大规模使用需求；根据业务实际需求，输出相应的解决方案等。今天分享的内容主要是从数据库内核到大数据平台底层技术开发，分享网易数据科学中心多年的大数据建设经验。
进程内高速缓存，跨平台，支持cmake，facebook开发的 https://gitee.com/mirrors/cachelib.git
一觉醒来，就发现有人给我微信上发消息，通知我说数据库创业圈子里，又出来一件牛逼大了的事情。 我一看，原来是PingCAP放大招了，PingCAP在美国加州硅谷从甲骨文公司挖了Sunny Bains入职。 这位Sunny Bains的背景，大体上就是在印度上完了中学，在澳大利亚墨尔本上完了本科，然后在澳洲的CTI工作了一段时间，之后就来到美国的甲骨文公司了。 他在甲骨文公司从2006年一直干到现在，最近加盟PingCAP。之前在甲骨文负责的就是InnoDB。坦白讲，我对这位Sunny Bains大神不熟。恕我
这篇文章我们将深入探讨有状态流处理，更确切地说是 Flink 中可用的不同状态后端。在以下部分，我们将介绍 Flink 的3个状态后端，它们的局限性以及根据具体案例需求选择最合适的状态后端。
在日常业务使用或运维管理 TiDB 的过程中，每个开发人员或数据库管理员都或多或少遇到过 SQL 变慢的问题。这类问题大部分情况下都具有一定的规律可循，通过经验的积累可以快速的定位和优化。 但是有些情况下不一定很好排查，尤其涉及到内核调优等方向时，如果事先没有对各个组件的互访关系、引擎存储原理等有一定的了解，往往难以下手。
近年来，深度学习和知识图谱技术发展迅速，相比于深度学习的“黑盒子”，知识图谱具有很强的可解释性，在搜索推荐、智能助理、金融风控等场景中有着广泛的应用。美团基于积累的海量业务数据，结合使用场景进行充分地挖掘关联，逐步建立起包括美食图谱、旅游图谱、商品图谱在内的近十个领域知识图谱，并在多业务场景落地，助力本地生活服务的智能化。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
