首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    matinal:高质量内存数据库技术选型推荐(一)

    一、什么是内存数据库 传统的数据库管理系统把所有数据都放在磁盘上进行管理,所以称做磁盘数据库(DRDB:Disk-Resident Database)。磁盘数据库需要频繁地访问磁盘来进行数据的操作,由于对磁盘读写数据的操作一方面要进行磁头的机械移动,另一方面受到系统调用(通常通过CPU中断完成,受到CPU时钟周期的制约)时间的影响,当数据量很大,操作频繁且复杂时,就会暴露出很多问题。     近年来,内存容量不断提高,价格不断下跌,操作系统已经可以支持更大的地址空间(计算机进入了64位时代),同时对数据库系统实时响应能力要求日益提高,充分利用内存技术提升数据库性能成为一个热点。     在数据库技术中,目前主要有两种方法来使用大量的内存。一种是在传统的数据库中,增大缓冲池,将一个事务所涉及的数据都放在缓冲池中,组织成相应的数据结构来进行查询和更新处理,也就是常说的共享内存技术,这种方法优化的主要目标是最小化磁盘访问。另一种就是内存数据库(MMDB:Main Memory Database,也叫主存数据库)技术,就是干脆重新设计一种数据库管理系统,对查询处理、并发控制与恢复的算法和数据结构进行重新设计,以更有效地使用CPU周期和内存,这种技术近乎把整个数据库放进内存中,因而会产生一些根本性的变化。

    01

    go-mysql-server:基于内存的go实现mysql server

    https://github.com/dolthub/go-mysql-server是用golang实现的基于内存的mysql server。主要应用于两个场景:作为golang单测的mysql替换,作为内置的基于内存的数据库。MySQL Fake 常见实现方式有两种:SQLite 以及 go-mysql-server。因为大家都基本遵循了 SQL 92 标准,在没有用到比较复杂的,或者 MySQL 特有的一些语法特性时,我们可以用 SQLite 来作为一个平替。但是SQLite底层是C语言实现的,github.com/mattn/go-sqlite3仅仅做了cgo的一层封装。用 SQLite 来存取数据时,你会发现跟 MySQL 不同,它只依赖一个文件进行读取和写入,非常轻量级。我们可以在单测执行结束的时候清理掉这个文件即可。SQLite 还提供了内存的模式,这样我们就能完全不依赖存储,直接用 SQLite 来验证我们的语句是否正确。

    02

    struct sqlite3

    {   sqlite3_vfs *pVfs;            /* OS Interface */   struct Vdbe *pVdbe;           /* List of active virtual machines */   CollSeq *pDfltColl;           /* The default collating sequence (BINARY) */   sqlite3_mutex *mutex;         /* Connection mutex */   Db *aDb;                      /* All backends */   int nDb;                      /* Number of backends currently in use */   int flags;                    /* Miscellaneous flags. See below */   i64 lastRowid;                /* ROWID of most recent insert (see above) */   i64 szMmap;                   /* Default mmap_size setting */   unsigned int openFlags;       /* Flags passed to sqlite3_vfs.xOpen() */   int errCode;                  /* Most recent error code (SQLITE_*) */   int errMask;                  /* & result codes with this before returning */   u16 dbOptFlags;               /* Flags to enable/disable optimizations */   u8 autoCommit;                /* The auto-commit flag. */   u8 temp_store;                /* 1: file 2: memory 0: default */   u8 mallocFailed;              /* True if we have seen a malloc failure */   u8 dfltLockMode;              /* Default locking-mode for attached dbs */   signed char nextAutovac;      /* Autovac setting after VACUUM if >=0 */   u8 suppressErr;               /* Do not issue error messages if true */   u8 vtabOnConflict;            /* Value to return for s3_vtab_on_conflict() */   u8 isTransactionSavepoint;    /* True if the outermost savepoint is a TS */   int nextPagesize;             /* Pagesize after VACUUM if >0 */   u32 magic;                    /* Magic number for detect library misuse */   int nChange;                  /* Value returned by sqlite3_changes() */   int nTotalChange;             /* Value returned by sqlite3_total_changes() */   int aLimit[SQLITE_N_LIMIT];   /* Limits */   struct sqlite3InitInfo {      /* Information used during initialization */     int newTnum;                /* Rootpage of table being initialized */     u8 iDb;                     /* Which db file is being initialized */

    02
    领券