文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布

时序数据存储方案对比：通用数据库、专用TSDB与多模融合引擎

今日关键词：时序数据、时序数据库、TSDB、数据库选型、物联网数据存储、五模融合大家好，我是数据库小学妹前阵子跟一个做工业物联网的朋友聊天。...用MySQL扛了一年多，写入越来越慢，存储空间也快爆了。想换专用时序数据库，又怕引入新组件后架构变复杂。这个问题其实挺普遍。今天就系统聊一聊：时序数据到底该怎么存，有没有两全其美的方案。...二、用通用数据库存时序数据，会遇到什么问题很多人第一反应是用MySQL或者MongoDB来扛。数据量小的时候确实能用，但一旦规模上来，问题就藏不住了。写入瓶颈。通用数据库每秒处理几千到几万条写入。...五、主流时序数据库一览市面主流的专用TSDB各有侧重：产品特点局限InfluxDB流行度高，IT运维监控用得多开源版单机，集群要商业授权，高基数内存消耗大TDengine国产自研，物联网场景匹配度高生态和社区还在发展中...一套数据库同时管业务数据和时序数据，不用额外部署TSDB。某省级电网处理全省数千万智能电表数据。分析人员在库内将电流波形与历史档案、地理信息关联。异常识别从天级缩短到秒级，每年挽回数亿元损失。

31010
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    时间序列数据库(TSDB)初识与选择

    我们开始存储大量的数据，并总结出这些数据的结构特点和常见使用场景，不断改进和优化，创造了一种新型的数据库分类——时间序列数据库(time series database)....tsdb 实现 假如我想记录一系列传感器的时间序列数据。...之后我们也可以写一篇文章来深入的了解一下这个数据库的特点。 Influxdb Influxdb是业界比较流行的一个时间序列数据库，特别是在IOT和监控领域十分常见。...tsdb-architecture Opentsdb是一个基于Hbase的时间序列数据库（新版也支持Cassandra）。 其基于Hbase的分布式列存储特性实现了数据高可用，高性能写的特性。...下面会有一份各库的性能对比，大家可以做一个参考。 Ecosystem 我一直认为生态是我们选择一个开源组件必须认真考虑的一个问题。一个生态优秀的系统，使用的人多了，未被发现的坑也将少了。

    3.6K00

    MySQL数据库常见名词对比

    摘要 MySQL 由于性能高、成本低、可靠性好，已经成为最流行的开源数据库，因此被广泛地应用在 Internet 上的中小型网站中。...随着 MySQL 的不断成熟，它也逐渐用于更多大规模网站和应用，比如维基百科、Google 和 Facebook 等网站。非常流行的开源软件组合 LAMP 中的“M”指的就是 MySQL。...Multi-Version Concurrency Control)，实现无阻塞读操作 Multi-Version Concurrency Control 多版本并发控制，MVCC 是一种并发控制的方法，一般在数据库管理系统中...，实现对数据库的并发访问；在编程语言中实现事务内存。...(6)总结 MyISAM: 以读取和插入为主 InnoDB: 以更新和删除为主（写锁[独占锁，阻塞其他的所有操作]） 总结：直接用 InnoDB。

    1.9K30

    数据库：MySQL、SqlServer、Oracle对比

    一、MySQL 优点： 软件体积小、速度快、免费开源；  跨平台；  因为是开源数据库，提供的接口支持多种语言连接操作 ； MySQL的核心程序是采用完全的多线程编程。...MySql拥有一个非常灵活而且安全的权限和口令管理系统。...当客户与MySql服务器连接时，他们之间所有的口令传送被加密，而且MySql支持主机认证；  支持ODBC for Windows， 支持所有的ODBC 2.5函数和其他许多函数， 可以用Access...连接MySql服务器， 使得应用被扩展；  支持大型的数据库， 可以方便地支持上千万条记录的数据库。...)语言，这是对习惯于企业级数据库的程序员的最大限制；  MySQL的价格随平台和安装方式变化。

    5.5K20

    MongoDB和MySQL对比(译)

    二、什么是Mysql MySQL是由Oracle公司开发，发布和支持的受欢迎的开源关系数据库管理系统（RDBMS）。...像其他关系系统一样，MySQL将数据存储在表中，并使用结构化查询语言（SQL）来进行数据库访问。在MySQL中，您可以根据需要预先定义数据库模式，并设置规则来管理表中字段之间的关系。...MySQL MongoDB 表 集合 行 文档 列 字段 joins 嵌入文档或者链接 五、 特色对比 像MySQL一样，MongoDB提供了丰富的远远超出了简单的键值存储中提供的功能和功能。...MongoDB还可以在多个分布式数据中心之间进行扩展，提供以前MySQL等关系数据库无法实现的新的可用性和可扩展性。...MongoDB和MySQL的混合部署有很多例子。在某些情况下，这是一个使用合适工具的的问题。例如，许多电子商务应用程序使用MongoDB和MySQL的组合。

    2.5K20

    MongoDB和MySQL对比(译)

    二、什么是Mysql MySQL是由Oracle公司开发，发布和支持的受欢迎的开源关系数据库管理系统（RDBMS）。...像其他关系系统一样，MySQL将数据存储在表中，并使用结构化查询语言（SQL）来进行数据库访问。在MySQL中，您可以根据需要预先定义数据库模式，并设置规则来管理表中字段之间的关系。...MySQL MongoDB 表 集合 行 文档 列 字段 joins 嵌入文档或者链接 五、 特色对比 像MySQL一样，MongoDB提供了丰富的并且远远超出简单的键值存储中提供的特色和功能。...MongoDB还可以在多个分布式数据中心之间进行扩展，提供以前MySQL等关系数据库无法实现的新的可用性和可扩展性。...MongoDB和MySQL的混合部署有很多例子。在某些情况下，这是一个使用合适工具的的问题。例如，许多电子商务应用程序使用MongoDB和MySQL的组合。

    4.6K10

    MySQL审计插件使用和对比

    数据库审计是数据库安全中很重要的一个环节，说到审计，有些上市公司内部还会根据塞班斯法案，进行404审计等等。...说到数据库审计的方案，MySQL社区版是没有审计插件的，而在商业版中有，是需要单独收取licence费用的，对于公司的很多业务而言，还是会一些考虑，所以我们更倾向于看看还有哪些方案可以实现。...MariaDB的方案有很多朋友推荐我试试，在Percona测试之后，看了下MariaDB的方案，测试效果非常不错，有个顾虑就是MySQL 5.7是否会和这个插件有兼容性和冲突，官方给出了说明，使用小版本...还有McAfee的审计插件，McAfee是全球最大的专业安全公司，它的审计插件我看了下使用情况，在MySQL 5.5,5.6中使用相对比较多，我们规划的版本是MySQL 5.7，所以权衡下来不是太倾向这个插件...我又对比测试了MariaDB的方案。把so文件直接拷贝到Percona的plugin目录下即可。 安装插件。

    4.5K90

    MySQL和MongoDB设计实例对比

    MySQL是关系型数据库中的明星，MongoDB是文档型数据库中的翘楚。...下面通过一个设计实例对比一下二者：假设我们正在维护一个手机产品库，里面除了包含手机的名称，品牌等基本信息，还包含了待机时间，外观设计等参数信息，应该如何存取数据呢？...如果使用MySQL的话，应该如何存取数据呢？ 如果使用MySQL话，手机的基本信息单独是一个表，另外由于不同手机的参数信息差异很大，所以还需要一个参数表来单独保存。...如果使用MongoDB的话，虽然理论上可以采用和MySQL一样的设计方案，但那样的话就显得无趣了，没有发挥出MongoDB作为文档型数据库的优点，实际上使用MongoDB的话，和MySQL相比，形象一点来说...MySQL需要多个表，多次查询才能搞定的问题，MongoDB只需要一个表，一次查询就能搞定，对比完成，相对MySQL而言，MongoDB显得更胜一筹，至少本例如此

    2.3K40

    MariaDB和MySQL全面对比：选择数据库需要考虑这几点

    MySQL 8.0（InnoDB）和MariaDB 10.3.7（MyRocks）基准测试对比：https://minervadb.com/index.php/2018/06/01/benchmarking-innodb-and-myrocks-performance-using-sysbench.../ MariaDB 10.1和MySQL 5.7在商用硬件上的性能对比：https://mariadb.org/maria-10-1-mysql-5-7-commodity-hardware/ MySQL...8.0和MariaDB 10.3.5性能对比及UTF8的影响：http://dimitrik.free.fr/blog/archives/2018/04/mysql-performance-80-and-utf8...用户可以使用MariaDB的所有功能，但对于MySQL来说并非如此。MySQL的社区版不包含线程池等功能，而这些功能会对数据库和查询性能产生重大影响。...MariaDB支持团队的支持工程师包括了MariaDB和MySQL数据库专家（因为很多功能最初是由MySQL团队开发的），他们为生产系统提供全天候的企业级支持。

    6.4K10

    时序列数据库武斗大会之什么是 TSDB ？

    没错，确实是很多运维、监控系统都采用了 TSDB 作为数据库系统来存储海量的、严格按时间递增的、在一定程度来说结构非常简单的各种指标（英文可能为 metric、measurement 或者类似的其他单词...2.TSDB数据库特点 TSDB 作为一种专为时序列数据优化而设计的数据库，在很多方面都和传统的 RDBMS 和 NoSQL 数据库不太一样，比如它不关心范式和事务。...2.3 分布式（集群） TSDB 应该天生就要考虑到分布式和分区等特性，将存储和查询分发到不同的服务器，以支撑大规模的数据采集和查询请求。...3.3 集群功能 一般来说，集群主要集中为存储和查询的集群功能，也代表其可扩展性，因为时序列数据库的数据量很可能很大，并且增长趋势不可预测，尤其是随着大数据和物联网的兴起，GB 已经算入门，TB 也是刚起步...如果 TSDB 自带了功能强大的可视化组件和报警支持，则可能会省去很多开发的成本，更容易吸引用户。即使开发，也能方便开发过程中进行调试和验证。 ELK 这么流行，跟其一揽子方案关系很大。

    3.7K50

    基本 nosql 和 mongodb等数据库对比基本 nosql 和 mongodb等数据库对比

    基本 nosql 和 mongodb等数据库对比基本 nosql 和 mongodb等数据库对比 咱们工作或者学习的过程中，接到一个需求，或者学习一个技能的时候，我们是如何去学习的呢？...我想大概分成如下几步吧： 了解背景，了解这个技术或者需求的背景，特性，定律等等 对比学习，进行同类事物对比 关联学习，关联已知的知识进行学习 一起来看看 NOSQL 是什么 这里来推荐一个看数据排名的地址...大致列举如下几点： 由于现代网络的发展，大多是超大规模高并发的 web 2.0 动态网站 对于大量数据，关系型数据库已经遇到瓶颈，性能方面和扩展性方面的瓶颈 如何解决大规模数据集合，多重数据种类带来的挑战...，这就需要 nosql 来处理了 mysql 等关系型数据库应用在大数据上面，显然是一个难题了 常用的四大类 NOSQL 数据库的优缺点对比 分类 优势 劣势 场景 代表 键值对 查找速度快 数据无结构化...es 没有 全文检索实现的方式不一样 nosql 和 关系型数据库对比 特点 NoSQL 关系型数据库 数据一致性上面 运用CAP定理，保证最终一致性，非ACID属性 严格的一致性，ACID 数据表的形式

    1.2K30

    Mysql和Redis查询速度的对比

    “ 在软件系统中,IO速度比内存速度慢,IO读写在很多情况下会是系统的瓶颈，我们也知道Redis的查询速度比直接查数据库要快，因为Redis将数据存在内存中，而Mysql的查询是执行IO操作。...状态的好坏关系到学习和工作效率。工具也是一样，专注的方向不同，决定了在不同的场景，会有各自的优势。今天给大家带来的是，Mysql和Redis在项目中的查询速度的差距。...先说一下对比的条件：首先Redis和Mysql都是部署在远程服务器上(同一台)。其次接口是相同，在Service层开始区分以哪种形式获取数据（代码如下）。...这里的对比并不是说Mysql不好，而且这个对比也是有一定的问题，因为本人的SQL查询语句可能优化并不是特别好。同时我们也要知道NoSQL也是有它本身的缺陷： 1....支持的特性不够丰富：现有产品所提供的功能都比较有限，大多数NoSQL数据库都不支持事务，也不像MS SQL Server和Oracle那样能提供各种附加功能，比如BI和报表等。

    7K10

    数据库：MySQL、HBase、ElasticSearch三者对比

    可以看出ES和MySQL、HBase的存储还是有很大的区别。...3、容灾对比 3.1 MySQL 单节点： 现在的数据库普遍采用write ahead log策略来避免数据丢失，wal机制简单的解释就是：在提交CUD操作，数据写入内存的同时，也要写一份到log文件中...上如展示了ES和传统数据库的概念对比。下面的介绍中，统一使用index对应DB中table，doc对应table中的记录，field对应row中的一列。...另外提一点,数据存入ES后并不是立马就能检索到，这点跟MySQL和HBase，或者说跟数据库系统是完全不一样的。...5、使用场景 ---- 说了这么多，其实还是希望对MySQL，HBase，ES各自的实现做下对比，方便我们根据业务特点选择最合适的存储、检索方案。

    3K30

    矢量数据库对比和选择指南

    ，以前是作为搜索引擎现在增加了矢量存储和检索的功能 矢量库，如Faiss, Annoy和Hnswlib，还不能作为数据库，只是矢量的处理 支持矢量的NoSQL数据库，如MongoDB、Cosmos DB...1、纯矢量数据库 纯矢量数据库是专门为存储和检索矢量而设计的。...优点 利用索引技术进行高效的相似度搜索 大型数据集和高查询工作负载的可伸缩性 支持高维数据 支持基于HTTP和json的api 原生支持向量运算，包括加法，减法，点积，余弦相似度 缺点 纯矢量数据库:纯矢量数据库可以存储矢量和一些元数据...有限或没有SQL支持:纯矢量数据库通常使用自己的查询语言，这使得很难对矢量和相关信息运行传统的分析，也很难将矢量和其他数据类型结合起来。...2、全文检索数据库 这类数据库包括Elastic/Lucene、OpenSearch和Solr。

    2.1K50

    mysql分布式数据库中间件对比mysql分布式数据库中间件对比

    mysql分布式数据库中间件对比 目前数据库中间件有很多，基本这些中间件在下都有了解和使用，各种中间件优缺点及使用场景也都有些心的。所以总结一个关于中间件比较的系列，希望可以对大家有帮助。...中间件与读写分离 很多人都会把中间件认为是读写分离，其实读写分离只是中间件可以提供的一种功能，最主要的功能还是在于他可以 分库分表 ，下面是一个读写分离的示意图： 分布式数据库中间件对比总结 ?...分布式数据库中间件对比总结 ?...image.png 分布式数据库中间件对比总结 Cobar: 阿里巴巴B2B开发的关系型分布式系统，管理将近3000个MySQL实例。...总体来说支持度比 较高，也会一直维护下去， OneProxy: 数据库界大牛，前支付宝数据库团队领导楼总开发，基于mysql官方 的proxy思想利用c进行开发的，OneProxy是一款商业收费的中间件

    3.6K70
    点击加载更多

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 粤公网安备44030502008569号

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号

      领券