腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(436)
视频
沙龙
1
回答
适用于具有大量读写操作的海量数据的最佳数据存储
、
、
、
、
每天
大约60-70%的记录将被删除,
每天
插入相同数量的记录。我觉得像Hbase,Big Table这样的文档数据库会适合这个。还有许多其他的数据存储,如Cassandra,MongoDb等,哪个数据存储对于这类问题是有用的,因为
每天
都会有大量的读/写操作(数
千万
级
)。
浏览 1
提问于2011-12-23
得票数 6
回答已采纳
3
回答
哪个数据库最适合具有高插入、查询和删除容量的数百万个非常小的行,尤其是在磁盘使用方面?
、
、
这个数据库
每天
可以轻松地插入、查询、更新和删除数百万(如果不是数
千万
)行。最好的数据库工具是什么?它是
MySQL
,还是有更高效的东西,可以使用更少的磁盘空间?
浏览 2
提问于2011-09-24
得票数 1
回答已采纳
1
回答
如何在大
数据量
的
MySQL
中进行关键字查询?
下面是一个场景:匹配仅仅是来判断关键字是否是当前指定字段的子字符串.。P.S.我在
MySQL
中搜索了关于fulltext的东西,以及一些搜索引擎,比如Lucene和Sphinx,哪一个更适合应用?我的网络项目是基于Java的。谢谢!
浏览 0
提问于2013-10-31
得票数 0
回答已采纳
3
回答
MySql
选择并统计
每天
的
数据量
、
我有一个有列的表格:如何查询日期范围为1天到30天的所有数据,并统计
每天
所有数据?
浏览 0
提问于2014-01-02
得票数 0
1
回答
寻找一种高效的方法克隆数以
千万
计的数据库记录
、
(请不要问为什么,我不负责这个项目,我只是负责数据库的克隆),但他们的数据库包含数
千万
条记录,我目前运行的脚本是使用
MySQL
的"READ“指令将我们拥有的72万个csv文件写入我们的
MySQL
数据库.按照目前的速度,保存的
数据量
将使这个脚本需要大约240天的时间才能完成,而且我们没有那么多时间。我的问题是如果没有,是否有一个更适合这类任务的数据库系统,也许是专门为大数据设计的?
浏览 0
提问于2013-12-25
得票数 2
回答已采纳
3
回答
True还是False:包含大量记录(行)和大量字段(列)的表返回SQL查询所需的时间更长?
、
、
、
True还是False:由于有大量字段(列)而具有大记录(行)的表返回SQL查询所需的时间更长?我希望得到明确的答复。所有这些“都取决于,你为什么不测试它,看看”的东西。-)我说,除非您选择接近记录中支持的最大字段数的荒谬数字,否则没有什么区别。目标是Server 2008。谢谢。 编辑:我说的是一个包含字段"GUID“、”NAME“、”...and 50“的表,其他参数需要更长的时
浏览 0
提问于2011-11-27
得票数 -2
1
回答
Kafka实时流vs Micro服务
、
、
选择Kafka实时流是否有gbps的最低报文速率要求?
浏览 0
提问于2019-03-31
得票数 1
1
回答
如何从最近30天到现在减少SQL查询?
我正试图获得过去30天的
数据量
。我想要的是从
每天
到现在都能得到剩下的数据。我该怎么做? 我正在使用
MySQL
。
浏览 4
提问于2016-06-23
得票数 0
回答已采纳
2
回答
数据库中存在大量
MySQL
表的副作用
、
在
MySQL
数据库中保存10000+表可以吗?我正在编写一个消息/聊天脚本,所以我正在考虑将数据分区到多个表上,因为几天后它将是一个巨大的
数据量
。可以吗?或者它有一些效果?因为一个表可以容纳数百万行,所以我在想也许一个数据库也可以容纳大量的表我是
MySQL
的新手,请帮帮忙
浏览 1
提问于2013-08-23
得票数 1
1
回答
大型
MySQL
数据库表的最佳方法
我有一个
mysql
数据库表来保存每个用户
每天
的出勤数据。该表
每天
保存每个用户2行数据,并有大约10列。数据由一个名为session_year的字段进行分组。当我分析数据的时候,总是有一年的时间。问题是,表中的
数据量
会影响表的查询时间吗?例如,如果我正在查询2017年的数据,那么前几年的所有数据是否会影响查询响应时间的性能?
浏览 3
提问于2017-09-06
得票数 0
回答已采纳
2
回答
使用AWS Lambda在S3中连接文件
、
、
、
、
我以最长的时间间隔(15分钟或128mb)将数据传输到S3中,因此我
每天
有96个数据文件,但我希望将所有数据聚合到单个每日数据文件中,以便稍后在Spark (EMR)中读取数据时获得最快的性能。目前我的
数据量
很小,
每天
只有几百MB-s,但这个
数据量
在未来将呈指数
级
增长。对我来说,Lambda有这么低的限制,而且它们已经被这么小的文件访问了,这对我来说很奇怪。或者,连接S3数据的替代方案是什么,理想情况下由S3对象创建的事件或以某种方式计划的作业(例如
每天
计划的作业)调用?
浏览 0
提问于2016-09-21
得票数 5
1
回答
删除
mysql
中的重复数据(大数据场景下)
我在
MySQL
中遇到了大数据的大问题。 我们有两个大表,具有相同的结构,用于存储英汉平行语料库。这两个表都包含
千万
级
的记录。在一个表内和这两个表之间存在大量重复数据(例如,相同的英文和中文内容)。主要的问题是,当我们尝试在
MySQL
中合并这两个表时,会出现内存溢出。
浏览 2
提问于2015-10-12
得票数 0
1
回答
扩展系统及其数据库以进行10k请求处理。什么是适合分布式数据库的分片或微服务?
、
、
、
随着
数据量
的急剧增长,
MySQL
无法扩展超出一个节点的写入请求成为了一个致命的问题。
MySQL
的单块体系结构本质上迫使应用程序
级
的sharding.The开发和操作复杂性在这样的实例从1增加到1000秒时呈指数
级
增长,然后激增到1000 s。
浏览 3
提问于2020-06-13
得票数 1
回答已采纳
1
回答
MongoDB查找返回更大大小的查询
、
目前,这些节点中的每一个都返回了大量数据(几乎
每天
1TB )。我计划在执行查询时开始使用投影,以返回流程中未使用的数据,但我有几个查询,因此为了确定优先
级
和优化,我想知道当前哪些查询返回的
数据量
最大(以MB表示)。 我有什么办法能得到这些数据吗?
浏览 2
提问于2020-06-28
得票数 0
回答已采纳
1
回答
随着数据集大小的增长,如何调优
MySQL
数据库?
我一直在使用各种使用
MySQL
作为数据存储的web应用程序。最近,随着其中一个在我的工作中变得越来越流行,它存储在数据库中的
数据量
呈指数
级
增长,但我仍然使用数据库的默认安装。
浏览 0
提问于2010-09-21
得票数 0
1
回答
mySQL
或mongoDB关系数据库是否可伸缩,以便
每天
保存80 GB的附加日志?
、
我们谈论的
数据量
在峰值时
每天
大约有80 GB的日志。目前,我正在研究noSQL数据库,如mongoDB,以及关系-
mySQL
。我想构造一个有三个要求的解决方案:查询速度:尽可能接近即时查询。
浏览 0
提问于2015-03-20
得票数 0
回答已采纳
1
回答
是否有可替代MS SQL Compact Edition for Remote Data Application的开源产品?
、
、
、
、
所涉及的
数据量
很小,而且中央服务器通常会在大约95%的时间内处于空闲状态-只有在数据传入时它才真正处于活动状态,并且通常
每天
/每周同步。与SQL server工作负载/我们所讨论的
数据量
(最大为100 MB)相比,这方面的SQL Standard许可成本很高。我想知道的是,是否有一个开源的替代方案(
mySQL
或类似的)可以用作我们的.NET应用程序的后端数据存储。
浏览 0
提问于2013-01-15
得票数 1
回答已采纳
1
回答
在PostgreSQL中对数据进行快速过滤连续到达数据
、
(大约一
千万
行/天,大约3000行/10秒,以一天的高峰间隔。)把
每天
的数据放在不同的桌子上。但在这种情况下,很难创建具有重叠间隔或包含多天的查询。(我得把桌子联合起来。)但这个解决方案似乎是最好的.,如果我不使用DB,我可以将这些数据存储到文件中(例如,1个文件/小时),并根据时间戳对这些文件使用二进制搜索,这将比使用DB存储数据(
浏览 0
提问于2015-08-06
得票数 3
回答已采纳
3
回答
用于大文件的数据库
、
但是,
每天
都有大约180个新行被添加到表中。
MySQL
的速度和效率是否足以处理如此多的数据?谢谢!
浏览 2
提问于2011-12-07
得票数 0
回答已采纳
2
回答
MySQL
-最有效的关系计数方法
、
、
、
我在
MySQL
有两张桌子。一个有accounts (4000万条记录),一个有transactions (3亿条记录)。
每天
大约有200000笔交易增加。a.account_no = tx.account_no() 我的问题是:考虑到我需要处理数以
千万
计的记录
浏览 1
提问于2016-08-10
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
日均数据量千万级,MySQL、TiDB 两种存储方案的落地对比
MYSQL千万级别数据量迁移Elasticsearch实战
Mysql千万级大数据SQL优化
MySQL亿级数据量实时同步,如何完美hold住
python数据处理实战-自动统计mysql数据库数据表每天数据量
热门
标签
更多标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
活动推荐
运营活动
广告
关闭
领券