如何在数据库中存储大型列表？
在数据库中存储大型列表可以采用以下几种方法：
- 分页存储：将大型列表分割成多个较小的页，每页存储一部分数据。通过指定页码和每页的大小来获取数据。这种方法适用于需要按页码进行数据访问的场景。腾讯云的云数据库 MySQL 支持分页查询，可以使用 LIMIT 和 OFFSET 关键字进行分页操作。详细信息请参考腾讯云云数据库 MySQL 文档：https://cloud.tencent.com/document/product/236/35154
- 分区存储：将大型列表按照某个特定的规则进行分区，每个分区存储一部分数据。可以根据数据的某个属性进行分区，例如按照时间、地理位置等。这种方法适用于需要按照特定属性进行数据查询和分析的场景。腾讯云的云数据库 MongoDB 支持数据分片，可以根据数据的 shard key 进行分区存储。详细信息请参考腾讯云云数据库 MongoDB 文档：https://cloud.tencent.com/document/product/240/310
- 压缩存储：对大型列表进行压缩，减小存储空间。可以使用压缩算法对数据进行压缩，例如使用 gzip、zlib 等。这种方法适用于存储空间有限的场景。腾讯云的云数据库 Redis 支持数据压缩，可以通过配置参数开启数据压缩功能。详细信息请参考腾讯云云数据库 Redis 文档：https://cloud.tencent.com/document/product/239/310
- 分布式存储：将大型列表分散存储在多个节点上，每个节点存储一部分数据。可以使用分布式数据库或者分布式文件系统来实现。这种方法适用于需要高可用性和高性能的场景。腾讯云的云原生数据库 TDSQL-C 支持分布式存储，可以将数据分散存储在多个节点上。详细信息请参考腾讯云云原生数据库 TDSQL-C 文档：https://cloud.tencent.com/document/product/1003/30442
以上是几种常见的在数据库中存储大型列表的方法，具体选择哪种方法取决于实际需求和场景。
相关·内容
我需要从postgres数据库读取大型数据集，该数据库需要能够通过rest api端点访问。然后，使用数据的客户端需要将数据转换为csv格式(稍后可能需要支持json和xml )。在服务器端，我们使用Spring Boot v2.1.6.RELEASE和spring-jdbc v5.1.8.RELEASE。我尝试使用分页和循环遍历所有页面，并将结果存储到列表中，然后返回该列表，但由于数据集不适合内存，因此导致了OutOfMemory错误。
流式传输<e
浏览 4提问于2020-03-19得票数 1
我正在决定如何存储和检索这些文件。一种方法是:像itunes一样，我可以为库创建一个文件夹，在这个文件夹中，我可以为每个艺术家创建另一个文件夹，在每个艺术家文件夹中，我可以为每个专辑创建一个文件夹，最后在相册文件夹中，我可以存储音乐文件我将创建另一个文件，用于存储有关音乐文件(专辑艺术、歌词等)的信息。这种方法易于实现和管理。也会很快的。
第二种方法:我可以把所有的东西都存储在一个文件中</
浏览 5提问于2015-09-11得票数 0
回答已采纳
1回答
从本质上讲，存储在数据库中的每个用户都有一个他们想要联系的人(数百万人)的大列表，以及他们已经联系过的人的大列表。要连接的人的列表将每周更新，可能每月更新，并需要检查重复项。*可能需要注意的是，要连接的人员列表不会是系统中的用户。谢谢!
浏览 2提问于2017-08-12得票数 0
回答已采纳
1回答
目前，我正从零开始选择一个数据库来存储从一组web表单中收集的数据。问:数据库从一开始就接受现代字体中各种各样的字符吗？如果是这样的话，不需要转换那么多数据来存储数据的数据库的缺点是什么？// 预期有两个我不想要的答案：
我找到了许多答案，说明人们如何将一个特殊字符(如é或版权符号c)转换为数据库--法律字符集，比如© (for C)，以便数据库能够接受它。这需要一个转换
浏览 0提问于2014-02-19得票数 1
1回答
我已经按照firebase数据库中文档中的建议对数据进行了反规范化。我将用户所属的组的列表存储在:value中。但是，随着在FirebaseUI中使用此列表的的使用，在滚动浏览大型列表时，附加侦听器会导致性能瓶颈。
有没有办法在用户每次滚动列表时都不附加侦听器？或者使用任何其他方法来减少大量布尔值引用数据库中另一个位置时的性能问题？
浏览 1提问于2016-08-04得票数 0
1回答
我想知道在数据库中使用大型状态(存储)和sql请求之间的最佳设计方法是什么。假设您有一个Todo应用程序。您可以将Todos列表保存在Redux实现中。例如，您希望获得当前月份的所有待办事项：
您可以从商店中获取所有待办事项列表，并按日期筛选待办事项以获取当前月份的所有待办事项。优点：低客户端/服
浏览 2提问于2017-01-30得票数 1
回答已采纳
1回答
我想要创建一个使用blob存储文本和图像的数据库。将有大约5-6k的条目和大小的图像将在1MB左右。这意味着5-6GB的存储空间。我的应用程序能处理所有的存储，还是会崩溃？我不知道，因为我的手机是16 50，它将是大约50%的手机免费存储。万一blob不起作用，我还能用别的方法吗？
浏览 2提问于2014-11-17得票数 5
回答已采纳
1回答
在Grails (2.2.1)项目中，我希望将一些大型html存储到db字段中。belongsTo = [doctor:Doctor]
}但是它在mySql数据库中创建了一个如何让BLOB在DB中存储大型数据？
浏览 3提问于2015-07-29得票数 0
回答已采纳
显然，数据库中的更改不会始终反映索引中的内容。是否有人使用EF和Lucene，并将Lucene搜索的结果与EF中的结果进行相同的搜索？我知道你只想从EF中收回不属于Lucene结果的结果。更新：伪码：
var result = (from ef in EntityFrameworkList
浏览 4提问于2012-04-01得票数 2
回答已采纳
1回答
我想在SQL Server 2012中存储大型文件。有人建议我使用BLOB。我所要做的就是创建一个表来映射Employee id和他的image在数据库中的路径。每当用户想要访问image时，他将首先从数据库获取路径，然后使用BLOB从引用的数据库获取image。你能帮我从一个数据库访问不同的数据库吗？
浏览 1提问于2014-05-19得票数 0
回答已采纳
2回答
我想为我的应用程序使用redis服务器，它有一个大型数据库。所以我想知道redis服务器如何存储大数据？它与大型数据库兼容吗?我听说redis是内存中的数据库
浏览 2提问于2013-04-23得票数 1
2回答
我有一个关于在应用程序的SQLite数据库位置保存图像的问题。我为iOS制作了一个应用程序，用户可以在自己的应用程序中从保存在当地银行的应用程序中抓拍照片或抓取现有的照片，因为IOS在磁盘空间方面没有太多问题。在安卓上已经有代码拍摄照片或使用现有的，现在想知道如何将它们保存在SQLite数据库中。(?)我一直在读，有些人建议将图像保存在SD卡中，只将图像路径插入到数据库中<
浏览 0提问于2012-12-12得票数 1
在我们希望使用NAS作为大型(MS )数据库的存储的场景中，如果mdf文件仅物理地存储在NAS设备中，您将如何处理高可用性？
浏览 0提问于2016-11-14得票数 3
回答已采纳
我有一个安卓应用程序，显示一个自定义ListView中的项目列表使用复选框。我需要写一个代码，存储本地选中和未选中的项目在我的手机或模拟器(因为现在工作在本地主机)。有没有办法将数据本地存储在手机上。我听说过SQLLite和SharedPreferences，但我已经开发了一个应用程序，对我来说，它最好使用相同的应用程序来存储数据，而不是像SQLLite那样创建单独的代码结构。还有我要存储的数据，我计划使用它通过web服务发送到远程数据库</e
浏览 2提问于2011-08-22得票数 0
回答已采纳
如果他更改了该公司的任何数据，那么我只从数据库导出该公司的数据。数据以java对象的形式导出，序列化后存储到上传的文件中。第二天，如果该公司再次发生任何更改，我将用最新上传的文件替换服务器中的文件。因此，这些文件最终都是用户在桌面应用程序中拥有的数据的一小部分。
现在，这些问题是：
浏览 1提问于2011-10-13得票数 0
回答已采纳
为了有一个包含图像和视频的大型数据集，我想使用Apache Xindice。在WWW上，针对Apache Xindece的教程和指南很少。如何在Apache Xindice中存储图像和视频文件？Apache Xindice适合存储大数据集吗？是否有任何最新的存储库可以存储XML格式的大量数据(不是SQL类型的数据库。是否应保存TB大小数据)？我可以使用MongoDB来存储大型数据集吗？
浏览 7提问于2013-03-05得票数 0
回答已采纳
1回答
在BerkeleyDB中存储图像
、、、、
我在Perl中与BerkeleyDB一起使用DB_File。
BerkeleyDB是在数据库中存储图像的正确选择吗？与其他一些数据库系统不同，Berkeley DB不提供对二进制大对象(BLOB)的特殊支持。在mysql中存储映像是有问题的，因为实现对大型数据库的更改比较困难；但是，像Berkeley.DB这样的密钥
浏览 2提问于2011-10-15得票数 1
回答已采纳
在我的课程中，我们学习了不同的数据库模型--理论上如何用树存储数据，等等--我的问题更实用:我想知道数据是如何存储到存储中的。是否有将数据分发到“硬盘驱动器”的算法？那么，在大型数据库中，数据是随机地传播到存储中的，还是在下一个数据库获得要保存的数据之前，驱动器会像一步一步地填充直到它们满了为止？
浏览 2提问于2017-05-05得票数 0
回答已采纳
4回答
如果我要在mysql中实现这一点，我将构建一个comments表，并有以下列：
parent_comment_id。对我来说，这似乎是多余的，因为它需要我浏览整个comments表，只为了找出评论是否有回复(特别是对于大型数据)，如果我有密钥存储数据库，我将有一个注释id的键，其中包含按日期排序的回复列表。另外，我想把这个问题概括为任何一对多的关系，将其作为一个列表存储在密钥存储数据库
浏览 0提问于2013-02-03得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
