Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >技术干货| 如何在MongoDB中轻松使用GridFS?

技术干货| 如何在MongoDB中轻松使用GridFS?

作者头像
MongoDB中文社区
发布于 2022-04-14 08:14:21
发布于 2022-04-14 08:14:21
7K00
代码可运行
举报
文章被收录于专栏:MongoDB中文社区MongoDB中文社区
运行总次数:0
代码可运行

点击下方公众号关注并分享,获取MongoDB最新资讯!

GridFS是用于存储和检索超过16 MB大小限制BSON文档文件的规范。

注意 GridFS 不支持多文档事务

相较于将一个文件存储在单条文档中,GridFS将文件分为多个部分或块[1],并将每个块存储为单独的文档。默认情况下,GridFS使用的块默认大小为255kB;也就是说,除最后一个块,GridFS会将文件划分为255 kB的块。最后一个块只有必要的大小。同样,最后的那个块也不会大于默认的块大小,仅使用所需的空间以及一些其他元数据。

GridFS使用两个集合来存储文件。一个集合存储文件块,另一个集合存储文件元数据。 GridFS集合一节详细介绍了每个集合。

当你从GridFS查询文件时,驱动程序将根据需要重新组装该文件所有的块。你可以对GridFS存储的文件进行范围查询。你还可以从文件的任意部分访问其信息,例如“跳到”视频或音频文件的中间。

GridFS不仅可用于存储超过16 MB的文件,而且还可用于存储您要访问的任何文件而不必将整个文件加载到内存中。另请参阅何时使用GridFS

什么时候使用GridFS

在MongoDB中,使用GridFS存储大于16 MB的文件。

在某些情况下,在MongoDB数据库中存储大型文件可能比在系统级文件系统上存储效率更高。

  • 如果文件系统限制了目录中文件的数量,则可以使用GridFS来存储所需数量的文件。
  • 当你要访问大文件部分的信息而不必将整个文件加载到内存中时,可以使用GridFS来调用文件的某些部分,而无需将整个文件读入内存。
  • 当你希望保持文件和元数据在多个系统和设施之间自动同步和部署时,可以使用GridFS。使用地理分布的复制集时,MongoDB可以自动将文件及其元数据分发到多个mongod实例和设施。

如果您需要对整个文件的内容进行原子更新,请不要使用GridFS。或者,您可以存储每个文件的多个版本,并在元数据中指定文件的当前版本。上传文件的新版本后,您可以原子更新元数据中指示为“最新”状态的字段,然后在需要时删除以前的版本。

此外,如果文件均小于16 MB BSON文档大小限制,请考虑将每个文件存储在单个文档中,而不是使用GridFS。您可以使用BinData数据类型存储二进制数据。有关使用BinData的详细信息,请参见驱动程序文档。

使用GridFS

要使用GridFS存储和检索文件,请使用以下任一方法:

GridFS Collections

GridFS将文件存储在两个集合中:

  • 块存储二进制块。有关详细信息,请参见chunks集合
  • 文件存储文件的元数据。有关详细信息,请参见文件集合

GridFS通过使用存储桶名称为每个集合添加前缀,将集合放置在一个公共存储桶中。默认情况下,GridFS使用两个集合以及一个名为fs的存储桶:

  • fs.files
  • fs.chunks

您可以选择其他存储桶名称,也可以在一个数据库中创建多个存储桶。完整集合名称(包括存储桶名称)受命名空间长度限制

块集合

[1]集合中的每个文档都代表了GridFS中表示的文件的不同的块。此集合中的文档具有以下格式:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
{  "_id" : <ObjectId>,  "files_id" : <ObjectId>,  "n" : <num>,  "data" : <binary>}

chunks集合中的文档包含以下字段:

  • chunks._id 块的唯一ObjectId
  • chunks.files_idfiles集合中指定的“父”文档的_id
  • chunks.n 块的序列号。GridFS从0开始对所有块进行编号。
  • chunks.dataBSON二进制类型的荷载。

文件集合

文件集合中的每个文档代表GridFS中的一个文件

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
{  "_id" : <ObjectId>,  "length" : <num>,  "chunkSize" : <num>,  "uploadDate" : <timestamp>,  "md5" : <hash>,  "filename" : <string>,  "contentType" : <string>,  "aliases" : <string array>,  "metadata" : <any>,}

files集合中的文档包含以下一些或全部字段:

  • files._id 该文档的唯一标识符。 _id是您为原始文档选择的数据类型。MongoDB文档的默认类型是BSON ObjectId
  • files.length 文档的大小(以字节为单位)。
  • files.chunkSize 每个块的大小(以字节为单位)。GridFS将文档分为大小为chunkSize的块,最后一个除外,后者仅根据需要而变大。默认大小为255 KB。
  • files.uploadDate GridFS首次存储这个文档的日期。此值为有日期类型。
  • files.md5 过期 FIPS 140-2禁止使用MD5算法。MongoDB驱动程序已弃用MD5支持,并将在未来版本中删除MD5的生成。需要文件摘要的应用程序应在GridFS外部实现它,并将其存储在files.metadata中。 filemd5命令返回的完整文件的MD5哈希。此值为字符串类型。
  • files.filename 可选的。GridFS文件的可读名称。
  • files.contentType 过期 可选的。GridFS文件的有效MIME类型。仅应用程序用。 使用files.metadata来存储与GridFS文件的MIME类型有关的信息。
  • files.aliases 过期 可选的。别名字符串数组。仅用于应用程序 使用files.metadata来存储与GridFS文件的MIME类型有关的信息。
  • files.metadata 可选的。元数据字段可以是任何数据类型,并且可以保存您要存储的任何其他信息。如果希望将其他任意字段添加到文件集合中的文档,请将其添加到元数据字段中的对象。

GridFS索引

GridFS使用每个块和文件集合上的索引来提高效率。为了方便起见,符合GridFS规范驱动程序会自动创建这些索引。您还可以根据需要创建任何其他索引,以满足您的应用程序需求。

chunks索引

GridFS使用files_idn字段在chunks集合上使用唯一复合索引。可以有效地检索块,如以下示例所示:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
db.fs.chunks.find( { files_id: myFileID } ).sort( { n: 1 } )

符合GridFS规范驱动程序将在读取和写入操作之前自动确保此索引存在。有关GridFS应用程序的特定行为,请参阅相关的驱动程序文档。

如果该索引不存在,则可以执行以下操作以使用mongo shell创建它:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
db.fs.chunks.createIndex( { files_id: 1, n: 1 }, { unique: true } );

files索引

GridFSfiles集合上的filenameuploadDate字段上使用索引。该索引允许高效地检索文件,如本示例所示:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
db.fs.files.find( { filename: myFileName } ).sort( { uploadDate: 1 } )

符合GridFS规范驱动程序将在读取和写入操作之前自动确保此索引存在。有关GridFS应用程序的特定行为,请参阅相关的驱动程序文档。

如果该索引不存在,则可以执行以下操作以使用mongo shell创建它:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
db.fs.files.createIndex( { filename: 1, uploadDate: 1 } );

[1]

(1, 2) 在GridFS上下文中使用术语块与在分片上下文中使用术语块无关。

分片GridFS

GridFS考虑两个集合-files和chunks。

chunks集合

要分片chunks集合,请使用{ files_id : 1, n : 1 } 或{ files_id : 1 } 作为分片键索引。files_id是一个ObjectId,并且单调更改。

对于不运行filemd5来验证成功上传的MongoDB驱动程序(例如,支持MongoDB 4.0或更高版本的MongoDB驱动程序),可以将哈希分片用于chunks集合。

如果MongoDB驱动程序运行filemd5,则不能使用Hashed Sharding。有关详细信息,请参阅SERVER-9888

files集合

files集合很小,仅包含元数据。GridFS所需的所有密钥都不适合在分片环境中进行平均分配。保留未分片的files允许所有文件元数据文档保留在主分片上。

如果必须分片files集合,请使用_id字段,可能与应用程序字段结合使用。

原文链接:

https://github.com/mongodb-china/MongoDB-CN-Manual/blob/master/cun-chu/gridfs.md

关于作者:张琦

Java 开发工程师,陕西西安。

获取更多精彩内容点击社区网站www.mongoing.com

添加小芒果微信(ID:mongoingcom)

进入中文用户组技术交流群

长按二维码加入我们

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2022-04-13,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Mongoing中文社区 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
MongoDB GridFS
MongoDB 是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。它支持的数据结构非常松散,是类似 json 的 bson 格式,因此可以存储比较复杂的数据类型。
为为为什么
2024/08/14
1130
MongoDB GridFS
MongoDB GridFS 怎么用
本文为2020年MongoDB应用案例与解决方案征集活动优秀应用案例:MongoDB在京东的应用,作者王勇。
MongoDB中文社区
2021/02/26
4.6K0
MongoDB实战(3)固定集合与Gri
capped collections 是性能出色的有着固定大小的集合,以 LRU(Least Recently Used 最近最少使用)规则和插入顺序进行 age-out(老化移出)处理,自动维护集合中对象的插入顺序,在创建时要预先指定大小。如果空间用完,新添加的对象将会取代集合中最旧的对象。 可以插入及更新,但更新不能超出 collection 的大小,否则更新失败。不允许删除,但是可以调用 drop() 删除集合中的所有行,但是 drop 后需要显式地重建集合。
py3study
2020/01/15
6300
浅尝辄止MongoDB:GridFS
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/82894835
用户1148526
2019/05/25
6820
SpringBoot学习笔记(十一:使用MongoDB存储文件 )
MongoDB是一个面向文档的数据库,使用BSON(Binary JSON:二进制JSON)格式来存储数据。
三分恶
2020/07/16
3.5K1
spring-data-mongodb之gridfs
mongodb除了能够存储大量的数据外,还内置了一个非常好用的文件系统。 基于mongodb集群的优势,GridFS当然也是分布式的,而且备份也方便。 当用户把文件上传到GridFS后,文件会被分割成大小为256KB的块,并单独存放。 好处如下: 可以有Replication; 可以利用MongoDB的权限访问控制; 可以利用现成的MongoDB备份方式; 今天主要是学习如何使用data这个框架来操作GridFS,首先配置gridFs的模板类 <!-- Mongodb gridFs的模板 --> <bea
猿天地
2018/04/03
2K0
MONGODB GridFS 存储文件 与 文件系统存储,你有何优势让我放弃文件系统?
是在抱歉,本应该周五是其他数据库,周一到周四都是 postgresql , mysql ,但目前的状态下,(都不知道今天是星期几)暂时不在准守这样的设置,以后待稳定后,在恢复原来的“人设”。
AustinDatabases
2020/02/21
3.4K0
MONGODB  GridFS 存储文件 与 文件系统存储,你有何优势让我放弃文件系统?
基于MongoDB GridFS的图片存储
它是mongodb的一个子模块,使用GridFS可以基于mongodb来持久存储文件.并且支持分布式应用(文件分布存储和读取).GridFS是mongodb中用户存储大对象的工具,对于mongodb,BSON格式的数据(文档)存储有尺寸限制,最大为16M.但是在实际系统开发中,经常会有上传图片或者文件的功能,这些文件可能尺寸会很大..我们可以借用Gridfs来辅助实现这些文件的管理. Mongo GFS的文件表是由 表名.files和 表名.chunks 构成,前者是文件信息构成,后者是文件的内容,两者通过
张善友
2018/01/22
3.1K0
.NET MongoDB Driver GridFS 2.2原理及使用示例
一、API解读 1 GridFSBucketOptions 1)public string BucketName { get; set; } 获取或设置bucket名称 2)public int ChunkSizeBytes { get; set; } 获取或设置块的字节大小 3)public ReadConcern ReadConcern { get; set; } 获取或设置读关注 4)public ReadPreference ReadPreference { get; set; } 获取或设置读优先
甜橙很酸
2018/03/08
9610
.NET MongoDB Driver GridFS 2.2原理及使用示例
MongoDB-分片片键
分片是什么?分片就是将数据存储在多个机器上。当数据集超过单台服务器的容量,服务器的内存,磁盘IO都会有问题,即超过单台服务器的性能瓶颈。此时有两种解决方案,垂直扩展和水平扩展(分片)。
林老师带你学编程
2019/05/25
1.4K0
恕我直言,牛逼哄哄的MongoDB你可能只会30%
MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。
猿天地
2020/02/13
1.3K0
恕我直言,牛逼哄哄的MongoDB你可能只会30%
MongoDB 介绍和操作
MongoDB 和 Redis 一样均为 key-value 存储系统,它具有以下特点:
IT茂茂
2020/03/05
4.5K0
MongoDB 介绍和操作
mongodb 内存引擎及配置
上次我们分享到了 wiredTiger 引擎以及他对于以前默认的 MMAPV1 引擎的优势
阿兵云原生
2023/02/16
1.1K0
golang mongoDB GridFS查询 存储 删除文件
GridFS 用于存储和恢复那些超过16M(BSON文件限制)的文件(如:图片、音频、视频等),如果没有超过16m大小可以将数据保存在BSON数据中。 GridFS 也是文件存储的一种方式,但是它是存储在MonoDB的集合中。
地球流浪猫
2018/08/02
3.2K0
golang mongoDB GridFS查询 存储 删除文件
GridFS使用及配合nginx实现文件服务
本文介绍了GridFS的使用和如何配合Nginx实现文件服务。GridFS是一种用于存储大型文件的技术,可以将大文件切分为多个小文件进行存储。配合Nginx使用,可以实现在HTTP服务器上直接对文件进行读取,从而摆脱对存储设备的依赖。
用户1141560
2017/12/25
2.9K0
GridFS使用及配合nginx实现文件服务
MongoDB中的限制与阈值
最大文档大小有助于确保单个文档不会使用过多的RAM或在传输过程中占用过多的带宽。要存储大于该限制的文档,MongoDB提供了GridFS API。有关GridFS的更多信息,请参阅mongofiles和驱动程序的文档。
MongoDB中文社区
2021/06/10
14.3K0
mongodb百亿数据存储(mysql数据库并发量)
由于MongoDB中的Bson对象大小是有限制的,在1.7版本以前单个Bson对象最大容量为4M,1.7版本以后单个Bson对象最大容量为16M[5]。对于一般的文件存储,单个对象的4到16M的存储容量能够满足需求,但无法满足对于一些大文件的存储,如高清图片、设计图纸、视频等,因此在海量数据存储方面,MongoDB提供了内置的Grid
全栈程序员站长
2022/07/30
4K0
mongodb百亿数据存储(mysql数据库并发量)
MongodbGFS存储大文件(java版)
Mongodb 是一个开源的no-sql分布式数据库,Mongodb也为我们提供了基于文件的GFS分布式存储系统。因此利用Mongodb我们完全可以实现一个分布式的文件存储以及管理。
林老师带你学编程
2019/05/25
2K0
MongoDb简介
知识点名 "什么是MongoDB ? MongoDB 是由C++语言编写的,是一个基于分布式文件存储的开源数据库系统。 分布式系统 分布式系统(distributed system)由多台计算机和通
爱喝水的木子
2022/01/12
3.8K0
SpringBoot上传文件实现
上传文件需求也是日常开发必不可少的操作,今天就稍微总结下,一般如果是上传图片操作,很多稍微大点的公司都有专门的图片服务器可直接将图片上传至那边即可,如果没有图片服务器的话,那么此处把图片也一并归为文件进行讲解。本文代码以springBoot为准
全栈程序员站长
2022/06/29
8820
SpringBoot上传文件实现
相关推荐
MongoDB GridFS
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验