如何将文档大小大于2MB的集合从mongodb迁移到cosmosDB
将文档大小大于2MB的集合从MongoDB迁移到Cosmos DB可以通过以下步骤完成：
- 数据模型分析：首先，对MongoDB中的集合进行分析，确定哪些文档大小超过2MB。可以使用MongoDB的聚合框架来查询集合中文档的大小，并筛选出需要迁移的文档。
- 数据导出：使用MongoDB提供的工具（如mongoexport）将需要迁移的文档导出为JSON或CSV格式。可以根据需要选择导出的字段和数据格式。
- 数据转换：根据Cosmos DB的数据模型要求，对导出的文档进行必要的转换。例如，将MongoDB中的嵌套文档转换为Cosmos DB中的子文档或嵌套属性。
- 数据导入：使用Cosmos DB提供的工具（如Azure Data Factory、Azure Cosmos DB Data Migration Tool）将转换后的文档导入到Cosmos DB中。这些工具可以帮助自动化数据迁移过程，并提供数据验证和错误处理功能。
- 数据验证：在完成数据导入后，对迁移后的数据进行验证，确保数据的完整性和准确性。可以使用Cosmos DB的查询功能来验证数据是否正确导入。
- 应用程序修改：如果应用程序之前直接连接MongoDB进行数据访问，需要修改应用程序的连接字符串和查询语句，以连接到Cosmos DB并使用Cosmos DB的查询语法。
- 监控和优化：在迁移完成后，建议监控Cosmos DB的性能和资源使用情况，并根据需要进行优化。可以使用Cosmos DB提供的监控工具和指标来监控数据库的吞吐量、存储使用量等。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云MongoDB：https://cloud.tencent.com/product/cmongodb
- 腾讯云Cosmos DB：https://cloud.tencent.com/product/tc3
请注意，以上答案仅供参考，具体的迁移过程可能因实际情况而异，建议在实施迁移前仔细阅读相关文档和参考官方指南。
相关·内容
我计划将所有集合从MongoDB迁移到Azure cosmosDB。因为MongoDB中文档的最大大小是16MB。 我有很多大小超过2MB的文档。但在cosmosDB中，最大文档大小是2MB。因此，在从mongo迁移到cosmos时，我面临着存储大小的问题。 是否可以迁移大型文档？如果so..Can任何人，请建议我的步骤，将大型文档从mongo迁移到cosmos。
浏览 13提问于2020-07-06得票数 0
回答已采纳
我已经使用MongoDB应用编程接口创建了一个azure CosmosDB帐户。我需要将CosmosDB( Azure API)连接到MongoDB Databricks集群，以便从cosmos读取和写入数据。
如何将Azure Databricks群集连接到CosmosDB帐户？
浏览 2提问于2018-11-28得票数 3
在同一个MongoDB集合上存储完全不同的文档有哪些缺点？
与其他问题不同的是，我所指的文件是不相关的(比如父母和孩子)。
这里的动机是降低成本。Azure CosmosDB Mongo收费和可伸缩性是每个集合.
浏览 5提问于2020-07-15得票数 1
回答已采纳
我试图从CosmosDB中摄取SparkR.I的数据，我的数据是数据格式的，我用样本数据集进行了测试，当我尝试摄取大量数据时，数据得到了ingested.But，我得到了一个错误，比如
{“错误”：“请求大小太大”}
我确保数据大小不超过2MB，我从了解到，在中，文档大小的最大限制是2MB。请提前指导我到哪里去correct.Thanks。
浏览 0提问于2017-07-17得票数 1
我在MongoDB中存储超过16MB的内存时遇到了问题。如何将MongoDB文档的默认大小从16MB增加到40MB？
谢谢
浏览 18提问于2020-03-17得票数 0
回答已采纳
描述
我正在做一些测试，发现CosmosDB的最大文档大小限制似乎与文档：不一致。
测试SQL
创建宇宙数据库核心(SQL)数据库的tableIt 尝试在“item”中插入一个2093334字节的项，因为它是:如正式文档中所述的那样：< 2Mb (链接，我试图将更大的2239798字节插入到相同的tableIt中，但错误代码(413)失败，因为该项是> 2Mb。
RequestEntityTooLarge错误发生: Microsoft.Azure.Cosmos.CosmosException : Response >状态代码不表示成功: RequestEntityTooLa
浏览 10提问于2022-01-12得票数 0
回答已采纳
我使用Azure CosmosDb作为我的应用程序的数据库。 假设我需要保存数据库中的所有国家、城市和街道。所以，我有一个看起来像这样的东西： {
country: Brazil,
size: 1000,
population: 200000,
cities: [
{
city: Rio
population: 8000
streets: [
{
name: A,
浏览 17提问于2019-05-21得票数 2
我们希望从本机mongoDB迁移到由Azure托管的cosmosDB。在创建集合时，我们看到一个字段"shard key“是强制的，但目前我们的mongo DB设置不支持切分。是否有可能在不允许切分的情况下迁移到宇宙，并且我们的应用程序中的更改也很小？
浏览 5提问于2022-01-12得票数 1
回答已采纳
1回答
我正在尝试理解如何将多模型api用于单独的cosmosdb部署。
我启动了一个实例(参考附图)。我拿回了这个网址: gccosmosdb.documents.azure.com。连接字符串仅适用于Mongodb。
问:我需要为这个数据库部署表和Mongodb api。如何在此数据库中获取表api的连接字符串。请仁慈，如果有人可以建议如何让两个api模型并排工作，将消除我的容器工作量的50%。
浏览 0提问于2017-05-19得票数 0
我刚刚注意到我的mongodb总文档大小超过16 my，我知道总的文档大小限制是16 my。我该怎么办？
浏览 2提问于2021-08-22得票数 2
回答已采纳
Azure CosmosDB - MongoDB提供在帐户级别上读写和只读的键.通过CosmosDB SDK和API，可以在数据库和文档级别创建用户并定义访问。
·但我需要做的是创建一对用户名和密码，限制对MongoDB数据库的访问，类似于可安装MongoDB提供的数据库。
·用户如何使用CosmosDB MongoDB数据库连接RoboMongo。
非常感谢你的帮助。
浏览 0提问于2018-05-03得票数 1
回答已采纳
我有两个相似文档的集合(即相同的对象，不同的值)。在数据库A中取消一个集合(X)，在数据库B中删除另一个集合(Y)。当我尝试将集合X复制到数据库B中时，出现了错误，即“共享吞吐量集合应该有分区键”。我也尝试过使用foreach insert复制数据，但是时间太长了。
因此，我的问题是，如何以有效的方式附加从集合X到集合Y的数据？
CosmosDB上的Mongodb版本为3.4.6
浏览 6提问于2020-01-06得票数 0
回答已采纳
1回答
我们正在从MongoDB迁移到CosmosDB。在MongoDB中，我们从未创建任何分区键，因为一切都运行得很好。但在CosmosDB中，由于RU的有效使用，我们需要创建分区键。
现在的问题是，我们的集合中已经有一个复合唯一键，我们不想将其用作分区键(我也不确定复合分区键在cosmosDB中是否可能)，因为我们通常不使用这个唯一键进行搜索，而是使用其他一些参数。
有没有可能创建不同于唯一键的分区键？
我试着这样做，但我总是得到错误-
cannot create unique index over { abc : 1.0, xyz : 1.0} with shard key pattern {
浏览 4提问于2020-02-29得票数 0
我目前正在努力学习MongoDB，我很难找到解决这个问题的方法。当我运行一个mongoimport命令时，我会得到以下错误：
~ mongoimport --host localhost --port 27017 --db test --collection people --file ~/Downloads/mongodb-consultas.json --jsonArray
2015-09-27T20:46:03.228-0600 [........................] test.people 0.0 B/684.2 KB (0.0%)
2015-09-27T20:4
浏览 0提问于2015-09-28得票数 1
我正在调查使用CosmosDB (以前的DocumentDB)，我们目前使用MongoDB，所以我尝试使用MongoAPI for CosmosDB。
我在azure中创建了一个CosmosDB部署，创建了一个集合，并指定了一个"/rateId“分区键。
据我从了解到，这个分区键应该与我插入的每个文档中的一个属性相关，因此我试图插入一个基本文档，如下所示：
{
"rateId": "test.1",
"val": "test2"
}
但是，当我尝试插入这个(通过Mongo C#驱动程序或通过MongoChe
浏览 11提问于2017-08-09得票数 11
回答已采纳
谁能告诉我默认的mongodb数据库maxsize是什么？我已经在windows服务器上安装了mongodb，并创建了一个文档(Db)。已创建文档，并显示大小- 65,536KB。这是我可以写入数据的最大大小，还是可以扩展它。
浏览 1提问于2015-03-06得票数 0
3回答
如何将图形数据(json)导入Azure Search？我想要搜索图形数据和文档数据在一起。我读到它还不支持CosmosDB Graph API。但我需要能够做到这一点，以便测试将我的公司从Neo4j迁移到CosmosDB。
谢谢，唐尼
浏览 40提问于2019-03-11得票数 0
回答已采纳
我是Mongodb和CosmosDB的新手，我正在尝试更好地理解如何在不同的集合中实现多对多关系。例如，我有一个联系人集合，它存储联系人信息。我有另一个活动集，有活动信息。因此，我需要设置联系人和活动之间的关系。这是多对多的关系。我从Mongodb文档中读到的链接文档似乎只引用了同一集合中的链接文档。如何引用Activity集合中的联系人ID？ 例如，我有Activity集合： {
"_id" : ObjectId("ABCDEFG"),
"ActivityName" : "Meeting",
"ActivityCont
浏览 16提问于2020-12-17得票数 0
给定一个从Azure门户创建的Azure CosmosDB DB实例，可以使用以下命令从shell连接创建多个数据库：
use someNewDbName;
db.someNewCollectionName.insert({});
对于公开MongoDB API的其他DB提供程序，可以在数据库或colletion级别上配置用户角色(对于存在于同一DB实例上的用户)。
例如，对于自托管MongoDB，允许roles参数接受db选项。MongoDB地图集允许通过其UI执行类似的操作。
有没有可能用CosmosDB做同样的事情？在Azure门户中，选择CosmosDB，然后选择Access cont
浏览 0提问于2019-02-01得票数 2
我正在检查AWS上当前MongoDB副本集上的空间，以便将其迁移到AWS DocumentDB。当我从主集合之一运行db.stats()命令时，我得到以下输出。但是实际的DB大小是多少呢？
"db" : "Test",
"collections" : 12,
"objects" : 10889814,
"avgObjSize" : 21885,
"dataSize" : 238334118124,
"storag
浏览 5提问于2020-06-29得票数 0
1回答
我正在使用MongoDB接口探索Azure的CosmosDB。我编写了以下测试(使用Jest)。在我的大多数其他测试中，我可以将MongoDB url替换为CosmosDB url，它们将运行并通过。此测试在指向MongoDB时通过，并使用CosmosDB url失败：
const { MongoClient } = require('mongodb')
let client, db, collection
const url = 'mongodb://localhost:27017'
const dbName = 'test'
describ
浏览 0提问于2017-12-21得票数 0
根据描述的MongoDB方法，我试图在一个大型集合中删除中的重复文档
db.events.aggregate([
{ "$group": {
"_id": { "firstId": "$firstId", "secondId": "$secondId" },
"dups": { "$push": "$_id" },
"count": { "$sum": 1 }
浏览 3提问于2016-11-30得票数 1
回答已采纳
2回答
我正在使用DocumentDB数据迁移工具将AWS DynamoDB数据迁移到Azure CosmosDB，但是对于大型表数据，我得到了一个错误。
看来DocumentDB数据迁移工具的最大数据传输容量是500 k字节，但是我有一个dynamo表，它的数据大约为315 Mb。那么，还有其他方法/工具可以将数据从Dynamo DB传输到cosmos DB吗？
我还尝试将dynamo转换为JSON文件并将其上传到cosmos DB集合，但cosmos DB集合的最大大小为2mb。在image2中，仅对大数据文件显示错误，而我尝试使用小于500 k字节的文件时，它正常工作。
预演阶段
误差
浏览 2提问于2019-01-24得票数 1
回答已采纳
我正在尝试使用MongoDB API将数据从旧的CosmosDB数据库服务器导出和导入到Azure CosmosDB中。但我对与CosmosDB的连接有问题。我使用带有URI标志的连接字符串。
我的mongorestore命令(包括连接字符串)如下：
mongorestore --uri="mongodb://$COSMOS_USERNAME:$COSMOS_PASSWORD@$COSMOS_HOST:$COSMOS_PORT/?maxIdleTimeMS=120000&retrywrites=false&appName=@$DB_NAME@&replicaSe
浏览 11提问于2020-09-15得票数 3
回答已采纳
我需要在mongo中存储一个无序的ID列表作为“黑名单”，并纯粹为了检查原因而使用它们。
blacklisted_ids= [1,23......100002942234... some very large number]
但将其存储在单个文档中是不可行的，因为我很快就会突破2Mb的限制。
我可以在mongodb中创建一个集合，并将每个id作为文档插入，但考虑到我想要的只是检查是否存在，这似乎有点过头了。
这样做的正确方式是什么？
注意:我使用的是mongoid/rails。=)
浏览 2提问于2011-06-09得票数 2
回答已采纳
我们几天前就开始使用MongoDB了，但我们不明白为什么MongoDB使用的总磁盘空间和MongoDB使用的数据库大小如此相似。我所关注的问题如下：
当我们执行查询db.stats()时，我们看到了以下细节：
232.68MBstorageSize : 292.58MBIndexsize : 204.51MBavgObjSize :171
如果我们签入数据库位置，总文件大小(test.0+test.1+test.2..etc)为"2.8GB“。如果添加datasize+storagesize+indexsize+avgobjsize = 900.77MB，为什么它不等于磁盘"2
浏览 5提问于2011-12-20得票数 0
3回答
我正在使用mongodb aggregate从一个大型集合中抽取文档样本。
在连续调用了几次之后，我看到mongodb的内存不断攀升，在大约第12次调用之后，它崩溃了，并出现了OutOfMemory错误。
在Mongodb处理完一个查询之后，我如何告诉它释放内存呢？
浏览 0提问于2016-10-08得票数 1
来自
GridFS将集合放在一个公共桶中，方法是在每个桶前面加上桶名。默认情况下，GridFS使用两个集合和一个名为fs的桶：
fs.files
fs.chunks
在MongoDB中，集合直接包含在数据库中是正确的吗？
在引号中，这两个集合直接包含在一个名为fs的桶中，对吗？
什么是“桶”？它与MongoDB中的数据库是相同的概念吗？fs既是一个桶又是一个数据库吗？
$ mongo test
MongoDB shell version: 3.1.7
connecting to: test
Welcome to the MongoDB shell.
> d
浏览 0提问于2018-07-17得票数 1
我正在尝试使用MongoDB API将Tableau桌面连接到我们的CosmosDB。看起来只支持使用SQL的CosmosDB，而不支持MongoDB API。是否有其他ODBC驱动程序可以与Cosmos DB Mongo API一起使用来将数据放入Tableau？
我们已经尝试了的第三方驱动程序，这似乎是有效的，但我们希望使用微软官方支持的免费驱动程序。
谢谢，克里斯
浏览 2提问于2018-08-28得票数 1
有没有办法检查分区键是否存在于CosmosDB的集合中？ 例如，可用的分区键是美国的州，如WA、NY、MA等。是否有供CosmosDB检查NY是否是集合中分区键一部分的SQL语句？ 假设这是不可能的，那么有没有办法返回集合中的分区键列表呢？
浏览 25提问于2019-09-02得票数 1
回答已采纳
下面的存储库类从批处理中将数据插入到CosmosDb数据库中：
public bool InsertZonierData(List<Zonier> zonierList)
{
if (zonierList == null || !zonierList.Any())
{
throw new ZonierListNullOrEmptyException();
}
else
{
try
{
_collection.InsertMany(zonierList);
浏览 0提问于2019-03-20得票数 0
回答已采纳
我试图使用cosmosdb集合上的存储过程执行查询文档大容量删除。我用过这里的示例代码。
当我尝试执行查询时，我不得不提供一个我不知道的分区键。我想根据不包括分区键的查询条件执行扇出删除查询。我还可以尝试从cosmosdb集合中大量删除文档吗？
浏览 0提问于2018-04-17得票数 0
我只需要通过节点/press.js从MongoDB获得4个文档。我可以为这4份文件设定上限，但不是随机4份。那么，我怎样才能得到4个随机文档呢？
浏览 2提问于2022-01-17得票数 0
回答已采纳
我想知道我们是否可以在同一连接上检索由CosmosDb(mongoDb)创建的最新插入的_id(ObjectId)。(类似于sql server中的SCOPE_IDENTITY() )。我正在使用CosmosDb输出绑定从azure函数插入文档。
浏览 4提问于2018-07-26得票数 0
这只是一个理论问题，例如，一个集合中有10亿条记录，我想一次性查询所有记录。mongodb会返回所有记录吗？
浏览 7提问于2020-06-08得票数 0
2回答
我正在寻找一些关于如何在CosmosDB上添加附件的帮助。这是小小的背景。
我们的应用程序目前在IBM上，我们正在使用CloudantDB。我们使用CloudanDB存储附件(PDF文件)。我们不会转移到Azure PaaS应用服务和计划使用CosmosDB。我正在寻找关于如何使用Java在CosmosDB上创建附件的帮助。我需要使用什么API？我想做个小POC。
谢谢,
浏览 0提问于2018-05-22得票数 2
2回答
我正在研究将数据从SQL 2012迁移到mongoDB的可能性。我的经理特别要求我看看在SQL和MongoDB中处理数十亿行所需的时间，以决定是否迁移。有什么建议或建议或地方我应该访问更多的研究吗？到目前为止我已经做了
在我的开发环境中安装了MongoDB
我已经能够连接到MongoDB，创建了数据库和集合
问题3.如何将SQL中的数据库导入Mongo (例如迁移Adventure )
提前谢谢！
浏览 2提问于2015-09-21得票数 4
回答已采纳
我正在使用Windows上的'/showIncludes‘和*nix上的'-H’来分析构建中的包含。
我正在使用python脚本解析这些信息。包含的每个文件都被转换为一个对象，该对象列出了它的子文件(它包含的文件)和祖先(包含该文件的包含路径)。
在创建这些对象之后，我想使用pymongo将它们推入mongodb数据库。
这适用于99%的includes。但是~5是非常大的。当我尝试将它们添加到mongodb时，它会报错。
Traceback (most recent call last):
File "mongodb.py", line 94, in &l
浏览 2提问于2014-08-29得票数 7
回答已采纳
从输入JSON中排除某些键而不是由Azure CosmosDB索引的正确json是什么？我们在mongodb模式下使用CosmosDB。计划在创建集合后更改Azure Portal上的索引配置。
样本输入Json
{
"name": "test",
"age": 1,
"location": "l1",
"height":5.7
}
如果我要在索引中包括名称和年龄，并从索引中删除位置和高度，那么includedPaths和excludedPaths是什么样的。
浏览 0提问于2017-11-15得票数 2
回答已采纳
目前，我们正在使用MongoDB接口将一个项目从MongoDB迁移到CosmosDB。在数据模型中，我们有时使用枚举，并将它们(表示为int，使用默认序列化程序)存储在DB中。
在极少数情况下遇到问题后，我们观察到，当枚举的值等于0时，枚举不会存储在CosmosDB中。(在这种情况下，MongoDB会存储它们)
有没有办法强制CosmosDB存储这些条目？重组该计划将是一项主要工作，应该避免。
示例：
public enum EPower
{
mW = 0,
W = 1,
kW = 2
}
插入via
var obj = new ContainingType();
//
浏览 14提问于2019-08-01得票数 0
下面是关于创建由CosmosDB - 触发的Azure函数的msdn指南。
不过，我仍然不清楚究竟是什么db操作触发了Azure函数--例如，通过CosmosDB管理门户创建了一个新文档。所以我们知道文档创建会触发Az，但是对文档的更新呢？
每个update/create操作是映射到azure函数的单个触发，还是批处理？
浏览 1提问于2017-09-29得票数 1
回答已采纳
1回答
我开发了一个azure webjob作业，用于在MongoDb CosmosDb数据库中插入大量数据。
下面是我的存储库中的以下代码，用于在cosmosDb数据库中插入数据：
public async Task<bool> InsertZonierDataAsync(List<Zonier> zonierList)
{
if (zonierList == null || !zonierList.Any())
{
throw new ZonierListNullOrEmptyException();
}
try
{
浏览 11提问于2019-07-12得票数 1
回答已采纳
在创建CosmosDB实例时，我们可以选择将用于与实例通信的API (例如SQL、MongoDB、Cassandra等)。
我不清楚的是--这个选择是规定了数据的存储方式，还是只规定了我们与实例通信的方式？例如，如果我们选择MongoDB，是否意味着CosmosDB将以MongoDB方式存储数据？
浏览 2提问于2019-12-25得票数 0
我正在尝试将mongodb数据迁移到Cosmos db。我使用的迁移工具是要求连接Cosmosdb所需的"AccountKey“。
我无法在蔚蓝门户获得帐户密钥。
浏览 2提问于2018-03-16得票数 5
回答已采纳
1回答
当我试图从mongodb集合中获取数据时，我得到了以下异常。这个集合有非常庞大的数据。
例外情况是：
com.mongodb.MongoQueryException: Query failed with error code 10334 and error message 'BSONObj size: 24020168 (0x16E84C8) is invalid. Size must be between 0 and 16793600(16MB)' on server 10.15.0.227:27017
下面是我用来从mongodb获取数据的查询：
db.getCollect
浏览 1提问于2017-04-06得票数 0
我创建了一个使用MongoDB的Python的CosmosDB数据库，让我们将数据库称为school，将集合称为students。在创建数据库时，Azure要求我为无限制的存储容量创建一个碎片密钥，我们称之为school.students。
我使用pymongo添加以下文档：
{
"id": "abc123",
"name": "jack"
}
守则如下：
from pymongo import MongoClient
student_data = {
"id": "abc123",
浏览 2提问于2019-11-09得票数 3
回答已采纳
1回答
我有一个建立在MongoDB上的网站，它的文件可以由用户下载，而不是图片(可以是软件安装程序或.exe文件、.msi文件或.blender文件)，我指的是不同的文件格式。
如何将这些文件存储在服务器上以便用户可以下载？举个例子，软件公司有他们的软件在服务器上，我们作为用户可以下载。如果他们使用MongoDB，他们如何存储在线服务器？
浏览 2提问于2022-02-07得票数 1
我看到cosmosDb现在支持大分区键(最多2kb)，但默认情况下它使用100个字节来存储数据。
在microsoft中，我发现了如何为现有容器启用此选项-
是否有一种方法可以以某种方式为已经存在的容器启用此功能？这样做有什么风险吗？
浏览 5提问于2022-03-29得票数 1
回答已采纳
我使用CosmosDB (mongodb)存储数据。
我的桶里有以下文件
[
{
"title":"Bucket1",
"elementsUsed" : [
{"elementType" : 1, "count" : 1},
{"elementType" : 5, "count" : 2},
]
},
{
"title":"B
浏览 0提问于2018-07-20得票数 0
回答已采纳
我有一个MongoDB服务器，我使用mongodump命令创建备份。我运行命令mongodump --out ./mongo-backup，然后是tar -czf ./mongo-backup.tar.gz ./mongo-backup，然后是gpg --encrypt ./mongo-backup.tar.gz > ./mongo-backup.tar.gz.gpg，然后将这个文件发送到备份服务器。
我的MongoDB数据库有20 in 和MongoDB show dbs命令，MongoDB mongodump备份目录只有3.8GB，MongoDB gzipped tarball只有1
浏览 7提问于2017-06-29得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
