一、ObjectId的组成 首先通过终端命令行，向mongodb的collection中插入一条不带“_id”的记录。然后，通过查询刚插入的数据，发现自动生成了一个objectId “5e4fa350b636f733a15d6f62”这个24位的字符串，虽然看起来很长，也很难理解，但实际上它是由一组十六进制的字符构成，每个字节两位的十六进制数字，总共用了12字节的存储空间。相比MYSQL int类型的4个字节，MongoDB确实多出了很多字节。不过按照现在的存储设备，多出来的字节应该不会成为什么瓶颈。不过MongoDB的这种设计，体现着空间换时间的思想。 ObjectId的官方规范 1)Time 时间戳。将刚才生成的objectid的前4位进行提取“5e4fa350”，然后按照十六进制转为十进制，变为“1582277456”，这个数字就是一个时间戳。通过时间戳的转换，就成了易看清的时间格式2020-02-21 17:30:56， 2)Machine 机器。接下来的三个十六进制就是“b636f7”，这三个是所在主机的唯一标识符，一般是机器主机名的散列值，这样就确保了不同主机生成不同的机器hash值，确保在分布式中不造成冲突，这也就是在同一台机器生成的objectId中间的字符串都是一模一样的原因。 3)PID 进程ID。上面的Machine是为了确保在不同机器产生的objectId不冲突，而pid就是为了在同一台机器不同的mongodb进程产生了objectId不冲突，接下来的“af71”两位就是产生objectId的进程标识符。 4)INC 自增计数器。前面的九个字节是保证了一秒内不同机器不同进程生成objectId不冲突，这后面的三个字节“5d6f62”是一个自动增加的计数器，用来确保在同一秒内产生的objectId也不会发现冲突，允许256的3次方等于16777216条记录的唯一性。 总的来看，objectId的前4个十六进制字符是时间戳，记录了文档创建的时间；接下来3个十六进制字符代表了所在主机的唯一标识符，确定了不同主机间产生不同的objectId；后2个是进程id，决定了在同一台机器下，不同mongodb进程产生不同的objectId；最后通过3个是自增计数器，确保同一秒内产生objectId的唯一性。ObjectId的这个主键生成策略，很好地解决了在分布式环境下高并发情况主键唯一性问题，值得学习借鉴
爬虫功能： QQSpider 使用广度优先策略爬取QQ空间中的个人信息、日志、说说、好友四个方面的信息。 判重使用“内存位”判重，理论上亿数量级的QQ可瞬间判重，内存只占用400M+。 爬虫速度可达到单机每天400万条数据以上（具体要考虑网速、网络带宽、稳定性等原因。我在学校是400万+，但在公司那边却只有六成的速度，普通家庭网络可能会更慢）。 环境、架构： 开发语言：Python2.7 开发环境：64位Windows8系统，4G内存，i7-3612QM处理器。 数据库：MongoDB 3.2.
爬虫功能： QQSpider 使用广度优先策略爬取QQ空间中的个人信息、日志、说说、好友四个方面的信息。 判重使用“内存位”判重，理论上亿数量级的QQ可瞬间判重，内存只占用400M+。 爬虫速度可达到单机每天400万条数据以上（具体要考虑网速、网络带宽、稳定性等原因。我在学校是400万+，但在公司那边却只有六成的速度，普通家庭网络可能会更慢）。 环境、架构： 开发语言：Python2.7 开发环境：64位Windows8系统，4G内存，i7-3612QM处理器。 数据库：MongoDB 3.2.0
在业务开发中，大量场景需要唯一ID来进行标识：用户需要唯一身份标识、商品需要唯一标识、消息需要唯一标识、事件需要唯一标识等，都需要全局唯一ID，尤其是复杂的分布式业务场景中全局唯一ID更为重要。于是就会引申出分布式系统中唯一主键ID生成策略问题。
我们都知道，在分布式系统中，分布式 ID 有很多特殊的要求，其中之二就是要求各个 ID 必须全局唯一，且 ID 能够趋势递增。那么 MongoDB 作为一个分布式 NoSQL 数据库，它的 ObjectID 是一段字符串，是 UUID 吗？不同机器生产的 ID 会相同吗？这段字符串排序没有纯数字主键好排吧？等等，带着这样的疑问，我们一起来看看 Mongo 的 ObjectID 到底有何神秘之处！
一、背景 如何实现分布式id，搜索相关的资料，一般会给出这几种方案： 使用数据库自增Id 使用reids的incr命令 使用UUID Twitter的snowflake算法 利用zookeeper生成
在分布式系统中，有一些场景需要使用全局唯一 ID ，可以和业务场景有关，比如支付流水号，也可以和业务场景无关，比如分库分表后需要有一个全局唯一 ID，或者用作事务版本号、分布式链路追踪等等，好的全局唯一 ID 需要具备这些特点：
MongoDB中的主键无需明确指定，每一条记录被添加到集合之后, MongoDB都会自动添加主键，MongoDB中文档主键的名称叫做 _id，是一个ObjectId类型的数据，格式如下：
mongodb11天之屠龙宝刀（三）基本操作：增删改查与mysql对比 基本概念_id和ObjectId： 1._id MongoDB 中存储的文档必有一”_id” 键。这个键的值可以是任何类型的，默认是个ObjectId 对象。在一个集合里面，每个文档都有唯一的”_id” 值，来确保集合里面每个文档都能被唯一标识。如果有两个集合的话，两个集合可以都有一个值为123 的”_id” 键，但是每个集合里面只能有一个”_id” 是123 的文档。 2. ObjectId ObjectId 是”
mongodb11天之屠龙宝刀（三）基本操作：增删改查与mysql对比 原文连接：直通车
什么是MongoDB？MongoDB是一个面向文档的NoSQL数据库，用于大容量数据存储。MongoDB是2000年代中期出现的一个数据库，属于NoSQL数据库。
//字符型，存储数据常用的数据类型。在 MongoDB 中，UTF-8 编码的字符串才是合法的
锁是一个抽象的概念，锁的实现，需要依存于一个可以存储锁的空间。在多线程中是内存，在多进程中是内存或者磁盘。更重要的是，这个空间是可以被访问到的。多线程中，不同的线程都可以访问到堆中的成员变量；在多进程中，不同的进程可以访问到共享内存中的数据或者存储在磁盘中的文件。但是在分布式环境中，不同的主机很难访问对方的内存或磁盘。这就需要一个都能访问到的外部空间来作为存储空间。
今天的内容接着昨天的来看，昨天我们说了MongoDB的部署、数据存储方式以及简单的用户创建，今天我们来看MongoDB的其他一些特点
引出 大家都用过QQ或者微信吧, 当我们注册的时候, 会被自动分配一个QQ号, 这个号码是全局唯一且固定的, 那么, 如果是你来写的话, 如何为新注册的用户分配一个号码呢? 亦或是一个电商网站, 要为
任何操作都会消耗资源。例如，一个find操作将在集群中的所有相关分片上创建游标。每个游标将开始获取第一批返回的结果。在逻辑会话退出之前，为了取消这样的操作，意味着需要遍历所有具有管理权限的分片，确定哪些活动与您的操作相关联，然后将其停止。
系统唯一ID是我们在设计一个系统的时候常常会遇见的问题，也常常为这个问题而纠结。生成ID的方法有很多，适应不同的场景、需求以及性能要求。所以有些比较复杂的系统会有多个ID生成的策略。下面就介绍一些常见的ID生成策略。
爬虫功能： 此项目和QQ空间爬虫类似，主要爬取新浪微博用户的个人信息、微博信息、粉丝和关注（详细见此：https://github.com/LiuXingMing/SinaSpider/tree/master/Sina_spider1）。 代码获取新浪微博Cookie进行登录，可通过多账号登录来防止新浪的反扒（用来登录的账号可从淘宝购买，一块钱七个）。 项目爬的是新浪微博wap站，结构简单，速度应该会比较快，而且反扒没那么强，缺点是信息量会稍微缺少一些（可见爬虫福利：如何爬wap站）。 爬虫抓取微博的速
标识（ID / Identifier）是无处不在的，生成标识的主体是人，那么它就是一个命名过程，如果是计算机，那么它就是一个生成过程。如何保证分布式系统下，并行生成标识的唯一与标识的命名空间有着密不可分的关系。在世界里，「潜意识下的命名空间里，相对的唯一标识」是普遍存在的，例如：
本文为2020年MongoDB应用案例与解决方案征集活动优秀应用案例：MongoDB在京东的应用，作者王勇。
在大数据的驱使下，我们要实现数据持久化存储，数据共享，数据集中管理数据库是不二之选，小编在这里要阐述的是 mongodb 数据库，mongodb[1]是一个基于分布式文件存储的开源数据库系统，将数据存储为一个文档，数据结构由键值(key=>value)对组成。MongoDB 文档类似于 JSON 对象。字段值可以包含其他文档，数组及文档数组,操作起来比较简单和容易。
在集群高并发环境下，要保证分布式唯一全局ID的生成，是一个很重要的问题。传统的方式如自增、UUID 等方法在分布式环境下容易出现问题，因此需要采用特殊的方案来解决。
MongoDB的引用式数据模型是一种将数据拆分为多个文档的方法，用于管理大量数据或需要频繁更新的数据。引用式数据模型使用一个文档来引用另一个文档，而不是将所有数据存储在单个文档中。
一、背景需求 当我们需要在多个数据库间进行数据的复制自动增长型字段可能造成数据合并时的主键冲突。设想一个数据库中的Order表向另一个库中的Order表复制数据库时，OrderID到底该不该自动增长呢？ 数据库自增长ID和无序的UUID方案的不足之处： 1）、采用数据库自增序列：数据迁移合并等比较麻烦。 2)、UUID随机数：采用无意义字符串，没有排序UUID使用字符串形式存储，数据量大时查询效率比较低。（主要是索引查询销量不是最高的） 如果非要使用非自主增长列作为主键的话(分布式系统分库分表中)
一，题记 所有的业务系统，都有生成ID的需求，如订单id，商品id，文章ID等。这个ID会是数据库中的唯一主键，在它上面会建立聚集索引！ ID生成的核心需求有两点： 全局唯一 趋势有序 二，为什么要全局唯一？ 著名的例子就是身份证号码，身份证号码确实是对人唯一的，然而一个人是可以办理多个身份证的，例如你身份证丢了，又重新补办了一张，号码不变。 问题来了，因为系统是按照身份证号码做唯一主键的。此时，如果身份证是被盗的情况下，你是没有办法在系统里面注销的，因为新旧2个身份证的“主键”都是身份证号码。 也就是说，
构建分布式系统时，如何对数据进行唯一标识也是一个至关重要的设计。不仅要符合B-tree数据结构以维持查询性能，还要考虑唯一标识的连续性会不会影响系统安全性。在分库分表的情况下，还要避免唯一标识重复且高效等等需要考虑的点。为此，市场就出现了很多分布式ID生成方案。本文将详细介绍九种主流的分布式ID生成策略供大家参考使用。
我们在实际编程过程中会经常遇到需要用唯一ID的场合，这些唯一ID还会存到数据库中以便于我们将来进行查询和匹配。
友盟数据平台负责人 吴磊 移动互联网的无处不在催熟了大数据平台，而中国互联网正在面临从IT时代到DT时代的变革，移动互联网与大数据几乎是一种相生相伴的关系。回归到App研发，到后期尤其需要数据与运营。友盟从2010年开始就专注于移动大数据，5年来不仅积累了大量的数据，而且拥有着丰富的技术与经验，那么，友盟大数据平台有着怎样的架构与实践？今天在这里与大家分享一下。 一、架构 架构思想 友盟架构主要参考了Twitter提出的Lambda架构思想。如上图所示，最下面是快速处理层，新增数据在快速处理层计算，这部
世间万物，都有自己唯一的标识，比如人，每个人都有自己的指纹（白夜追凶给我科普的，同卵双胞胎DNA一样，但指纹不一样）。又如中国人，每个中国人有自己的身份证。对于计算机，很多时候，也需要为每一份数据生成唯一的标识。在这里，数据的概念是非常宽泛的，比如数据量记录、文件、消息，而唯一的标识我们称之为id。 自增ID 使用过mysql的同学应该都知道，经常用自增id（auto increment）作为主键，这是一个为long的整数类型，每插入一条记录，该值就会增加1，这样每条记录都有了唯一的id。自增id应该是使
是一串由40位16进制数组成的字符串，用以标识唯一的设备，现在想通过代码获取是不可能的了，如果你想看看你设备的UDID，可以通过iTunes来查看。
在开发中遇到一个业务诉求，需要在千万量级的底池数据中筛选出不超过 10W 的数据，并根据配置的权重规则进行排序、打散（如同一个类目下的商品数据不能连续出现 3 次）。下面对该业务诉求的实现，设计思路和方案优化进行介绍。
关于分布式唯一标识中的雪花算法,网络上的介绍很多,它只是一个算法,可以用Python,Java等不同的语言实现它.即便是同一个语言,它的实现也有不同.
有赞移动有weex发布平台、移动配置中心平台、App分发平台、热修复平台等。这些平台都需要发布，而发布就需要规范化，需要审批制度。如果为各个平台开发这个审批流程，看起来是一种浪费。
http://blog.csdn.net/yueguanghaidao/article/details/7483064
前言 逛淘宝时如果你搜索了某个品牌的某款鞋子，它接下来就会给你推送该品牌的其他款鞋子或者其他品牌的类似鞋款，类似的广告你一定收到过很多，那么广告商是如何对你的设备精准投放你感兴趣的内容？手机上有不同的APP，搜狗地图APP的推送为何没有推送到搜狗录音助手APP上呢？如何保证能精准推送到你的设备，且不同APP之间不会错乱？ 问题明确下就是开发是如何追踪定位到具体的设备和APP呢？这就需要对设备和APP进行唯一标识来进行区分，在此对各种标识符的标识内容和作用进行梳理~ 常见的设备ID标识符 1) IMEI I
MongoDB是一种流行的NoSQL数据库，它以其灵活性和可扩展性而闻名。MongoDB的数据模型是基于文档的，这意味着数据被组织成文档，而不是传统的表格。
参考资料：http://www.cocoachina.com/ios/20171024/20890.html
标识（ID / Identifier）是无处不在的，生成标识的主体是人，那么它就是一个命名过程，如果是计算机，那么它就是一个生成过程。如何保证分布式系统下，并行生成标识的唯一与标识的命名空间有着密不可分的关系。在世界里，「潜意识下的命名空间里，相对的唯一标识」是普遍存在的，例如： 1. 每个人出生的时候，就获得了一个「相对的唯一标识」——姓名。 2. 城市的道路，都基本上采用了唯一的命名（当然这也需要一个过程 ）。 显然，对于每个标识，都需要有一个命名空间（namespace），来保证其相对唯一性。 可以说
MongoDB是一个基于文档模型的NoSQL数据库，它的数据建模与传统的关系型数据库有很大的不同。在MongoDB中，数据是以文档的形式存储的，文档是一种类似于JSON的数据格式，非常灵活和扩展。
今天分享一道朋友去京东面试真实遇到的面试题：“为什么要分布式ID？你项目中是怎么做的？”。
MongoDB是一个基于分布式文件存储的数据库开源项目。由C++语言编写。旨在为WEB应用提供可护展的高性能数据存储解决方案。 它的特点是高性能、易部署、易使用，存储数据非常方便。主要功能特性有： 面向集合存储，易存储对象类型的数据。 模式自由。 支持动态查询。 支持完全索引，包含内部对象。 支持查询。 支持复制和故障恢复。 使用高效的二进制数据存储，包括大型对象（如视频等）。 自动处理碎片，以支持云计算层次的扩展性 支持RUBY，PYTHON，JAVA，C++，PHP等多种语言。 文件存储格式为BSON（
Ⅰ、JSON就是一个字符串，通过Json可以标识不同语言的对象，并且该字符串可以转换为不同语言中的对象；
MongoDB的文档类似于JSON，JSON是一种简单的额表示数据的方式，仅包含6种数据类型，分别是：null、布尔、数字、字符串、数组和对象。
BigDecimal 是 Java 中的一个精确数字类，用于表示高精度的浮点数或整数，通常用于处理需要避免舍入误差的数值计算。它提供了高精度的算术运算，可用于处理非常大或非常小的数值，以及需要精确度的金融计算或科学计算。
MongoDB的文档类似于JSON，JSON是一种简单的表示数据的方式，仅包含6种数据类型，分别是：null、布尔、数字、字符串、数组和对象。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
