nosql里面需要有逻辑吗 - 腾讯云开发者社区 - 腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

MySQL不香吗，为什么还要有noSQL？

今天我们来聊聊NoSQL这个概念。...noSQL的大概意思 noSQL现在非常火，我看过的简历里面十个有九个都写了熟悉noSQL，但是对于noSQL背后的细节却很少有人能讲清楚，甚至连noSQL里面的这个no是什么意思都很多人搞错。...文档型数据库这里的文档，并不是我们常规理解的一篇文档的含义，而是指的数据存储的结构和核心逻辑。一个生动的例子和大多数技术上的概念一样，noSQL也比较晦涩，很难单纯用语言将它描述清楚。...她说我想要在文字介绍和用户评论里面都展示图片，虽然系统一开始不是这么设计的，但是我不管，我就是需要，立刻马上。...因为关系型数据库的核心逻辑就是存储关系，使用规范、各种技巧和特性，本质上都是围绕这个核心展开的。

7701 0

小白学数据之NoSQL数据库进阶篇

小白问：上次问了NoSQL，SQL的区别，好像有点忘了，我们可以温故而知新一下吗？答：。。。...小白问：这几天听说了一个叫做数据仓库的东西，这个和数据库有什么关系吗？答：从技术上讲，数据仓库是数据库的一种。...小白问：你说数据仓库中的信息是定时增加的，那就是说这里面的信息不是最全面的吗？...图注：高德纳2015OLAP数据仓库系统市场分析深入聊聊小白问：NoSQL的数据建模方式有哪几种呢？我记得上次提到文档和图，还有别的吗？答：记性不错！...而缺点就是这个模型过于简单，对于数据没有任何结构化的认知，只是知道返回了一坨数据，里面是什么完全没有概念。

8385 0

您找到你想要的搜索结果了吗？

是的

没有找到

2019年数据科学最强入门指南

里面有些观点很有价值，特节选翻译成文，这里分享给你。...这是 2013 年的路线图，有点过时了，里面连 TensorFlow 都没有，基本没有人再参考。完全可以划掉这个图中的一些路径，前几年「数据科学」划分地过于分散，采用其他方法会更好。...需强调的是，尽管 SQL 难学，但它是一种非常通用的语言。 Q：好的，我可以这样理解么： NoSQL 对数据科学家来说不像 SQL 那么重要，除非工作中需要它？...Q：真的吗？那我还要不要学习线性代数？...决策树、神经网络、支持向量机、逻辑回归以及线性回归，这些算法都在做某种形式的曲线拟合，每种算法各有优缺点。 Q：所以机器学习只是回归？它们都有效地拟合了曲线？

5004 0

最终一致性其实比MVCC简单

关于NoSQL有这样一个误解： NoSQL最大的谎言是其简单，其实不是，简单意味着开发人员和运营人员需要做很多难且复杂的事情，它们最终得重复实现数据库已经实现的事情。...当人们试图捍卫关系数据库时，没有人质疑这段误解，特别是在黑暗的2009-2010年，当时NoSQL还高喊No SQL，各种NoSQL数据库从地面下冒出来，大部分的他们都有些夸大其词。...针对这种挑战，很多NoSQL认为在分布式系统中需要权衡，这就带来了CAP定理，这类主题有点类似量子力学中的薛定谔的猫捉摸不定。分布式系统是很难的! 这是不可否认。但有更好的方法吗?...这真的比最终一致性的数据库简单吗？正确吗？ MVCC谎言大洞很不幸，关系数据库和它们的MVCC已经远离了乌托邦，MVCC的现实是比我下面描述得复杂得多。...逻辑必须之一是，举例，你只能修改最新版本的一个行记录？

7980 0

redis业务实践 , 这次用哈希

后来不知道被那个闲人发现了,就一直往里提交垃圾数据 , 增加了验证码和手机短信验证码 , 仍然不能阻挡住他提交的热情 . pm一生气 , 说把它改成后台审核通过后再入库 , 并且审核按钮要有时效性 ,...因为公司的数据库需要单独申请建表 , 还有设计表结构 , 还得等审核 , 时间来不及 .仔细一想 , redis不就是个nosql类型的数据库吗 , 并且这条数据并不需要一直留着 , 说干就干 ,直接往...$id; $redis->expire($key,86400); $redis->hMset($key,$order); 这里面id是唯一的 , 拿时间-进程id-ip-随机数 , sha1生成 .过期时间需要单独用...这个实现就是利用了nosql数据库的灵活性 , redis丰富的数据类型 , 解决了业务问题.

2281 0

中国医疗AI第一股首位投资人：AI不再高深，正在回归商业本质

不过，随着上一波深度学习驱动的AI公司走向上市，新一波AI、新技术创新周期里，上述逻辑还能试用吗？另外，怎么看接下里的机遇？又会有怎样的挑战？作为早期投资人，判断技术型项目的关键标准是什么？...王啸：一个逻辑是AI能必须要跟场景深度结合（当时大部分投资还集中在纯技术层面），解决某个或某个产业刚需才有价值。第二个逻辑是，数据、算法和效果这三个要素形成自增益闭环。...王啸：技术领先，但同时有很多需补齐的能力，比如管理的能力、商业的感觉、激励机制、市场化的对接等等。量子位：你的建议是什么？王啸：要有个值得信赖的CEO。...比如青云解决的是计算资源和服务器高效的问题，再往下的本质是让计算的能量消耗变低，放在人类长河里面是有持续价值的，企业只要能做出来就能赢。...王啸：第一，找到那些确实刚需的问题或者场景；第二，看技术的匹配度高不高。这种情况下，再组建一个比较互补的团队去试图解决这个问题。起步阶段这种逻辑基本就够。还要有融资能力，这背后有多重问题的考量。

2674 0

知新温故，从知识图谱到图数据库

要从业务逻辑出发，并且通过观察知识图谱的设计也很容易推测其背后业务的逻辑，而且设计时也要想好未来业务可能的变化。...知识图谱主要有两种存储方式：RDF和图数据库。它们之间的区别如下图所示。RDF一个重要的设计原则是数据的易发布以及共享，图数据库则把重点放在了高效的图查询和搜索上。...在现实生活中，每一个实体都和周围的其他实体有着千丝万缕的关系，这些关系里面所存储的信息甚至要大于实体本身的属性。但是数据库有很多，为什么需要图数据库呢？...关系型数据库和众多的NoSQL为什么不能完全拥有知识图谱的构建呢？ “关系”的数据库存储与表达世界是由关系组成的，关系型数据库能够处理好关系吗？ ?...主要有三种访问Neo4j数据库的方式：嵌入式通过指定数据库地址直接访问数据库。

3.3K5 1

hadoop（1）：hadoop概述

---- hadoop概述 hadoop是 Doug Cutting 在 Lucene 之后的一个项目主要用于计算是一个开源，可靠，可扩展的分布式计算框架主要有 hdfs 也就是...hadoop 的 dfs（Distributed File System） MapReduce 也就是核心想法（先Map，再reduce） java8 里面也看见对应的方法，感觉如果数据量小，现在用别的也可以实现...hadoop生态图 Zookeeper 分布式协作服务 HBase 一个实时的nosql sql（关系型数据库）和 nosql（非关系型数据库） mysql， Oracle、SQLServer、...数据库ETL，转换数据（Hive -> HBase， HBase -> Hive 等）没了解过 ---- Hadoop核心 Hadoop Common 很多项目都有common模块常用的基础，都放在里面...根据逻辑，得到新的 key，value输出把reduce的输出，保存在文件中

1K3 0

小白学数据：一文看懂NoSQL数据库

◆ ◆ ◆ 几个基本问题小白问：数据库是什么东西，可以吃吗？答：......不可以。数据库呢，就是存储数据的地方，就像冰箱是存储食物的地方一样。小白问：诶？...我的数据就存储在自己电脑里面的excel表里里，还要数据库干嘛？答：自己的数据的确很方便，但是对于企业来说就不一样了。...小白问：哦，那是说所有的人都直接在这个系统上查数据和改数据吗？答：是的，数据库也会帮助你处理“并发”，也就是如果多个人同时在改数据的情况。...而NoSQL数据库就减轻了数据建模的负担，比如上面的表里面的一行可以变成下面JSON文档的样子： { 食物名称：猕猴桃，数量：4，喜爱程度：5，主人：{ 姓名：小灰，性别：男...用了NoSQL，公司可以节省好多时间和人民币呢。小白：那是说NoSQL就是用文档，而SQL就是用表格吗？答：NoSQL其实有很多不同的种类的，适用在不同的情况中并且分别有不同的存储方法。

9306 0

对话李飞飞：云数据库战争已经进入下半场

第二类是自研云原生数据库，这里面最主要的重量级产品就是PolarDB。...云原生数据库有很多技术点，最重要的是弹性、存储计算分离、隔离、多租户还有很重要的一点，要有自己的云托管平台。...在NoSQL领域又推出了DynamoDB，在分析领域推出了Redshift。MongoDB修改协议以后，它又推出了自己的DocumentDB。这一系列动作背后的逻辑，和前面讲的是一样的。...对客户来讲，业务逻辑不需要改，如果有分布式的事务处理，分布式查询就会自动搞定。客户不需要去担心怎么去分库分表，去拆分业务逻辑，这是一种。...还有一种就是您刚才问题里面提到的，利用中间件的形式做一个分库分表的解决方案，这个对业务逻辑是有侵害的。这需要数据库的服务商，或者是客户自己要对业务逻辑有很清晰的认识。

1.4K4 0

搞数据库的就是运维，你真逗！

最近在新开的群里面，有一些群友的对话，让我不得不写这一片文字，来说说我的想法是什么。...下面一些同学，提出数据库不就是运维吗，不是很悲催吗，虽然这样说的同学不多，但给我一个很想表达不同观点的冲动。搞数据库的到底是不是搞运维的？...软件行业有了突飞猛进的发展，各种架构和各种的软件项目的形成，越来越复杂化，而数据库部分实际上也在快速的变化，举例 MQ 系列，主流的使用的软件不过3-4种，而数据库主流的则数不胜数，类型也形式多种多样，RDBMS , NOSQL...3 DB 人员还应具备与软件项目设计中的一些业务理解，和设计思路的了解，甚至是介入，目前数据库产品本身在项目中，已经不是一个数据库可以完全HOLD住项目的形成，尤其一些大型的项目，所以DB 人员需要有经验来分析和引导...说完这些你还觉得，DBA 是一个运维人员，这不是搞笑吗？

2.1K2 0

SaaS增长的第二曲线：寻找中国的Slack和Zoom

我们对自己的商业化体系最终长成什么样子一定要有开放心态。这个开放心态背后的逻辑是，SaaS只是你想要做的事情的一个载体。...你以为Zoom就是简单的PLG吗？Slack也是吗？他们比Atlassian还早就有了销售团队。 Survey Monkey知道吗？...他们会说“To B 的增长逻辑与To C 逻辑相左，内生性不同！” 似乎To C和To B的逻辑无法兼容。事实呢？...用这个基本盘解决获客，认知和刚需问题。落地选项这个两条线的商业模式在中国最大的落地平台是什么？企业微信，钉钉，还有飞书。对于在这些平台生态里面的第三方产品来说，平台就是他们的第一条线。...无论是不是这么安排，中间需要有个协调人来帮助公司淌过上面这些坑。在企业微信，钉钉，还有飞书生态里的CEO，其实如何与平台协调也是他们花大力气在做的工作。

7361 0

高并发大容量NoSQL解决方案探索

而NoSQL一开始就是分布式的，解决了读写和容量扩展性问题。以上两点，也是NoSQL产生的根本原因。实现分布式主要有两种手段：副本（Replication）和分片（Sharding）。...一般NoSQL解决方案都是将二者组合起来。 Sharding主要解决数据的划分问题，主要有基于区间划分（如Hbase的Rowkey划分）和基于哈希的划分。...三类监控对象：集群、实例、主机，需要有元数据维护逻辑关系，并在全局做聚合。三种个性化配置：个推的Redis集群，有的集群需要有多副本，有的不需要。有的节点允许满做缓存，有的节点不允许满。...主从重置需要有同等大小的内存，这个一定要留够，如果不留够，用了Swap，就很难重置成功。四、尽量不要用Swap。500毫秒响应一个请求还不如挂掉。...选择适合自己的NoSQL，选择原则有五点： 1、业务逻辑。首先要了解自身业务特点，比如是KV型就在KV里面找；如果是图型就在图型里找，这样范围一下会减少70%-80%。

9888 0

高并发大容量NoSQL解决方案探索

而NoSQL一开始就是分布式的，解决了读写和容量扩展性问题。以上两点，也是NoSQL产生的根本原因。实现分布式主要有两种手段：副本（Replication）和分片（Sharding）。...一般NoSQL解决方案都是将二者组合起来。 Sharding主要解决数据的划分问题，主要有基于区间划分（如Hbase的Rowkey划分）和基于哈希的划分。...三类监控对象：集群、实例、主机，需要有元数据维护逻辑关系，并在全局做聚合。三种个性化配置：个推的Redis集群，有的集群需要有多副本，有的不需要。有的节点允许满做缓存，有的节点不允许满。...主从重置需要有同等大小的内存，这个一定要留够，如果不留够，用了Swap，就很难重置成功。四、尽量不要用Swap。500毫秒响应一个请求还不如挂掉。...选择适合自己的NoSQL，选择原则有五点： 1、业务逻辑。首先要了解自身业务特点，比如是KV型就在KV里面找；如果是图型就在图型里找，这样范围一下会减少70%-80%。

8533 0

一文搞定MySQL的分区技术、NoSQL、NewSQL、基于MySQL的分表分库

原来的订单表就是一个sale数据库里面的一张order表，之后就会创建多个order数据库order1，order2，order3，order4，……，每个数据库里面又有多张订单表t_order_1，t_order...在以往的项目中，项目组不使用它的原因主要有3点。 1）MySQL的实例只有一个，它仅仅分摊了存储，无法分摊请求负载。...◆ NoSQL 比较典型的NoSQL数据库就是MongoDB。MongoDB的分片功能从并发性和数据量这两个角度已经能满足一般大数据量的需求，但是还需要注意下面3点。...举个例子，订单里面有金额相关的字段，这是系统里面的核心数据，所以必须保证每个订单数据都有这些金额相关的字段，并且不管是怎样的业务逻辑修改，这些字段都要保存好，这时可以通过数据库的能力加一层校验，这样即使业务代码出了问题...假设需要查询的数据分布在多个数据库的多个表中（比如在order1里面的t_order_1，order2里面的t_order_9中），那么需要将针对这些表的查询结果合并成一个数据集。

4462 0

Python程序员面试常用基础问题解析

当查询变量的时候，会从该盒子里面寻找相应的对象。 4. Lambda函数是什么？这是一个常被用于代码中的单个表达式的匿名函数。 5. args，kwargs？参数是什么？...单例模式主要有四种方法：new、共享属性、装饰器、import。其他23种设计模式可基本分为创建型、结构型和行为型模式。创建模式，提供实例化的方法，为适合的状况提供相应的对象创建方法。...浅拷贝，没有拷贝子对象，所以原始数据改变，子对象会改变，而深拷贝，包含对象里面的自对象的拷贝，所以原始对象的改变不会造成深拷贝里任何子元素的改变。 17. 多进程与多线程的区别？ a....从逻辑角度来看，多线程的意义在于一个应用程序中，有多个执行部分可以同时执行。但操作系统并没有将多个线程看做多个独立的应用，来实现进程的调度和管理以及资源分配。这就是进程和线程的重要区别。...不需要调用listen和accept UDP收发数据用sendto/recvfrom函数 TCP：地址信息在connect/accept时确定 UDP：在sendto/recvfrom函数中每次均需指定地址信息

6082 0

数据科学家成长指南：从入门到被逼疯

这是一张6年前的图，里面甚至连TensorFlow都没有。而且我觉得，数据科学发展到现在，已经非常碎片化和细分化了。根本没必要搞的这么复杂。 Round 3：我应该学哪门语言呢？...Round 6：懂NoSQL行，不懂也没事非机构化数据才能激发我们的想象力，结构化数据只能固化我们的逻辑能力。...NoSQL更擅长存储这类数据。但是对于数据科学家来说，NoSQL也不是必须要掌握的，除非做数据工程师。而且现在Apache Kafka比NoSQL更火，所以你也知道该学什么了。...决策树、神经网络、支持向量机、逻辑回归、线性回归都执行某种形式的曲线拟合。所以，我们也可以不负责任的说：机器学习只是回归。神经网络实际上只是具有一些非线性函数的多层回归。图像识别也是回归。...Round 12：已疯所以，2019年，你还想做数据科学家吗？

9963 1

关于Uber选择MySQL的思考

提出来迁移的一个重要原因是：在大量更新的业务场景下 PostgreSQL 的 IO 方面有过多的开销（主要是从存储结构上说明），对于使用 SSD 或是 PCI-E 卡的设备基本无法容忍写放大，同时又提出了以下需求：需要有写缓冲能力...最重要一点，需要 SchemaLess 的存储支持要有能力通过增加服务器动态扩容。增加服务器不但要增加可用的硬盘容量，还要减少系统的响应时间。...这里反问一下： MySQL 能满足上面的需求吗？...为了更好的支持 NoSQL 接口,在此基础又推出了另一个重量级的协议:X-协议。以及围绕着推出一堆的 mysqlsh ,各种程序的 Driver。...在 NoSQL 接口层很容易做到数据的拆分及路由设制，底层复制又较好的保证的数据可用安全性。 MySQL 已经不是当初的那个关系型数据库了,现在有更多特性需要你去深入挖掘。

7625 0

一文搞定MySQL的分区技术、NoSQL、NewSQL、基于MySQL的分表分库

原来的订单表就是一个sale数据库里面的一张order表，之后就会创建多个order数据库order1，order2，order3，order4，……，每个数据库里面又有多张订单表t_order_1，t_order...在以往的项目中，项目组不使用它的原因主要有3点。 1）MySQL的实例只有一个，它仅仅分摊了存储，无法分摊请求负载。...NoSQL 比较典型的NoSQL数据库就是MongoDB。MongoDB的分片功能从并发性和数据量这两个角度已经能满足一般大数据量的需求，但是还需要注意下面3点。...举个例子，订单里面有金额相关的字段，这是系统里面的核心数据，所以必须保证每个订单数据都有这些金额相关的字段，并且不管是怎样的业务逻辑修改，这些字段都要保存好，这时可以通过数据库的能力加一层校验，这样即使业务代码出了问题...假设需要查询的数据分布在多个数据库的多个表中（比如在order1里面的t_order_1，order2里面的t_order_9中），那么需要将针对这些表的查询结果合并成一个数据集。

6275 0

NoSQL到底怎么用？

，NoSQL只能作为一些场景的补充。...使用NoSQL提升写入性能数据库系统大多使用机械磁盘，机械磁盘访问方式有两种随机IO 随机IO就需花费时间做昂贵磁盘寻道，读写效率比顺序IO小两到三数量级，想要提升写入性能就要尽量减少随机IO。...索引在InnoDB引擎中是B+树，MySQL主键是聚簇索引（数据与索引数据在一起），在数据插入或更新时，需找到要插入位置，再把数据写到特定位置，这就产生了随机IO。...当从LSM树里面读数据时，我们首先从MemTable中查找数据，如果数据没有找到，再从SSTable中查找数据。...适用场景除了提升性能，NoSQL还可在某些场景下弥补传统关系型DB的不足，假设要设计商品搜索功能，需支持按照商品的名称模糊搜索到对应的商品。

2.3K1 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭