首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

我的数据库旅程:从迷茫到觉醒

作为一名从事数据库开发的工程师,我的数据库学习和实践也经历了从基础到深入的过程。 从迷茫到精通的转折点 最开始接触数据库时,我对它的理解停留在基础的增删查改操作上。...云数据库 公司在项目发展过程中逐渐转向云计算,采用了腾讯云的数据库解决方案。这也是我第一次真正接触到云数据库的应用。...未来展望 观看完《中国数据库前世今生》后,我对数据库技术的未来发展方向有了更多的思考。...纪录片中提到的云原生数据库技术和去IOE运动,也让我对未来数据库技术在企业中的应用有了更高的期望。...在这个过程中,我从数据库基础的增删查改操作,逐步成长为能够设计分布式数据库架构的开发者。随着云计算、AI技术的深入发展,数据库技术必将迎来更多的创新与变革。

16410

tcpdump: 我来帮你过滤和分析系统中的网络数据

若未指定该选项,将从系统接口列表中搜寻编号最小的已配置好的接口(不包括loopback接口,要抓取loopback接口使用tcpdump -i lo), :一旦找到第一个符合条件的接口...-vv:产生比-v更详细的输出。 -vvv:产生比-vv更详细的输出。 其他功能性选项: -D:列出可用于抓包的接口。将会列出接口的数值编号和接口名,它们都可以用于"-i"后。...-F:从文件中读取抓包的表达式。若使用该选项,则命令行中给定的其他表达式都将失效。 -w:将抓包数据输出到文件中而不是标准输出。...-r:从给定的数据包文件中读取数据。使用"-"表示从标准输入中读取。...192.168.99.120 and dst 192.168.99.128 # 截获主机hostname发送的所有数据 tcpdump src host hostname # 监视所有发送到主机hostname

1.6K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    【数据挖掘】贝叶斯公式在垃圾邮件过滤中的应用 ( 先验概率 | 似然概率 | 后验概率 )

    垃圾邮件过滤 需求 及 表示方法 II . 贝叶斯方法 步骤 1 : 提出假设 III . 贝叶斯方法 步骤 2 : 计算垃圾邮件假设概率 IV ....垃圾邮件过滤 需求 及 表示方法 ---- 1 . 需求 : 收到一封邮件 , 判断该邮件是否是垃圾邮件 ; 2 ....引入贝叶斯公式 : ① 逆向概率 ( 似然概率 | 条件概率 ) : 收到垃圾邮件后 , 该邮件是 D 的概率 ; 这个概率可以由训练学习得到 , 数据量足够大 , 是可以知道的 ; ② 先验概率...引入贝叶斯公式 : ① 逆向概率 ( 似然概率 | 条件概率 ) : 收到正常邮件 H_1 后 , 该邮件是 D 的概率 ; 这个概率可以由训练学习得到 , 数据量足够大 , 是可以知道的 ;...获取这两个概率 : 从系统后台服务器中的邮件库中获取垃圾邮件 和 正常邮件比例即可 ; VII . 似然概率 P(D|H_1) 和 P(D|H_0) ---- 1 .

    1.2K10

    入门干货:从《权力的游戏》战斗场景中搞懂数据抽样和过滤

    两者的区别是,抽样主要依赖随机化技术,从数据中随机选出一部分样本,而过滤依据限制条件仅选择符合要求的数据参与下一步骤的计算。 ?...主要方法包括: (1)抽签法 一般地,抽签法就是把总体中的N个个体编号,把号码写在号签上,将号签放在一个容器中,搅拌均匀后,每次从中抽取一个号签,连续抽取n次,就得到一个容量为n的样本。...在大数据处理过程中,数据过滤可以采用数据库的基本操作来实现,将过滤条件转换为选择操作来实现。例如,在SQL语言中,我们可以使用select from where语句很容易的实现过滤。...在左侧实验中右键新建空白实验,输入对应的实验名称: ? ▲新建空白实验 在组件中选择相应的组件,拖拽到右侧实验中: ? ▲选择相应组件 先对数据进行过滤,然后进行抽样,最终节点设计如下: ?...完成后,运行成功节点会出现绿色对勾标志。失败节点会显示红叉标志。在运行成功节点上点击右键,选择查看数据,能够查看运行结果数据: ? ▲程序流程 过滤结果如下: ?

    1.1K10

    智商狂飙,问了ChatGPT几个数据库问题后,我的眼镜掉了

    不管是从SQL编写、SQL优化、数据库选型、表设计、理论认识、行业认识都有比较高质量的回答。...SQL编写从GPT回答来看,他基本理解了用户的意思,并提供了基本正确的SQL 写法,同时还提供详细文字说明。从这个案例可以看出,GPT已经具备初步编写一定复杂SQL的能力,并且还有一定的表设计能力。...SQL优化不考虑硬件、数据库架构、表设计等优化改动,单从这条 SQL上,GPT 从索引、查询列、结果集大小、缓存等方面优化的措施还是很全面和准确,并且最后还推荐用户查看 SQL语句的执行计划,可以说是提供了保姆式的...数据库选型在这个案例中,特别在需求中强调了时序和GIS信息,GPT也能敏锐地捕捉到用户的意思。...在提供的方案中,推荐了在时序数据库方面有优秀表现的InfluxDB,以及在GIS有良好支持的PostGIS,这两个数据库也是各自领域的领导者。

    1.3K61

    我的数据库第一课:从懵懂到启迪

    我的数据库第一课:从懵懂到启迪前言在数字化浪潮席卷全球的今天,数据库作为IT技术的“活化石”,已经成为不可或缺的基础设施。...当时,我们使用的是MySQL数据库,由于对数据库的理解还不够深入,初期设计时犯了不少错误,例如没有合理设计索引,导致系统在数据量增加后出现了明显的性能瓶颈。...这次经历让我意识到,数据库的设计和优化不仅仅是技术问题,更是对系统性能和用户体验有着直接影响的重要环节。启迪与成长观看《中国数据库前世今生》纪录片后,我的思绪再次回到那个项目。...在这些故事中,我看到了数据库的真正价值,也真正意识到,掌握数据库技术对开发者至关重要。数据库不仅仅是存储和管理数据的工具,更是支撑各类应用和系统的核心。...而作为一名开发者,我深知,只有不断学习和适应新的技术趋势,才能在这个瞬息万变的行业中立于不败之地。从我的数据库第一课,到如今对数据库技术的深入理解,我经历了从懵懂到启迪的过程。

    7910

    mysql中将where条件中过滤掉的group by分组后查询无数据的行进行补0

    背景 mysql经常会用到group By来进行分组查询,但也经常会遇到一个问题,就是当有where条件时,被where条件过滤的数据不显示了。...例如我有一组数据: 我想查询创建时间大于某一范围的spu的分组下的sku的数量 正常的sql查出的话,假如不存在相关记录 SELECT product_id , count( *) count FROM...product_sku WHERE create_time >= #{param} AND product_id in (1,2,3,4,5) GROUP BY product_id 结果查不到任何记录 即使没有数据...,也想让count显示出0而不是空的效果 因此,我们想实现,即使没有数据,也想让count显示出0而不是空的效果; 解决方案:构建一个包含所有productId的结果集;然后和我们本来的sql进行左外连接...product_id in (1,2,3,4,5) GROUP BY product_id ) AS b ON a.product_id = b.product_id 本篇文章如有帮助到您,请给「翎野君」点个赞,感谢您的支持

    22910

    我与数据库的十年 | 从MySQL到TencentDB,带你实现数据治理平台

    曾几何时,我对于数据库的使用和理解就是“用来存储数据的地方”。...关于数据治理 什么是数据治理?为什么要数据治理?如何数据治理?这是我们需要考虑的三个问题。 我理解的数据治理 以前我们只是在数据库中存储数据,业务少、开发人员少、数据表少。...我从ELement Plus官网直接复制的timeline代码。...效果如下: 发现一个问题,就是我想将timeline的文字部分放在左侧,但是默认的是右侧,所以这一部分需要使用css来调整。...我是从腾讯云的CMV上连接的TencentDB,从执行SQL的响应速度来说,TencentDB比cvm上的MySQL执行速度还要快。 后台服务开发 整个数据治理平台设计的接口是超级多的。

    731120

    从财政学专业到TOP金融数据库DBA--我的学习之路

    研究生毕业后,被导师安排到上海一家创业公司,做证券数据库主要是存储过程的开发工作,我就买了很多数据库方面的书来看。...王珊的《数据库系统原理教程》、国外的《The Guru's Guide To Transact SQL》都是当时读的,当时读了后觉得很有意思,也下决定未来的职业发展方向就是DBA了。...我感觉让我带的同学经验也不比我差,没有办法,只能加速学习提升自己。 2013年我又来到了深圳财付通,因为我觉得金融数据库是数据库领域的皇冠,能让我学到新的东西。...来了后,恰好迎来微信支付上线和红包的暴发式增长,从一个没有多少人的应用和大家眼里的养老部门成为全民服务和通宵次数最多的部门,而因为是金融数据库,要求数据一条不能错,不能丢和5个9的可用性,这对我又是一个新的挑战...到新浪和来腾讯后,都是如此: 2015年整理《数据库部署学习文档》,共21章,286页 8 工具篇 “工欲善其事,必先利其器”,在学习的过程中,有很多很好的工具和平台可以利用。

    59730

    mongoDB设置权限登陆后,在keystonejs中创建新的数据库连接实例

    # 问题 mongoDB的默认登陆时无密码登陆的,为了安全起见,需要给mongoDB设置权限登录,但是keystoneJS默认是无密码登陆的,这是需要修改配置来解决问题 # 解决 在keystone.js...brand': 'recoluan', 'mongo': 'mongodb://user:password@host:port/dbName', }); 1 2 3 4 5 复制 这里需要注意的是...,mongoDB在设置权限登录的时候,首先必须设置一个权限最大的主账户,它用来增删其他普通账户,记住,这个主账户时 无法 用来设置mongo对象的, 你需要用这个主账户创建一个数据库(下面称“dbName...”),然后在这个dbName上再创建一个可读写dbName的普通账户,这个普通账户的user和password和dbName用来配置mongo对象

    2.4K10

    观《中国数据库前世今生》有感:从历史中汲取未来的力量

    观《中国数据库前世今生》有感:从历史中汲取未来的力量中国数据库技术的起步与发展观看了《中国数据库前世今生》后,我对于中国数据库技术的历史变迁有了更深刻的理解。...作为一名有一年开发经验的程序员,这部纪录片让我对中国数据库行业从80年代起步到如今的蓬勃发展,有了全新的认知。今天,我想以亲历者的身份,谈一谈自己在观看这部纪录片后的感想,以及它带给我的启发。...3. 2000年代:数据库技术的多样化与全球化进入21世纪后,数据库技术进入了多样化发展的时期。关系型数据库的主导地位逐渐巩固,同时NoSQL、内存数据库等新技术开始崭露头角。...2000年代,数据库技术从单一的关系型数据库逐渐转向多元化发展,NoSQL的崛起满足了互联网时代海量数据处理的需求。这一点让我想起了自己在工作中面对数据库选型时的纠结。...未来,随着人工智能、大数据等新技术的涌现,数据库领域还将迎来更多的变革,而我们也必须不断学习、进步,才能在这场技术浪潮中走得更远。

    20110

    从单体迁移到微服务的几种模式

    在前面的例子中,假设我们想将计费管理从单体迁移到微服务。在这个模式下,我们将开发一个微服务并将相同的流量发送到我们新的微服务。...假设你需要添加新的功能,比如你想在每次成功交易后通过电子邮件向用户发送下一次交易的折扣券。很简单,你只需在单体应用的订单模块中添加新代码即可调用新创建的折扣微服务。但是如果你没有代码呢?...也就是说我们新的微服务需要与单体数据库耦合,这绝不是一个好主意。 更改数据捕获模式 在这种模式中,我们将对数据库中发生的更改做出反应。比方说,我们想为系统中创建的每个客户创建一张会员卡。...在这种模式下,我们可以监听客户表中的更改。一旦我们检测到有新客户创建了客户表,我们就可以调用 Loyalty 微服务。然后这个微服务可以向客户发放会员卡,并向他们发送包含详细信息的电子邮件。...你可以使用多种方法来监听数据库中的更改。你可以使用触发器,也可以使用数据库的事务日志。还可以编写一个每隔几分钟触发并检查数据库中发生的更改的流程。 总 结 正确实现的微服务具有许多优势。

    66920

    我与数据库的七年之痒:从初识到没它不行

    在今后的学习和工作中,这些知识和技能将对我产生深远的影响。作为编程小白,那时一直很好奇数据库是干嘛用的,为什么需要数据库,也是很这门课,一步一步慢慢解开我对数据库的各种疑惑。...四、七年之痒的挑战与成长现在回想起来,我已经与数据库相识七年了。在这七年里,我经历了从初识到深爱的过程。每一段经历都让我成长了许多。在这七年里,我也遇到了很多挑战和困难。...然而,在我即将崩溃的那一刻,我发现原来是我在迁移过程中不小心将目标数据库的表名写错了!这种低级错误让我哭笑不得。我想,如果数据库会说话的话,它一定会嘲笑我:“你怎么这么粗心大意啊!”...其实现在工作,更多想做的也是SQL,当实现从查询2s到2ms,那种感受是十分有成就感的。七、结语回首过去七年,我与数据库的感情经历了从初识到深爱(谋生)的过程。...虽然过程中充满了挑战和困难,但这些经历却让我更加成熟和坚强。最后,我想说的是,数据库不仅仅是一个技术工具,更是一个陪伴我成长、见证我蜕变的伙伴。

    14520

    从单体迁移到微服务的几种模式

    在前面的例子中,假设我们想将计费管理从单体迁移到微服务。在这个模式下,我们将开发一个微服务并将相同的流量发送到我们新的微服务。...假设你需要添加新的功能,比如你想在每次成功交易后通过电子邮件向用户发送下一次交易的折扣券。很简单,你只需在单体应用的订单模块中添加新代码即可调用新创建的折扣微服务。但是如果你没有代码呢?...也就是说我们新的微服务需要与单体数据库耦合,这绝不是一个好主意。 更改数据捕获模式 在这种模式中,我们将对数据库中发生的更改做出反应。比方说,我们想为系统中创建的每个客户创建一张会员卡。...在这种模式下,我们可以监听客户表中的更改。一旦我们检测到有新客户创建了客户表,我们就可以调用 Loyalty 微服务。然后这个微服务可以向客户发放会员卡,并向他们发送包含详细信息的电子邮件。...你可以使用多种方法来监听数据库中的更改。你可以使用触发器,也可以使用数据库的事务日志。还可以编写一个每隔几分钟触发并检查数据库中发生的更改的流程。 总   结 正确实现的微服务具有许多优势。

    35010

    从零到千万用户,我是如何一步步优化MySQL数据库的?

    写在前面 很多小伙伴留言说让我写一些工作过程中的真实案例,写些啥呢?想来想去,写一篇我在以前公司从零开始到用户超千万的数据库架构升级演变的过程吧。...本文记录了我之前初到一家创业公司,从零开始到用户超千万,系统压力暴增的情况下是如何一步步优化MySQL数据库的,以及数据库架构升级的演变过程。升级的过程极具技术挑战性,也从中收获不少。...业务高峰期,用户提交完订单,在我的订单列表中却看不到自己提交的订单信息(典型的read after write问题);系统内部偶尔也会出现一些查询不到数据的异常。...比如,按订单ID拆分后,一个商家的订单可能分布在不同的数据库中,查询一个商家的所有订单,可能需要查询多个数据库。...每个分片库都有一个自增序列表,生成自增序列时,从自增序列表中获取当前自增序列值,并加1,做为当前ID的后15位 下一秒时,后15位的自增序列再次从1开始。

    96730

    数据分析:从PGONE事件中,你们看到了人性,我却看到了明星真实的粉丝数据

    备注:我要向我微博为数不多的粉丝先声明,我不追任何一个明星,今天为了采集数据,无意中点赞了一个明星微博,请告诉我,微博可以取消赞吗?...我就以事件中的所谓的嘻哈男猪脚微博为例,由于我实在不想打下那个名字,为了省事,我就以SB为代号吧。...从微博的机制来分析,点赞量具有唯一性,因为不能两次点赞,而转发和评论都可以多次操作,那么我们就试图以点赞量作为因变量、评论量和转发量作为自变量,探究二者之间的关系。...从上文分析中可以看到,无论在平时还是在风口浪尖上,点赞量和评论量基本在11-20万之间,而评论量差别很大,是最有可能注水的维度。 所以,基本上可以判断,SB 男的微博粉丝数量在11-15万之间。...从总体粉丝量来看,SB男总体粉丝数量为476万,和我们预估的最多15万粉丝相比,相差了31倍; 从转发量来看,历次商业广告为商家至少刷了大概100W次转发。 你还相信流量明星的粉丝吗?

    86260

    在Docker中快速使用Oracle的各个版本(从10g到21c)的数据库

    为了测试需要,麦老师制作了各个版本的Oracle数据库环境,下载地址如下: # oracle nohup docker pull registry.cn-hangzhou.aliyuncs.com/lhrbest...oracle19clhr_asm_db_12.2.0.3:2.0 init # 对于ASM,① ASM磁盘脚本:/etc/initASMDISK.sh,请确保脚本/etc/initASMDISK.sh中的内容都可以正常执行...,例如: 在Docker中只需2步即可拥有Oracle 21c环境 【DB宝10】在Docker中只需2步即可拥有Oracle18c环境 【DB宝11】在Docker中只需2步即可拥有Oracle...11g企业版环境(11.2.0.3) 【DB宝12】在Docker中只需2步即可拥有Oracle 12cR2(12.2.0.1)企业版环境 【DB宝13】在Docker中只需2步即可拥有Oracle...的ASM+DB环境 【DB宝3】在Docker中使用rpm包的方式安装Oracle 19c DB宝4 本文结束。

    1.8K50

    基于贝叶斯算法的邮件过滤管理系统的设计和实现(Vue+SpringBoot)

    在构建不良邮件过滤系统的前端界面时,我采用了Vue框架。...,滥用的机会就会出现,随机邮件发送者从用户新闻集和邮名单中收集Big View的电子邮件地址,有时还会使用包括电子邮件在内的客户名单。...统计方法广泛应用于邮件过滤中,可以过滤大部分垃圾邮件,但需要对大量样本邮件进行训练,以引起注意并及时更新特征数据库。...该模块需要包括黑名单、白名单的增加、清理、更新、查询功能,如图4-8所示。 4.5 数据库分析与设计 不良邮件过滤系统的数据库是具有邮件信息相关的数据库,其中的相关信息具有很强的专业性。...系统的用户管理模块负责维护系统登入用户的删改,前端将操作的数据通过ajax发送到后端的控制器层,后逐层深入操作底层数据库,再将返回结果给视图层渲染。

    74521
    领券