首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    数据库 | 携程分布式图数据库NebulaGraph治理实践

    经过调研,我们选择分布式图数据库 NebulaGraph 作为管理的对象,主要基于以下几个因素考虑: NebulaGraph 开源版本即拥有横向扩展能力,为大规模部署提供了基本条件; 使用自研的原生存储层...,相比 JanusGraph 这类构建在第三方存储系统上的图数据库,性能和资源使用效率上具有优势; 支持两种语言,尤其是兼容主流的图技术语言 openCypher,有助于用户从其他使用 Cypher 语言的图数据库...考虑到使用图数据库的业务大多数据来自离线系统,通过离线作业将数据导入到图数据库中,数据一致的要求并不高,在这种条件下使用蓝绿部署能够在灾备和性能上得到很好的满足。...生产上的一个例子: 图片 上图为三机房情况,下图为蓝绿部署情况: 图片 中间件及管理 我们基于 K8s CRD 和 Operator 来进行 NebulaGraph 的部署,同时通过服务集成到现有的部署配置页面和管理页面...NebulaGraph 二次开发 当前我们对 NebulaGraph 的修改主要集中的几个相关的环节上,比如新增了命令来指定迁移 storaged 中的分片,以及将 leader 迁移到指定的实例上

    3.4K40

    如何多集群数据库?58 同城 NebulaGraph Database 实践

    资源申请和集群管理方式 为了更好的管理和维护,图数据库在运部门集中管理。用户按需在工单平台中提交申请即可,工单中填写详细的资源需求数据和性能需求指标,由同学统一审核交付集群资源。...为了高效管理和规模化的集群,需要提前规划和制定规范。...61000 meta 端口;51000 ws_http_port;41000 ws_h2_port 62000 storage 端口;52000 ws_http_port;42000 ws_h2_port 规范...端口 路径打包生成 rpm,作为标准安装包 图片 服务请求直接通过 DNS 和网关服务到 Graph,方便计算和存储服务直接交互,由于是通过 DNS 访问,不对外暴露 Meta 节点信息,可以更灵活的...,较少服务绑定 Meta 节点 ip 带来的代价。

    3.8K20

    数据库监控是之本

    前一段时间用户的系统进行应用发布和系统,准备了很久,结果我们最为担心的数据库维护环节没有出现问题,却在应用发布的阶段出现麻烦,因为程序未设置正确的字符集,导致插入了乱码数据,结果又不得不重来。...移动的朋友总结了一句话,非常有道理:保障总是从最高风险点开始逐步推进,悖论是如果这样推进的执行力有保障,出的问题总是之前觉得低风险的地方。...这也给我们一个警示:数据库或系统,每一个环节都要细致入微,唯有如此才能保障长治久安。...、数据库,监控是根本,及时发现、分析和解决出现的问题,是保障系统稳定的关键,任何一个简单的错误都不容轻忽。 加强监控,收集和分析足够多的数据,是系统的最佳保障! 图:对客户系统错误的分析。

    3.5K60

    MySQL 数据库优化(角度)

    2、数据库部署 该工程师出场了,项目初期访问量不会很大,所以单台部署足以应对在1500左右的QPS(每秒查询率)。...在这样数据库集群架构中,大大增加数据库高并发能力,解决单台性能瓶颈问题。如果从数据库一台从库能处理2000 QPS,那么5台就能处理1w QPS,数据库横向扩展性也很容易。...如果做双主,就会遇到数据库数据不一致现象,产生这个原因是在应用程序不同的用户会有可能操作两台数据库,同时的更新操作造成两台数据库数据库数据发生冲突或者不一致。...5、数据库维护 数据库维护是工程师或者DBA主要工作,包括性能监控、性能分析、性能调优、数据库备份和恢复等。...这些都是与相关的前沿技术,也是在存储方面主要学习对象,小伙伴们共同加油吧!哪位博友有更好的优化方案,欢迎交流哦。

    4.5K20

    数据库场景中的连接

    这是学习笔记的第 1827篇文章 在数据库中对场景建立连接是一种很不错的方式,通过建立连接使得我们可以把原本单一的问题通过流程化的方式衔接起来。 以下是近期的一些实践和思路。...业务和团队之间工作的一个纽带就是工单,当然目前还没有明确的工单结算方式,但是可以很明确的说,工单是我们输出给业务方的业务价值体现。 ? 在业务价值体现的过程中,我们可以把技术价值也打包进去。...当然业务巡检的情况和SQL审核类似,页面开发出来了,但是还没有完全推广用起来,我觉得这个地方的一大改进就是把监控和报警结合起来,监控数据能够推送出报警,报警信息可以间接调用巡检接口,这样对于同学来说

    2.4K20

    数据库智能探索与实践

    从自动化到智能化过渡时,美团DBA团队进行了哪些思考、探索与实践?本文根据赵应钢在“第九届中国数据库技术大会”上的演讲内容整理而成,部分内容有更新。...背景 近些年,传统的数据库方式已经越来越难于满足业务方对数据库的稳定性、可用性、灵活性的要求。随着数据库规模急速扩大,各种NewSQL系统上线使用,逐渐跟不上业务发展,各种矛盾暴露的更加明显。...在业务的驱动下,美团点评DBA团队经历了从“人肉”到工具化、产品化、自助化、自动化的转型之旅,也开始了智能数据库领域的思考和实践。...w=1340&h=672&f=png&s=274797] 上图是传统维和智能的特点分析,左边属于传统,右边属于智能。...作者简介 应钢,美团点评研究员,数据库专家。曾就职于百度、新浪、去哪儿网等,10年数据库自动化开发、数据库性能优化、大规模数据库集群技术保障和架构优化经验。

    4.1K10

    数据库到底是不是

    我们来看看某些领导对于数据库本身的看法 1 放数据的地方,只要数据库不出问题,系统就很少出问题,数据库怎么老出问题 2 数据库和大数据比,没有什么意思,大数据能衍生出很多的项目,数据库就是一个的...3 数据库无非就是ORACLE ,硬件配置提高点,问题就解决了,没有那么难 4 数据库就是的事情,找点的,开发的管管算了,没有必要投入太大 估计有些同学看完上面的一些上层对DB的本质工作的看法...从事这个行业有些年头了,实际上管理好的,开发管理好的,相对于数据库本身来说,数据库管理到位的单位相对上面两种管理好的单位,要少。...如果换成其他类型的CTO 那么可想而知,数据库就是这样的思路估计是根深蒂固的。 那么现代的数据库到底应该是什么样子的,在项目中承担了什么。...3 数据库与业务是紧密结合,与不同,属于静态,数据库与业务是息息相关的,业务量大,数据量就变大,数据的存储时间数据的处理模式,数据与程序之间的交互等等都会随着量变变成质变,而不是与中的静态产品

    2.3K30

    角度浅谈MySQL数据库优化

    2、数据库部署 该工程师出场了,项目初期访问量不会很大,所以单台部署足以应对在1500左右的QPS(每秒查询率)。...在这样数据库集群架构中,大大增加数据库高并发能力,解决单台性能瓶颈问题。如果从数据库一台从库能处理2000 QPS,那么5台就能处理1w QPS,数据库横向扩展性也很容易。...如果做双主,就会遇到数据库数据不一致现象,产生这个原因是在应用程序不同的用户会有可能操作两台数据库,同时的更新操作造成两台数据库数据库数据发生冲突或者不一致。...5、数据库维护 数据库维护是工程师或者DBA主要工作,包括性能监控、性能分析、性能调优、数据库备份和恢复等。...这些都是与相关的前沿技术,也是在存储方面主要学习对象,小伙伴们共同加油吧!哪位博友有更好的优化方案,欢迎交流哦。 ?

    4.4K100

    |MySQL 数据库被黑,心力交瘁

    前一阵有一个测试用的 MySQL 数据库被黑了,删库勒索的那种,这里记录一下事情经过,给自己也敲个警钟。...0x01 库没人懵 到第二天,正欢乐地测着功能呢,突然打开啥页面都报数据库异常了,到库里一看,好家伙,所有表都没了,只剩一张 readme,里面写着: 以下数据库已被删除:xxx。...能把库里的表都删了,数据库和服务器的权限怕是都被拿到了。...这次事件让我深刻地意识到,安全问题不容忽视,不管是服务器还是数据库,都要做好安全措施,不要给攻击者可乘之机。不然真到了被攻击,而又自行恢复无望的时候,那就叫天天不应,叫地地不灵了。...安全任重道远,后续先做好以下方面: 访问控制,只赋予必要权限; 服务器镜像、数据库定期备份; 定期漏洞扫描与修复; 敏感数据加密; 操作审计; 最后,警钟常鸣!

    30230

    数据库的就是, 你真逗 !

    下面一些同学,提出数据库不就是吗,不是很悲催吗,虽然这样说的同学不多,但给我一个很想表达不同观点的冲动。 搞数据库的到底是不是搞的 ?...我的回答是NO,NO, NO 那么为什么搞数据库的我不认为是搞的,首先我要重申一点,我个人一点都不认为,搞的是低端的,是不值钱的,想法我认为搞的同学,实际上技术水准应该更高,甚至要高于普通的开发者...至于同学怎么想,我想会有的同学来,去写这样的文字,来反驳。作为 DB 人员,我1000000万个不同意,搞数据库的就是搞的这样的观点。...,架构也没有考虑,直接将全部的突发性并发,短时间加载到数据库,而最终由数据库买单的事情,屡见不鲜,而很多情况下,没有懂行的数据库人员,最终这些问题,由数据库产品和数据库操控人员买单。...说完这些你还觉得,DBA 是一个人员,这不是搞笑吗 ?

    2.1K20

    数据库审计安全无死角

    而使用专业的数据库审计产品又缺乏对人员的审计,于是数据库审计产品成为最佳选择。...2、 访问控制相关人员在维护数据库前必须申请自己的访问对象(数据库实例/端口/账号/…),批准之后方可通过数据库审计系统进行访问,以此对维护行为进行记录,避免越权访问、权限滥用等风险。...因此,在使用人员选择要维护的数据库实例后,数据库审计自动完成客户端或者命令行工具的登录过程。4、 操作完整审计通过独有的技术手段,在不影响性能的情况下解析出流量中的SQL语句。...5、 过程中的访问控制在运过程中,存在绕过访问权限的风险。...诸如此类的安全风险问题,通过权限上收、账号密码上收,不给使用人员下发数据库账号密码,只分配审计系统账号,这样使用人员只能通过审计系统登陆从而实现访问控制。

    23110

    为什么要搞数据库平台

    实际上很多企业都有想做一套数据库平台的想法,主要基于以下的一些原因 1 ORACLE 的淘汰,导致更换其他数据库后,数据库的台数和数量等都有上升,管理手段和方式在使用纯手工的方式进行大批量的数据库的管理...2 固定种类数据库监控种类的平台建立,这样的平台也是见得不少,都有自己的特性和卖点,并且有些产品是固化与某一种数据库产品或自研数据库产品所推出的,这些平台包含,自动搭建数据库,自动巡检数据库,自动故障处理...3 基于业务的数据库的平台,这点可能是商业数据库平台的一个无法触及的地方,目前经济环节的问题会导致针对成本核算的重视,而数据库成本的计算,尤其与业务方面有关的方面这是一个空白,比如数据库为什么要扩充容量...基于上面的一些内容,所以想通过目前企业的需求,来规划一个目前在企业内部核心化的数据库平台,并且在开发中,逐步扩展,对于个人,以及整体职业的发展都是一个好的契机与机会。...从某种角度,如果深入到业务甚至可以通过平台的方式节省在数据库上的投入,转变被动管理方式,为主动管理,让数据库从花钱的角色,变为省钱的角色,乃至一个“赚钱”的部门。

    2.8K60

    化繁为简:数据库人员应该知道这些...

    云和恩墨数据库实时监控和智能巡检平台BethuneX BethuneX数据库实时监控和智能巡检平台,首先它的初衷和愿景依然没有改变:成为数据库人员最喜欢使用的,并且能够帮助他们快速发现和解决数据库问题的智慧平台...与此同时,BethuneX平台通过CMDB为数据库系统提供统一配置和管理服务,服务更加高效准确。...动态数据库风险评分,量化展示数据库实时动态的健康情况 BethuneX为了量化评估数据库运行健康状态,支持对不同的监控指标进行打分或权重设置,最终以总分累计的形式展示数据库风险和健康评分,并且可以动态实时的发生变化...另外,针对不同的数据库应用场景,可以从不同的维度进行关注,帮助用户快速辨识数据库的最大风险或问题。...BethuneX正是基于这种闭环处理流程的思路,引入了自动化管理,用户无需移步即可快速处理和解决问题。

    1.8K50

    数据库必读的10个问题

    本文中的问题精选自上期【你问我答】——数据库专题中读者的提问。...Redis、MongoDB属于非关系型的NoSQL数据库,KV存储。...Q4:能不能简单介绍下时序数据库的应用场景,和其它NoSQL数据库有啥区别?...A:时序数据是基于时间的一系列数据,传统数据库仅仅记录了数据的当前值(虽然会有快照读),时序数据库则记录了所有的历史数据,它可以用于趋势预测,根据历史进行大数据分析,实现预测等场景。...Q6:数据库以及SQL优化的方案有哪些? A:分几个层面: 1. 系统层面:纵向扩展数据库服务器配置,简单粗暴。 2. 数据库服务端层面:配置参数调优等,比如调整数据库连接缓冲区大小。 3.

    2.7K111
    领券