首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

京东物流仓储系统618保障背后的秘诀

在本篇我们将会详细介绍京东物流仓储系统的数据库架构,以及如何通过自动化平台、性能优化、故障自愈和数据结转等步骤进行数据库架构的演进。...缺点是机房的电力和网络环境略差,难度较高。部署架构图如下: ?...二、UDBA自动化平台 工欲善其事必先利其器,想要做好大规模系统的管理,一定需要有自动化的平台作为支持,同时也为了提高工作效率,减少和研发的沟通成本,库房DBA开发了UDBA数据库自动化平台...该平台除了是DBA日常自动化的操作平台,还为WMS研发、运营人员提供了日常所需的技术支持和信息查询。 UDBA数据库自动化平台的主要功能模块如下所示: ?...可维护性,MySQL5.7版本引入GTID复制、Online DDL及新版系统视图和管理函数等,极大提升数据库可维护性,降低DBA风险和管理难度 由于库房数据库服务器长期运行在恶劣的机房环境中,从而产生

1.5K30

腾讯云干货沙龙-海量实践曝光 (三)

12月16日,首期沙龙“海量实践曝光”在腾讯大厦圆满举行。...一、活动背景 [图片] 有三座大山:活动、大变更、大故障。这几个场景是最消耗人力的。特别是活动,非常考验弹性能力,对自动化挑战很大。...我今天所分享的主题就是深入百亿次红包活动的背后,解析腾讯的方法体系,了解织云平台如何帮助实现活动高效,如何减少运人海战术。...根据运营指标,按历史性能数据、容量模型和业务架构,评估出春节活动需要2万台虚拟机和3千台数据库服务器扩容支撑。 节前恰好遇到厂商内存供货问题,服务器供应非常紧张,采购比原计划延期了一个多月。...相关文章 腾讯云干货沙龙-海量实践曝光 (一) 腾讯云干货沙龙-海量实践曝光 (二) 沙龙PPT下载地址: https://share.weiyun.com/5c406a57164ed4cf7e248160aebf74c3

4.9K10
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    腾讯云干货沙龙-海量实践曝光 (二)

    作者丨魏旸:腾讯高级工程师,具有15年经验的专家。负责QQ空间、微云、QQ空间相册等的工作。 12月16日,首期沙龙“海量实践曝光”在腾讯大厦圆满举行。...沙龙出品人腾讯技术总监、复旦大学客座讲师、DevOps专家梁定安,讲师腾讯手机QQ负责人郭智文,腾讯高级工程师魏旸,腾讯SNG资深专家周小军出席沙龙,并带来精彩的技术分享。...[图片] [图片] 相关文章 腾讯云干货沙龙-海量实践曝光 (一) 腾讯云干货沙龙-海量实践曝光 (三) 沙龙PPT下载地址: https://share.weiyun.com/5c406a57164ed4cf7e248160aebf74c3

    8.4K10

    腾讯云干货沙龙-海量实践曝光 (一)

    作者丨郭智文:腾讯高级工程师,手机QQ负责人。...12月16日,首期沙龙“海量实践曝光”在腾讯大厦圆满举行。...沙龙出品人腾讯技术总监、复旦大学客座讲师、DevOps专家梁定安,讲师腾讯手机QQ负责人郭智文,腾讯高级工程师魏旸,腾讯SNG资深专家周小军出席沙龙,并带来精彩的技术分享。...业务同事通过腾讯网络中心联系到重庆联通网络负责人,经过多轮沟之后,确认确实是运营商在凌晨时段割接网络引起,运营商与厂商经过两次调整最后故障才得以解决。...总结 相关文章 腾讯云干货沙龙-海量实践曝光 (二) 腾讯云干货沙龙-海量实践曝光 (三) 沙龙PPT下载地址: https://share.weiyun.com

    5K30

    数据库如何应对保障活动

    数据库作为系统的重要节点,其稳定性和性能格外重要,数据库的全力保障是一个的挑战。电商,这场没有硝烟的战争很多人已有体会,在此不再赘述。...现在,我们直接切入主题--数据库如何 积极应对,全力保障 活动。这个题目分解为三个部分进行讲解: 第一部分,准备工作;第二部分,促进行时;第三部分,后复盘。...“功夫在诗外”,同样,活动下数据库稳定、顺畅的运行,主要工作在前的准备上,所以,准备工作是重点。 一.前准备工作 1.对活动应该尽可能地去了解,去熟悉。...2.梳理活动用到的系统链路,对链路上的系统和应用有个较为清晰的了解,制作活动全链路的数据库流程图。 3.梳理链路上的数据库资源。...12.评估期间应用部署变更可能对数据库造成的影响。比如,为应对活动的系统请求,SA可能会增加应用的部署。 13.期间数据库性能阈值预估。

    6.8K00

    | 好数据中心的四法宝

    对于数据中心,工作的重要性不言而喻,在数据中心生命周期中管理是历时时间最长的一个阶段。...投资巨大的数据中心,为了能够尽快得到收益,就需要在运的工作上多下工夫,切勿进入“一流设备、二流设计、三流”的不良运营之中,高品 质数据中心的工作至关重要。...那么如何才能提升数据中心的水平,本文提出了数据中心工作制胜的四法宝,做好这四个方面的工作将使数据中心一直 运行于最佳状态,为数据中心创造最大的受益。...通过对数据中心而 输出的各种技术文档,将为后来人提供方便,并且可以提升数据中心整体的能力。数据中心的文档五华八门,你不知道什么时候其中的哪些文档就会派上用场。...工程文档、业务备份、在线监测、周期巡检是数据中心工作的四个重要方面,只有做好这四个方面的工作,才能让数据中心保持长期稳定运行,并能产生良好的效益,是数据中心水平高低的主要体现,拥有这四法宝,将使数据中心终身受益

    3.5K70

    模型在蓝鲸体系应用——蓝鲸开发智能助手

    直达原文:模型在蓝鲸体系应用——蓝鲸开发智能助手背景1、转型背景蓝鲸平台从诞生之初,就一直在不遗余力地推动转型,让团队可以通过一体化 PaaS 平台,快速编写脚本,编排流程,开发运工具...2、模型对开发带来的挑战和机遇最近几年,模型的爆发式发展为开发和行业带来新的变革,2021 年 7 月 1 日,由 GitHub 和 OpenAI 共同开发的人工智能编码助手——Copilot...的功能;开发平台将数据库表结构和用户输入文本进行格式化整合后,经过 Prompt 优化后发送到模型;模型返回 SQL 语句,用户复制或插入到平台中。...,调用开发平台能力,生成开发任务步骤和流程,包含设计数据库模型、开发员工信息管理接口、开发打卡系统接口、开发抽奖系统接口、实现用户认证和权限管理、设计 API 响应格式,以及集成 SaaS 开发框架...直达原文:模型在蓝鲸体系应用——蓝鲸开发智能助手

    36901

    IT咖带你玩转企业信息自动化

    但是小到企业设备、系统的到企业的多个信息系统的规划、选型、建立整体的业务数据中台,企业的IT信息化部门,是“IT里最懂本企业的业务,又是懂业务的人里IT技术最强的”存在,也在越来越多的企业数字化转型中担任着重要的选型...非典型IT负责人王焱焱是一位非典型IT负责人,热爱电脑的他从中学就开始折腾3C设备,并且自主参加了IT技术的培训。...零代码玩转IT自动化王焱焱爱琢磨,爱学习,爱分享。集团的IT工作中,有许多重复琐碎却价值低的工作,他一直在思考,在自己的工作中,如何去不断优化。...第一次接触腾讯云HiFlow场景连接器里,是接触到了,可以零代码实现企业微信群机器人的能力,IT自动化终极攻略今晚等你你来听!零代码打造灵活值班自动化?IT知识库更新及时提醒?...企业软硬件自动告警?

    44330

    模型在蓝鲸体系应用——蓝鲸开发智能助手

    为了让人员更快成长为“六边形”(参考《在线跟腾讯工程师学习SaaS开发》,泛指界的六边形战士,特指掌握了开发技能的人群),降低开发 SaaS 的难度,蓝鲸不仅提供了蓝鲸开发框架,...2、模型对开发带来的挑战和机遇最近几年,模型的爆发式发展为开发和行业带来新的变革,2021 年 7 月 1 日,由 GitHub 和 OpenAI 共同开发的人工智能编码助手——Copilot...3、专业知识问答模型天然在自然语言理解和知识总结有巨大的优势,而嘉为蓝鲸又有上千家各行各业的企业解决方案实施经验,积累了海量的开发领域专业知识。...的功能;2.开发平台将数据库表结构和用户输入文本进行格式化整合后,经过 Prompt 优化后发送到模型;3.模型返回SQL语句,用户复制或插入到平台中。...,调用开发平台能力,生成开发任务步骤和流程,包含设计数据库模型、开发员工信息管理接口、开发打卡系统接口、开发抽奖系统接口、实现用户认证和权限管理、设计API响应格式,以及集成SaaS开发框架、执行开发环境启动和测试预览等部署工作

    10910

    数据库 | 携程分布式图数据库NebulaGraph治理实践

    ,相比 JanusGraph 这类构建在第三方存储系统上的图数据库,性能和资源使用效率上具有优势; 支持两种语言,尤其是兼容主流的图技术语言 openCypher,有助于用户从其他使用 Cypher 语言的图数据库...考虑到使用图数据库的业务大多数据来自离线系统,通过离线作业将数据导入到图数据库中,数据一致的要求并不高,在这种条件下使用蓝绿部署能够在灾备和性能上得到很好的满足。...生产上的一个例子: 图片 上图为三机房情况,下图为蓝绿部署情况: 图片 中间件及管理 我们基于 K8s CRD 和 Operator 来进行 NebulaGraph 的部署,同时通过服务集成到现有的部署配置页面和管理页面...除了 block cache,存储端还有一类内存使用是 indexes and filter blocks,与此有关的设置在 RocksDB 中是 cache_index_and_filter_blocks...NebulaGraph 二次开发 当前我们对 NebulaGraph 的修改主要集中的几个相关的环节上,比如新增了命令来指定迁移 storaged 中的分片,以及将 leader 迁移到指定的实例上

    3.4K40

    如何多集群数据库?58 同城 NebulaGraph Database 实践

    资源申请和集群管理方式 为了更好的管理和维护,图数据库在运部门集中管理。用户按需在工单平台中提交申请即可,工单中填写详细的资源需求数据和性能需求指标,由同学统一审核交付集群资源。...为了高效管理和规模化的集群,需要提前规划和制定规范。...61000 meta 端口;51000 ws_http_port;41000 ws_h2_port 62000 storage 端口;52000 ws_http_port;42000 ws_h2_port 规范...端口 路径打包生成 rpm,作为标准安装包 图片 服务请求直接通过 DNS 和网关服务到 Graph,方便计算和存储服务直接交互,由于是通过 DNS 访问,不对外暴露 Meta 节点信息,可以更灵活的...,较少服务绑定 Meta 节点 ip 带来的代价。

    3.8K20

    系统要素

    https://blog.csdn.net/wh211212/article/details/53199058 系统要素 如今的互联网是一个巨大的变幻莫测的世界,每个站点、每个应用程序...要想在21世纪取得 24x7维和系统成功的话,关键是要能够理解并合理地关注这五要素。...监控包括:常规的 CPU、RAM、以及磁盘输入/输出监控,还包括对许多与网络服务器、应用程序和代码、数据库等相 关的特定服务问题的监控,重点是对能够提高和/或降低大型系统性能的关键变量进行监控...这种做法也能够帮助程序开发员和团队成员强行地把安全观牢 记在心。...要想在21世纪取得成功和系 统成功的话,关键是要能够理解并合理地关注这五要素。

    3.7K20

    数据库监控是之本

    前一段时间用户的系统进行应用发布和系统,准备了很久,结果我们最为担心的数据库维护环节没有出现问题,却在应用发布的阶段出现麻烦,因为程序未设置正确的字符集,导致插入了乱码数据,结果又不得不重来。...移动的朋友总结了一句话,非常有道理:保障总是从最高风险点开始逐步推进,悖论是如果这样推进的执行力有保障,出的问题总是之前觉得低风险的地方。...这也给我们一个警示:数据库或系统,每一个环节都要细致入微,唯有如此才能保障长治久安。...、数据库,监控是根本,及时发现、分析和解决出现的问题,是保障系统稳定的关键,任何一个简单的错误都不容轻忽。 加强监控,收集和分析足够多的数据,是系统的最佳保障! 图:对客户系统错误的分析。

    3.5K60

    徒手教你制作监控

    在公司开发人员资源紧张的情况下,想要快速搭建起一套屏可以使用Grafana。   Grafana 是一个开源的监控数据分析和可视化套件。...综合屏展示   以上内容都是分模块的,现在想把服务器、业务访问流量、容器状态放在一个屏内显示,每一块都来各自的数据源。...关键在于一块屏要展示哪些关键信息,摈弃掉无关紧要的内容,下面是其中一个屏,具体制作方式与上面一样,其中图形大小与布局需要根据投影到屏上的分辨率有关,需要现场调试。 ?...关于屏展示的技巧 Grafana提供一个屏展示轮播功能,几个看板之间自动切换,具体就是Playlists。 ? 给屏一个名字,和切换间隔,然后将需要轮播的看板加入。 ?...Grafana还可对接很多数据源,需要自行去探索,有能力的可以进行二次开发,打造自己的监控屏。

    3.4K41

    MySQL 数据库优化(角度)

    2、数据库部署 该工程师出场了,项目初期访问量不会很大,所以单台部署足以应对在1500左右的QPS(每秒查询率)。...另一个是InnoDB,支持事务处理(ACID),设计目标是为处理容量数据发挥最大化性能,行级别锁。 表锁:开销小,锁定粒度,发生死锁概率高,相对并发也低。...行锁:开销,锁定粒度小,发生死锁概率低,相对并发也高。 为什么会出现表锁和行锁呢?...5、数据库维护 数据库维护是工程师或者DBA主要工作,包括性能监控、性能分析、性能调优、数据库备份和恢复等。...这些都是与相关的前沿技术,也是在存储方面主要学习对象,小伙伴们共同加油吧!哪位博友有更好的优化方案,欢迎交流哦。

    4.5K20

    走进腾讯,聊干货(第一期):海量实践曝光

    《走进腾讯,聊干货》系列 (1)是由腾讯云主办的互联网实践系列技术分享沙龙,将在北京、上海、深圳、广州、厦门、成都等城市举办; (2)主题分为四期,包括海量、运营规划、自动化、智能监控等话题...,期待您的关注与参与; 第一期主题:海量实践曝光 (1)时间:12月16日,周六,下午2:00--6:00 (2)地址:深圳市南山区科技园-腾讯公司培训教室 (3)参与说明:请填写此问卷进行报名,...(3)3:40-4:30 魏旸 《千万用户迁徙,QQ空间异地多活实践》 (4)4:40-5:40 周小军 《从腾讯社交平台春节活动的背后,看自动化》 (5)5:40-6:00 自由讨论 二...、出品人介绍 梁定安,社区称呼“大梁” (1)腾讯云-织云产品负责人,运营/技术总监; (2)10+年互联网从业经验,高效社区金牌讲师、复旦大学客座讲师、腾讯云布道师、DevOps专家,亲历腾讯...”; 3、周小军 (1)腾讯SNG资深专家,拥有十几年的IT经验; (2)擅长互联网网站架构、云计算平台及、自动化开发等领域,具有十万台级规模的基础设施规划及运营能力,腾讯学院讲师; (

    2.4K10

    数据库场景中的连接

    这是学习笔记的第 1827篇文章 在数据库中对场景建立连接是一种很不错的方式,通过建立连接使得我们可以把原本单一的问题通过流程化的方式衔接起来。 以下是近期的一些实践和思路。...业务和团队之间工作的一个纽带就是工单,当然目前还没有明确的工单结算方式,但是可以很明确的说,工单是我们输出给业务方的业务价值体现。 ? 在业务价值体现的过程中,我们可以把技术价值也打包进去。...当然业务巡检的情况和SQL审核类似,页面开发出来了,但是还没有完全推广用起来,我觉得这个地方的一改进就是把监控和报警结合起来,监控数据能够推送出报警,报警信息可以间接调用巡检接口,这样对于同学来说

    2.4K20

    数据库智能探索与实践

    从自动化到智能化过渡时,美团DBA团队进行了哪些思考、探索与实践?本文根据赵应钢在“第九届中国数据库技术大会”上的演讲内容整理而成,部分内容有更新。...背景 近些年,传统的数据库方式已经越来越难于满足业务方对数据库的稳定性、可用性、灵活性的要求。随着数据库规模急速扩大,各种NewSQL系统上线使用,逐渐跟不上业务发展,各种矛盾暴露的更加明显。...在业务的驱动下,美团点评DBA团队经历了从“人肉”到工具化、产品化、自助化、自动化的转型之旅,也开始了智能数据库领域的思考和实践。...数据库平台的演变 我们数据库平台的演进大概经历了五个的阶段: [167aa77eebdd36f1?...作者简介 应钢,美团点评研究员,数据库专家。曾就职于百度、新浪、去哪儿网等,10年数据库自动化开发、数据库性能优化、大规模数据库集群技术保障和架构优化经验。

    4.1K10

    数据库到底是不是

    我们来看看某些领导对于数据库本身的看法 1 放数据的地方,只要数据库不出问题,系统就很少出问题,数据库怎么老出问题 2 数据库和大数据比,没有什么意思,大数据能衍生出很多的项目,数据库就是一个的...3 数据库无非就是ORACLE ,硬件配置提高点,问题就解决了,没有那么难 4 数据库就是的事情,找点的,开发的管管算了,没有必要投入太大 估计有些同学看完上面的一些上层对DB的本质工作的看法...从事这个行业有些年头了,实际上管理好的,开发管理好的,相对于数据库本身来说,数据库管理到位的单位相对上面两种管理好的单位,要少。...如果换成其他类型的CTO 那么可想而知,数据库就是这样的思路估计是根深蒂固的。 那么现代的数据库到底应该是什么样子的,在项目中承担了什么。...3 数据库与业务是紧密结合,与不同,属于静态,数据库与业务是息息相关的,业务量大,数据量就变大,数据的存储时间数据的处理模式,数据与程序之间的交互等等都会随着量变变成质变,而不是与中的静态产品

    2.3K30
    领券