当前,随着电商节日的增多(6.18、双十一、双十二)、平台拉新趋于频繁,大促活动也越来越普遍。作为一个电商平台,每年都会有一次,甚至几次的流量“大考”。数据库作为系统的重要节点,其稳定性和性能格外重要,数据库的全力保障是一个大的挑战。电商大促,这场没有硝烟的战争很多人已有体会,在此不再赘述。现在,我们直接切入主题--数据库如何 积极应对,全力保障 大促活动。这个题目分解为三个部分进行讲解: 第一部分,准备工作;第二部分,大促进行时;第三部分,大促后复盘。
在开始文章之前,我们先来问一个问题,为什么是国际上是亚马逊,国内是阿里这两家公司云计算搞得最好呢?这两家公司之间有一个巨大的共同点,就是它们都是电商公司。电商公司的特点很明显,就是流量不是固定的,往往会受到大促、节日的影响。像是国内的双十一和美国的黑色星期五就是典型的大促。在大促的时候的流量会是平常的十倍甚至更多,这么大的流量必须要有更多的机器去应对。但问题是如果去买这么多机器,但是大促过了,流量下降,那么这些机器就又用不到了,显然就会造成浪费。
redo log:存储已提交的事务,顺序写入,不需要读取操作 undo log:存储未提交事务,帮助回滚,随机读写操作
鲍永成 京东商城基础架构部技术总监 京东技术11.11基础架构峰会讲师 2013年加入京东,负责京东容器集群平台研发,带领团队完成京东容器大规模落地战略项目,有效承载京东全部业务系统以及数据库和中间
“ IT资源服务”:京东商城、物流、金融、科技等京东所有业务的基层支持,有关基础IT资源的一切,包括设备采购的需求对接、部分IT设备的实际采购、机房服务器上架、操作系统部署、服务器运维保障等都是他们来完成实现的,没有他们,线上业务就没有了物理基础。 今天要介绍的,正是京东IT资源服务部里的一群硬件“发烧友”——基础设施管理部团队,他们承载了服务器设备从上架安装到交付使用的全部环节。 有一篇爆料文章:《11.11前夕撞见京东秘密武器进入某机房》正在朋友圈刷屏,今天就带大家一起,真正到京东的机房走一走。
云函数 (Serverless Cloud Function,SCF )或称为函数即服务 (Function as a Service)。Serverless 是典型且完全的云原生的架构、产品或应用。云函数是现有计算资源的最小单位,具有完全自动、一键部署、高度可扩展等特点,是轻量级服务部署非常好的选择。
大促在即,拥有亿级流量的电商平台开发了一个订单系统,我们应该如何来预估其并发量?如何根据并发量来合理配置JVM参数呢?
随着唯品会业务的快速发展,订单量的不断增长,原有的订单存储架构已经不能满足公司的发展了,特别是在大促高峰期,原订单库已经成为抢购瓶颈,已经严重制约公司的发展。
导语 每年“618”、“双11”是智慧零售行业消化流量红利的最佳时期,但依然有很多企业因为自身系统无法承载流量高峰带来的冲击而无法享受这一流量红利。在大促流量高峰期,一旦出现商品页面加载缓慢、抢购失败,立即下单报错,购物车内添加的商品丢失等问题,用户就会对平台,乃至品牌本身产生“心理阴影”,那么我们该如何对系统进行“彻查”,才能保障大促期间用户的顺滑体验呢? 一到大促心就慌?智慧零售行业核心诉求 2021年的“618”年中大促如期而至,想必各位智慧零售行业的小伙伴早已摩拳擦掌,熬了多少通宵准
上云前,主要是依赖第三方机房和自建机房,物理服务器数量超过千台。机房承接部分数据灾备,同时双机房,实现核心业务灾备环境。
以上都是从宏观或者广义层面对云计算的理解。那么,在这些概念背后,又隐藏着哪些有趣的技术实现呢?如何架构,使用了什么新技术,又催生了哪些技术的发展?接下来的几篇,我将去了解云计算背后的技术要素。
深耕零售,没有比中国更好的地方,也没有比现在更好的时间。1996 年,国际零售巨头沃尔玛进入中国,在深圳开设了第一家山姆会员商店。25 年后的今天,山姆会员商店拥有 数百万付费会员,成为 国内遥遥领先的会员制商店。
深耕零售,没有比中国更好的地方,也没有比现在更好的时间。1996 年,国际零售巨头沃尔玛进入中国,在深圳开设了第一家山姆会员商店。25 年后的今天,山姆会员商店拥有 数百万付费会员,成为 国内遥遥领先的会员制商店。 当位于深圳的山姆会员商店连续 10 余年成为沃尔玛全球销售第一的门店,沃尔玛又一次亮出了优秀的业绩。为什么能够在极度竞争的中国零售市场保持强劲增长?2020 年全球零售行业调研报告作出了如下总结:在沃尔玛,各种各样的先进技术被广泛应用以提高工作效率。沃尔玛的管理者认为,先进的科技在零售市场
深耕零售,没有比中国更好的地方,也没有比现在更好的时间。1996 年,国际零售巨头沃尔玛进入中国,在深圳开设了第一家山姆会员商店。25 年后的今天,山姆会员商店拥有数百万付费会员,成为国内遥遥领先的会员制商店。 当位于深圳的山姆会员商店连续10余年成为沃尔玛全球销售第一的门店,沃尔玛又一次亮出了优秀的业绩。为什么能够在极度竞争的中国零售市场保持强劲增长?2020 年全球零售行业调研报告作出了如下总结:在沃尔玛,各种各样的先进技术被广泛应用以提高工作效率。沃尔玛的管理者认为,先进的科技在零售市场将有
吴怡燃, 京东大数据平台高级技术专家,擅长大数据平台的资源管理与调度系统的开发与建设。目前专注于以万台分布式调度系统及深度学习平台的开发与建设。
本文内容有限,很多设计的小细节未能体现,感兴趣的欢迎交流,希望上述内容对正在从事大屏建设的同学有一些新的启发和思考。
业务覆盖全球190多个国家和地区,服务全球用户超过4000万,业务领域横跨生物技术、健康管理、酒店旅游、教育培训、金融投资......运营这样一家跨国集团的全球化业务,需要在全球部署多少 IT 管理中心? 天狮集团作为这样一家跨国公司,给出的答案是:3个。 01. 一个 “小目标”:加速实现全球直播 天狮的全球化业务,主要由位于天津、北京和杭州的 3 个精简的 IT 团队负责,积极通过技术创新提升业务开发效率,源源不断地为天狮在全球输出业务动力。 2021 年,天狮将快速实现海内外直播服务提高为战略目标:
业务覆盖全球190多个国家和地区,服务全球用户超过4000万,业务领域横跨生物技术、健康管理、酒店旅游、教育培训、金融投资......运营这样一家跨国集团的全球化业务,需要在全球部署多少 IT 管理中心? 天狮集团作为这样一家跨国公司,给出的答案是:3个。 01. 一个 “小目标”:加速实现全球直播 天狮的全球化业务,主要由位于天津、北京和杭州的 3 个精简的 IT 团队负责,积极通过技术创新提升业务开发效率,源源不断地为天狮在全球输出业务动力。 2021 年,天狮将快速实现海内外直播服务提高为战略
面对一个庞然大物,如果没有一个合理的分工分层。任何一个小小失误都会被无限放大,酿成巨大灾难。
3 预案开关推送(https://blog.csdn.net/weixin_35881820/article/details/113015410)
前提: 某大型跨境电商业务发展非常快,线上机器扩容也很频繁,但是对于线上机器的运行情况,特别是jvm内存的情况,一直没有一个统一的标准来给到各个应用服务的owner。经过618大促之后,和运维的同学讨论了下,希望将线上服务器的jvm参数标准化,可以以一个统一的方式给到各个应用,提升线上服务器的稳定性,同时减少大家都去调整jvm参数的时间。 参考了之前在淘宝天猫工作的公司的经历:经过大家讨论,根据jdk的版本以及线上机器配置,确定了一个推荐的默认jvm模版: 最终推荐的jvm模版: jdk版本 机器配置 建议jvm参数 备注 jdk1.7 6V8G -server -Xms4g -Xmx4g -Xmn2g -Xss768k -XX:PermSize=512m -XX:MaxPermSize=512m -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:+CMSClassUnloadingEnabled -XX:+DisableExplicitGC -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=68 -verbose:gc -XX:+PrintGCDetails -Xloggc:{CATALINA_BASE}/logs/gc.log -XX:+PrintGCDateStamps -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath={CATALINA_BASE}/logs 前台 jdk1.7 8V8G -server -Xms4g -Xmx4g -Xmn2g -Xss768k -XX:PermSize=512m -XX:MaxPermSize=512m -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:+CMSClassUnloadingEnabled -XX:+DisableExplicitGC -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=68 -verbose:gc -XX:+PrintGCDetails -Xloggc:{CATALINA_BASE}/logs/gc.log -XX:+PrintGCDateStamps -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath={CATALINA_BASE}/logs 前台 jdk1.7 4V8G -server -Xms4g -Xmx4g -Xmn2g -Xss768k -XX:PermSize=512m -XX:MaxPermSize=512m -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:+CMSClassUnloadingEnabled -XX:+DisableExplicitGC -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=68 -verbose:gc -XX:+PrintGCDetails -Xloggc:{CATALINA_BASE}/logs/gc.log -XX:+PrintGCDateStamps -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath={CATALINA_BASE}/logs 前台 jdk1.7 6V8G -server -Xms4g -Xmx4g -XX:MaxPermSize=512m \ -verbose:gc -XX:+PrintGCDetails -Xloggc{CATALINA_BASE}/logs/gc.log -XX:+PrintGCTimeStamps \ 后台 某互联网(bat)公司的推荐配置:
我们要上线一个系统,需要考虑的是需要多少台服务器或者多少容器资源,还有多大的存储,以及上线之后运行的过程中当需要扩容的时候,到底需要新增多少资源,而且流量高峰之后还需要缩掉多少资源。
亿级流量电商系统JVM模型参数预估方案,在原来的基础上采用ParNew+CMS垃圾收集器
前提: 某大型跨境电商业务发展非常快,线上机器扩容也很频繁,但是对于线上机器的运行情况,特别是jvm内存的情况,一直没有一个统一的标准来给到各个应用服务的owner。经过618大促之后,和运维的同学讨论了下,希望将线上服务器的jvm参数标准化,可以以一个统一的方式给到各个应用,提升线上服务器的稳定性,同时减少大家都去调整jvm参数的时间。 参考了之前在淘宝天猫工作的公司的经历:经过大家讨论,根据jdk的版本以及线上机器配置,确定了一个推荐的默认jvm模版: 最终推荐的jvm模版: jdk版本 机器配置 建议jvm参数 备注 jdk1.7 6V8G -server -Xms4g -Xmx4g -Xmn2g -Xss768k -XX:PermSize=512m -XX:MaxPermSize=512m -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:+CMSClassUnloadingEnabled -XX:+DisableExplicitGC -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=68 -verbose:gc -XX:+PrintGCDetails -Xloggc:{CATALINA_BASE}/logs/gc.log -XX:+PrintGCDateStamps -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath={CATALINA_BASE}/logs 前台 jdk1.7 8V8G -server -Xms4g -Xmx4g -Xmn2g -Xss768k -XX:PermSize=512m -XX:MaxPermSize=512m -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:+CMSClassUnloadingEnabled -XX:+DisableExplicitGC -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=68 -verbose:gc -XX:+PrintGCDetails -Xloggc:{CATALINA_BASE}/logs/gc.log -XX:+PrintGCDateStamps -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath={CATALINA_BASE}/logs 前台 jdk1.7 4V8G -server -Xms4g -Xmx4g -Xmn2g -Xss768k -XX:PermSize=512m -XX:MaxPermSize=512m -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:+CMSClassUnloadingEnabled -XX:+DisableExplicitGC -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=68 -verbose:gc -XX:+PrintGCDetails -Xloggc:{CATALINA_BASE}/logs/gc.log -XX:+PrintGCDateStamps -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath={CATALINA_BASE}/logs 前台 jdk1.7 6V8G -server -Xms4g -Xmx4g -XX:MaxPermSize=512m \ -verbose:gc -XX:+PrintGCDetails -Xloggc{CATALINA_BASE}/logs/gc.log -XX:+PrintGCTimeStamps \ 后台 某互联网(bat)公司的推荐配置: 配置说明: 1. 堆设置 o -Xms:初始堆大小 o -Xmx:最大堆大小 o -XX:NewSize=n:设置年轻代大小 o -XX:NewRatio=n:设置年轻代和年老代的比值。如:为3,表示年轻代与年老代比值为1:3,年轻代占整个年轻代年老代和的1/4 o -XX:SurvivorRatio=n:年轻代中Eden区与两个Survivor区的比值。注意Survivor区有两个。如:3,表示Eden:Survivor=3:2,一个Survivor区占整个年轻代的1/5 o -XX:MaxPermSize=n:设置持久代大小 2. 收集器设置 o -XX:+UseSerialGC:设置串行收集器 o -XX:+UseParallelGC:
在提供了微服务的基础设施后,我们可以放手开发各个微服务了。业务服务层是一些“基础微服务”或“业务微服务”,他们“各司其职”,服务之间的耦合应当做到最低。
代理服务器是客户端和后端服务器之间的中间服务器。客户端连接到代理服务器以请求网页、文件、连接等服务。简言之,代理服务器是一种软件或硬件,充当客户端从其他服务器寻求资源请求的中介。
随着苏宁线下线上业务以及全产业、全业态规模式快速增长,特别是每年苏宁 818 大促、双 11 等大促节点,销售订单基本都呈现倍数级增长态势,需要进行大量资源扩容,单个数据中心的容量有限,已经无法支撑苏宁业务的快速发展。同时,单数据中心在高可用上存在不足,一旦数据中心发生故障,会导致业务受损,用户访问中断,带来严重的影响。针对以上问题,苏宁规划建设多数据中心解决方案迫在眉睫。
在过去一年里,Kubernetes以其架构简洁性和灵活性,流行度持续快速上升,我们有理由相信在不远的未来,Kubernetes将成为通用的基础设施标准。而京东早在2016年年底上线了京东新一代容器引擎平台JDOS2.0,成功从Openstack切换到JDOS2.0的Kubernetes技术栈,打造了完整高效的PaaS平台。
本文要介绍的是一个发生在我们线上环境的真实案例,问题发生在某次大促期间,对我们的线上集群造成了比较大的影响,这篇文章简单复盘一下这个问题。
作者简介 刘惊惊,唯品会业务架构部高级架构师。主要负责用户线,营销线的业务架构,也参与库存系统的重构改造。 一、背景介绍 唯品会是一家立足于“全球精选,正品特卖”的电商网站,拥有4亿注册会员,日活约2千万会员。随着会员数量的增多,公司业务部门的飞速发展,和用户的沟通变得日益重要。沿用至今的消息网关,面对多变的业务和爆发式增长的消息面前,显得力不从心,多次大促出现性能瓶颈,急需重构来跟上公司业务发展的需要。 二、唯品会消息网关的架构定位 在本次重构中,将原来耦合在一起的消息发送渠道,被拆分成逻辑消息网关和
零售领域变革不是一个新话题,从电商到 O2O ,从无人售货柜到机器人导购,腾讯云的尝试一直未曾止步。对于传统零售企业来说,通过数据中台可以让顾客与需求更好地匹配,同时实现平台上多触点获取流量。而技术中台,则可以帮助零售企业提升整体运营效率,在提高安全性的基础上,还能享受 AI 时代带来的智能化红利。 谈及腾讯电商业务中台,腾讯云应用与服务编排工作流 ASW 的项目负责人王子一认为,“以消费者为中心,实现上下游的产业协同,赋能商家,商家一次接入后,可应用于如下全部业务场景:检索业务、广告业务、智能广告投放、
关于鹿晗事件拖垮微博这件事,分享下我的理解。只做客观分析,不吹,不喷,不黑,因为这个事情绝对不是像网上传的,什么微博架构烂、技术不行、可扩展性差、控制预算成本所以节省服务器、或者是运维要背锅等等,绝对不是这么不痛不痒的几句风凉话就能简单解释清楚的。
京东快速发展的同时,应用规模、数据中心以及机器的规模都同步倍增,在面对如此大规模的机器,应运而生了京东数据中心操作系统(JDOS,JingdongDatacenter OS)。历经多年时间的技术沉淀与发展,JDOS不仅仅作为京东数据中心操作管理资源,更作为京东统一的PaaS平台致力于支撑业务系统快速交付、稳定运行,基础中间件托管提升基础平台敏捷交付。尤其是线上运行的阿基米德系列系统,将应用于实现京东商城数据中心资源智能调度,支撑在线业务系统与大数据计算混合部署融合计算,并节约采购成本。而每一次的11.11都是对JDOS系统的一次检验和挑战,经过无数次的紧张演练,问题排查,系统升级优化,服务应用快速交付;从容支撑大促高峰流量,保障了业务的高速发展。
我们知道,现在的软件系统越来越复杂,当然相应地,架构的作用也越来越明显。作为开发人员,我们每天都在和架构打交道,在这个过程中,对于架构也经常会产生各种各样的问题:
今年是我的第6个618,因为入职的时间比较"合适",使得我经历了每年两次完整的大促备战。那年还在北辰,618的当晚,我记忆的很清晰,接近凌晨1点左右的时候,我们聚集在楼道里面,大家举杯相庆,来祝贺刚刚平稳度过的大促。从此这样的场景在每年的这个时候都会经历一次,激动一次。每一次大促备战都是一场全兵演练,我们在这个战斗过程中,团队合作、技术实战、用户意识上都有一个立体的提升。站在每年的这一刻往前看,一路走过来的却是好些个不平凡的白天和夜晚。正如我们国家的乒乓球队在每次国际比赛中都有一个完美的结局,但过程从来不缺乏紧张、风险和刺激。
相信在甲方公司(大中型)的信息安全从业人员都会有同样的困境-公司的信息系统资产(已知资产/未知资产)不可管理,信息系统资产漏洞百出,安全设备告警无暇研判。要突破这种困境就需要在信息系统上线之前以自查的形式来形成一种上线流程规范,以规范化的流程促进安全管理。
一个真实的问题场景:某接口服务,对外部服务提供回调接口,调用量、调用频率分布并不平均,在某些时刻(大量运营活动投放)后,可能短时间会有大量调用,达到峰值,而其他时间的调用频率很低,可能只有峰值的1/3甚至1/5的量级。另外,调用高峰的时间并不能准确预估,需要结合监控得知调用增长情况。
本文以淘宝作为例子,介绍从一百个并发到千万级并发情况下服务端的架构的演进过程,同时列举出每个演进阶段会遇到的相关技术,让大家对架构的演进有一个整体的认知,文章最后汇总了一些架构设计的原则。
本文以淘宝作为例子,介绍从一百个到千万级并发情况下服务端的架构的演进过程,同时列举出每个演进阶段会遇到的相关技术,让大家对架构的演进有一个整体的认知,文章最后汇总了一些架构设计的原则。
对大多数人而言,今年的双十一可谓是无感而过。然而,这个「无感」正是今年支付宝技术团队的一个重要目标。
今天我的主题是在微服务场景下的一个性能问题的定位优化,那么今天会讲一个我们其实出现的一个真实的一个场景,然后其实还是花了蛮长时间,然后把这个东西才定位到一个具体的问题。
领取专属 10元无门槛券
手把手带您无忧上云