首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

首次揭秘双11双12背后的云数据库技术!| Q推荐

从 2009 年到 2021 年,从千万交易额到千亿交易额,双 11 已经开展了 12 年。如今,每年的双 11 以及一个月后的双 12,已经成为真正意义上的全民购物狂欢节。...《数据 Cool 谈》第三期,阿里巴巴大淘宝技术部双 12 队长朱成、阿里巴巴业务平台双 11 队长徐培德、阿里巴巴数据库双 11 队长陈锦赋与 InfoQ 主编王一鹏,一同揭秘了双 11 双 12 背后的数据库技术...在双 11 双 12,这种方式的弊端会被进一步放大。数据显示,在双 11 秒杀系统中,秒杀峰值交易数据每秒超过 50 万笔,是一个非常典型的电商秒杀场景。...事实上为了保证稳定,往年双 11 为了保证大促高峰能够平稳地过去,在一些计算量比较大或者稳定性风险比较高的地方就会实行降级策略,确保能够平稳度过流量高峰。...2021 年是阿里巴巴首个云上 100% 上云的双 11 的一年,也是阿里云数据库全面云原生化的一年,但是峰值计算成本相比 2020 年下降了 50%,云数据库巨大的商业价值和潜力可见一斑。

31.8K50

落地百余场景、扛过双11,蚂蚁TuGraph流式图计算引擎正式开源!

2 “小众”的流图计算,如今的价值已被产业看见 事实上,流图计算是流式计算和图数据模型的交叉领域。虽然很多人对这个名词感到陌生,但对流式计算和图计算应该有所耳闻。...开源地址:https://github.com/TuGraph-family/tugraph-analytics 3 扛过双 11 大考,落地百余场景,TuGraph-Analytics 筹划已久...因此,一个场景在完整的计算链路中,需要流计算和图计算两种计算范式的融合计算。 当时的流图计算团队仅仅只有两名成员,探索了一年多的时间才将该技术在内部初步落地。...2018 年的双 11,流图计算做到了在大促极端流量高峰情况下,动态识别超过六度关系链(隐蔽性强)的异常资金风险,这一风控能力在当时的业界非常领先。...“那时,我们从 6、7 月份就开始和业务同学一起闭关筹备双 11,内部做了几轮流量压测,包括极端情况下的解决方案全部讨论完毕才确定推到双 11。”

40340
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    搜索,大促场景下智能化演进之路

    演进的背景 运用机器学习技术来提升搜索/推荐平台的流量投放效率是目前各大互联网公司的主流技术路线,并仍然随着计算力和数据的规模增长,持续地优化和深入。...,并将计算结果实时更新同步给主搜、商城、店铺内引擎、天猫推荐平台、流量直播间等下游业务。...第一次在双11大促场景下实现了大规模的实时计算影响双11当天的流量分配。 2014年双11当天,Pora系统首次经受了双11巨大流量的洗礼,系统运行可以说是一波三折。...其结果是显著的,在双11当天我们观察到,通过实时策略寻优,一天中不同时间段的最优策略是不同的,这相比于离线学习一套固定的排序权重是一个很大的进步。 2015年双11双链路实时计算体系如图3-17所示。...图3 2015年双11的实时计算体系 3. 2016年双11,深度学习+强化学习独领风骚 2015年双11,在线学习被证明效果显著,然而回顾当天观察到的实时效果,也暴露出一些问题。

    6.5K40

    腾讯云双11超值购买攻略:一次抢到最强优惠,省钱也能高效上云!

    无论是网站托管、应用部署、数据存储,还是AI训练、视频处理,云服务器都提供了灵活、高效、安全的解决方案。...三、超值产品推荐 轻量应用服务器 腾讯云的轻量应用服务器可以说是双11活动的“王炸产品”。每天都有限时秒杀活动,新用户只需28元就能购买一台轻量应用服务器,算下来每月仅需2.33元,绝对的白菜价!...爆款产品抄底折扣 腾讯云的双11活动还包括云数据库、处理器、DNS解析等多款产品,抄底1折的超低折扣。这些产品覆盖了云计算的各个领域,对于有实际需求的用户来说,绝对是不可错过的机会。...作为一位多年的云服务器用户和博主,我每年都会参与双11的优惠活动。今年腾讯云的双11活动力度之大,是近年来难得一见的。...赶紧点击 双11活动入口 参与腾讯云双11活动,提前抢占优惠,享受高效、安全、超值的云服务体验!今年双11,让我们一起上云薅羊毛,省钱也能提升生产力!

    15921

    聊聊淘宝天猫个性化推荐技术演进史

    Olive流程图 正是在All-in无线后的这一年,个性化推荐开始在阿里逐步成长起来。 个性化推荐初逢双11 2015年,个性化推荐第一次在双11中大放异彩。...个性化推荐算法在双11大放光芒,一个又一个令人瞠目的数字足以为证。个性化推荐的第一战场“双11主会场”更是自双11开展多年以来首次达到了个位数的跳失率,其引导人数和人均引导页面数都是前一年的2~3倍。...正是在2015年双11之后,个性化推荐的故事开始为人们津津乐道。 个性化推荐再战双11 2015年双11之后,个性化推荐团队乘风起航,继续发力。...个性化推荐团队的代表作“海神”以及“鲁班”(下图为鲁班批量生产的创意Banner)都是首次在双11中亮相。 ?...鲁班批量生产的创意Banner 在2016年双11中,面对更为复杂的个性化需求,乐田及工程师们将全面升级后的个性化推荐完美地展现在双11主会场中。

    3.4K10

    Apache Hudi在Hopsworks机器学习的应用

    然而更先进的人工智能应用程序可以实时指导用户交互,例如推荐系统。...Hopsworks特征存储库:透明的双存储系统 Hopsworks特征存储库是一个双存储系统,由高带宽(低成本)离线存储和低延迟在线存储组成。...•特征新鲜度:低延迟、高吞吐量的在线特征存储只有在存储在其中的数据保持最新时才有益,特征新鲜度被定义为触发特征重新计算的事件到达与重新计算的特征在在线特征库中发布之间的端到端延迟。...通过这种设置,我们实现了 11 个特征的 p99 约为 250 毫秒,行大小为 948 字节。...在这篇博客中,我们展示了一个高度可用的双节点 RonDB 集群(r5.2xlarge VM)线性扩展到 >250k ops/sec,特征向量查找的 11 个特征的大小约为 1KB,p99 延迟为 7.5

    91320

    作业帮实时计算平台高可用实践

    EMR:我们使用半托管的云 EMR 产品,使用 Yarn 作为底层计算引擎,HDFS 作为 Flink 任务的 state 存储。...EMR:目前 EMR 属于半托管模式,虽然有云上的支持,但是稳定性最多也只能达到 99.9% 3....EMR 集群支持 AZ/ 双云级别的互备,同时能够快速切换任务,缩短 flink 任务的异常时间 服务依赖等组件多云: MySQL 和权限服务目前都已经是双云部署,无需调整 Zookeeper 升级为全托管的...业界推荐的方案是使用对象存储来存储 state。...超过阈值异常状态 MaunalAbnormal:任务标记异常状态 具体检测逻辑如下: 考虑到目前平台没有任务优先级的概念,因此,目前 EMR 集群异常切换,是需要用户手动发起的,通过平台选择高优的任务,批量先杀死故障

    20210

    【容器7月报】原生节点全新面世,超级节点全量发布

    重磅全新上线【原生节点】 原生节点是TKE推出的全新节点类型,支持声明式API,搭载 FinOps 理念,通过 “可视化资源管理大盘”、“Request智能推荐”、“动态专有调度器”助力云上资源降本增效...节点池上线删除保护功能 适用于节点资源保护场景,解决由于误操作把节点资源批量释放的问题。...上线IPv4/IPv6双栈功能 将 IPv4 和 IPv6 地址分配给 Pod 和 Service,适用于需要为IPv6终端用户提供访问服务,同时业务系统内部需要使用IPv6进行服务访问的场景。...TMP(Prometheus监控服务): Prometheus 监控服务(Managed Service for Prometheus,TMP)是基于开源 Prometheus 构建的高可用、全托管的服务...SuperEdge(边缘计算开源项目): 是腾讯云牵头,联合英特尔、VMware (威睿)、虎牙、寒武纪、美团、首都在线等多家厂商在2020年12月共同发起的边缘计算开源项目。

    1.5K20

    十万亿条消息背后的故事

    当时“双 11”每年的数据量都要翻番,如果当年“双 11”问题解决不了,那么可预见下一年的“双 11”还会遇到同样的问题。...“双 11”的考验 项目最终是要上生产环境验证的。特别是在“双 11”,流量是平时的上千、上万倍,一些平时微不足道的细节会在这个时候被放大一万倍,放大之后可能就是个大故障了。...而对能考虑到的情况,也需要在“双 11”来临之前做好各种预案。 第一年的“双 11”,RocketMQ 团队挑选了一些相对非核心业务上线验证。逐步地验证,并逐步修复。...双 11 之后将这些问题进一步完善修复好,然后再进行更全面的验证。到第二年融合架构就百分百平稳上线了。” 光“双 11”还不够的,因为“双 11”只能证明性能和稳定性都很好。...2022 年,批量消息索引、逻辑队列发布 RocketMQ-MQTT,RocketMQ-Connect。

    6.3K10

    Flink流批一体在阿里双11首次落地的背后

    随着 11 月 11 日 12 点钟声的敲响,2020 年双 11 的 GMV 数字定格在了 4982 亿,在 Flink 实时计算技术的驱动下全程保持了丝般顺滑滚动,基于 Flink 的阿里巴巴实时计算平台也圆满完成了今年双...今年双11,Flink 更进一步,利用流批一体计算能力,助力数据中台实现更加精准的实时离线交叉数据分析和业务决策。...鉴于 Flink 流批一体计算技术的不断成熟,以及前期在搜索推荐场景的成功落地,今年双 11 数据平台开发团队也展示出坚定的信心和信任,与 Flink 实时计算团队并肩作战,共同推动实时计算平台技术升级...经过团队一年的努力,基于 Flink 的搜索推荐实时计算平台成功的支持了2016 年的搜索双 11,保证了搜索推荐全链路实时化。...2020 年的双 11,Flink 流批一体技术在天猫营销决策核心系统中给出了精彩的表现,加上之前已经在搜索推荐中成功运行的流批一体索引构建以及机器学习流程,充分验证了5 年前我们大胆选择 Flink

    2.3K20

    Hudi实践 | Apache Hudi在Hopsworks机器学习的应用

    然而更先进的人工智能应用程序可以实时指导用户交互,例如推荐系统。...Hopsworks特征存储库:透明的双存储系统 Hopsworks特征存储库是一个双存储系统,由高带宽(低成本)离线存储和低延迟在线存储组成。...•特征新鲜度:低延迟、高吞吐量的在线特征存储只有在存储在其中的数据保持最新时才有益,特征新鲜度被定义为触发特征重新计算的事件到达与重新计算的特征在在线特征库中发布之间的端到端延迟。...通过这种设置,我们实现了 11 个特征的 p99 约为 250 毫秒,行大小为 948 字节。 ?...在这篇博客中,我们展示了一个高度可用的双节点 RonDB 集群(r5.2xlarge VM)线性扩展到 >250k ops/sec,特征向量查找的 11 个特征的大小约为 1KB,p99 延迟为 7.5

    1.3K10

    3月容器产品技术月报|留言抢定制款T恤

    2021年3月 VOL:11 腾小云告诉你最前线的产品新特性, 总有一款让你心动~ 云说新品 容器产品新特性 3月上新 腾讯云边缘服务TKE@Edge 从中心云管理边缘云资源的容器系统 边缘容器服务(Tencent...集群核心能力: ARM集群内测上线,支持高性能ARM机型SK1 (如需参与内测请提交工单申请) 包年包月节点池支持弹性扩容 节点池支持移出伸缩组内节点 支持按Label/ip批量搜索节点 Kubernetes...腾讯云容器镜像服务TCR 安全、独享的容器镜像托管分发服务 腾讯云容器镜像服务(Tencent Container Registry,TCR)是腾讯云提供的容器镜像云端托管服务,支持 Docker 镜像...3月份 · 精选推荐系列文 大数据云原生系列文 【大数据云原生系列】大数据系统云原生渐进式演进最佳实践 【大数据云原生系列】微信 Flink on Kubernetes 实战总结 吹皱一池湖水,腾讯云原生数据湖计算重磅发布...留言点赞数前5名的同学 将会获得定制T恤一件 活动截止时间:2021年4月2日10点   往期精选推荐   kubernetes 降本增效标准指南| 容器化计算资源利用率现象剖析 吹皱一池湖水,腾讯云原生数据湖计算重磅发布

    4.8K20

    河北省政务云:河北联通(华为)、河北移动(新华三)中标

    2015 年 10 月,根据《河北省人民政府关于促进云计算创新发展培育信息产业新业 态的实施意见》(冀政发【2015】20 号)文件要求,在整合利用省内现有资源的基础上,依托云计算技术,采用供应商投资建设...,政务云在石家庄本地建设了同城双中心,双数据中心使租户 业务能够跨数据中心部署,同时具备提供国产 CPU 计算资源的能力。...截止 2021 年 9 月,河北省政务云(联通区)已完成 70 余家省本级预算单位 500余个业务系统的迁移部署工作,提供了 5700 余台云主机,并为 240 余台设备提供托管 服务。...,政务云在石家庄本地建设了同城双中心,双数据中心使租户业务能够跨数据中心部署,同时具备提供国产 CPU 计算资源的能力。...中标结果 2021年11月24日中标结果发布,河北联通中标1包、河北移动中标2包。

    2.7K10

    院长技术团队

    ,问题排查 Linux Server: Linux Server各服务部署,配置,优化,疑难杂症解决 KVM虚拟化技术 掌握KVM虚拟化架构,一键部署KVM环境,修复KVM_BUG,制作镜像模板,编写批量开通脚本...掌握DRBD的各版本安装部署,配置,优化,主备,双主备,问题排错。...Windows各版本系统,监控进程,SNMP监控Linux各版本系统,Agent监控Linux各版本系统,监控打印机资源信息(比如:打印机墨盒使用量,纸张使用数量),通过SSH监控方式监控各系统类型和服务状态,计算型监控方式...地址的平均响应时间,监控tcp端口或者服务是否打开,监控TCP服务的连接响应时间,监控udp端口或者服务是否打开,监控UDP服务的连接响应时间,监控系统登录用户数量,监控主机是否ping通,自定义监控_tcp11...实现CICD Prometheus 掌握Prometheus部署,配置,优化,结合Grafana,实现炫酷监控 Harbor 掌握Harbor部署,配置,结合Docker,K8s实现镜像托管

    71510

    金融级IT架构:网商银行是如何进行数字化落地的

    2016年,“同城双活”架构落地。11月,首次成功参加“双11”大促。...2018年,智能营销体系建立,通过引入大数据分析,全面解读客户的行为、关系网络,“绘制”客户画像,再根据产品特性、服务内容、客户习惯等进行深度挖掘,在不同的商业场景中,向不同的客户推荐不同的产品和服务内容...2018年,银河托管云投产,网商银行开始向中小银行、信托等金融机构提供专业的应用系统托管服务,有力支持了中小银行对小微商户的服务,实现了普惠金融的目标。...2018年9月,网商银行与蚂蚁区块链合作的“双链通”供应链金融平台上线。当年获得《金融电子化》杂志社颁发的2018年度金融行业“产品创新突出贡献奖”。...2019年11月,混合云弹性架构投产,该架构进一步使网商银行成为首家具备跨多朵云形成“一台计算机”支撑核心业务的银行。 2020年5月,采用卫星遥感和人工智能技术的“亿亩田”项目投产试点。

    1.4K10

    天猫双11订单峰值58.3万笔秒,消费狂欢背后隐藏了哪些技术?

    目前阿里的上云还停留在 IaaS 层,主要是对计算、网络、存储的虚拟化,经历过这一阶段阿里就进入了 PaaS 上云阶段,需要使用更多的云产品,包括中间件、存储、缓存甚至是应用托管平台等。...其中在杭州数据中心内,全球规模最大的液冷服务集群将有上万台液冷服务器投入生产处理双 11 的海量计算工作,这些服务器的网线连起来可以绕地球一周。...今年双 11,阿里云数据中心的巡检机器人「天巡」升级到了第二代,不仅实现了无「人」值守,还可全自动更换故障硬盘:自动巡检——故障盘定位——取盘换盘——硬盘通电,整个动作一气呵成,只需 4 分钟即可完成更换动作...今年双 11 前夕,淘宝首页大幅改版。在信息流、搜索、聚划算、会场和直播等用户场景,智能计算调用量日均已高达数千亿次。 平台对用户消费行为的洞察和商品推荐也更加精准,而这背后的技术引擎是智能搜索引擎。...阿里测算,这些数字化的 IoT 设备在今年双 11 期间,会帮消费者节省 15 万个小时。 出身两个月不到的小蛮驴也已经应用在了双十一实践中,使社区无人配送成为可能。

    8.5K10

    ERP上云实践

    将机器托管在云端,由专业的云厂商来管理、运维基础设施,无需太多的考虑扩展和冗余的问题,大幅度降低系统部署的支出,而转为按需付费,是企业所乐意接受的。...处理器 2.6GHz, 10C,20M 缓存;内存 4*8GB;2*900GB 10K;Raid 1; Qlogic 2562 双口 8Gb HBA 卡; 2*1Gb+2*10Gb 网口;双电;独立远程管理...FC 接口; 1 光纤交换机 DELL Brocade 300 , 8 Gb 光纤通道交换机(8 个 8 G SFP+16 个空端口) 2 中间件 Apusic 9. 1 数据库 Oracle 11gR2...中间需要经过比较多的环节,设备采购,资源用量预估,人员配备等,在之前一般是根据ERP厂商以往的经验来进行一个复制性的方案配置,有时候会出现不相符的情况,但在转化为云端的配置就可以比较灵活了,一般情况下,可以推荐...1 数据库服务器 标准型S3,4核心8GB系统盘50G数据盘高性能SSD盘100G带宽5M 1 存储设备 高性能云盘1000G,也可以省略 1 中间件 Apusic 9. 1 数据库 Oracle 11gR2

    5K41
    领券