首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

首次揭秘双11双12背后的云数据库技术!| Q推荐

从 2009 年到 2021 年,从千万交易额到千亿交易额,双 11 已经开展了 12 年。如今,每年的双 11 以及一个月后的双 12,已经成为真正意义上的全民购物狂欢节。...刚刚过去的 2021 年双 11,就有超过 8 亿消费者参与。 与攀升的交易额和参与人数相反,双 11 的主要阵地“淘宝 APP”、双 12 的主要阵地“天猫 APP”的崩溃情况逐年减少近无。...是什么样的数据库撑起了 2021 年的双 11 双 12 的稳定进行?...《数据 Cool 谈》第三期,阿里巴巴大淘宝技术部双 12 队长朱成、阿里巴巴业务平台双 11 队长徐培德、阿里巴巴数据库双 11 队长陈锦赋与 InfoQ 主编王一鹏,一同揭秘了双 11 双 12 背后的数据库技术...在双 11 双 12,这种方式的弊端会被进一步放大。数据显示,在双 11 秒杀系统中,秒杀峰值交易数据每秒超过 50 万笔,是一个非常典型的电商秒杀场景。

31.8K50
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    【推荐系统】离线增量文章画像计算(二)

    2.5 离线增量文章画像计算 2.5.1 离线文章画像更新需求 第一次:所有更新,后面增量每天的数据更新26日:1:002:00,2:003:00,左闭右开,一个小时更新一次 2.5.2 定时更新文章设置...) 2.7 Word2Vec与文章相似度 2.7.1 文章相似度 需求 首页频道推荐:每个频道推荐的时候,会通过计算两两文章相似度,快速达到在线推荐的效果,比如用户点击文章,我们可以将离线计算好相似度的文章排序快速推荐给该用户...目的:保存所有历史训练的文章向量 1、加载某个频道模型,得到每个词的向量 18号频道所有文章训练模型:3000个词 2、获取频道的文章画像,得到文章画像的关键词(接着之前增量更新的文章...4、计算新文章的向量,计算新文章相似的文章以及相似度 3.1 用户画像计算更新 3.1.1 为什么要进行用户画像 而构建用户画像,不仅可以满足根据分析用户进行推荐,更可以运用在全APP所有功能上。...3.1.2 用户画像计算设计 用户画像标签建立 用户:每个频道这个用户的关键词和权重, 基本信息的结果 3.2 用户画像增量更新 3.2.1 增量用户行为日志处理 目的:首先对用户基础行为日志进行处理过滤

    64310

    推荐系统那点事 —— 什么是用户画像?

    用户画像在大数据分析中是一种很有用的系统,它可以各种不同的系统中,起到很关键的作用。比如搜索引擎、推荐系统、内容系统等等,可以帮助应用实现千人千面、个性化、精准等的效果。...下面将从几个方面来说一下,什么是用户画像,主要的内容来自《用户网络行为画像分析与内容推荐应用》这本书。 应用场景 数据来源 特性 建模 群体画像 画像的存储 画像的查询 画像的更新 ?...推荐系统 推荐系统可以根据用户的喜好和特征,也就是用户的画像,推荐相关的内容。比如,给一个用户定位的画像是美妆达人,那么就应该给她多推送一些面膜护肤之类的东西,而不是推一堆零食。...以上就是用户画像的基本内容,也是《用户网络行为画像分析与内容推荐应用》这本书的第一部分,后续会更新其他的部分。 参考 1 什么是定性画像、什么是定量画像?...http://www.jianshu.com/p/3750d9349b71 2 《用户网络行为画像分析与内容推荐应用》想要电子版的私M。~

    2.3K60

    推荐系统从0到1:数据与画像

    然而要想推荐达到可观的效果,深入挖掘每个模块,研读论文、优化架构是必不可少的。以下我会从数据、画像(内容/用户)、召回和排序几个部分分别详述。 1. 数据 推荐系统,最重要的是数据。...内容画像 众所周知,基于行为推荐需要一定的用户行为积累,而新闻生产速度很快,时效性要求又比较高,这时候我们需要一些 Content-based 方法来做推荐。内容画像是实现的基础。 2.1....关键词提取 分类完成之后,可以说我们的内容画像已经初见端倪。然而,仅仅精确到分类颗粒度的个性化推荐是很难满足用户的。...再比如,系统依据用户所处地域推荐内容,然而这个用户有可能只是来外地出差,他更感兴趣的可能依旧是常住地的新闻……无论如何,在计算画像的时候我们无法确保用户的意图,因此在快速反馈用户行为的同时,加上多状态的用户画像是有必要的...通常我们的做法是分别记录用户的长期和短期画像,在针对不同的画像做不同的推荐召回,以此满足用户不同状态下的阅读需求。

    2.6K50

    Django基于用户画像的电影推荐系统源码

    MongoDB、MySQL和Redis,以从豆瓣平台爬取的电影数据作为基础数据源,主要基于用户的基本信息和使用操作记录等行为信息来开发用户标签,并使用Hadoop、Spark大数据组件进行分析和处理的推荐系统...─jars (MySQL连接jar包) │ └─spark.py (Spark处理用户画像...Hadoop、Spark用于离线推荐分析,若无该需求,可选择关闭。.../spark.py ,即可每日自动处理离线数据,精准推荐,推荐方式同时包含基于电影内容(基于内容)、基于用户相似度(基于协同过滤)推荐的方式。后期如有兴趣的同学还可完善改为实时推荐。...页面顶部电影推荐 电影详情页推荐 用户注销提示 7、管理员功能 普通用户与管理员菜单栏对比 管理系统登录页面 管理系统首页工作台 管理员管理数据界面 九、注意: 1.数据库需用5.6以上的

    2.9K40

    【推荐阅读】如何用大数据构建精准用户画像?

    当计算机具备这样的能力后,无论是搜索引擎、推荐引擎、广告投放等各种应用领域,都将能进一步提升精准度,提高信息获取的效率。...百分点现已全面应用用户画像技术于推荐引擎中,在对某电商客户,针对活动页新访客的应用中,依靠用户画像产生的个性化效果,对比热销榜,推荐效果有显著提升:推荐栏点击率提升27%, 订单转化率提升34%。...帮助企业依据客户消费特点推荐相关金融产品和服务,转化率将非常高。...A 寻找分期客户 利用发卡机构数据+自身数据+信用卡数据,发现信用卡消费超过其月收入的用户,推荐其进行消费分期。...C 依据自身数据(家人数据)+人生阶段信息,为用户推荐理财保险,寿险,保障保险,养老险,教育险。 D 依据自身数据+外部数据,为高端人士提供财产险和寿险。

    2.9K80

    【推荐阅读】如何用大数据构建精准用户画像?

    当计算机具备这样的能力后,无论是搜索引擎、推荐引擎、广告投放等各种应用领域,都将能进一步提升精准度,提高信息获取的效率。...百分点现已全面应用用户画像技术于推荐引擎中,在对某电商客户,针对活动页新访客的应用中,依靠用户画像产生的个性化效果,对比热销榜,推荐效果有显著提升:推荐栏点击率提升27%, 订单转化率提升34%。...帮助企业依据客户消费特点推荐相关金融产品和服务,转化率将非常高。...A 寻找分期客户 利用发卡机构数据+自身数据+信用卡数据,发现信用卡消费超过其月收入的用户,推荐其进行消费分期。...C 依据自身数据(家人数据)+人生阶段信息,为用户推荐理财保险,寿险,保障保险,养老险,教育险。 D 依据自身数据+外部数据,为高端人士提供财产险和寿险。

    3.7K61

    基于用户画像的实时异步化视频推荐系统

    上线了一个百台规模的ES集群,还设计开发了一套实时推荐系统。 标题有点长,其实是为了突出该推荐系统的三个亮点,一个是实时,一个是基于用户画像去做的,一个是异步化。...推荐系统有个比较特殊的地方,就是好不好不是某个人说了算,而是通过一些指标来衡量的。比如点击转化率。 *** 用户画像和视频画像 *** 用户画像则体现在兴趣模型上。...做推荐的方式可以很多,比如协同,比如各种小trick,而基于用户画像和视频画像,起步难度会较大,但是从长远角度可以促进团队对用户和视频的了解,并且能够支撑推荐以外的业务。...流式计算对推荐系统的影响很大,可以完全实现 在推荐系统中,除了接口服务外,其他所有计算相关的,包括但不限于: 新内容预处理,如标签化,存储到多个存储器 用户画像构建 如短期兴趣模型 新热数据候选集 短期协同...分布式流计算主要负责了五块: 点击曝光等上报数据处理 新视频标签化 短期兴趣模型计算 用户推荐 候选集计算,如最新,最热(任意时间段) 存储采用的有: Codis (用户推荐列表) HBase (用户画像和视频画像

    1.8K32

    书单 | 双12购书清单TOP10

    点击“博文视点Broadview”,获取更多书讯 今天是双12,错过双11的小伙伴们可不要连双12也错过了哦~~ 如果你不知道买哪些书,可以看看大家都在买哪些。...双12福利 京东满100减50,部分图书满减叠券300减200 当当科技好书五折封顶 还等什么?速抢吧!...03 ▊《数据标准化:企业数据治理的基石》 祝守宇,蔡春久 等 著 周建平、梅宏、廖湘科、付梦印、石勇院士倾情推荐 涉及油气、多元化集团、装备制造、核电、汽车、金融、政务、互联网等行业案例 本书既具有国际性理论高度...发布:刘恩惠 审核:陈歆懿 如果喜欢本文欢迎 在看丨留言丨分享至朋友圈 三连  热文推荐   7天搞定一门新技术!...5个含金量很高的短篇课程推荐 Go语言学习&求职路径(附Go语言书单) 中国楼市能一直充当“蓄水池”吗? 云存储技术首次全景展现,7大技术趋势解读 ▼点击阅读原文,查看更多图书~

    11.6K40

    新闻推荐实战(五):自动化构建用户及物料画像

    自动化构建用户及物料画像 本节内容主要讲的是上图中红框框起来的部分,也就是离线自动化构建用户和物料的画像,这部分内容在新闻推荐系统中是为系统源源不断添加新物料的途径,由于我们的物料是通过爬虫获取的,所以还需要对爬取的数据进行处理...对于用户侧的画像则是需要每天将新注册的用户添加到用户画像库中,对于在系统中产生了行为的用户,我们还需要定期的更新用户的画像(长短期)。...物料画像的更新 物料画像的更新主要有以下几个方面: 新物料画像添加到物料库中 旧物料画像,通过用户的交互记录进行更新 首先说一下新物料添加到物料库的逻辑是什么,新物料添加到物料库这件事情肯定是发生在新闻爬取之后的...然后再根据我们定义的一些字段,给画像相应的字段初始化,最后就是存入画像物料池中。 关于旧物料画像的更新,这里就需要先了解一下旧物料哪些字段会被用户的行为更新。...,物料画像及线上要存储在redis中的画像 最后其实是离线推荐的流程,离线将用户的排序列表存到redis中,线上直接取就行了 总结 这篇文章主要讲解了新闻推荐系统离线如何通过自动化的形式构建物料和用户的画像

    63630

    微信看一看:推荐系统用户画像构建指南

    导语 | 推荐系统无论在工业界还是学术界都被广泛研究,有不少关于召回和排序的工作,但是对于用户画像的研究少之又少。下文将就微信看一看推荐系统中如何构建用户兴趣标签展开讨论,希望与大家一同交流。...一、背景 用户画像是推荐系统中非常重要的一环,用户画像刻画的是否精准直接影响后续召回和排序环节的效果。 用户画像包括用户的基础信息,如性别年龄地域等。...如上图所示,推荐系统会根据用户的画像把可能感兴趣的文章推送给用户。比如一个对 NBA 感兴趣的用户,他画像中有“库里”的标签,那系统很大可能会给他曝光相应的文章。...三、画像指标 在推荐系统中除了常用的点击率和时长之外,我们还需要考虑到画像的相关指标。这里我们主要使用画像有点数和画像有点率来衡量画像的线上准确率和覆盖情况。...Build User-tag Profile in Recommendation System: https://dl.acm.org/doi/abs/10.1145/3340531.3412719 文章推荐

    2.1K32

    书单推荐 | 12本前端必备书籍

    开篇想给大家两点关于读书的建议: 经典书籍需要不断被重读——每一次重读都会有新的体会; 书籍并非读的越多越好——大多数书籍只是经典书籍中的概念延伸(有时甚至是照搬) 一灯儿将给大家推荐12本前端经典书籍...《HTML5 Canvas核心技术图形动画与游戏开发》 11.《3D数学基础:图形与游戏开发》 12....【一灯儿推荐】个人认为绝对是迄今为止读过的最好的一本Js书籍,墙裂推荐!...【一灯儿推荐】这本书我在看第一章的时候就被吸引住了,相信你看完之后也一定会对JS有一种全新的感觉。...【小灯儿推荐】webkit方面技术第一本书,把渲染引擎和javascript引擎讲得很详细。

    1.5K50
    领券