首页
学习
活动
专区
圈层
工具
发布

【精品投稿】推荐系统评测心得

推荐系统评测心得 做推荐算法的质量工作将近一年,这一年尝试了很多东西,踩了不少坑,也对推荐的评测工作稍微有了些自己的心得,现在分享出来,希望能和做这块工作的同学一起交流、探讨,也欢迎多拍砖,多提意见。...人工评测: 顾名思义,邀请一帮人来对你的推荐系统的结果进行评测。...,如何让评测者进行感知,这些都是比较难的,并且和基准的对比也不是很好做,所以这里不是很推荐用这个方法,但是还是要提一下。...其含义为最终未被用户真正感知的数据的占比,未感知包含未推荐和推荐出去后未被点击的内容。 健壮性 定义:算法健壮性的评测主要利用模拟攻击。...最后,通过比较攻击前后推荐列表的相似度评测算法的健壮性。 总结:适合在离线环境进行完成,针对模型本身的评测。

1.4K20

如何更为合适地评测推荐算法? Top-N物品推荐算法评测设置回顾

各种top-N物品推荐算法已经被开发出来,特别是基于深度学习的研究取得了很大的进展。 为了证明推荐算法的有效性,需要在基准数据集上建立可靠的评价实验。...建议在一般情况下(尤其是评估时序不敏感的推荐算法)应采用随机排序,而在时序敏感的情况下(如序列化推荐)采用时序排列。...这个问题对于回答如何选择合适的数据集进行评测很有用。...4 结语 我们通过实验检验了三个重要因素对于top-N推荐算法评测的影响。我们的实验结果为物品推荐算法提出了一些经验建议。...首先,对于数据集切分,建议使用基于比例切分方式并且使用随机物品排列方式(非时序推荐任务),而leave-one-out切分方式可以用于较小数据集或者加快评测流程(如调参过程)。

1.7K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    推荐系统相关效果评测指标总结

    但是与传统评测相异的是,推荐系统具有没有传统意义上的输入与输出,模型、算法等中间过程难以介入,一切的效果与性能目的都需要落地到提升用户体验等特点,这给评测带来了较大难度。...二、相关评测方案         推荐系统一般结构: ? 目前常见对推荐系统的评测主要着眼于三个方面:模型离线实验、ABtest在线实验以及用户反馈和用户调研。...三、评测方案指标总结 对于不同的推荐系统评测方式,我们需要使用不同的指标对其进行衡量: 1、模型离线实验 离线实验目的旨在对算法进行评价,所以评价指标强相关与所使用的推荐算法,传统的评分预测问题通常使用均方根误差...有些推荐系统也会像推荐广告系统或是学习排序算法一样使用pCTR或者Precision-Recall曲线评估推荐效果的优劣,所以评测推荐算法的指标较为复杂。...从评测的角度提升推荐系统,我们不仅需要提供各组件相关评测指标、输出badcase之外,还应该关注竞品对比、真实用户行为以及badcase的快速追查以保证整体推荐系统的可用、高效、准确。

    9.6K31

    腾讯TMQ在线沙龙回顾|推荐评测

    推荐评测 活动时间:2018年1月9日 斗鱼直播分享 活动介绍:TMQ在线沙龙第三十八期分享 ? 本次分享的主题:推荐测试。 共有65位测试小伙伴报名参加活动。 想知道活动分享了啥吗? 请往下看吧!...分享主题 推荐评测测试思路 本次分享,嘉宾给我们介绍了以下内容: 推荐类实例&流程 推荐类模型抽象&评测 白板建设 测试思路 问答环节 1、相同类型的文章怎么测试它们的热度,再推荐给用户?...2、用户多标签情况下,推送的优先级送达怎么评测? 答:我理解你的意思是:比如用户有好几个兴趣点,那现在用户来拉一刷新闻,应该怎么下发新闻。...4、这套推荐评测系统,除了资讯评测,还有应用到其他评测上吗?好移植吗?...答:其实推荐的思路都是差不多,推荐算法也都是开源的,基本上都是围绕人的profile、内容的质量和分类、推荐算法以及环境特征、UI来展开的。

    1.5K50

    腾讯英语君落地四川天府新区 “AI考官”助力高效开展英语口语测试

    同时,腾讯英语君依托先进的语音识别、口语评测、自然语言处理等技术,可以对学生口语发音进行段落、句子、单词、音素的细粒度考评,甚至可以精确检测到哪个音节发音标准,哪个还不够理想,从而更精准地呈现学生的英语能力...,助推当地英语口语自动化考试改革落地。...依托于腾讯三大AI实验室,腾讯英语君将神经网络算法、图像识别技术、语音识别和口语评测技术、自然语言处理、大数据应用等AI能力与英语教育中的实际场景相结合,帮助学生提高英语听说应用能力。...其中,腾讯英语君的口语评测技术已有10多篇论文入选全球顶级语音大会INTERSPEECH,并已授权或公开专利40余篇。...接下来,腾讯英语君将进一步加强在日常教学、练习场景中的应用,通过英语君教考练一体化平台,一站式提升区域教学质量和学生水平,助力区域英语教学信息化、智能化升级,为各地学校落实“双减”要求,践行义务教育英语新课标等提供服务支持

    3.6K10

    双链笔记葫芦笔记综合评测:优点、缺点、建议

    包括 Roam 在内的其他双链笔记还在开发中。...与其他软件的宣传语不同,这句话没有突出葫芦笔记的特点,甚至不知道葫芦笔记是双链笔记。...因此,我一般采用 双链笔记 + 在线协作文档工具 的使用组合策略。以我为例,我正在使用 Notion 类的 FlowUs. Notion 很多笔记用户都有了解。...如同《Notion 类软件横向评测:Notion、FlowUs、Wolai》这篇文章中根据这三款软件的具体功能和价格对比,FlowUs 具有高性价比。...国产组件库 NotionPet:为笔记嵌入可视化模块 ——关于 NotionPet 的专文评测生产力工具——笔记软件 FlowUs 深度评测FlowUs 息流 - 新一代生产力工具​

    1.4K20

    英语听说数据全程追踪分析 腾讯英语君打通英语教学“堵”点

    随着“双减”政策的深入,英语听说教学面临着提升课堂教学质量、提高作业设计水平的新命题。...据了解,目前腾讯英语君已授权或公开专利40余篇,涉及中英文口语评测、韵律度评测、口语考试系统NLP技术、口语考试系统语音技术、口语考试系统评测、作文批改、语法纠错等多个领域,为科学高效的AI英语教学提供驱动力...无论是集体作业、小组训练还是个人作答,都能实现精准评测,并实时生成评价反馈。...与此同时,腾讯英语君也被多地应用于考试场景中,去年,腾讯英语君就被引入青海、山东等地的高考英语口语考试,助推英语口语自动化考试改革落地。...“双减”政策之下,提升课堂教学质量、提高作业设计水平正成为学校教育发展的重要方向。

    7.7K50

    双链笔记·思源笔记综合评测:优点、缺点、评价

    优点所见即所得:目前双链笔记中貌似只有 Obsidian 和 思源笔记实现了所见即所得。...支持完整的大纲编辑器功能:比较有名的双链笔记几乎都是大纲型编辑器,只有Obsidian 和思源笔记属于文档型编辑器。Obsidian 虽然插件生态极其完善,绝大部分功能都很棒。但是总感觉差临门一脚。...下面是我关于另外一款工具 FlowUs 的测评,主要介绍了这些产品的优点和缺点,感兴趣推荐阅读。FlowUs 息流笔记介绍一款具有特色的、 Notion 类的 All in One 生产力工具。...如同《Notion 类软件横向评测:Notion、FlowUs、Wolai》这篇文章中根据这三款软件的具体功能和价格对比,FlowUs 具有高性价比。...国产组件库 NotionPet:为笔记嵌入可视化模块 ——关于 NotionPet 的专文评测生产力工具——笔记软件 FlowUs 深度评测FlowUs 息流 - 新一代生产力工具

    3.5K60

    腾讯云双11活动COS标准存储产品深度评测

    引言每年的双11购物节,已经成为# 腾讯云双11活动COS标准存储产品优惠与产品介绍特性引言每年的双11购物节,作为中国最大的购物狂欢节,吸引了无数消费者的目光。...本文将详细介绍腾讯云COS标准存储的产品特性、使用场景、优惠活动以及如何在双11期间最大化利用这些优惠。...三、双11活动优惠3.1 活动时间腾讯云双11活动通常在每年的11月11日进行,活动时间一般持续数天,具体时间以腾讯云官网公告为准。...希望本文能够帮助你更好地了解腾讯云COS标准存储产品及其在双11活动中的优惠信息,助力你的云计算之旅。...希望这篇文章能够为你提供有价值的信息,帮助你在双11活动中充分利用腾讯云COS标准存储的优惠与特性。腾讯云双十一活动入口(地址:https://mc.tencent.com/XG6bYV4u)

    14.8K10

    腾讯云数据库双11优惠体验与评测

    引言每年的双11购物节,除了电商平台的促销活动外,各大云服务商也纷纷推出了各种优惠活动。作为国内领先的云服务提供商,腾讯云在双11期间推出了多项数据库服务的优惠活动。...本文将详细评测腾讯云数据库在双11期间的优惠活动,包括优惠力度、使用体验、性能评测等方面,帮助用户更好地了解腾讯云数据库的优势与不足。...二、双11优惠活动概述2.1 优惠内容在双11期间,腾讯云数据库推出了多项优惠活动,包括:折扣优惠:部分数据库产品提供高达50%的折扣。...六、总结与建议6.1 总结通过对腾讯云数据库双11优惠活动的体验与评测,我们可以得出以下结论:腾讯云数据库在双11期间提供了丰富的优惠活动,吸引了大量用户。...腾讯云双十一活动入口(地址:https://mc.tencent.com/XG6bYV4u)

    13.7K10

    双链笔记 Roam Research 综合评测、学习资源、使用教程分享

    介绍双链笔记赛道的开创者。优点编辑器:流畅丝滑,性能比较好。这个有主管色彩。仅供参考。双链细节:作为开创者,可能是做的最好的。...推荐查看知乎话题《Roam Research 这款笔记软件有何特别之处?》免费使用Roam 价格这么贵,并且已经有如此多的 Roam 产品,我是否还有必要再使用 Roam Research?...这些软件我都有试用或者深度使用,参考我以往的评测文章即可得知。然而,从双链笔记的双链设计细节、编辑器的实际体验来看,我依然愿意现在将 Roam 视为第一。...具体评测见下文:双链笔记软件综合评测:Roam Research、 Obsidian、Logseq 、思源笔记 、Roam Edit 、RemNote、葫芦笔记、TiddlyWiki、Athens、TriliumRoam...具体评测参见下文:免费、好用、强大的开源笔记、云笔记软件综合评测学习资源/使用教程Roam 相关学习资源很多。

    2.2K30

    推荐系统遇上深度学习(十六)--详解推荐系统中的常用评测指标

    基于混淆矩阵,我们可以得到如下的评测指标: 准确率 准确率表示的是分类正确的样本数占样本总数的比例,假设我们预测了10条样本,有8条的预测正确,那么准确率即为80%。...在推荐系统中,CG即将每个推荐结果相关性(relevance)的分值累加后作为整个推荐列表(list)的得分。...即 这里, rel-i 表示处于位置 i 的推荐结果的相关性,k 表示所要考察的推荐列表的大小。...2)相关性好的排在推荐列表的前面的话,推荐效果越好,DCG越大。 NDCG DCG仍然有其局限之处,即不同的推荐列表之间,很难进行横向的评估。...而我们评估一个推荐系统,不可能仅使用一个用户的推荐列表及相应结果进行评估, 而是对整个测试集中的用户及其推荐列表结果进行评估。

    1.6K00

    推荐系统遇上深度学习(十六)--详解推荐系统中的常用评测指标

    基于混淆矩阵,我们可以得到如下的评测指标: 准确率 准确率表示的是分类正确的样本数占样本总数的比例,假设我们预测了10条样本,有8条的预测正确,那么准确率即为80%。...在推荐系统中,CG即将每个推荐结果相关性(relevance)的分值累加后作为整个推荐列表(list)的得分。即 ?...而我们评估一个推荐系统,不可能仅使用一个用户的推荐列表及相应结果进行评估, 而是对整个测试集中的用户及其推荐列表结果进行评估。...: 推荐系统遇上深度学习系列: 推荐系统遇上深度学习(一)--FM模型理论和实践 推荐系统遇上深度学习(二)--FFM模型理论和实践 推荐系统遇上深度学习(三)--DeepFM模型理论和实践 推荐系统遇上深度学习...推荐系统遇上深度学习(十一)--神经协同过滤NCF原理及实战 推荐系统遇上深度学习(十二)--推荐系统中的EE问题及基本Bandit算法 推荐系统遇上深度学习(十三)--linUCB方法浅析及实现

    1.7K20
    领券