Facebook在大规模视频推荐用户个性化探索上进展

推荐系统的关键是发现用户的兴趣所在

在推荐系统中，除了不断利用（Exploit）我们对用户已知兴趣的了解，系统还需要持续主动探索和发现用户的兴趣。

用户兴趣会不断持续演化（evolution），我们需要捕获此类信息，但是没有一种直接方法来系统化探索用户兴趣。此外，通过推荐系统收集到的用户反馈信息也会进入到推荐系统的模型学习的数据集中，从而会影响后续向用户推荐的内容，从而影响推荐系统的效果。

本文中，我们展现了在一个大规模推荐系统中的用户兴趣探索框架，介绍了其如何探索用户的兴趣的。其包含三部分：

首先是用户-创作者探索（the user-creator exploration），其关注于识别用户感兴趣的最好的创作者。

其次是一个用户兴趣在线探索框架，online exploration framework，

最后是其引入了一个信息流feed内容组合机制，其能够平衡探索和利用，确保有最好效果的探索视频内容。

从图中我们可以看到，用户兴趣的探索可以使得推荐系统有更好的最优值，避免陷入局部最优。

汤普森采样，更加精细化的方案是考虑上下文的bandt方法，需要考虑用户、作者和交互的特征。为了简化描述，我们这里以汤普森采样为基础进行介绍。

我们使用汤普森采样来寻找作者，然后从选择的作者发布的内容中寻找合适的视频。

每次一个用于探索的视频展现的时候，其目标是基于历史的上下文和动作最大化累积奖励。

奖励（reward）定义为用户和该作者有交互行为的视频数量（the number of videos engaged from the creator）。其余的无交互意味着推荐失败

奖励和失败信息被用于计算汤普森采样中的alpha和beta。

这个探索是在用户层面进行探索。