Use of Deep Learning in Modern Recommendation System: A Summary of Recent Works（笔记）

注意：论文中，很多的地方出现baseline,可以理解为参照物的意思，但是在论文中，我们还是直接将它称之为基线，

也就是对照物，参照物.

这片论文中，作者没有去做实际的实验，但是却做了一件很有意义的事，他收罗了近些年所有推荐系统中涉及到深度学习的文章

，并将这些文章进行分类，逐一分析，然后最后给出了一个推荐系统以后的发展方向的预估. 那么通过这篇论文，我们可以较为

系统的掌握这些年，在推荐系统方面，深度学习都有那些好玩的应用，有哪些新奇的方法,这片论文起到了一个简报的作用，下面是论文的一个粗糙翻译：

概述：

 　　随着互联网上数字信息量的急剧增加，在线商店、在线音乐、视频和图像库、搜索引擎和推荐系统已经成为在短时间内查找

相关信息的最方便的方式。近年来，深度学习在语音识别、图像处理和自然语言处理等领域得到了广泛的关注。同时，最近的一

些研究也显示了深度学习在推荐系统和信息检索领域的应用。近年来，深度学习在语音识别、图像处理和自然语言处理等领域得

到了广泛的关注。同时，最近的一些研究也显示了深度学习在推荐系统和信息检索领域的一些应用。在这个简短的回顾中，我们

涵盖了最近在使用各种不同的深度学习技术在推荐领域取得的进展。我们将综述分为三个部分：协作系统、基于内容的系统和混

合系统。本文还讨论了深度学习集成推荐系统在多个应用领域中的贡献。本文最后讨论了深度学习在推荐系统中的各个领域的影

响，以及深度学习是否比传统的推荐系统有了显著的改善。最后，根据推荐系统中深度学习的应用现状，提出了今后的研究方向。

笔记： 作者对过去发展的一个回顾，以及大致的描述了一下整篇文章内容的顺序和文章结构。

引言

     我们日常的需求从购物项目、书籍、新闻文章、歌曲、电影、研究文件等基本需求，都充斥着几个数据仓库和数据库，无论是

数量还是种类。为此，智能推荐系统和强大的搜索引擎为用户提供了非常有用的帮助。这类系统的流行和有用性归功于它们能够从

一个几乎无限的仓库中显示方便的信息。因此，亚马逊、Netflix等推荐系统会主动了解用户的兴趣，并告知用户他们感兴趣的项目。

虽然这些系统的应用不同，但寻找用户感兴趣的项目的核心机制都是用户对项目匹配的兴趣。

    通常，推荐的产生是基于用户的偏好，项目的特征，用户-项目交叉信息，以及其他的环境因素（比如时间，季节，位置）.

在推荐文献中，这些内容主要分为三大类：协同过滤(仅使用推荐的用户-项交互信息)、基于内容的推荐(使用用户偏好、或者项目的

偏好，或两者结合使用)和混合推荐模型(同时使用用户和项目的交叉信息)。每个类别下的模型都有其自身的局限性，例如数据稀疏、

用户和项目的冷启动。

    鉴于深度学习在计算机视觉和语音识别等各个应用领域的最新进展，深度学习已扩展到信息检索和推荐系统领域。关于将深度学习

集成到推荐系统上的影响，人们普遍认为，与传统的模型相比，应该有显著的改进。在此综述中，我们对有关将深度学习集成到推荐

系统中的各种工作进行了系统的总结，为读者了解今后利用深度学习改进推荐系统的影响和方向提供了坚实的基础。

笔记： 近些年来推荐系统的应用，以及简单的描述了一下推荐系统的原理，和分类.

方法

    在本节中，我们回顾了我们过去收集，选择，和总结研究性文章的方法. 我们使用谷歌学者搜索引擎来获取研究文章

库，选择相关的论文供我们参考。我们使用以下关键词提取文章：“推荐系统深度学习”、“协同过滤深度学习”、“递归

神经网络推荐系统”。我们还将时间过滤器设置为“自2013起”，以便只在过去5年内找到文章。谷歌学者搜索引擎为每

个查询获取了几篇文章，但是我们通过浏览论文标题来了解它们是否实际上是关于深度学习的推荐系统，从而执行了

手动选择。手动选择留下了33篇文章。然后对每一篇文章进行了回顾，以了解用于增强推荐模型的深度学习方法，并

了解用于验证目的的各种数据集。

笔记： 描述自己是如何获取到这些文章的.

回顾和讨论

    如下表1中，我们总结统计了推荐模型三中分类中每一种方法的数量. 我们发现，大多数最近时间的发表的文章都已经

利用深入学习来增强协同过滤能力。在接下来的章节中，我们讨论了具体的深度学习技术，并简要讨论了深度学习是如何

与传统的推荐模型相媲美的。

在下表1中：

　　我们将收集到的论文按照应用的领域进行分类. 每个领域的文章分类是由实验中使用的验证数据集决定的。典型的，推荐系统

有着更广泛的应用用例，但是为了基于研究的方式进行分类，我们假定将验证数据集作为应用领域的指标。如表所示，大多数

最近的推荐系统已经在娱乐领域的数据集上进行了测试。这可归因于来自Amazon、Netflix和Movielens的可用的公共数据集。

接下来的便是，深度学习集成推荐系统的下一个兴趣领域是电子商务。来自Yelp，Amazon，Slashdot等的几个产品评论数据集。

帮助研究人员利用这些数据集进行验证。第三类便是文章领域：与新闻、引文和学术研究文章相对应。第四类在社会领域中，我

们在诸如Epinions、social tagging（社会化标签）等数据集上进行研究。

基于内容的系统

         在这一部分中，我们总结了对基于内容推荐系统的各种研究工作的一些主要深度学习的贡献。并简要的描述相关论

文使用的方法：

 “Deep content-based music recommendation”： 

         在数据可用的情况下，利用深度卷积神经网络从音频中生成歌曲的潜在因子。这种方法表现比基于简单的基于线性分

类器，例如LR，MLP等基于数百万歌曲数据（包括 Last.fm 数据集 和 Echo Nest Taste Profile Subset）要好.

“Improving Content-based and Hybrid Music Recommendation using Deep Learning”:

       提出了一种基于深度置信网络和概率图形模型的组合模型，来同时的从音频内容中学习特征并进行个性化推荐。该模型

与仅基于内容的模型以及混合模型进行了比较，而没有使用the Echo Nest Taste Profile Subset (一种音乐推荐数据集)进行

深度学习。该模型的性能优于基于内容的基线以及基于协作过滤的验证数据集基线。

“A Neural Network Approach to Quote Recommendation in Writings”

和 “Quote Recommendation in Dialogue using Deep Neural Network,”  两篇文章：

      提出深度学习的方法，用以加强以基于内容的推荐系统在文章和对话中的引语推荐。Tan等人使用LSTM建模来表示上下

文和引语的分布意义。 Lee等人将RNN和CNN相结合来学习对话过程中引语的表示。“维基引号”和“牛津谚语简明词典”被认

为是推特对话过程引语的来源。

“Ask the GRU,” in Proceedings of the 10th ACM Conference on Recommender Systems - RecSys ’

        利用基于GRU的递归神经网络将项目文本转化为潜在特征，以提高协同过滤性能，特别是冷启动时的协同过滤性能。

利用CiteULike的两个真实世界数据集(密集版和稀疏版)，在引文推荐系统上对该模型进行了测试，并与一个改进版本的协

同主题建模模型进行了比较。在这两个数据集上，所提出的模型在性能上都有显著的改善。

“Joint DeepModeling of Users and Items Using Reviews for Recommendation”

        用审核信息并结合物品属性和用户行为数据, 采用深度协作网络来学习这些特征, 这个模型采用一个共享层来讲物品属

性和用户行为连接在一起. 利用Yelp评论、Amazon评论、Beer评论等3种实际数据集，将该模型与矩阵分解、概率矩阵分解、

LDA、协同主题回归、隐因子作为主题和协作深度学习等5个基本数据集进行了比较。在所有基准数据集上，该模型的性能优

于所有基线(参照模型)。

“Dynamic Attention Deep Model forArticle Recommendation by Learning Human Editors’Demonstration“

       开发了一种采用动态注意力深度学习模型的新闻文章推荐模型，用以解决编辑选择新闻文章的标准不明确的问题，为终端

用户提供可选择的新闻文章库。这一阶段的新闻推荐是为终端用户提供最终新闻推荐之前的一步。

　　在这个阶段，编辑们从动态变化的文章库中选择新闻文章的子集，而动态变换的新闻文章库来自于各个不同的新闻流渠道.  

对于编辑们选择或者拒绝某些文章，没有严格的选择规则。此次研究采用深度学习来学习编辑动态风格的文章选择标准。这样的

问题不能直接用传统的词包（bag of word）方法解决。因此，采用深度注意模型生成复杂的特征来表示文章的风格，然后对文章

是否被编辑所喜欢进行分类。

基于协同过滤的系统

    在这一部分中，我们总结了深度学习对协作过滤方法的主要贡献。大多数方法都试图用某种形式的深度神经网络代替矩阵

因式分解。

“CollaborativeDeep Learning for Recommender Systems,”

        解决了CF方法的稀疏性问题，以及基于协同主题回归方法的辅助信息的稀疏性问题。该模型采用广义贝叶斯融合去噪

自动编码器。该模型在2个CiteULike数据集和1个Netflix数据集上的性能优于矩阵分解和协同主题回归方法。

“Deep CollaborativeFiltering via Marginalized Denoising Auto-encoder,” 

        首先，它提供了一个框架，将深入学习特性纳入CF模型，如矩阵因式分解。该模型与几种采用矩阵分解的协同过滤方法

进行了比较，并在4个实际数据集上显示出了一些性能改进：MovieLens-100 k、MovieLeans-1M、Book-Crossing、广告数

据集。

“A Probabilistic Rating Auto-encoder for Personalized Recommender Systems,”

        开发了一种概率评级自动编码器，用于执行无监督的特征学习，并从用户项评等数据中生成用户配置文件，以增强协作过

滤方法。将深入学习添加到传统的协作过滤方法(如矩阵因式分解)中的结果显示，使用Yelp.com数据集在评级预测方面有明显的

改善。它用于电子商务领域。

“Collaborative Filteringwith Recurrent Neural Networks,”

        结果显示，协同滤波可以转化为序列预测问题，因此递归神经网络是非常有用的。特别地，LSTM被应用于CF问题，并在

两种电影推荐数据集：MovieLens和Netflix上与k最近邻和矩阵因式分解方法进行了实验比较。性能比较表明，与其他先进的协

同过滤模型相比，使用深度学习模型是有效的。

对于基于会话机制的推荐，有几个推荐项目已经使用管理RNN来改进了.

“Session-based Recommendationwith Recurrent Neural Networks,”

      第一个将RNN用到基于会话推荐的数据集上，而不是使用那些经典数据集. 它们的实验表明了，传统的矩阵分解方法不适合

基于会话的推荐。在电子商务的点击流数据和像YouTube的OTT视频服务数据集上的实验评价，也表明用网络代替MF方法的一

个显着的优势。

“Parallel Recurrent Neural Network Architectures forFeature-rich Session-based Recommendations,”

       使用内容（item）的特征，比如图像和文字来进一步提升RNN基于会话的推荐.  在本文中，作者引入并行RNN的概念，对

内容(item)的各个方面进行建模，即文本，图像，ID等。 与简单的RNN和item-KNN相比，特征丰富的RNN在YouTube视频服

务数据集上的性能有了明显的提高。

“When Recurrent NeuralNetworks meet the Neighborhood for Session-BasedRecommendation,”

        结果表明，RNN与KNN相结合，能有效地提高电子商务应用的推荐精度。性能评估使用公共电子商务数据集，如TMall

竞赛和来自last.fm、artofmiing.org、8 tracks.com的其他音乐播放列表。

“Recurrent Latent Variable Networks for Session-BasedRecommendation,” 

    利用贝叶斯统计中的变分推理模型对递归神经网络模型进行改进，实现基于会话的预测。对电子商务数据集进行了性能评价，

并与BPR-MF、GRU方法和RNN方法进行了比较。

“Incorporating dwell time insession-based recommendations with recurrent Neuralnetworks,”

        提出了一个RNN模型，该模型包含了驻留时间(用户检查特定项的时间)，以提高电子商务数据集-Yooselect中基于会话的

推荐的准确性。

“On DeepLearning for Trust-Aware Recommendations in SocialNetworks,”

        运用深度学习方法，对信任意识的社会推荐进行用户和项目潜在特征向量的初始化，并分离用户信任的朋友关系中的社区

效应。该方法在两个真实数据集上的性能优于矩阵因式分解方法的几种变化：Epinions和Flixster。

“BayDNN: Friend Recommendation withBayesian Personalized Ranking Deep Neural Network,”

        提出了一种基于贝叶斯个性化的深度神经网络模型用于好友推荐，使用Epinion 和 Slashdot的社交网络数据集。该模型首

先利用卷积神经网络从输入网络中提取潜在的结构模式，然后利用贝叶斯排序进行推荐。这种基于深度学习的推荐系统优于矩阵

分解算法、Katz相似算法、Adamo/Adar相似算法和简单的双输入神经网络等基本方法。

“DLTSR: A DeepLearning Framework for Recommendation of Long-tailWeb Services,”

      提出了一种长尾Web服务推荐的深度学习框架. 它们使用叠加去噪自动编码器来对内容描述非常少、历史使用数据非常少的

长尾项或项执行特征提取。(也就是稀疏)。该模型在ProgrammableWeb.com收集的数据集上进行了测试，并与矩阵分解和主题

模型等几个基线进行了比较。

“Deep Matrix Factorization Models for RecommenderSystems *,”

         提出了一种利用深层神经网络将用户和项目映射到公共低维空间的深度矩阵分解方法。该模型使用显式评级和内隐评级。

该模型与最先进的矩阵分解方法进行了比较，并在MovieLens电影、亚马逊音乐和亚马逊电影数据集上进行了测试，显示了NDCG

度量的7.5%以上的改进

“Neural Semantic PersonalizedRanking for item cold-start recommendation,” 

        针对协同推荐系统中的冷启动问题，提出了一种基于深度神经网络和对向学习的神经语义个性化排序方法。该方法在Netflix

和CiteuLike两种数据集上优于矩阵分解和基于主题回归的协同过滤方法。

“Online news recommenderbased on stacked auto-encoder,”

        提出了一种带去噪的叠加式自动编码器，从原始稀疏用户项矩阵中提取有用的低维特征。该方法与基于项的CF和SVD算法

在MovieLens数据集上进行了比较。

“Neural Collaborative Filtering,” 

        提出了一种用深度学习直接建模用户-项目(User - Item )交互矩阵的通用框架，而不是仅对辅助数据进行深度学习。该

方法完全取代了基于矩阵分解的方法，或将矩阵分解表示为生成用户和项潜在特征的通用模型的特例。该通用模型与最先进的

矩阵因式分解方法(如EALS和BPR)和基本基线(如ItemPop和ItemKNN)在MovieLens和Pinterest数据集上进行了比较。提议的

方法显示出对这两个数据集的所有基线都有一致的改进(在统计上意义重大)。

“DeepSequential Recommendation for Personalized AdaptiveUser Interfaces,

        利用深度学习模型(尤指门控递归单元)学习用户交互模式，以改进对个性化自适应用户界面的推荐。

通过对深度学习方法与最先进张量分解和度量嵌入方法的比较评价，发现深度学习方法在用户界面、网页浏览和电子学习

数据集等方面都优于先进的方法。

 “GraphConvolutional Matrix Completion,”

        提出了一种图卷积矩阵完成方法 ， 即使用图形自动编码器框架来完成矩阵。该模型除了只使用用户和项目的交互信息

外，还可以泛化为既包含用户的边信息，也包括项的边信息。该模型在Flixster、Douban、YahooMusic、MovieLens100K、

MovieLens1M、MovieLens10M等6个真实世界数据集上进行了综合测试，并与其他矩阵完成方法如几何矩阵完成、交替最小

二乘优化方法、基于CNN的矩阵完成方法进行了对比。

混合系统

    这一部分中，我们总结了深度学习对混合推荐系统的主要贡献。

“Tag-Aware Personalized Recommendation Using aDeep-Semantic Similarity Model with NegativeSampling,” 

        开发了两种基于深度神经网络的方法来改进个性化标签感知推荐。该模型利用基于标签的用户和项目配置文件，

并利用深度学习模型将它们转换成公共的潜在空间。研究发现，该模型的性能优于传统的推荐方法，如基于聚类的余

弦相似度法、基于聚类的协同过滤法和基于自动编码器的协同过滤方法，具有统计学意义。

“Convolutional Matrix Factorization for DocumentContext-Aware Recommendation,”

        提出了一种基于卷积神经网络的模型，将用户或项目的元数据信息结合起来，改进了矩阵分解方法。该模型在电影

和亚马逊评论数据集上进行了评估，并与几种最新的协作过滤方法进行了比较。

“Collaborative Denoising Auto-Encoders for Top-NRecommender Systems,”

        提出了一种基于协同过滤的自动编码器去噪方法。该模型是所有协同过滤方法的一个通用框架，但在优化方面更为

灵活。该模型在MovieLens、Yelp和Netflix数据集上的性能优于ItemPop、ItemCF、矩阵分解、BPR和FISM等基线。

“HybridDeep-Semantic Matrix Factorization for Tag-AwarePersonalized Recommendation,”

        开发了一种深层语义矩阵分解模型，提高了标签感知个性化推荐的性能. 在他们的工作中，他们集成了深层语义建模

、混合学习和矩阵分解等技术，以获得更好的性能。对真实的社会打好标签的数据集上的实验分析表明：

与基于聚类的模型、矩阵分解、基于编码器的模型和基于深层语义相似度的方法相比，深度学习增强矩阵分解方法在标记

推荐任务上有了显著的改进。

“DeepNeural Architecture for News Recommendation,”

       针对终端用户推荐问题，提出了一种基于深度神经网络的解决方案。 该体系结构是为了解决用户兴趣随时间动态变化

的新闻读者群体的动态性问题而提出的。模型处理包括用户的状态和（item）项的特征，并利用基于注意的递归神经网络(RNN)

对用户的动态阅读兴趣进行分析。本研究通过对CLEF新闻卷轴中真实世界数据集的广泛实验，建立了深度学习对项目流行度和

矩阵分解等其他基线的有效性。

“Towards a deep learning model for hybridrecommendation,”

        为混合推荐系统提供了一种基于深度学习的体系结构。该方法使用doc2vec模型来表示用户和（item）项的属性，并使用

分类器预测项目对用户的相关性。该方法的协作组件使用KNN来预测用户对项目的评分。进一步利用前馈神经网络将基于内容

的模型和基于协作的模型的结果结合起来。它的性能在MovieLens数据集上进行测试。

“A Hybrid Collaborative Filtering Model with DeepStructure for Recommender Systems,”

        提出了一个深入学习的框架，以利用项目和用户端的信息以支持来自稀疏用户项评等矩阵的缺乏信息。在侧信息利用方面

，采用附加叠加去噪自动编码器(ASDAE)将其转换为隐维，并与矩阵分解、隐因子矩阵相结合。

该模型的性能优于几种最新的协同过滤算法 当在MovieLens数据集和图书交叉数据集上进行测试时(读者对图书的评级)。 

“Deep hybridrecommender systems via exploiting document contextand statistics of items,”

        提出了一种基于上下文感知的混合模型，该模型将卷积神经网络与概率矩阵分解和项目统计相结合。

这种方法捕获上下文信息和考虑高斯噪声的不同。该方法与基于非深度学习的矩阵分解和协同主题回归等方法以及利用3组真实

世界数据集(2部电影镜头数据集和1部Amazon即时视频数据集)进行的深度学习方法进行了比较，显示出略好的性能。

总结和展望

        在这篇综述中，我们系统地总结了在推荐系统领域的各种深度学习进展。我们在推荐系统的三个主要类别下讨论了各种研究

工作：

 基于内容的、基于协作的过滤系统和混合系统。我们发现，大多数深入学习的努力的方向都是为了加强协作过滤方法，并在矩阵

因式分解的方法改进上有了非凡的提升。

我们还发现，大多数深度学习的发展都偏向于娱乐行业，如电影和音乐推荐。这在很大程度上可以归因于丰富的验证数据集的可

供使用。 

        沿着这个方向，我们期待推荐系统在以下几个方向会取得长足的发展.

1.   在其他应用领域中创建公共数据集，比如： 学术领域： 作者-文章数据集 ，在线零售购物数据集 和其他数据集 ，
2. 这些数据集既包含 用户-项（item）交叉信息，也包含关于用户 和项(item)的丰富元数据内容.
3.    创建用户测试集合，用来对推荐系统在近真实世界环境下性能提升的评估 。当前，在以上研究工作中，深度学习
4. 的提升的范围已被标记在5~8%之间。但这些改进也需要在现实世界中进行测试。它也可以通过部署后分析一个行业
5. 的推荐系统与深度学习集成所产生的收益或参与来实现。
6. 需要一个综合分析，将所有深层学习模型与同一套基准数据集进行比较。

读完这片论文，我们可以得到什么？

　　　　1. 对当前深度学习在推荐系统中的应用有一个整体的把握.

　　　　2. 按图索骥，按照自己的方向，挑几篇自己感兴趣的文章好好读读.