开山-机器学习（1）多视角数据表示的多样非负矩阵分解

前言：这是一篇讲的论文，以下内容是基于个人理解写的，从简单的NMF讲到论文的多视角方法，由于之前做了PPT所以以下图片可能比较多，图片建议点开放大看。

论文名称 Diverse Non-Negative Matrix Factorization for Multiview Data Representation

目录

1.矩阵分解

1.2.1NMF简介

1.2.2NMF最小化目标函数

1.2.3不同损失的乘法更新规则

1.2.4乘法更新规则和梯度下降是等价的

1.2.5非负矩阵分解及参数更新举例

1.1传统矩阵分解

1.2非负矩阵分解

2.论文讲述-多视角的非负矩阵

2.1论文的主要工作

2.2论文的主要目的

2.3DiNMF多样非负矩阵分解

2.4DiNMF的算法

2.5DiNMF算法及更新举例

2.6DiNMF改进LP-DiNMF

1.矩阵分解

1.1传统矩阵分解

矩阵分解在很多领域获得了广泛的应用.

在应用统计学领域, 通过矩阵分解得到原数据矩阵的低秩逼近, 从而可以发现数据的内在结构特征.

1.2非负矩阵分解

选择非负矩阵分解原因

在数学上，从计算的观点看，分解结果存在负值是正确的，但负值元素在实际结果往往没有意义，例如图像数据没有负值像素点。

1.2.1NMF简介

NMF分解的目的是为非负矩阵V,寻找适当的非负基矩阵W和非负系数矩阵H,使它们的乘积近似于原始非负矩阵V，可写为如下形式:

1.2.2NMF最小化目标函数

1.对于平方距离的损失函数

2.对于KL散度的损失函数

1.2.3不同损失的乘法更新规则

1.对于平方距离的损失函数

2.对于KL散度的损失函数

1.2.4乘法更新规则和梯度下降是等价的

乘法规则主要是为了计算的过程中保证非负，而基于 梯度下降的方法中加减运算无法保证非负，其实上述乘法更新规则与基于梯度下降的算法是等价的，下面以平方距离为损失函数说明上述过程的等价性。

1.2.5非负矩阵分解及参数更新举例

利用乘法更新规则更新

2.论文讲述-多视角的非负矩阵

2.1论文的主要工作

文章主要完成四件事

2.2论文的主要目的

1.传统非负矩阵分解

这些方法一个主要的局限是多视角学习的数据表示有相互冗余信息，且缺乏不同的信息。利用由多视角分享的共同信息而忽略了多视角的差异性。

2.DiNMF

DiNMF能通过数据表示捕捉到不同的信息。最后H*不仅有有已经存在方法捕捉到的共同的信息，还保存了不同视角的独特信息，因此更加综合和精确。

2.3DiNMF多样非负矩阵分解

DiNMF相比普通矩阵分解如何提取特征呢？

一个让人满意的多视角非负矩阵分解方法需满足两个条件：

1.为了学习的综合性和精确性，能够通过多视角数据表示开拓不同的信息

2.当数据和唯独很大时，是可伸缩的

——–文章使用L0范式、L1范式来保证差异

2.4DiNMF的算法

算法流程和初始化

2.5DiNMF算法及更新举例

迭代方法和之前的非负矩阵分解类似，假设目前已经得到优化后H

2.6DiNMF改进LP-DiNMF

提出改进的原因是为了揭露隐藏的语义并关注内在的几何结构，找到一个紧凑的表示。下式利用了图正则的思想，考虑了数据集携带的几何信息。

后记：

努力不会徒劳，伟大并非凑巧。最近因为一些事，也有些感慨，下面是三毛的一句话，

刻意去找的东西，往往是找不到的。天下万物的来和去，都有他的时间。