数据流形的变分推断

今日推文

数据流形的变分推断

01

研究背景

数据分布的流形结构极大地影响了变分推断的逼近效果，相关的研究进展在人工智能领域取得了广泛的应用。如何有效地利用流形的几何与拓扑性质来理解变分推断对数据分布产生的影响，进而更好地辅助构建模型、调节超参数、分析表达能力，是人工智能研究的重要方向。

传统的变分网络推断过程是确定性的，即确定的输入数据对应确定的输出数据。变分网络中的生成模型则通过增加输入数据的随机性来体现生成数据的分布特征。然而，借鉴生物学的观点，生物智能体的神经系统的随机性还可能体现在智能体本身的时变特性上，例如细胞在相同环境的输入刺激下，不同时刻的反应可能不同。在模型结构中，智能体本身的随机性可表征为变分网络的随机性，而不仅仅是输入数据的随机性。因此，有必要发展具有网络结构随机性的变分推断算法。

02

研究内容

我们以典型的分类问题作为出发点，基于数据流形结构的数学刻画，研究变分推断的表达过程及能力。进一步结合输入数据的随机性假设，研究变分生成网络的数学机理，包括其对流形维度和复杂度的改变，并通过典型算例进行了验证。基于上述对生物系统网络随机性的理解，我们研究了具有网络随机性的变分推断模型，突破损失函数设计、随机变量的参数训练方法等关键技术问题，发展模仿力更强的生成模型，并通过高维随机变量、图片分布生成等典型算例开展模型验证。

根据流形学习假设和惠特尼嵌入定理，待分类的数据集D总可以看作是分布在某个维数充分大的流形M上。假设待分类的标签有n类，那么根据实际数据的特点以及几何的观点来看，这n类标签数据必定是以十分复杂的子流形的状态纠缠聚集在某些区域，并以极其不规则的方式嵌入到流形M中。原分类问题的目标就是根据这些嵌入的结构来构造合适的几何对象（例如超平面，聚类中心），从而分离和识别这n个子流形。由于变分网络在解决此类问题时有着非常优异的表现，我们有理由相信，变分推断对数据的作用效果使得上述子流形之间的纠缠状态变换到了更简单的形式，子流形的嵌入方式也变得更光滑而易于识别，即变分推断对数据作用的有效性是源自于对上述流形结构的形变和简化。

接下来运用严格准确的几何语言描述刻画这类流形结构的形变和简化。由于变分网络对数据流形结构的简化程度强烈的依赖于几何结构形变的过程，因此为了合理地构造描述简化程度的数学量（不妨称为数据流形结构的几何复杂度），我们参考了拓扑学的相关理论（稳定同伦理论、示性类）来理解描述形变过程的几何量。而通过对数据流形结构的几何复杂度的刻画，则有助于实际解决问题时设计和构建表达能力适当的变分网络。因此，总结而言：一、探索描述形变过程的几何量，二、构造衡量简化程度的几何复杂度。数据流形的形变过程越丰富，表明压缩信息的能力越强；数据变换之后的几何复杂度越低，表明该变分网络的分类效果越好，根据这两类几何特征我们就能从流形的观点对变分推断的表达能力有更清晰直观的刻画。

在对上述几何概念有着充分的研究理解后，我们还对更复杂的数据类型和网络结构（例如图片和卷积神经网络）来验证和推广上述思想。并且进一步建立和完善相关基于流形的几何分析概念和方法，运用数据的几何结构与实际训练过程相结合，在典型数据上有更好的算例和效果。最终，我们希望能将上述基于流形的变分推断表达能力的相关概念，结合输入数据的随机性假设，应用到更广泛的生成模型中。

Control Theory and Technology

控制理论与技术（英文刊）

Control Theory and Technology是经国家科学技术部批准，由国家教育部主管、华南理工大学和中国科学院数学与系统科学研究院联合主办的学术性刊物。2003年11月创刊，刊名为Journal of Control Theory and Applications，季刊，国内外公开发行。2007年与德国施普林格出版社合作出版。2014年刊名更改为Control Theory and Technology.

收录：EI工程索引、英国《科学文摘》、美国《数学评论》、德国《数学文摘》、俄罗斯《文摘杂志》、《日本科学技术振兴机构中国文献数据库》等。

联系我们：

The Control Theory and Technology publishes high-quality papers on the theory and applications of control, with particular attention given to the emerging topics, original methods, and cutting-edge technologies in the area of systems and control, optimization and automation.

The journal was founded in 2003 with the original title Journal of Control Theory and Applications, and reflects contemporary research and development in control and automation with rapid publication and special issues. Its content appeals to scientific and technical professionals as well as professors and students in the field.

ABSTRACTED/INDEXED IN

EI-Compendex, INSPEC, Mathematical Reviews (MR), Abstracts Journal of VINIT (РЖ) (AJ of VINITI), ZBMATH, SCOPUS, JSTChina.