Deep Learning中的排列不变性和等变性

1.Permutation Invariance and Equivariance

Permutation Invariance

Permutation Invariance是排列不变性，是指函数的输出与输入元素的顺序无关。

举个例子，假设一个集合{1,2,3,4}，{4,3,2,1}和{1,3,2,4}也是集合A的一种形式，满足Permutation Invariance的函数对这些顺序不同的输入应该保持相同的输出。

Permutation Equivariance

Permutation Equivariance是排列恒等性，是指映射函数不改变变换前后相应元素的对应关系。

函数的输出顺序与输入顺序保持一致，来源:https://zhuanlan.zhihu.com/p/368357090

2.DeepSets

DeepSets(https://proceedings.neurips.cc/paper/2017/file/f22e4747da1aa27e363d86d40ff442fe-Paper.pdf，古老的2017年论文)中讨论了机器学习中如何实现无序集合的排列不变性和等变性。

Invariant model

假设F(x)是定义在无序集合x上的映射函数，如果F可以拆解成

的形式，F就是满足排列不变的函数。

其中

和

是神经网络结构，每一个实体

都被转化成

，然后将这些表达累加起来，送到

网络，最后输出结果。

来源:https://www.cnblogs.com/wangchangshuo/p/13853491.html

DeepSets实现排列不变的关键是求和每个元素的表示然后应用到非线性变化

中。

Equivariant model

具备排列恒等的充要条件是：all the offdiagonal elements of

are tied together and all the diagonal elements are equal as well。即:

其中，

，

，

是单位矩阵。

是Inputs Ix和Sum of Input Values的加权和。

来源:https://zhuanlan.zhihu.com/p/368357090

其它的变种:

参考材料

1.https://www.cnblogs.com/wangchangshuo/p/13853491.html 2.https://zhuanlan.zhihu.com/p/368357090 3.https://blog.csdn.net/yuanmiyu6522/article/details/124723611