前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >让向量、矩阵和张量的求导更简洁些吧

让向量、矩阵和张量的求导更简洁些吧

作者头像
用户7699929
发布2020-08-27 14:52:09
2.1K0
发布2020-08-27 14:52:09
举报
文章被收录于专栏:一刻AI

本文是我在阅读 Erik Learned-Miller 的《Vector, Matrix, and Tensor Derivatives》时的记录。 本文的主要内容是帮助你学习如何进行向量、矩阵以及高阶张量(三维及以上的数组)的求导。并一步步引导你来进行向量、矩阵和张量的求导。

1 简化、简化,还是简化(重要的事情说三遍)

在求解涉及到数组的导数时,大部分的困难是因为试图一次性做太多事情。比如说同时求解多个组成部分的导数,在求和符号存在的情况下求解导数,或者使用链式法则。在有丰富的求导经验之前,同时执行所有的这些操作,我们就很容易出错。

1.1 将矩阵计算分解为单个标量的计算

为了简化给定的计算,我们将矩阵的求导分解为每个单独标量元素的表达式,每个表达式只包含标量变量。在写出单个标量元素与其他标量值的表达式后,就可以使用微积分来计算。这比同时进行矩阵的求和以及求导要容易一些。(看起来有点晕,没关系,看后面的案例就清晰了)。

例如:假设我们有一个 阶列向量 ,它是由 维矩阵 和 阶列向量 计算得到:

\overrightarrow{y} = W\overrightarrow{x}

假设我们计算 关于 的导数。要完完全全的求解导数,就需要计算 中的每一个元素对 中的每一个元素的(偏)导数。那么在本例中,因为 中有 个元素, 中有 个元素,所以一个包含 次运算。

比如说,我们要计算 的第 3 个元素对 的第 7 个元素的(偏)导数,这就是向量中的一个标量对其他向量中的一个标量求导:

\frac{\partial \overrightarrow{y_3}}{\partial \overrightarrow{x_7}}\\

在求导之前,首先要做的就是写下计算 的公式, 根据矩阵-向量乘法的定义, 等于矩阵 中的第 3 行和向量 的点积。

\overrightarrow{y_3} = \sum_{j=1}^{D}W_{3,j}\cdot \overrightarrow{x_j}

现在,我们将原始的矩阵方程式(1)简化成了标量方程式。此时再进行求导就简单多了。

1.2 去除求和符号

虽然可以直接在上述公式中求导,但是在包含求和符号( )或者连乘符号( )的方程式中求导很容易出错。在求导之前,最好先去掉求和符号,把各项相加的表达式写出来,确保每一项不出错。去掉求和符号的表达式如下所示(下标从 1 开始):

\overrightarrow{y_3}=W_{3,1}\overrightarrow{x_1}+W_{3,2}\overrightarrow{x_2}+...+W_{3,7}\overrightarrow{x_7}+...+W_{3,D}\overrightarrow{x_D}

在这个表达式中,我们专门把 凸显出来,这是因为这一项正是我们要求导的项。显然,可以看出在求 对 的偏导数时,我们只需要关心 这一项即可。因为其他项都不包含 ,它们对 的偏导数均为 0。接下来就很清晰了:

\begin{equation} \begin{aligned} \overrightarrow{y_3}&=W_{3,1}\overrightarrow{x_1}+W_{3,2}\overrightarrow{x_2}+...+W_{3,7}\overrightarrow{x_7}+...+W_{3,D}\overrightarrow{x_D}\\ &=0 +0+...+\frac{\partial}{\partial \overrightarrow{x_7}}\left [W_{3,7}\overrightarrow{x_7} \right ]+...+0\\ &=\frac{\partial}{\partial \overrightarrow{x_7}}\left [W_{3,7}\overrightarrow{x_7} \right ]\\ &=W_{3,7} \end{aligned} \end{equation}

在求导过程中,只关注 中的一个量和 中的一个量,能够把求导过程简化很多。如果以后进行求导时遇到问题,采取这种方式可以帮助我们把问题简化至最基础的程度,这样便于理清思绪、找出问题所在。

1.2.1 完成求导:雅可比矩阵

我们的最终目标是计算出 中的每个元素对 中每个元素的导数,共计 个。

下面的这个雅克比矩阵直观的表示了这些导数:

\begin{bmatrix} \frac{\partial \overrightarrow{y*1}}{\partial \overrightarrow{x_1}}& \frac{\partial \overrightarrow{y_1}}{\partial \overrightarrow{x_2}}& \frac{\partial \overrightarrow{y_1}}{\partial \overrightarrow{x_3}}&\cdots & \frac{\partial \overrightarrow{y_1}}{\partial \overrightarrow{x_D}}\\ \frac{\partial \overrightarrow{y_2}}{\partial \overrightarrow{x_1}}& \frac{\partial \overrightarrow{y_2}}{\partial \overrightarrow{x_2}}& \frac{\partial \overrightarrow{y_2}}{\partial \overrightarrow{x_3}}&\cdots & \frac{\partial \overrightarrow{y_2}}{\partial \overrightarrow{x_D}}\\ \vdots & \vdots & \vdots & \ddots & \vdots \\ \frac{\partial \overrightarrow{y_C}}{\partial \overrightarrow{x_1}}& \frac{\partial \overrightarrow{y_C}}{\partial \overrightarrow{x_2}}& \frac{\partial \overrightarrow{y_C}}{\partial \overrightarrow{x_3}}&\cdots & \frac{\partial \overrightarrow{y_C}}{\partial \overrightarrow{x_D}}\\ \end{bmatrix}\\

对于公式 来说, 对 的偏导数可以用 来表示。实际上对于所有的 和 来说,都有

\frac{\partial \overrightarrow{y_i}}{\partial \overrightarrow{x_j}}=W_{i.j}\\

即上述的偏导数矩阵等于:

\begin{bmatrix} \frac{\partial \overrightarrow{y_1}}{\partial \overrightarrow{x_1}}& \frac{\partial \overrightarrow{y_1}}{\partial \overrightarrow{x_2}}& \frac{\partial \overrightarrow{y_1}}{\partial \overrightarrow{x_3}}&\cdots & \frac{\partial \overrightarrow{y_1}}{\partial \overrightarrow{x_D}}\\ \frac{\partial \overrightarrow{y_2}}{\partial \overrightarrow{x_1}}& \frac{\partial \overrightarrow{y_2}}{\partial \overrightarrow{x_2}}& \frac{\partial \overrightarrow{y_2}}{\partial \overrightarrow{x_3}}&\cdots & \frac{\partial \overrightarrow{y_2}}{\partial \overrightarrow{x_D}}\\ \vdots & \vdots & \vdots & \ddots & \vdots \\ \frac{\partial \overrightarrow{y_C}}{\partial \overrightarrow{x_1}}& \frac{\partial \overrightarrow{y_C}}{\partial \overrightarrow{x_2}}& \frac{\partial \overrightarrow{y_C}}{\partial \overrightarrow{x_3}}&\cdots & \frac{\partial \overrightarrow{y_C}}{\partial \overrightarrow{x_D}}\\ \end{bmatrix}=\begin{bmatrix} W_{1,1}& W_{1,2}& W_{1,3}&\cdots & W_{1,D}\\ W_{2,1}& W_{2,2}& W_{2,3}&\cdots & W_{2,D}\\ \vdots & \vdots & \vdots & \ddots & \vdots \\ W_{C,1}& W_{C,2}& W_{C,3}&\cdots & W_{C,D}\\ \end{bmatrix}

显然,就是 本身嘛。

因此,我们最终可以得出,对于 , 对于 的偏导数为:

\frac{\partial \overrightarrow{y}}{\partial \overrightarrow{x}}=W\\
2 行向量的情况

现在关于神经网络的第三方包特别多,在使用这些包的时候,要特别关注权值矩阵、数据矩阵等的排列。例如:数据矩阵 中包含非常多的向量,每个向量代表一个输入,那到底是矩阵中的每一行代表一个输入,还是每一列代表一个输入呢?

在第一节中,我们介绍的示例中使用的向量 是列向量。不过当 是行向量时,求导的基本思想是一致的。

2.1 示例 2

在本例中, 是一个 阶行向量,它是由 阶行向量 和 维矩阵 和计算得到:

\overrightarrow{y} =\overrightarrow{x}W\\

虽然 和 的元素数量和之前的列向量是一样的,但矩阵 相当于第一节使用的矩阵 的转置。并且本例中是矩阵 左乘 ,而不是之前的右乘。

在本例中,我们同样可以写出 的表达式:

\overrightarrow{y_3} = \overrightarrow{x_j}\sum_{j=1}^{D}W_{j,3} \\

同样地,

\frac{\partial \overrightarrow{y_3}}{\partial \overrightarrow{x_7}}=W_{7,3}\\

注意本例中的 的下标和第一节中的相反。如果我们写出完整的雅克比矩阵的话, 我们仍然可以得出完整的求导结果:

\frac{\partial \overrightarrow{y}}{\partial \overrightarrow{x}}=W\\

3 维度大于 2 的情况 让我们考虑另一个密切相关的情形,如下式:

\frac{\partial\overrightarrow{y}}{\partial W}

在这种情形中, 沿着一个坐标变化,而 沿着两个坐标变化。因此,整个导数自然是一个三维数组。一般避免使用“三维矩阵”这种术语,因为矩阵乘法和其他矩阵操作在三维数组中的定义尚不明确。

在处理三维数组时,试图去找到一种展示它们的方法可能带来不必要的麻烦。直接将结果定义为公式会更简单一些,这些公式可用于计算三维中的任何元素。

我们继续从计算标量的导数开始,比如 中的一个元素 和 中的一个元素 。首先要做的还是写出 的表达式:

\overrightarrow{y_3}=\overrightarrow{x_1}W_{1,3}+\overrightarrow{x_2}W_{2,3}+...+\overrightarrow{x_D}W_{D,3}

显然, 在 的表达式中没有起到任何作用,因此,

\frac{\partial\overrightarrow{y_i}}{\partial W_{7,8}}=0

同时, 对 中第 3 列元素的求导结果是非零的,正如 表达式中展示的那样。例如 对 的偏导数为:

\frac{\partial\overrightarrow{y_3}}{\partial W_{2,3}}=\overrightarrow{x_2}

一般来说,当 中元素的下标等于 中元素的第二个下标时,其偏导数就是非零的,其他情况则为零。整理如下:

\frac{\partial\overrightarrow{y_i}}{\partial W_{i,j}}=\overrightarrow{x_i}

除此之外,三维数组中其他的元素都是 0。如果我们用 来表示 对 的导数,

F_{i,j,k}= \frac{\partial\overrightarrow{y_i}}{\partial W_{j,k}}\\

那么, ,其余的情况等于 0 此时如果我们使用一个二维数组 来表示三维数组 ,

G_{i,j}=F*{i,j,i}\\

可以看出,三维数组 中的全部数据实际上都可以使用二维数组 来存储,也就是说, 中的非零部分其实是二维的,而非三维的。 以更加紧凑的方式来表示导数数组对于神经网络的高效实现来说,意义重大。

4 多维数据

前面提到的实例中,不论是还是都只是一个向量。当需要多条数据时,例如多个向量组成一个矩阵时,又该如何计算呢?

我们假设每个单独的都是一个阶行向量,矩阵则是一个的二维数组。而矩阵和之前实例中的一样,为的矩阵。此时的表达式为:

Y = XW

是一个行列的矩阵。因此, 中的每一行给出一个与输入中对应行相关的行向量。按照之前的方式,可以写出如下表达式:

Y_{i,j} = \sum_{k=1}^{D}X_{i,k}W_{k,j}

从这个方程式可以看出,对于偏导数,只有当的情况下不为0,其他情况均为0。因为 中的每一个元素都只对 与中对应的那一行求导, 与 的不同行元素之间的导数均为0。 还可以进一步看出,计算偏导数

\frac{\partial Y_{i,j}}{\partial X_{i,k}}=W_{k.j}

与和 的行没关系。

实际上,矩阵包含了所有的偏导数,我们只需要根据上述公式来找到我们想要的某个具体地偏导数。

如果用来表示中的第行,用来表示中的第行,那么

\frac{\partial Y_{i,:}}{\partial X_{i,:}}=W
5 链式法则

上面介绍了两个基本示例和求导方法,本节将上述方法和链式法则结合起来。

同样,假设和为两个列向量,

\overrightarrow{y}=VW\overrightarrow{x}

在计算对的导数时,我们可以直观地将两个矩阵和的乘积视为另一个矩阵,则

\frac{\mathrm{d}\overrightarrow{y}}{\mathrm{d}\overrightarrow{x}}=VW=U

但是,我们想明确使用链式法则来定义中间量的过程,从而观察非标量求导是如何应用链式法则的。我们将中间量定义为

\overrightarrow{m}=W\overrightarrow{x}

此时,

\overrightarrow{y}=V\overrightarrow{m}

那么在求导时,我们使用链式法则:

\frac{\mathrm{d}\overrightarrow{y}}{\mathrm{d}\overrightarrow{x}}=\frac{\mathrm{d}\overrightarrow{y}}{\mathrm{d}\overrightarrow{m}}\frac{\mathrm{d}\overrightarrow{m}}{\mathrm{d}\overrightarrow{x}}

为了确保确切地清楚该式的含义,我们还是使用每次只分析一个元素的方法,中的一个元素对中的一个元素的导数为:

\frac{\mathrm{d}\overrightarrow{y_i}}{\mathrm{d}\overrightarrow{x_j}}=\frac{\mathrm{d}\overrightarrow{y_i}}{\mathrm{d}\overrightarrow{m}}\frac{\mathrm{d}\overrightarrow{m}}{\mathrm{d}\overrightarrow{x_j}}

链式法则的思想是当某个函数由复合函数表示,那么该复合函数的导师,可以用构成复合函数的各个函数的导数乘积来表示。

如果中有M个元素,那么上式可以写成:

\frac{\mathrm{d}\overrightarrow{y_i}}{\mathrm{d}\overrightarrow{x_j}}=\sum_{k=1}^{M}\frac{\mathrm{d}\overrightarrow{y_i}}{\mathrm{d}\overrightarrow{m_k}}\frac{\mathrm{d}\overrightarrow{m_k}}{\mathrm{d}\overrightarrow{x_j}}

回忆一下之前向量对向量的求导方法,我们可以发现,

\left\{\begin{matrix} \frac{\mathrm{d}\overrightarrow{y_i}}{\mathrm{d}\overrightarrow{m_k}}= V_{i,k}& \\ \frac{\mathrm{d}\overrightarrow{m_k}}{\mathrm{d}\overrightarrow{x_j}}= W_{k,j}& \end{matrix}\right.

整理可得:

\frac{\mathrm{d}\overrightarrow{y_i}}{\mathrm{d}\overrightarrow{x_j}}=\sum_{k=1}^{M}V_{i,k}W_{k,j}

至此,我们用和中的元素表示出了求导表达式。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-05-30,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 一刻AI 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1 简化、简化,还是简化(重要的事情说三遍)
    • 1.1 将矩阵计算分解为单个标量的计算
      • 1.2 去除求和符号
        • 1.2.1 完成求导:雅可比矩阵
    • 2 行向量的情况
      • 2.1 示例 2
      • 4 多维数据
      • 5 链式法则
      领券
      问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档