误差函数

1. 平方误差

• 对于单个数据来说，其平方误差为

$\begin{array}{c} E = \frac{1}{2} \sum_{k} (y_k - t_k)^2 \end{array}$

其中，$y_k​$表示神经网络的输出，$t_k$表示监督数据（$t$ 采用 one-hot 编码），$k$表示数据的维度。

• 对于所有训练数据来说，其平方误差为

$\begin{array}{c} E = \frac{1}{2N} \sum_n \sum_k (y_{nk} - t_{nk})^2 \end{array}$

2. 交叉熵误差

• 对于单个数据来说，其交叉熵误差为

$\begin{array}{c} E = - \sum_{k} t_k \log y_k \end{array}$

其中，$y_k​$表示神经网络的输出，$t_k$表示监督数据（$t$采用 one-hot 编码），$k$ 表示数据的维度。

• 对于所有训练数据来说，其交叉熵误差为