1. 平方误差

• 对于单个数据来说，其平方误差为

$$\begin{array}{c} E = \frac{1}{2} \sum_{k} (y_k - t_k)^2 \end{array}$$

其中，$y_k$ 表示神经网络的输出，$t_k$ 表示监督数据（$t$ 采用 one-hot 编码），$k$ 表示数据的维度。

• 对于所有训练数据来说，其平方误差为

$$\begin{array}{c} E = \frac{1}{2N} \sum_n \sum_k (y_{nk} - t_{nk})^2 \end{array}$$

2. 交叉熵误差

• 对于单个数据来说，其交叉熵误差为

$$\begin{array}{c} E = - \sum_{k} t_k \log y_k \end{array}$$

其中，$y_k$ 表示神经网络的输出，$t_k$ 表示监督数据（$t$ 采用 one-hot 编码），$k$ 表示数据的维度。

• 对于所有训练数据来说，其交叉熵误差为

$$\begin{array}{c} E = -\frac{1}{N} \sum_n \sum_k t_{nk} \log y_{nk} \end{array}$$