ニューラルネットワークの逆誤差伝搬の重みの微分の計算
本記事では以下の命題を証明する. 命題． \(W\in\mathbb{R}^{n_1\times n_3}\) ， \(X\in\mathbb{R}^{n_3\times n_2}\) ， \(B\in\mathbb{R}^{n_1\times n_2}\) とし， \(G:=WX+B\) とする． このとき，（偏微分可能な）スカラー値関数 \(f(G)\) に対して， \[\begin{align} \frac{\partial f}{\partial W} &= \frac{\partial f}{\partial G}X^\top,\tag{1}\\ \frac{\partial f}{\partial X} &= W^\top\frac{\partial f}{\partial G} \tag{2}\\ \frac{\partial f}{\partial B} &= \frac{\partial f}{\partial G}.\tag{3} \end{align}\] なお，スカラー値関数に対する行列の偏...