p_dnn_21-14(質問管理番号)

回答日時: 2019/02/14
Q: 深層学習演習
問54 GRU について
問57 GRU について
二つのそれぞれの演習問題で、似たような問題が出ています。

論文と書籍を調べましたが、下記の2通りが乱発しています

(1) h = z*h_hat + (1-z)*h_prev
(2) h = z*h_prev + (1-z)*h_hat

どちらが正しいか、どのように判断したらよいでしょうか?

A: どちらも正しいです。zと1-zは重みづけの度合いを表すものなので、交換しても適切な値に学習されます。
例えば、
(1) h = z*h_hat + (1-z)*h_prev
(2) h = z*h_prev + (1-z)*h_hat
(1)でzが一次元だと仮定しz=0.4と学習されるとしたら、(2)ではz=0.6と学習されれば等価であることがわかります。