t_dnn3-2-3(質問管理番号)

回答日時: 2019/01/31
Q: 質問①
各ゲートと出力の関係を教えて頂いたうえで、なぜ、忘却ゲートが回答なのか

以下の文章をLSTMに入力し空欄に当てはまる単語を予測したいとする。
文中の「とても」という言葉は空欄の予測において
なくなっても影響を及ぼさないと考えられる。
このような場合、どのゲートが作用すると考えられるか。

A: 出力ゲートはセルからの出力をどれだけ後の時刻に反映させるかを調整するゲートで,入力ゲートはセルに(現時刻の)入力をどれだけ反映させるかを調整するゲートです.また忘却ゲートは(前の時刻までの)セルの状態をどれだけ反映させるかを調整するゲートです.このうち前の時刻から引き継いだ情報を調整するのは忘却ゲートだけです.
ここでは前の時系列の単語である「とても」を反映しないよう調整したいのですから,forgotゲートが主に働くこととなります.
あとは数式等をみて理解していただくのが早いかなと思います