p_ml_13-1-3(質問管理番号)

回答日時：	11/28
Q：	モメンタムありの確率的勾配降下法でパラメータを更新したときの更新量を求める問題ですが、解法が分かりません。計算式だけの説明ではなく、具体的な数値が入った場合の説明が記載されているサイトがあれば、教えてくださいませんか？あるいは、解法を教えてほしいです。よろしくお願いします。
A：	モメンタムありの確率的勾配降下法は確率的勾配降下法にモメンタム項を追加したものです。モメンタム項は１ステップ前のパラメータの更新量に係数をかけたものとして表されます。例えばパラメータwの初期値が0で、学習率、モメンタム係数をそれぞれ1だとします。1回目の勾配（誤差の偏微分）が1と計算されると、（モメンタム項は一回目の更新では0なので）ふつうの確率的勾配降下法にしたがってw ← w – 11と更新されます（更新量は-1）。続いて2回目の勾配が0.5と計算されると、一回目の更新量が-1なのでモメンタム項は1(-1)=-1です。したがってw ← w – 1*0.5 – 1とパラメータは更新され、w=-2.5となります。