t_dnn3-1-2-2(質問管理番号)

回答日時: 2019/01/31
Q: 確認テスト
下図のy1 を x ・ s0 ・ s1 ・ win ・ w ・ wout を用いて数式で表せ。
質問①
動画では、s1ではなく、z1になっていました。
s1=z1という認識で良いでしょうか?質問②
動画やPDFの説明では、ziとsiが混在していますが、図では必ずsiになっています。
ziとsiを分けている理由を教えてください。
A: 質問①
si=zi という認識であっています.
質問②
ziとsiに違いはなく,図や動画・PDFの作成者の記号の使い方の違いによりziとsiが混在しています.

 

回答日時: 2019/01/31
Q: t_dnn3-1-2-3の続き
質問②
BPTTの数学的記述3 の2行目では、①が正しい場合、式展開が間違っていると思われます。
δ(t-1)=dE(t-1)/du(t-1)  ⇒ ここまでは理解できますが、次が良くわかりません。dE(t-1)/du(t-1)
= dE(t-1)/du(t) * du(t)/du(t-1)この後、分子・分母の時間が異なっていますが
dE(t-1)/du(t) = delta(t)
としています。
どのように解釈すればよいでしょうか?
A: ②上記①(t_dnn3-1-2-3)と関係するところですが,ここではδ(t-1)=dE(t-1)/du(t-1)ではなくδ(t-1)=dE(t)/du(t-1)とするのがただしいです.そうすると式展開の辻褄があいますね.BPTTでは時系列的に先の誤差(今回ではE(t))をまず求め,その誤差に対して,時系列的に先の順から古い順に向かって,偏微分値を連鎖的にかけていきます.数式を交えるとE(t) /∂(u(t))に∂(u(t))/ ∂(u(t-1))をかける.さらにそれに対して∂(u(t-1))/ ∂(u(t-2))をかける...のように計算していきます。

 

回答日時: 2019/01/31
Q: δ(t)とδout(t)の導出説明が良くわかりません。

δ(t)
=δ(t+1)*W+δout(t)*Wout*sig(u(t+1))
という式があります。

質問①
時刻tのδを求めるために、時刻t+1のδが必要なので、未来の情報が無いと解けないと思われます。
この式を解くときは、未来のデータは利用可能なのか?

質問②
どのようなデータ準備状況の時の解析を意図しているのか?

質問③
δout は、どうやって求めるのでしょうか?

A: ①はい,利用可能です.誤差逆伝播法中の処理ですので,未来の時刻から古い時刻に対して情報が伝播されていきます.ここでは時刻t+!で求めた偏微分の値δt+1が古い時刻の情報である偏微分の値δtを計算する際に用いられます。

②「準備状況」の意味は正確には把握しておりませんが,データが時系列データのときの解析を意図しています.例えばIoTデバイスのセンサーデータや株価などの金融時系列データ,自然言語データなどが該当します。

③δoutは誤差Eを(出力層で活性化関数に通す前の値である)v(t)で偏微分したものです。