t_dnn3-1-2-2(質問管理番号)

回答日時：	2019/01/31
Q：	確認テスト下図のy1 を x ・ s0 ・ s1 ・ win ・ w ・ wout を用いて数式で表せ。質問① 動画では、s1ではなく、z1になっていました。 s1=z1という認識で良いでしょうか？質問② 動画やPDFの説明では、ziとsiが混在していますが、図では必ずsiになっています。 ziとsiを分けている理由を教えてください。
A：	質問① si=zi という認識であっています．質問② ziとsiに違いはなく，図や動画・PDFの作成者の記号の使い方の違いによりziとsiが混在しています．

回答日時：	2019/01/31
Q：	t_dnn3-1-2-3の続き質問② BPTTの数学的記述3　の2行目では、①が正しい場合、式展開が間違っていると思われます。 δ(t-1)=dE(t-1)/du(t-1)　　⇒　ここまでは理解できますが、次が良くわかりません。dE(t-1)/du(t-1) = dE(t-1)/du(t) * du(t)/du(t-1)この後、分子・分母の時間が異なっていますが dE(t-1)/du(t) = delta(t) としています。どのように解釈すればよいでしょうか？
A：	②上記①(t_dnn3-1-2-3)と関係するところですが，ここではδ(t-1)=dE(t-1)/du(t-1)ではなくδ(t-1)=dE(t)/du(t-1)とするのがただしいです．そうすると式展開の辻褄があいますね．BPTTでは時系列的に先の誤差（今回ではE(t)）をまず求め，その誤差に対して，時系列的に先の順から古い順に向かって，偏微分値を連鎖的にかけていきます．数式を交えるとE(t) /∂(u(t))に∂(u(t))/ ∂(u(t-1))をかける．さらにそれに対して∂(u(t-1))/ ∂(u(t-2))をかける．．．のように計算していきます。

回答日時：

2019/01/31

Q：

δ(t)とδout(t)の導出説明が良くわかりません。

δ(t)
=δ(t+1)*W+δout(t)*Wout*sig(u(t+1))
という式があります。

質問①
時刻tのδを求めるために、時刻t+1のδが必要なので、未来の情報が無いと解けないと思われます。
この式を解くときは、未来のデータは利用可能なのか？

質問②
どのようなデータ準備状況の時の解析を意図しているのか？

質問③
δout　は、どうやって求めるのでしょうか？

A：

①はい，利用可能です．誤差逆伝播法中の処理ですので，未来の時刻から古い時刻に対して情報が伝播されていきます．ここでは時刻t+!で求めた偏微分の値δt+1が古い時刻の情報である偏微分の値δtを計算する際に用いられます。

②「準備状況」の意味は正確には把握しておりませんが，データが時系列データのときの解析を意図しています．例えばIoTデバイスのセンサーデータや株価などの金融時系列データ，自然言語データなどが該当します。

③δoutは誤差Eを（出力層で活性化関数に通す前の値である）v(t)で偏微分したものです。