p_dnn_1-7-1(質問管理番号)

回答日時: season1
Q: ソフトプラス関数の実装をnp.log(1 + np.exp(x))ではなく、np.maximum(0,x) + np.log(1 + np.exp(- np.abs(-x)))とするのはなぜなのでしょうか。1つ目の関数にはなにか問題があるのでしょうか。
A: http://hamukazu.com/2015/07/31/mathematical-derivation-in-numerical-computation/
こちらの記事が参考になります。式のまま計算するとxが大きい時にexpがオーバーフローするので、式変形した形で実装しています。