t_math_2-2-1(質問管理番号)

回答日時：

11/22

Q：

シャノンエントロピーの式
-Σ(p(x)log(p(x))とあるが、これを考えられるのは、確率変数x1、x2…がそれぞれ独立の場合だけで、講義であったx1=子供が笑顔、x2=飴玉もらう
みたいな独立でない事象を考えるとシャノンエントロピーは上記式より小さくなると考えてよいか？

A：

小さくなると考えていいです。

詳しくは以下のリンクの3,4を参照してください。
https://whyitsso.net/math/statistics/information_entropy.html