Ilość informacji
Z Wikipedii
Ilość informacji - termin używany w matematycznej teorii informacji.
Ilością informacji I(X:Y) nazywamy różnicę entropii zmiennej X i średnią warunkowych entropii zmiennej X w zbiorowościach wyróżnionych ze względu na zmienną Y.
Innymi słowy, I(X:Y) dotyczy informacji dostarczonej przez zmienną Y o zmiennej X.
Wzór na ilość informacji:
I(X:Y) = H(X) − E[H(X | Y)],
gdzie: H -
E -
Przykłady: