Entropia krzyżowa

Entropia krzyżowa – wartość używana w teorii informacji^[1]. Wykorzystywana do oceny nietrafności rozkładu względem drugiego rozkładu hipotetycznie prawdziwego^[2].

Definicja

Wzór na entropię krzyżową dyskretnej zmiennej losowej ${\displaystyle X}$ o zbiorze wartości ${\displaystyle \{x_{1},x_{2},...,x_{n}\}}$ i zdefiniowanych na nich rozkładach prawdopodobieństw ${\displaystyle p}$ i ${\displaystyle q}$^[1]:

${\displaystyle H(p,q,X)=-\sum _{i=1}^{n}p(x_{i})\log {q(x_{i})}.}$

Interpretując entropię krzyżową jako miarę nietrafności, za ${\displaystyle p}$ przyjmuje się rozkład traktowany jako prawdziwy, a za ${\displaystyle q}$ rozkład oceniany^[2].

Własności

Ponieważ^[2]

${\displaystyle H(p,q)=-\sum _{i=1}^{n}p(x_{i})\log {q(x_{i})}=-\sum _{i=1}^{n}p(x_{i})\log {p(x_{i})}-\sum _{i=1}^{n}p(x_{i})\log {\frac {q(x_{i})}{p(x_{i})}},}$

entropię krzyżową można interpretować jako sumę entropii dla rzeczywistego rozkładu prawdopodobieństwa ${\displaystyle p}$ oraz miary dywergencji Kullbacka-Leiblera między ${\displaystyle p}$ i ${\displaystyle q}$^[2]:

${\displaystyle H(p,q)=H(p)+d_{KL}(p,q).}$

Traktując entropię krzyżową jako nietrafność ${\displaystyle q}$ względem ${\displaystyle p,}$ można traktować ją jako sumę nietrafności związanej z niepewnością ${\displaystyle H(p)}$ i nietrafności związanej z błędem ${\displaystyle q}$ względem ${\displaystyle p}$^[2].

Przypisy

1. I.J.I.J. Good I.J.I.J., Some terminology and notation in information theory, „Proceedings of the IEE - Part C: Monographs”, 103 (3), 1956, s. 200–204, DOI: 10.1049/pi-c.1956.0024.
2. D.F.D.F. Kerridge D.F.D.F., Inaccuracy and Inference, „Journal of the Royal Statistical Society. Series B (Methodological)”, 37 (1), 1961, s. 184–194, DOI: 10.2307/2983856, JSTOR: 2983856.