Entropia krzyżowa

Entropia krzyżowa – wartość używana w teorii informacji^[1]. Wykorzystywana do oceny nietrafności rozkładu względem drugiego rozkładu hipotetycznie prawdziwego^[2].

Definicja

Wzór na entropię krzyżową dyskretnej zmiennej losowej ${\displaystyle X}$ o zbiorze wartości ${\displaystyle \{x_{1},x_{2},...,x_{n}\}}$ i zdefiniowanych na nich rozkładach prawdopodobieństw ${\displaystyle p}$ i ${\displaystyle q}$^[1]:

${\displaystyle H(p,q,X)=-\sum _{i=1}^{n}p(x_{i})\log {q(x_{i})}.}$

Interpretując entropię krzyżową jako miarę nietrafności, za ${\displaystyle p}$ przyjmuje się rozkład traktowany jako prawdziwy, a za ${\displaystyle q}$ rozkład oceniany^[2].

Własności

Ponieważ^[2]

${\displaystyle H(p,q)=-\sum _{i=1}^{n}p(x_{i})\log {q(x_{i})}=-\sum _{i=1}^{n}p(x_{i})\log {p(x_{i})}-\sum _{i=1}^{n}p(x_{i})\log {\frac {q(x_{i})}{p(x_{i})}},}$

entropię krzyżową można interpretować jako sumę entropii dla rzeczywistego rozkładu prawdopodobieństwa ${\displaystyle p}$ oraz miary dywergencji Kullbacka-Leiblera między ${\displaystyle p}$ i ${\displaystyle q}$^[2]:

${\displaystyle H(p,q)=H(p)+d_{KL}(p,q).}$

Traktując entropię krzyżową jako nietrafność ${\displaystyle q}$ względem ${\displaystyle p,}$ można traktować ją jako sumę nietrafności związanej z niepewnością ${\displaystyle H(p)}$ i nietrafności związanej z błędem ${\displaystyle q}$ względem ${\displaystyle p}$^[2].