Divergenza di Kullback-Leibler

In teoria della probabilità e in teoria dell'informazione, la divergenza di Kullback–Leibler^[1][2][3] (anche detta divergenza di informazione, entropia relativa, o KLIC) è una misura non simmetrica della differenza tra due distribuzioni di probabilità P e Q. Specificamente, la divergenza di Kullback–Leibler di Q da P, indicata con D_KL(P||Q), è la misura dell'informazione persa quando Q è usata per approssimare P:^[4] KL misura il numero atteso di bit extra richiesti per la Codifica di Huffman di campioni P quando si utilizza un codice basato su Q, piuttosto che utilizzare un codice basato su P. Tipicamente P rappresenta la "vera" distribuzione di dati, osservazioni, o una distribuzione teorica calcolata con precisione. La misura Q tipicamente rappresenta una teoria, modello, descrizione, o approssimazione di P.

Anche se è spesso pensata come una distanza, la divergenza KL non è una vera e propria metrica - per esempio, non è simmetrica: la KL da P a Q non è in genere la stessa KL da Q a P. Tuttavia, la sua forma infinitesimale, in particolare la sua matrice hessiana, è un tensore metrico: è l'informazione metrica di Fisher.

La divergenza KL è un caso particolare di una classe più ampia di divergenze chiamata f-divergenze. È stata originariamente introdotta da Solomon Kullback e Richard Leibler nel 1951 come divergenza diretta tra due distribuzioni. Può essere derivata dalla divergenza di Bregman.

Definizione

Per due distribuzioni discrete P e Q, la divergenza KL di Q da P è definita come:

${\displaystyle D_{\mathrm {KL} }(P\|Q)=\sum _{i}P(i)\log _{2}\left({\frac {P(i)}{Q(i)}}\right).}$

Proprietà

Dalla disuguaglianza di Jensen segue che ${\displaystyle D_{\text{KL}}\left(P\|Q\right)}$ è non negativa. Infatti

${\displaystyle D_{\text{KL}}\left(P\|Q\right)=\mathbb {E} _{P}\left[-\log _{2}{\frac {Q}{P}}\right]\geq -\log _{2}\mathbb {E} _{P}\left[{\frac {Q}{P}}\right]=-\log _{2}\sum _{i}P(i){\frac {Q(i)}{P(i)}}=0}$

poiché

${\displaystyle \sum _{i}Q(i)=1.}$

Note

1. S. Kullback e R.A. Leibler, On Information and Sufficiency, in Annals of Mathematical Statistics, vol. 22, n. 1, 1951, pp. 79–86, DOI:10.1214/aoms/1177729694, MR 39968.
2. S. Kullback (1959) Information theory and statistics (John Wiley and Sons, NY).
3. S. Kullback, Letter to the Editor: The Kullback–Leibler distance, in The American Statistician, vol. 41, n. 4, 1987, pp. 340–341, JSTOR 2684769.
4. Kenneth P. Burnham, David R. Anderson (2002), Model Selection and Multi-Model Inference: A Practical Information-Theoretic Approach. Springer. (2nd ed), p.51

Bibliografia

• Thomas M. Cover, Joy A. Thomas, Elements of Information Theory, 2012.

Controllo di autorità	BNF (FR) cb180900511 (data)