Εντροπία πληροφοριών

Η εντροπία στη θεωρία πληροφορίας είναι ένα «μέτρο αβεβαιότητας» που διακατέχει ένα σύστημα.

Ο όρος εντροπία χρησιμοποιήθηκε αρχικά στη θερμοδυναμική (βλ. εντροπία). Στη θεωρία πληροφορίας εισήχθη από τον Κλωντ Σάνον το 1948 και γι' αυτό ονομάζεται και εντροπία του Σάννον. Η χρήση του ίδιου όρου με τη θερμοδυναμική εντροπία, παρότι μπορεί να προκαλέσει σύγχυση, υιοθετήθηκε από τον Σάνον μετά και από παρότρυνση ενός άλλου σπουδαίου μαθηματικού, του Τζον φον Νόιμαν, ο οποίος φέρεται ότι είχε πει στον Σάνον^[1]:

«Πρέπει να το ονομάσεις εντροπία για δύο λόγους: Πρώτον, η συνάρτηση αυτή χρησιμοποιείται ήδη στη θερμοδυναμική με το ίδιο όνομα. Δεύτερο, και σημαντικότερο, ο περισσότερος κόσμος δεν γνωρίζει τι πραγματικά είναι η εντροπία, και αν χρησιμοποιείς τον όρο εντροπία σε ένα αντεπιχείρημα θα κερδίζεις πάντα».

Η εντροπία της θερμοδυναμικής μπορεί να αντιστοιχιστεί με την εντροπία στη θεωρία πληροφορίας.

Ορισμός

Έστω ένα πείραμα τύχης με n πιθανά αποτελέσματα. Θεωρούμε την τυχαία μεταβλητή ${\displaystyle X}$ και τα απλά ενδεχόμενα ${\displaystyle x_{1},\ldots ,x_{n}}$ που πραγματοποιούνται με πιθανότητες ${\displaystyle p_{1},\ldots ,p_{n}}$ και ${\textstyle (\sum _{i=1}^{n}p_{i}=1)}$ αντίστοιχα.

Η εντροπία ορίζεται ως:

${\displaystyle H(X)=\sum _{i=1}^{n}p_{i}\log _{2}\left({\frac {1}{p_{i}}}\right)=-\sum _{i=1}^{n}p_{i}\log _{2}p_{i}}$,

με την σύμβαση ${\displaystyle 0\log _{2}0=0}$.

Παραδείγματα

Δοκιμή Bernoulli

Κύριο λήμμα: Κατανομή Μπερνούλλι

Η εντροπία σε μία δοκιμή Bernoulli ως συνάρτηση της πιθανότητας επιτυχίας ${\displaystyle \Pr(X=1)=p}$.

Έστω μία δοκιμή Bernoulli με πιθανότητα επιτυχίας ${\displaystyle p}$. Συγκεκριμένα μπορούμε να θεωρήσουμε ένα δοχείο με ${\displaystyle N}$ μπάλες, ${\displaystyle Np}$ από τις οποίες είναι λευκές και ${\displaystyle N(1-p)}$ μαύρες από το οποίο επιλέγουμε τυχαία μία μπάλα. Η εντροπία της δοκιμής δίνεται από τον τύπο

${\displaystyle H(X)=-p\cdot \log _{2}p-(1-p)\cdot \log _{2}(1-p)}$.

Αν όλες οι μπάλες είναι λευκές ή όλες είναι μαύρες (${\displaystyle p=1}$ ή ${\displaystyle p=0}$ αντίστοιχα), τότε ξέρουμε με σιγουριά το αποτέλεσμα του πειράματος και η εντροπία είναι ${\displaystyle 0}$. Τη μέγιστη αβεβαιότητα για το αποτέλεσμα την έχουμε όταν οι μισές μπάλες είναι λευκές και οι μισές μαύρες, ${\displaystyle p=0.5}$.

Ισοπίθανα γεγονότα

Κύριο λήμμα: Διακριτή ομοιόμορφη κατανομή

Έστω η τυχαία μεταβλητή ${\displaystyle X}$ μπορεί να πάρει ${\displaystyle n}$ τιμές που είναι ισοπίθανες μεταξύ τους, δηλαδή ${\displaystyle p_{i}=1/n}$. Η εντροπία τότε είναι:

${\displaystyle H(X)=-\sum _{i=1}^{n}{\frac {1}{n}}\log _{2}{\frac {1}{n}}=\log _{2}n}$.

Έτσι σε μια πηγή πληροφορίας χωρίς μνήμη (η εμφάνιση ενός συμβόλου δεν εξαρτάται από την εμφάνιση κάποιου άλλου συμβόλου) και στην οποία όλα της τα σύμβολα είναι ισοπίθανα τότε έχουμε μέγιστη τιμή εντροπίας ${\displaystyle H_{\max }}$.

Παρατηρούμε ότι η εντροπία αυξάνει με τον αριθμό των καταστάσεων.

Παραπομπές

1. L. Floridi, 2010, Information. A very short introduction.

• Shigeru Furuichi, Flavia-Corina Mitroi-Symeonidis, Eleutherius Symeonidis, On some properties of Tsallis hypoentropies and hypodivergences, Entropy, 16(10) (2014), 5377-5399; DOI:10.3390/e16105377
• Shigeru Furuichi, Flavia-Corina Mitroi, Mathematical inequalities for some divergences, Physica A 391 (2012), pp. 388-400, DOI:10.1016/j.physa.2011.07.052; ISSN 0378-4371
• Shigeru Furuichi, Nicuşor Minculete, Flavia-Corina Mitroi, Some inequalities on generalized entropies, J. Inequal. Appl., 2012, 2012:226. DOI: 10.1186/1029-242X-2012-226