Εντροπία πληροφοριών
From Wikipedia, the free encyclopedia
Η εντροπία στη θεωρία πληροφορίας είναι ένα «μέτρο αβεβαιότητας» που διακατέχει ένα σύστημα.
Ο όρος εντροπία χρησιμοποιήθηκε αρχικά στη θερμοδυναμική (βλ. εντροπία). Στη θεωρία πληροφορίας εισήχθη από τον Κλωντ Σάνον το 1948 και γι' αυτό ονομάζεται και εντροπία του Σάννον. Η χρήση του ίδιου όρου με τη θερμοδυναμική εντροπία, παρότι μπορεί να προκαλέσει σύγχυση, υιοθετήθηκε από τον Σάνον μετά και από παρότρυνση ενός άλλου σπουδαίου μαθηματικού, του Τζον φον Νόιμαν, ο οποίος φέρεται ότι είχε πει στον Σάνον[1]:
- «Πρέπει να το ονομάσεις εντροπία για δύο λόγους: Πρώτον, η συνάρτηση αυτή χρησιμοποιείται ήδη στη θερμοδυναμική με το ίδιο όνομα. Δεύτερο, και σημαντικότερο, ο περισσότερος κόσμος δεν γνωρίζει τι πραγματικά είναι η εντροπία, και αν χρησιμοποιείς τον όρο εντροπία σε ένα αντεπιχείρημα θα κερδίζεις πάντα».
Η εντροπία της θερμοδυναμικής μπορεί να αντιστοιχιστεί με την εντροπία στη θεωρία πληροφορίας.