Teoria de la informació
teoria matemàtica del camp de la teoria del probabilitat i de l'estadística / From Wikipedia, the free encyclopedia
La teoria de la informació estudia la quantificació, l'emmagatzamatge i la comunicació de la informació. El seu pioner va ser Claude E. Shannon a l'any 1948, quan va demostrar que aquesta teoria es podia mesurar i definir com una ciència. El mateix any va publicar "A Mathematical Theory of Communication"[1] on estudiava els límits fonamentals en el processament del senyal, i operacions com la compressió de dades. Aquesta disciplina inclou aplicacions com la compressió de dades sense pèrdua (com per exemple els fitxers .ZIP), amb pèrdua (com per exemple els MP3 o JPEG), i la codificació de canal (com per exemple l'ADSL). L'impacte d'aquest principi ha estat immens en la societat del segle XX: la invenció del disc compacte (CD), els telèfons mòbils, el desenvolupament d'Internet, els satèl·lits de comunicacions i sondes espacials, l'estudi del llenguatge i la percepció humana, la comprensió dels forats negres, neurobiologia,[2] ecologia,[3] visió humana,[4] etc.[5][6]
La clau de volta de l'estudi de Shannon va ser la definició d'entropia en el seu article. Shannon, la va definir com la quantitat d'informació obtinguda d'una font d'informació. Un exemple per a representar-ho seria el llançament d'una moneda (cara o creu) dona menys informació (és a dir, té menys entropia) que el llançament d'un dau (que té sis valors possibles).[7]