From Wikipedia, the free encyclopedia
I informationsteori er entropi (også informationsentropi eller Shannon-entropi) en måde at betegne og give værdi til evolution og vækst i viden. Især KI-applikationer gør brug af entropi til at læse informationer. De sammenligner simpelthen systemets dele og vælger det stykke data med mindst (~0) entropi.
![]() |
For andre betydninger, se Entropi (flertydig) |
Entropien er givet ved en sum over alle mulige tilstande:
hvor er sandsynligheden for tilstanden .[1]
Entropien opnås være at tage gennemsnittet af informationsmængden for hvert udfald:
For et system med forskellige udfald er entropien altså den gennemsnitlige informationsmængde, der opnås ved en måling. Jo højere entropien er, jo større usikkerhed er der omkring udfaldet.[2]
Inden for fysikken kaldes den tilsvarende ligning for Gibbs' entropiformel.[3]
I det følgende gives eksempler på beregning af entropi.
Når en ærlig mønt bruges til at slå plat eller krone, har den 50 % - dvs. - sandsynlighed for at lande på krone og 50 % sandsynlighed for at lande på plat. Informationsmængden for hver udfald er derfor:
Den gennemsnitlige informationsmængde - entropien - for ét mønstkast er derfor også 1:
For to mønter fordobles informationsmængden ,og derfor bliver entropien 2. Der er nemlig 4 mulige udfald med to mønter, og hvert udfald har 25 % sandsynlighed, så:
Da antallet af mulige udfald fordobles med hver mønt, må antallet af mulige udfald for et arbitrært antal mønter være . Sandsynligheden per udfald er derfor:
Og derfor er entropien:
Entropien for møntkast er altså simpelthen .
Så jo flere mønter, jo højere entropi, da hvert udfald bliver mere og mere usandsynligt, og informationen omvendt bliver større og større.
En Bernoulli-proces er en måling, hvor der er to mulige udfald med sandsynlighederne og
hvor er konstant. Dette er en generalisering af den ærlige mønt, hvor . Entropien er:
For er entropien 1 som før, men for - dvs. hvis udfald 1 er umuligt - bliver entropien:
Entropien ville også være 0 bit, hvis kun udfald 2 var muligt. Hvis kun ét udfald er muligt, er der ikke længere nogen usikkerhed, mens usikkerheden er størst, hvis begge udfald er lige sandsynlige (se figur).[2]
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.