Begrebet informationsentropi indebærer den negative logaritme af sandsynlighedsmassefunktionen for en værdi. Når datakilden har en værdi med en lavere sandsynlighed (dvs. når en hændelse med lav sandsynlighed indtræffer), indeholder hændelsen mere "information" ("overraskelse"), end når kildedataene har en værdi med en højere sandsynlighed.
Mængden af information, der formidles af hver hændelse defineret på denne måde, bliver en tilfældig variabel, hvis forventede værdi er informationsentropien. Generelt refererer entropi til uorden eller usikkerhed, og dens definition brugt i informationsteori er direkte analog med den der bruges i statistisk termodynamik. Begrebet IE blev introduceret af Claude Shannon i hans papir fra 1948 "A Mathematical Theory of Communication". Det er her udtrykket "Shannons informationsentropi" kom fra.
Definition og system
Den grundlæggende model for et datatransmissionssystem består af tre elementer: en datakilde, en kommunikationskanal og en modtager,og, som Shannon udtrykker det, er det "grundlæggende kommunikationsproblem", at modtageren er i stand til at identificere, hvilke data der blev genereret af kilden baseret på det signal, den modtager over kanalen. Entropi giver en absolut begrænsning på den kortest mulige gennemsnitlige tabsfri kodningslængde af komprimerede kildedata. Hvis entropien af kilden er mindre end kommunikationskanalens båndbredde, kan de data, den genererer, transmitteres pålideligt til modtageren (i det mindste i teorien, måske under hensyntagen til nogle praktiske overvejelser, såsom kompleksiteten af systemet, der kræves for at transmittere dataene og hvor lang tid det kan tage at overføre data).
Informationsentropi måles norm alt i bits (alternativt kaldet "shannoner") eller nogle gange i "naturlige enheder" (nats) eller decimaler (kaldet "dits", "bans" eller "hartleys"). Måleenheden afhænger af basen af logaritmen, som bruges til at bestemme entropien.
Egenskaber og logaritme
Log-sandsynlighedsfordelingen er nyttig som et mål for entropi, fordi den er additiv for uafhængige kilder. For eksempel er entropien af en fair indsats på en mønt 1 bit, mens entropien af m-volumener er m bit. I en simpel repræsentation er log2(n) bit nødvendige for at repræsentere en variabel, der kan antage en af n værdier, hvis n er en potens af 2. Hvis disse værdier er lige sandsynlige, er entropien (i bits) lig med det tal. Hvis en af værdierne er mere sandsynlige end de andre, er observationen, at den er detbetydning opstår, er mindre informativ, end hvis et mindre generelt resultat ville forekomme. Omvendt giver sjældnere hændelser yderligere sporingsoplysninger.
Fordi observation af mindre sandsynlige hændelser er mindre hyppige, er der intet til fælles, at entropien (som anses for at være gennemsnitlig information) opnået fra ujævnt fordelte data altid er mindre end eller lig med log2(n). Entropi er nul, når ét resultat er defineret.
Shannons informationsentropi kvantificerer disse overvejelser, når sandsynlighedsfordelingen af de underliggende data er kendt. Betydningen af observerede begivenheder (betydningen af meddelelser) er irrelevant i definitionen af entropi. Sidstnævnte tager kun højde for sandsynligheden for at se en bestemt begivenhed, så informationen, den indkapsler, er data om den underliggende fordeling af muligheder, ikke om betydningen af selve begivenhederne. Egenskaberne for informationsentropi forbliver de samme som beskrevet ovenfor.
Informationsteori
Den grundlæggende idé med informationsteori er, at jo mere man ved om et emne, jo mindre information kan man få om det. Hvis en hændelse er meget sandsynlig, er det ikke overraskende, når den indtræffer og giver derfor kun få nye oplysninger. Omvendt, hvis begivenheden var usandsynlig, var det meget mere informativt, at begivenheden fandt sted. Derfor er nyttelasten en stigende funktion af den omvendte sandsynlighed for hændelsen (1 / p).
Nu, hvis der sker flere begivenheder, entropimåler det gennemsnitlige informationsindhold, du kan forvente, hvis en af begivenhederne indtræffer. Det betyder, at det at kaste en terning har mere entropi end at kaste en mønt, fordi hvert krystaludfald har en lavere sandsynlighed end hvert møntudfald.
Funktioner
Entropi er således et mål for en tilstands uforudsigelighed eller, hvilket er det samme, dens gennemsnitlige informationsindhold. For at få en intuitiv forståelse af disse udtryk, overvej eksemplet med en politisk meningsmåling. Norm alt sker sådanne meningsmålinger, fordi resultaterne af f.eks. valg endnu ikke kendes.
Med andre ord er resultaterne af undersøgelsen relativt uforudsigelige, og faktisk giver det nogle nye oplysninger at gennemføre den og undersøge dataene; de er bare forskellige måder at sige, at den forudgående entropi af afstemningsresultaterne er stor.
Tænk nu på det tilfælde, hvor den samme afstemning udføres for anden gang kort efter den første. Da resultatet af den første undersøgelse allerede er kendt, kan resultaterne af den anden undersøgelse godt forudsiges, og resultaterne bør ikke indeholde meget ny information; i dette tilfælde er a priori-entropien af det andet afstemningsresultat lille sammenlignet med det første.
Coin Toss
Tænk nu på eksemplet med at vende en mønt. Hvis vi antager, at sandsynligheden for haler er den samme som sandsynligheden for hoveder, er entropien for et møntkast meget høj, da det er et ejendommeligt eksempel på et systems informationsentropi.
Dette er fordiat det er umuligt at forudsige, at resultatet af en mønt bliver kastet før tid: Hvis vi skal vælge, er det bedste, vi kan gøre, at forudsige, at mønten vil lande på haler, og denne forudsigelse vil være korrekt med en sandsynlighed for 1 / 2. Sådan et møntkast har en bit entropi, da der er to mulige udfald, der sker med lige stor sandsynlighed, og at studere det faktiske udfald indeholder en bit information.
Tværtimod, at vende en mønt ved at bruge begge sider med haler og ingen hoveder har nul entropi, da mønten altid vil lande på dette skilt, og resultatet kan forudsiges perfekt.
Konklusion
Hvis komprimeringsskemaet er tabsfrit, hvilket betyder, at du altid kan gendanne hele den originale meddelelse ved at dekomprimere, så har den komprimerede meddelelse samme mængde information som originalen, men transmitteres med færre tegn. Det vil sige, at den har mere information eller højere entropi pr. tegn. Det betyder, at den komprimerede meddelelse har mindre redundans.
Groft sagt siger Shannons kildekodekodesætning, at et tabsfrit komprimeringsskema ikke kan reducere meddelelser i gennemsnit til at have mere end én bit information pr. meddelelsesbit, men enhver værdi mindre end én informationsbit pr. bit kan opnås.-meddelelser ved hjælp af det passende indkodningsskema. En meddelelses entropi i bit gange dens længde er et mål for, hvor meget generel information den indeholder.
