Informacijska teorija

Temeljne koncepte te teorije je uvedel v štiridesetih letih 20. stoletja K. Shannon. Teorija informacij je znanost procesov prenosa, shranjevanja in pridobivanja podatkov v naravnih, tehničnih in družbenih sistemih. Na številnih uporabnih znanstvenih področjih, kot so računalništvo, jezikoslovje, kriptografija, teorija upravljanja, obdelava slik, genetika, psihologija, ekonomija, produkcijska organizacija, se uporabljajo metode te znanosti.

V sodobnih razmerah je teorija informacij tesno povezana s teorijo kodiranja, ki obravnava najpogostejše probleme korespondence med signalom in sporočilom ter teorijo obdelave signalov, v kateri se proučuje kvantizacija in rekonstrukcija signalov ter spektralno in korelacijska analiza tiste.

Teorija informacij obravnava osnovni koncept "informacij" večinoma s kvantitativne strani, ne da bi upoštevala njegovo vrednost in včasih pomen. S tem pristopom bo stran besedila vsebovala približno enako količino podatkov, ki jo določi le število znakov in simbolov in ne glede na to, kaj je tam dejansko natisnjeno, čeprav je absolutno nesmiselno in kaotično nabor določenih simbolov.

Tak pristop je legitimen, vendar le za modeliranje komunikacijskih sistemov, ker morajo natančno prenašati informacije komunikacijske kanale, ki ga lahko predstavlja katerikoli niz znakov in simbolov. Hkrati, ko je treba upoštevati vrednost in pomen podatkov, je kvantitativni pristop nesprejemljiv. Takšne okoliščine nalagajo znatne omejitve na področja možne uporabe te teorije.

Osnove teorije informacij vključujejo obravnavo različnih vprašanj, vključno s tistimi, ki so neposredno povezana s prenosom in sprejemanjem podatkov. Osnovna shema komuniciranja, ki se upošteva v poučevanju, je naslednja. Teorija informacij in kodiranja meni, da podatke ustvari vir vira, ki je beseda ali niz besed, napisanih v črkah določene abecede. Vir sporočila je lahko besedilo na katerem koli naravnem ali umetni jeziki, človeški govor, podatkovne zbirke in drugo matematični modeli, ustvarjanje zaporedja črk. Oddajnik pretvori sporočilo v signal, ki ustreza fizični naravi komunikacijskega kanala - medij za prenos signala. Med prehodom takega motenja, ki uvaja izkrivljanje v vrednosti informacijskih parametrov, lahko deluje na njej. Sprejemnik vrne izvirno sporočilo v skladu s prejetim signalom z izkrivljanjem. Sporočilo v obnovljeni obliki pride do naslovnika - neke osebe ali tehnične naprave.

Eden pomembnih problemov teorije informacij je koordinacija komunikacijskega kanala in informacijskih lastnosti vira sporočil. Pretočnost se določi z enoto merjenja 1 bit na sekundo.

Eden od problemov komunikacijskih sistemov je vmešavanje v pot uporabnega signala. Shannonova izreka na žalost nam ne daje konkretnega načina reševanja takega. Najenostavnejši način izločanja, ki je sestavljen iz ponavljanja ponovitev sporočil, ni zelo učinkovit, saj traja veliko časa prenos informacij. Precej bolj učinkovita je uporaba kode, ki lahko zazna in popravi napake pri prenosu informacij.