Teoria informației

Teoria informației (a nu se confunda cu informatica) este o ramură a matematicii aplicate si a ingineriei electrice care se ocupă cu cuantificarea informației. La începuturi teoria informației s-a dezvoltat în direcția găsirii unor limite fundamentale ale compresiei datelor și comunicațiilor de date. Apoi, cu timpul, teoria informației s-a lărgit, găsind aplicații în multe alte domenii, inclusiv neurobiologie , evoluție , genetică, ecologie, termodinamică , calculatoare cuantice, detecția plagiatelor și alte discipline care implică analiza datelor și exploatare de date (data mining) .

O importantă măsură în teoria informației este entropia informațională, mărime de regulă exprimată prin numărul mediu de biți necesar pentru stocarea sau comunicarea respectivei informații. Intuitiv, entropia cuantifică nivelul de incertitudine implicat de o variabilă aleatoare. De exemplu, o aruncare de monedă va avea entropie informațională mai mică decât o aruncare cu zarul.

Printre aplicațiile teoriei informației se numără compresia datelor fără pierderi (de exemplu algoritmul de compresie ZIP), cea cu pierderi (de exemplu MP3) și codificarea canalelor. Acest domeniu se află la limita mai multor domenii: matematică, statistică, informatică, fizică, neurobiologie și inginerie electrică. Impactul său a fost crucial pentru succesulmisiunilor Voyager, inventarea CD-ului, dezvoltarea Internetului, studiile moderne ale lingvisticii și percepției umane, înțelegerii găurilor negre, și multor altor domenii.

Mare parte din matematica din spatele teoriei informației cu evenimente de probabilități diferite a fost dezvoltată pentru domeniul termodinamicii de către Ludwig Boltzmann și J. Willard Gibbs.

În lucrarea revoluționară a lui Shannon, elaborată în cea mai mare parte la Laboratoarele Bell până în 1944, el a introdus pentru prima oară un model calitativ și cantitativ al comunicației ca proces statistic ce stă la baza teoriei informației, deschizând cu propoziția:

"Problema fundamentală a comunicațiilor este aceea a reproducerii într-un punct, fie aproximativ, fie cu exactitate, a unui mesaj ales la un alt punct."

În această lucrare au fost definite următoarele idei:

• Entropia informațională și redundanța unei surse, și relevanța acesteia, prin teorema codificării sursei;
• Informația mutuală și capacitatea unui canal de comunicație afectat de zgomot, inclusiv promisiunea comunicației fără zgomote dată de Teorema codificării canalului zgomotos;
• Rezultatul practic al legii Shannon-Hartley pentru capacitatea unui canal gaussian;
• Bitul — o nouă modalitate de a vedea unitatea fundamentală de informație.

Contribuții la dezvoltarea teoriei informației au adus Norbert Wiener (din 1948), Alexander Hincin (ru) (1953), Andrei Kolmogorov (1956). Printre cercetători români cu contribuții în acest domeniu se numără: Octav Onicescu, Silviu Guiașu etc.