Informaciona teorija i kodiranje_ Dejan Tomic 17210.pptx

INFORMACIONA TEORIJA I KODIRANJE

INFORMACIONA TEORIJA I KODIRANJEOSNOVE KOMUNIKACIJAProfesor: dr Milorad K. Banjanin

Asistent:mr Aleksandar Stjepanovi

Doboj 2015.Student:Dejan Tomi 172/10UNIVERZITET U ISTONOM SARAJEVU SAOBRAAJNI FAKULTETDOBOJ

Klod Elvud enon(eng.Claude Elwood Shannon;30.april 1916.24. februar 2001.) bio jeameriki naunik i inenjer. Meu najznaajnija otkria ovog naunika spadajuteorija informacijai dizajn digitalnih raunaraikola.enon je poznat kao utemeljiva informacione teorije sa svojim naunim radom objavljenim 1948. godine. Takoe se smatra utemeljivaem teorijedigitalnog raunarai teorije dizajnadigitalnih kola , kada je kao 21-godinji studentMIT-a, napisao tezu gdje dokazuje da je primjenombulove algebrena digitalna elektrina kola, mogue rijeiti bilo kojilogikiili numeriki problem.Klod Elvud enon

Shannon je informacije modelirao kao dogaaje (Sk) koji se pojavljuju uz odreene verovatnoe (pk). On je pretpostavio da svako merilo informacije mora da ispuni sledee uslove:1. Koliina informacije u nekom dogaaju x treba da zavisi samo od njene verovatnoe p. 2. l(p) predstavlja kontinualnu funkciju od p. 3. I(px,py)=I(px)+I(py) Ova pretpostavka aditivnosti (sabirljivosti) je najstroiji uslov u smislu toga da mnoge funkcije realnih pozitivnih brojeva (tj.verovatnoa) nisu aditivne (sabirljive).

Znaajan rezultat za teoriju komunikacija koji proizilazi iz informacione teorije jeste to da se u komunikacionom kanalu moe postii komunikacija bez greke, ako je entropija izvora manja od kapaciteta kanala.Entropija je definisana kao predvidivost ponaanja izvora informacija Kapacitet je definisan kao sutinska sposobnost kanala za prenoenje informacije; kapacitet je prirodno povezan sa umnim karakteristikama kanala

etiri vana svojstva koliine informacije su:2.Svojstvo nenegativnosti I(Sk) >0 za 0 < pk < 11.Svojstvo simetrinostiI(sk) 0, pk=13.Svojstvo inverznosti sa verovatnoomI(sk) > I(si) za Pk < Pi4.Svojstvo aditivnostiI(sksi)=l(sk) + I(Si)

- Dijagram entropijske funkcije H(p0)kad je po=0, entropija je H(S)=0;kad je pO=l, entropija je H(S)=0;kad entropija H(S) dostie svoju maksimalnu vrednost Hmax=l bit,tada je p1=p0=1/2, to jest, simboli 1 i 0 su jednako vjerovatni

Diskretan nememorijski izvorIzvorni koderbkSkDiskretni nememorijski izvor i koder izvoraema prikazuje diskretni nememorijski izvor iji je izlaz Sk konvertovan koderom izvora u blok nula i jedinica, oznaen sa bkTEOREMA KODIRANJA IZVORAShannon-ova prva teorema

Vaan problem u komunikacijama predstavlja efikasno prikazivanje podataka generisanih od strane diskretnog izvora.

Postupak prikazivanja naziva se kodiranje izvora, a ureaj za prikazivanje naziva se koder izvora.

Sabijanje podataka

Zajednika karakteristika signala generisanih od strane fizikih izvora je ta to oni u svom prirodnom obliku sadre znaajnu koliinu informacija koje su suvine - redundantne i iji je prenos zbog toga rasipan za primarne komunikacione resurse.duih opisa manje frekventnim signalima iKod koji rezultira iz takve operacije daje prikaz izvornog izlaza koji je ne samo efikasan u pogledu prosenog broja bita po simbolu , ve je takoe i precizan u pogledu toga da se originalni podaci mogu rekonstruisati bez gubitka informacije.Sabijanje podataka se postie dodeljivanjem:kratkih opisa najfrekventnijim signalima izlaza izvora.Za efikasan prenos signala redundantne informacije treba da se otklone iz signala pre transmisije (izvrenja prenosa).

VRSTE KODIRANJAPrefiksno kodiranjeHufmanovo kodiranjeLempel-Ziv kodiranjePogledajmo diskretni nememorijski izvor alfabeta {so, Si,. . ., Sk-i} i statistike {p0, pi, . . . , pk-i}-Da bi izvorni kod koji predstavlja izlaz ovog izvora bio od praktine koristi, treba omoguiti da se kod jednoznano dekodira.Osnovna ideja Hufmanovog kodiranja sastoji se u tome da svakom simbolu nekog alfabeta treba dodeliti niz bitova ija je duina otprilike ista kao i koliina informacija koja je preneta od strane simbola o kom je re.Kodiranje se vri putem ralanjenja izvornog snopa podataka na segmente koji predstavljaju najkrae nizove koji prethodno nisu primeeni.

Diskretan nememorijski izvorKoder kanalaDiskretan nememorijski kanalDekoder kanalaOdreditepredajnikumprijemnik- ema kanalnog kodiranjaTEOREMA KODIRANJA KANALAShannon-ova druga teoremaCilj kanalnog kodiranja jeste poveanje otpornosti digitalnog komunikacionog sistema na kanalski um.Kanalno kodiranje se sastoji od:1.Mapiranja ulaznog niza podataka u niz kanalskog ulaza, koje se vri u predajniku od strane kanalnog kodera.2.Inverznog mapiranja niza kanalskog izlaza u izlazni niz podataka, koje se vri u prijemniku od strane kanalnog dekodera.

TEOREMA INFORMACIONOG KAPACITETAShannon-ova trea teoremaTeorema informacionog kapaciteta predstavlja jedan od najznaajnijih rezultata informacione teorije jer jednom formulom najsnanije istie uzajamno dejstvo izmeu tri kljuna sistemska parametra:1.irine opsega kanala - B2. Prosjene prenijete snage - P3.energetske spektralne gustine uma na izlazu kanala N0C=B log2(1+P / N0 B)

TEORIJA DISTORZIJE (IZOBLIAVANJA) STOPE KODIRANJAU mnogim praktinim situacijama postoje ogranienja koja prisiljavaju na to da kodiranje bude nesavreno, na taj nain rezultirajui neizbenom distorzijom. 2.Kodiranje izvora pri kome dozvoljeni alfabet koda ne moe egzaktno predstaviti izvor informacije, u kom sluaju smo prinueni na sabijanje podataka uz gubitke.1.Prenos informacija po veoj stopi nego to je kapacitet kanala.Teorija distorzije stope kodiranja nalazi svoju primenu u dvema vrstama situacija:U takvim sluajevima, problem se naziva kodiranje izvora sa kriterijumom tanosti.

TEORIJE MODULACIJEModulacija je sistemska varijacija parametra prenosa prema funkciji signala poruke (amplituda, faza ili frekvencija).U postupku modulacije uvode se novi pojmovi:3.Moduliui signal ,Um(t) - signal koji sadri poruku 2.Nosilac, c(t) - pomoni signal1. Modulisani signal u(t) - signal koji je prilagoen uslovima prenosa Tri osnovna vida modulacija sa prostoperiodinim nosiocem su:Amplitudna modulacija - AMFrekvencijska modulacija - FMFazna modulacija - OM

Amplitudna modulacijaili kraeAMje postupakmodulacije kod kojega se amplitudasignala nosioca mijenja oko srednje vrijednosti, pri emu je promjena proporcionalno sa modulirajuim signalom. Takav modulirani signal se prenosi putem nekogmedija doprijemnika.AM je prvi postupak koji se koristio u komercijalnomradiju.Amplitudna modulacija

Frekvencijska modulacijaFrekvencijska modulacija(skraenoFM) postupak jemodulacijekod koje seinformacijaprenosi promjenomfrekvencijeprijenosnog signalaUanalognoj tehnici trenutna vrijednost frekvencije prijenosnog signala ovisi o trenutnoj vrijednostiamplitudemodulirajueg signala. digitalnojtehnici vrijednosti frekvencije prijenosnog signala ine diskretan skupNajpoznatija primjena frekvencijske modulacije je za prijenos analognogradijau frekvencijskom pojasu ultrakratkog vala (UKV, 88108MHz) te za prijenos signalazvukakod analognetelevizije.

Fazna modulacijaje vrstamodulacijepri kojoj se fazni pomak noseefrekvencijemijenja proporcionalno signalu korisneinformacije.Amplitudanosee frekvencije se dri konstantnom.Uzamplitudnuifrekvencijsku modulaciju predstavlja jednu od tri osnovne vrste modulacije.Zbog slinosti, fazna i frekventna modulacija se jednim imenom zovu ugaona modulacijaFazna modulacija

DELTA MODULACIJAKod delta modulacije (DM) dolazei signal poruke se prouzorkuje sa ciljem poveanja korelacije izmeu susednih uzoraka signalaDM obezbeuje stepeninu aproksimaciju sa oversemplovanom verzijom signala poruke. Razlika izmeu inputa i aproksimacije se kvantizira u samo dva nivoa, i to A, to odgovara pozitivnim i negativnim razlikama

Dva kljuna sistemska parametra koja su projektantu na raspolaganju su:KODIRANJE I KONTROLA GRESAKAOsnovni zadatak projektanta digitalnog komunikacionog sistema jeste pronalaenje ekonominog pomonog sredstva za prenos informacije sa jednog kraja sistema koji je po stopi, stepenu pouzdanosti i kvalitetu prihvatljiv za korisnika na drugom kraju.preneta signalna energijairina opsega kanalaOva dva parametra, zajedno sa energetskom spektralnom gustinom uma prijemnika, odreuju signalnu energiju po odnosu bit/umno energetska spektralna gustina Eb/No