-
1 | 1 9
1 MODEL KOMUNIKACIONOG SISTEMA I PROCES KOMUNICIRANJA. POJAM
INFORMACIJE I MERA ZA KOLIINU
INFORMACIJA
Istorijat razvoja telekomunikacija
Telekomunikacije predstavljaju naunu oblast koja se bavi
prenosom informacija. Definicija koja sledi, prihvaena je od strane
ITU: Telekomunikacije su svako emitovanje, prenos ili prijem poruka
(govor, zvuk, tekst, slika ili podaci) u vidu signala, korienjem
inih, radio optikih ili drugih elektromagnetnih sistema. Poruke
koje treba preneti sa jednog mesta (njihovog izvora) do udaljene
take (mesta prijema) mogu da budu u razliitim formama: pisani
tekst, govor, muzika, nepokretna i pokretna slika, podaci,...
Potreba za komuniciranjem meu ljudima stara je koliko i svet, pa su
ljudi koristili razne naine kako bi ostvarili komunikaciju:
glasnici, golubovi pismonoe, paljenje vatre i dimni signali,
heliograf u Grkoj, sistemi megafonskog prenosa u Egiptu... Prvo
ozbiljno reenje predstavlja organizovan sistem optike telegrafije,
koga je pronaao C. Chappe (1763-1805) u Francuskoj. Na visokom
stubu bila je privrena preka koja je mogla da se okree oko svog
centra, a na njenim krajevima, dve pokretne ruke davale su mogunost
da se razliitim poloajima preke i ruke obelei 196 razliitih znakova
koji su predstavljali slova, brojke i znakove interpunkcije (slika
1.1). Prva vest ovim sistemom poslata je u avgustu 1794. od Lila do
Pariza. Ukupno, u Francuskoj je postojalo oko 500 relejnih stanica,
a duina veza celog sistema iznosila je oko 5 000 km.
Slika 1.1 Optiki telegraf
-
2 | 1 9
Dvadeset etvrti maj 1844. god. moe se smatrati danom poetka
elektronskih komunikacija. Tog dana Morze je ostvario prvi
telegrafski prenos izmeu Vaingtona i Baltimora. Ve 1851. godine 50
preduzea u SAD eksploatisalo je Morzeov patent. Iste godine poloen
je prvi podmorski telegrafski kabl izmeu Francuske i Engleske, a
1866. god. poloen je prvi transatlantski kabl izmeu Nove Zemlje i
Irske.
Slika 1.2 Morzeov telegraf Savreniji vid prenosa poruka
predstavlja telefonija ijim se zaetnikom smatra Graham Bell (1876.
god.). Zvuna energija govora se pretvara u elektrini signal koji se
prenosi do drugog aparata u kome se vri konverzija elektrine
energije u zvuni signal (slika 1.3). Prva reenica koju je Bell
izgovorio glasila je: Mr. Watson, come here, I want you. Odgovor
njegovog saradnika Watson-a bio je: If you want me, it will take me
almost a week to get there. Elisha Gray podnosi patent tri sata
nakon Bell-a. Bell nudi patent Western Union-u za $100,000. Izvetaj
kompanije na ovu ponudu glasio je: ... The Telephone purports to
transmit the speaking voice over telegraph wires. We found that the
voice is very weak and indistinct, and grows even weaker when long
wires are used. We do not see that this device will be ever capable
of sending recognizable speech over a distance of several miles.
Bell want to install one of their telephone devices in every city.
The idea is idiotic on the face of it. Why would any person want to
use this impractical device when we can send a messenger to the
telegraph office and have a clear written message sent to any large
city in the United States? Godine 1892. postavljena je prva
automatska telefonska centrala.
Slika 1.3 Modeli prvih telefona
-
3 | 1 9
Neophodnost da se mesto predaje poruke i mesto njenog prijema
poveu fizikom linijom veze predstavljala je konicu u stvaranju
globalnog sistema veza. Krajem 19. veka dolazi do genijalnih otkria
u oblasti elektromagnetike. Radovi I. Henryja (1797 1878.), J. C.
Maxwella (1831 1879.) i H. Hertza (1857 1894.) predstavljaju naunu
osnovu na kojoj su izgraene radio-komunikacije. Ruski fiziar A. S.
Popov (1859 1906.) je 1896. izveo demonstraciju radio-veze aljui
telegram sadrine Heinrich Hertz napisan Morzeovom azbukom, i G.
Marconi koji je prvi prijavio patent za beinu telegrafiju 1897.
godine, ostvarivi takvu vezu na rastojanju od 1000 metara. Tako su
poeli prvi koraci u radio-komunikacijama. 1904. godine ostvarena je
prva radio-telegrafska veza na trasi Volujica (Bar)-Italija. Sedmog
januara 1927. godine ostvarena je prva radio-veza u javnom
telefonskom saobraaju izmeu Njujorka i Londona. Od tada se
radio-komunikacije kao sluba javljaju u dva vida: 1. profesionalnog
karaktera: povezuju se dva korespondenta. 2. tzv. masovne
komunikacije radio-difuzija: sa jednog mesta poruka se prenosi
velikom broju korisnika. Radio-difuzija danas predstavlja jedno od
najznaajnijih sredstava u informisanju javnosti. Daljim razvojem
nauke i tehnike javlja se potreba za prenosom poruka ne samo u vidu
pisane rei i govora ve i u obliku slika, pokretnih slika, a
kasnije, razvojem raunara, i prenos podataka izmeu njih (slika
1.4). 1927. god. ostvaren je prvi prenos televizijskog signala
izmeu Njujorka i Vaingtona.
Slika 1.4 Prvi model televizijskog prijemnika 1956. godine
postavljen je prvi telefonski podmorski kabl izmeu Amerike i
Engleske kojim se moglo preneti istovremeno 36 govornih signala. U
avgustu 1960. bio je lansiran prvi telekomunikacioni, pasivni
satelit Echo 1 (slika 1.5), a oktobra iste godine prvi aktivni
satelit Courier IB (slika 1.6). 1965. god. ostvaren je prvi
eksperimentalni televizijski prenos slike u boji preko satelita, a
neto kasnije
-
4 | 1 9
iste godine u komercijalne svrhe mogao je da se ostvari prenos
240 telefonskih razgovora ili dva TV programa preko satelita.
Lansiranjem telekomunikacionih satelita otvara se nova era u
oblasti telekomunikacija.
Slika 1.5 Prvi pasivni satelit Echo 1 Slika 1.6 Satelit sa koga
je ostvaren prvi eksperimentalni prenos TV slike u boji
Druga polovina 20. veka donosi intenzivan razvoj mobilnih
radio-komunikacija i optikih komunikacija. Prvi pokuaji na tom
polju bili su radiofoni (voki-toki), zatim dispeerski sistemi,
radio-pejding sistemi, mobilni radio-telefonski sistemi koji
obezbeuju sve to i fiksni telefonski sistemi. Osnovni trend
dananjih telekomunikacija je ostvarivanje komunikacije bilo gde,
bilo kad sa bilo kim, nezavisno od terminala koji posedujemo.
Proces komuniciranja
Generalno, fenomen komunikacija, moe se shvatiti kao kompleksni
skup procesa i tehnologija, pomou kojih se neki smisleni sadraj ili
poruka, prenosi ili ekstrahuje iz neke informacije. Problem
komuniciranja moe se razloiti na tri osnovna pitanja: sa kolikom
tanou mogu biti preneseni simboli od kojih je poruka sainjena;
koliko precizno preneseni simboli nose sobom znaenje ili smisao
poruke; sa kakvim uspehom prenesena poruka kroz svoje znaenje
usmerava na eljenu aktivnost onoga kome je bila namenjena. Prvo od
navedenih pitanja spada u domen telekomunikacija, gde se posmatra
mehanizam prenosa. Zapravo, za sredinu u kojoj se prenos obavlja,
smisao poruke nema nikakvu vrednost. Prouavanje znaenja ili smisla
poruke je semantiki problem (grana filologije u kojoj se izuava
znaenje rei). Ovde se izuava stepen podudaranja primljene poruke
znaenju, smislu ili sadraju poruke koja je poslata, odnosno koliko
preneti simboli nose precizno sa sobom smisao poruke.
-
5 | 1 9
Pitanje uspeha u voenju aktivnosti onoga kome je poruka
namenjena, predstavlja onaj deo problema koji se odnosi na
efikasnost celog procesa komuniciranja i obuhvata ne samo mehaniku
stranu problema, ve potpuno ravnopravno estetski, psiholoki,
emocionalni ili bilo kakav drugi njegov aspekt. Jasno se vidi da
drugo i tree pitanje gotovo potpuno izlaze izvan inenjerskog domena
i da ta pitanja obuhvataju u sutini filozofiju problema
komuniciranja. Prvo pitanje je, naprotiv, preteno inenjerskog
karaktera.
Model komunikacionog sistema
Svaki komunikacioni sistem moe se sasvim generalno predstaviti
modelom prikazanim na slici 1.7. Jedan od uobiajenih modela za
predstavljanje telekomunikacionih sistema je Shannon-ov model.
Slika 1.7 Shannon-ov model telekomunikacionog sistema Pod
izvorom poruke (informacije) podrazumeva se bilo kakav objekt
operatera ili korespondenta, koji generie poruke koje treba preneti
korisniku. Poruku predstavlja niz diskretnih elemenata (slova,
brojke, note,...), koji se nazivaju simbolima, ili neka funkcija
odreenih argumenata (npr. govor, f-ja vremena f(t); crno beli TV
signal, f-ja prostornih koordinata i vremena f(x, y, t)). Predajnik
ima zadatak da izabranu poruku pretvori u elektrini signal pogodan
za prenos kroz proces modulacije, korienjem pomonog signala,
nosioca. Modulacija je promena parametara nosioca u skladu sa
promenama signala poruke. Kanal je fiziki medijum koji spaja
predajnik i prijemnik (zajedno sa njima) i kroz koji se obavlja
prenos informacija (linija veze), npr: telefonski kanal (ine parice
ili koaksijalni kabal; npr. mikrofon transformie zvuk u
elektrini signal; govorni signal je od 300 do 3400 Hz) optiki
kanal (optiko vlakno je talasovod kroz koji se prenosi svetlosni
signal; propusni
opseg B=2x1013Hz, gubici 0,2 dB/km, otporno na interferenciju,
male dimenzije i teine,..),
mobilni radio kanal (mobilnost, multipath problem)
-
6 | 1 9
satelitski kanal (velika pokrivenost, sateliti u
geo-stacionarnoj orbiti, 22300 milja; pouzdane veze, irokopojasni
prenos: 6/4 GHz opseg, B=500 MHz)
Osnovna karakteristika kanala je izoblienje signala kao
posledica konane irine korienog opsega uestanosti, nelinearnosti
sklopova u sistemu i uticaja uma i interferencije (neeljeni signali
od drugih izvora), itd. Linija veze predstavlja sredinu kroz koju
se signal prenosi od predajnika do prijemnika. To moe biti fiziki
vod ili deo prostora. Linija veze je mesto gde se raaju osnovne
tekoe u prenosu poruka. Radi toga, zajedno sa primljenim signalom,
javljaju se neki posebni, neeljeni efekti (pri prenosu zvuka
pucketanje, na slikama se javljaju svetlucanja ili pada sneg,
izvravaju se pogrene komande). Za sve ove efekte, u najoptijem
smislu kaemo da su prouzrokovane umom. um izobliuje korisni signal
i ometa obradu komunikacionih signala. Izvori uma mogu biti:
eksterni um (atmosferski um, ovekom izazvan um) i interni um
(termiki um: sluajno termiko kretanje elektrona u provodnicima; um
usled efekta same: nastaje u diodama i tranzistorima zbog diskretne
prirode struje u njima). S obzirom na to da su ove pojave
stohastike prirode, pitanje prenosa signala dobija jednu novu
dimenziju: poslati signal ne moe biti jednoznano odreen primljenim
signalom. Prema tome, na osnovu primljenog signala, o tome koji je
signal bio poslat, moe se suditi samo na osnovu verovatnoe da je
taj signal, uz date okolnosti, bio poslat iz skupa moguih signala.
Prijemnik ima osnovnu funkciju izdvajanja korisnog signala iz uma
n(t) i interferencije i(t), i njegovo pojaanje. Realni prijemnik sa
odreenom verovatnoom obavlja ekstrakciju signala. Osnovni
kriterijum za procenu kvaliteta prijema je odnos (Signal/um) koji
se definie kao kolinik (Srednja snaga signala/Srednja snaga uma),
odnosno verovatnoa greke po bitu (BER Bit Error Rate) kada je re o
digitalnim telekomunikacionim sistemima. Korisnik osoba, maina ili
objekat kome je poruka namenjena. Posle Shannon-a neki drugi autori
modifikovali su opti model komunikacionog sistema tako to su na
strani predaje uneti koder izvora i kanalski koder, a na strani
prijema odgovarajui dekoderi (slika 1.8).
Slika 1.8 Detaljniji model komunikacionog sistema
-
7 | 1 9
Unoenjem u model kodera izvora ima dvostruki cilj: prvo, da
generie neku poruku iz skupa moguih poruka i drugo, da je
zahvaljujui takvoj zamisli, mogue bilo koju od poruka predstaviti
nizom simbola, koji su izabrani iz jednog konanog skupa razliitih
simbola (alfabet). Uopte uzevi, prevod ili izraavanje poruke
simbolima nekog alfabeta naziva se kodiranjem, a pravilo ili zakon
po kome se to obavlja naziva se kodom. Dekoder izvora postoji da bi
se pokazala reverzibilnost u opisanom postupku: mogue je poruku
predstavljenu nizom simbola iz konanog alfabeta simbola, dakle
kodiranu poruku, deifrovati, ili prevesti u formu koja je
upotrebljiva za korisnika. Naravno, ako bi prenos bio potpuno
idealan, onda bi dekoder izvora obavljao potpuno inverznu operaciju
koderu. Kanalski koder i dekoder zajedno sa linijom veze, obrazuju
kanal. Koder kanala pretvara koderom izvora kodiranu poruku u
signal. Sada se poruka u vidu signala prenosi kroz kanal do
kanalskog dekodera. Ovaj, primljeni signal pretvara u kodiranu
poruku, na osnovu koje dekoder izvora saoptava poruku korisniku.
Kanal je medijum koji ima svoje specifinosti. One se ogledaju u
uvek prisutnom umu zbog ega nismo u stanju da na osnovu primljenog
signala jednoznano odredimo koju je poruku od svih moguih poruka
izvor poslao. Odavde sada proistie osnovni zadatak kodera kanala.
On treba da pretvori kodiranu poruku u signal takvog oblika koji e
obezbediti da bude minimalna greka u donoenju odluke na mestu
prijema o tome koja je poruka od moguih bila poslata. Prema tome,
koder kanala ima zadatak da prilagodi kodirani izlaz izvora
osobinama kanala. Isto tako, dekoder kanala treba da prilagodi
izlaz iz kanala kodiranom ulazu korisnika. Ono na ta se moe uticati
u projektu sa ciljem da prenos bude optimalan, jesu koderski i
dekoderski sklopovi iji je cilj, da se karakteristike izvora i
korisnika prilagode karakteristikama kanala, kako bi greka u
prenosu bila minimalna, a koliina prenetih informacija u vremenu
bila maksimalna. Osnovni stavovi i koncepcije detaljnijeg modela
komunikacionog sistema: 1. Izvor informacija uvek raspolae skupom
moguih poruka. aljui korisniku neku
eljenu poruku, izvor uvek bira tu poruku iz skupa moguih poruka.
2. Za sistem prenosa, smisao, znaaj ili sadraj poruke potpuno je
nevaan. Prema tome,
za one koji projektuju takav sistem na osnovu nekih optih
zakonitosti procesa komuniciranja, vaan je mehanizam procesa. U
mehanizmu procesa, semantiki problem, inae vrlo bitan u optem
procesu komuniciranja, ostaje po strani i predstavlja predmet
izuavanja nekih drugih disciplina, a ne telekomunikacija.
3. Svaku poruku, bila ona diskretne ili kontinualne prirode,
zahvaljujui postojanju kriterijuma o vernosti reprodukcije i
injenici da se iz skupa poruka uvek bira jedna koja se alje, mogue
je oblikovati u vidu niza simbola koji pripadaju jednom konanom
skupu. U modelu je ovaj koncepcijski stav iskazan postojanjem
kodera i dekodera izvora. Taj stav, s druge strane, otvara vrata
primeni matematikog alata teorije verovatnoe, koji je potpuno
adekvatan realnim uslovima u kojima se obavlja ispitivani
proces.
4. Kanal predstavlja medijum kroz koji se poruka prenosi u vidu
signala. Prisutan um, u interakciji sa signalom, ne dozvoljava da
postoji jednoznanost u oceni o tome koja je
-
8 | 1 9
poruka iz skupa moguih poruka bila poslata. O tome se moe suditi
na osnovu verovatnoe.
5. Karakteristike izvora, kanala i korisnika unapred su poznate.
To su njihove statike karakteristike. Koder i dekoder kanala
postoje zato da se na najbolji nain usaglase karakteristike izvora
sa osobinama kanala, a ove pak karakteristikama korisnika.
Na slici 1.9 prikazana je blok ema koja odgovara analognom
telekomunikacionom sistemu, dok je na slici 1.10 prikazana blok ema
digitalnog telekomunikacionog sistema. Osnovna razlika izmeu njih
lei u postojanju digitalnog signala u predajniku i prijemniku
sistema. U predajniku se generie digitalni signal preko A/D
konvertora i sklopa za detekciju i korekciju greaka, dok se u
prijemniku obavlja suprotan proces, odnosno D/A konverzija i
pretvaranje u analogni signal.
Slika 1.9 Blok ema analognog telekomunikacionog sistema
Slika 1.10 Blok ema digitalnog telekomunikacionog sistema
Pojam informacije i mera za koliinu informacija
Namena telekomunikacionih sistema je prenos poruka. U svakom
telekomunikacionom sistemu postoji izvor koji emituje poruke koje
je potrebno preneti do odredita. Ako izvoru
Modulator
Demodulator
Prenosni kanal
Ulazni pretvara
Predajnik
Prijemnik
Izlazni pretvara
Nosilac (Carrier)
EM talas
EM talas Signal u osnovnom opsegu (elektrini signal)
Modulator
Demodulator
Prenosni kanal
Ulazni pretvara
Receiver
Izlazni pretvara
Carrier
EM talas (modulisani signal)
EM talas (modulisani signal)
Analogni signal
analogni signal
A/D konvertor
Digitalni signal
Kodovi za korekciju greaka
Detekcija / korekcija greaka
D/A konvertor
Digitalni signal
Signal u osnovnom opsegu (elektrini signal)
-
9 | 1 9
stoji na raspolaganju konaan (ili prebrojiv) skup poruka, kae se
da je to diskretni izvor, a ako je skup poruka neprebrojiv, izvor
se naziva kontinualni izvor. Fenomen intuitivnog poimanja
informacije odnosi se na poznavanje neega. Izvori informacija
generiu izlaze koji su od interesa korisnicima tih informacija i
koji ne poznaju njihov sadraj. To znai da je osnovni zadatak
telekomunikacionog sistema da obezbedi korektan prenos ove
informacije do korisnika. Poto je izlaz iz izvora informacija
sluajna veliina i kada se tome doda uticaj sluajnih veliina (um i
smetnje) u toku prenosa, jasno je da ceo problem prenosa odreene
informacije od izvora do korisnika ima probabilistiki karakter.
Neka je korisnik zainteresovan za poruku da se neki dogaaj (si)
desio i neka mu je poznata odgovarajua verovatnoa P(si). Koliina
informacije koju nosi neka poruka jednaka je (ili bar srazmerna)
neizvesnosti koju ta poruka razreava na prijemu kada stigne. Imajui
to u vidu, lako se zakljuuje da je koliina informacije koju nosi
neka poruka obrnuto srazmerna njenoj sopstvenoj (apriori)
verovatnoi. Ako je potpuno sigurno da e neka poruka biti emitovana
(P(si)=1), tada ona i ne nosi nikakvu koliinu informacija. Korisnik
je unapred znao da e ta poruka biti poslata i nikakva neizvesnost o
tome nije postojala. Prema tome, od definicije koliine informacija
se oekuje da njena brojna vrednost bude obrnuto srazmerna
verovatnoi poruke i da bude ravna nuli ako je ova poruka siguran
dogaaj. Takoe je jo razuman zahtev da koliina informacije bude
neprekidna funkcija verovatnoe poruke, jer mala promena verovatnoe
ne moe drastino da promeni koliinu informacija. Ovome se jo moe
dodati prirodan zahtev da koliina informacija bude nenegativna
veliina. Postoji vie funkcija koje zadovoljavaju ove zahteve.
Meutim, od svih tih funkcija izabrana je logaritamska (sa osnovom
2), tj. mera za koliinu informacija koju nosi neka poruka,
definisana je kao logaritam reciprone vrednosti verovatnoe te
poruke:
( ) ( ) ( ) ( )( )iiii sPsPsPsI ld1ld1log2 =
=
=
(1.1)
Izbor baze logaritma moe biti proizvoljan. Tako je Hartley
koristio log10, dok je Shannon uveo log2, odnosno ld. Elementarna
koliina informacije naziva se jedan bit (binary unit), i ona se
stie izborom jednog od dva elementarna, jednako verovatna dogaaja.
Drugim reima, emitovanje simbola ija je apriori verovatnoa jednaka
P(si)=1/2, stie se koliina informacije od 1 bita.
( ) [ ] [ ]shannonbitsI i ,12ld2/11ld ==
=
(1.2)
Na ovom mestu treba istai da je zvanina jedinica za koliinu
informacija Shannon (enon), u poast jednom od najpoznatijih
velikana u oblasti telekomunikacija. Meutim, uobiajeno je da se za
jedinicu koliine informacija i dalje koristi naziv bit. Dakle,
treba
-
10 | 1 9
razlikovati bit i enon. Bit je nosilac informacija signal sa dva
mogua stanja i u zavisnosti od verovatnoa tih stanja moe da nosi
razliite koliine informacija. Kada su verovatnoe oba stanja
podjednake (a stanja statistiki nezavisna) tada 1 bit nosi 1 enon.
Usvojena definicija je jedina koja omoguava jo jednu neophodnu
osobinu koliine informacija aditivnost koliina informacija
nezavisnih poruka. Neka su date poruke si i sj sa odgovarajuim
verovatnoama P(si) i P(sj). Zdruena poruka koja se sastoji od
sukcesivnog emitovanja ove dve nezavisne poruke treba da ima
koliinu informacija ravnu zbiru njihovih koliina informacija. I
zaista, uz logaritamsku definiciju, dobija se:
( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )1 1 1 1ld ld ld ld,
i j i jii j i j j
I s s I s I sP sP s s P s P s P s
= = = + = +
,
(1.3) jer je zdruena verovatnoa dva statistiki nezavisna dogaaja
ravna proizvodu njihovih verovatnoa. Treba naglasiti da se ceo
pristup moe tumaiti i tako to se smatra da je I(si) mera
neizvesnosti neopredeljenosti povodom dogaaja (poruke) si. Kada se
ova poruka saopti, tj. kada se dogaaj si dogodi, neizvesnost se
razreava i upravo se dobija ekvivalentna koliina informacija. Neki
autori prethodno definisanu koliinu informacija nazivaju jo i
samoinformacija (sopstvena informacija). Ako posmatramo diskretni
izvor bez memorije koji je potpuno definisan listom simbola
(poruka) { }qsssS ,...,, 21 i skupom odgovarajuih verovatnoa P(si)
(i=1,2,...,q), tada se pretpostavlja da simboli, tj. njihovo
emitovanje, predstavljaju potpun skup meusobno iskljuivih dogaaja,
odn. da vredi
( )=
=
q
iisP
11
(1.4) Sada se lako mogu odrediti i koliine informacija koje nose
pojedini simboli:
( ) ( ) [ ] ( )qiShsPsI ii ,...,2,11ld =
=
(1.5) Srednja koliina informacija koju izvor emituje (po jednom
simbolu) naziva se entropija, i definisana je kao:
( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )( )
=
===
== =simbSh
sPsPsP
sPsIsPsISHq
iii
q
i
q
i iiiii
11 1ld1ld
(1.6)
Takoe, neka izvor emituje simbole brzinom V [simb/s]. Sada se
moe pronai i prosena brzina kojom izvor emituje informacije srednja
koliina informacija emitovana u sekundi:
-
11 | 1 9
( ) ( ) simb Sh ShS V H Ss simb s
= = (1.7)
Ova veliina se naziva informacioni protok (fluks) izvora.
Entropija se moe posmatrati i kao prosena mera neizvesnosti o tome
ta e izvor da emituje. Inae, pojam entropije uveden je prvo u
oblast termodinamike (Bolcman, 1896. godine), gde se fenomen
entropije odnosi na meru nereda u sistemu.
Entropija treba da bude mera neizvesnosti posmatraa o nekom
izvoru informacija. Imajui to u vidu, mogu se postaviti sledei
zahtevi:
1. Kontinualnost entropija je neprekidna funkcija svojih
argumenata verovatnoa pojedinih simbola.
2. Simetrinost entropija ne sme da se menja (invarijantna je)
ako se promeni redosled simbola, tj. ako se izvri zatvorena
permutacija indeksa, odnosno ako se simboli preimenuju. Vano je
samo da se njihove verovatnoe ne menjaju.
3. Ekstremna vrednost kada su svi simboli podjednako verovatni,
entropija treba da ima maksimalnu vrednost.
4. Aditivnost entropija unije dva nezavisna dogaaja mora biti
jednaka zbiru njihovih entropija.
Vrednost entropije je ograniena sa donje i sa gornje strane i ne
moe biti vea od logaritma broja simbola. Imajui sve ovo u vidu, moe
se pisati:
( ) qSH ld0 (1.8)
Maksimalna vrednost entropije u posmatranom sluaju iznosi ld q i
dobija se kada su svi simboli podjednako verovatni. Meutim, u celom
ovom modelu za inenjera je najznaajnija fizika interpretacija
rezultata. Ako je entropija mera neopredeljenosti posmatraa o tome
ta izvor emituje, oigledno je da e ta neopredeljenost biti najvea
kada su svi simboli podjednako verovatni. Ako su verovatnoe simbola
razliite, posmatra e oekivati one simbole koji su verovatniji, oni
e biti i ee emitovani, pa e posmatra dobijati manju koliinu
informacija po simbolu.
Ve je napomenuto da jedan izvor, da bi uopte mogao da emituje
informacije, mora na raspolaganju da ima bar dva simbola. takav
izvor se naziva binarni izvor informacija. Simboli se mogu obeleiti
sa s1 i s2, ali je uobiajeno da se obeleavaju sa 0 i 1 tj. nazivaju
se biti. Ako su apriori verovatnoe emitovanja simbola ovog izvora P
i (1-P), njegova entropija iznosi:
( )
+
=
PP
PPHbin 1
1ld11ld (1.9)
-
12 | 1 9
i prikazana je na slici 11. Poto je funkcija samo jednog
argumenta (P), ona se esto oznaava sa H(P) i naziva entropijska
funkcija. Zapaa sa da ova entropija ima minimalnu vrednost
Hbin,min=0 za P=0 ili P=1, odnosno maksimalnu vrednost Hbin,max=1
za P=1/2.
Slika 1.11 Entropija binarnog izvora, gde su P i (1-P) apriori
verovatnoe emitovanja binarnih simbola
Do objavljivanja Shannon-ovih radova, nije postojala
upotrebljiva definicija koliine informacije. Osnovni kriterijumi za
projektovanje tadanjih telekomunikacionih sistema (analognih) bili
su odnos Signal/um i potrebna irina propusnog opsega sistema, a
fenomeni kao to su entropija ili kapacitet kanala nisu bili
razmatrani. Neophodne osnove teorije informacija postavio je
Shannon u svom uvenom radu Mathematical Theory of Communications.
Prvi vaan rad koji je Shannon uzeo u obzir, bio je Nyquist-ov rad
iz 1924. godine u kome je Nyquist pokazao da se vremenski
kontinualan signal ogranienog spektra moe opisati diskretnim
odbircima, ako je uestanost odabiranja najmanje dva puta vea od
irine spektra signala. Drugi, moda znaajniji izvor bio je
Hartley-ev rad iz 1928. godine, gde je on pokazao da se informacija
moe definisati preko logaritma verovatnoe odgovarajue poruke.
Hartley je smatrao da je izbor osnove logaritma nevaan za ovu
definiciju, dok je Shannon smatrao da e logaritam sa osnovom 2 (ld)
imati najvei znaaj za teoriju informacija.
PRIMER 1. Diskretan izvor informacija generie listu simbola
S={si} gde je i=1,2,3,4. Verovatnoe pojavljivanja pojedinih simbola
izvorne liste date su u tablici:
Korelacione veze izmeu pojedinih simbola izvorne liste ne
postoje. Potrebno je odrediti entropiju ovog izvora.
Reenje:
-
13 | 1 9
Entropija date liste simbola, tj. prosena koliina informacija
koju nosi jedan izvorni simbol date liste je statistika srednja
vrednost koja prema:
( ) ( )1
ii
I s ldP s
=
koja se uzima sa verovatnoom P(si). Konano: ( ) ( ) ( ) ( ) (
)
4
1 1
1ld
1 1 1 10 45 0 3 0 2 0 05 1 720 45 0 3 0 2 0 05
, , , , ,, , , , .
q
i i ii i i
H S P s I s P sP s
Shld ld ld ldizv simbolu
= =
= = =
= + + + =
PRIMER 2. Diskretan izvor informacija generie listu simbola
S={si} gde je i=1,2,3. Verovatnoe pojavljivanja pojedinih simbola
izvorne liste date su u tablici:
Odrediti entropiju ovog izvora i entropiju drugog proirenja ovog
izvora.
Reenje: Entropija date liste simbola, tj. prosena koliina
informacija koju nosi jedan izvorni simbol date liste je statistika
srednja vrednost prema:
( ) ( )1
ii
I s ldP s
=
( ) ( ) ( ) ( ) ( )3
1 1
1ld
1 1 10 5 0 25 0 25 1 50 5 0 25 0 25
, , , ,, , , .
q
i i ii i i
H S P s I s P sP s
Shld ld ldizv simbolu
= =
= = =
= + + =
Drugo proirenje ovog izvora generie ukupno qn=32=9 simbola. Broj
n, n=2 oznaava red proirenja izvora. Poto izvor nema memoriju, to
su verovatnoe pojavljivanja ovih elemenata jednake proizvodu
verovatnoa pojavljivanja odgovarajuih elemenata izvorne liste
originalnog izvora. Dakle, imamo da je, ako obeleimo elemente
drugog proirenja simbolom i:
( ) ( ) ( ) ( )1 1 1 1 1 0,5 0,5 0,25P P s s P s P s = = = =, (
) ( ) ( ) ( )2 1 2 1 2 0,5 0,25 0,125P P s s P s P s = = = =,
-
14 | 1 9
( ) ( ) ( ) ( )3 1 3 1 3 0,5 0,25 0,125P P s s P s P s = = = =,
( ) ( ) ( ) ( )4 2 1 2 1 0,25 0,5 0,125P P s s P s P s = = = =, ( )
( ) ( ) ( )5 2 2 2 2 0,25 0,25 0,0625P P s s P s P s = = = =, ( ) (
) ( ) ( )6 2 3 2 3 0,25 0,25 0,0625P P s s P s P s = = = =, ( ) ( )
( ) ( )7 3 1 3 1 0,25 0,50 0,125P P s s P s P s = = = =, ( ) ( ) (
) ( )8 3 2 2 3 0,25 0,25 0,0625P P s s P s P s = = = =, ( ) ( ) ( )
( )9 3 3 3 3 0,25 0,25 0,0625P P s s P s P s = = = =,
Sada je entropija ovog izvora, tj. entropija drugog proirenja
originalnog izvora:
( ) ( ) ( )9
2
1
1
1 1 10 25 4 0 125 4 0 0625 30 25 0 125 0 0625
, , ,, , , .
ii i
H S P ldP
Shld ld ldizv simbolu
=
= =
= + + =
PRIMER 3. Pronai koliinu informacije koju nosi poruka
sastavljena od 12 cifara u kojoj svaka cifra moe uzeti jednu od 4
moguih vrednosti. Verovatnoa slanja svakog od 4 mogua nivoa je ista
i nezavisi od vrednosti nivoa prethodne cifre.
Reenje:
Broj stanja: 1212
4 4 4 4q = =
12
121 1
4 4jP = =
- verovatnoa pojavljivanja svake kombinacije
( ) ( )12
24122 2
1 1 4 2 2414
jj
I ld ld ld ShP
= = = = =
log [ ]
Entropija (srednja informacija)
1212
1 1
1 14 24 244
q q
j j jj j j
ShH P I P ldP simb
= =
= = = =
-
15 | 1 9
PRIMER 4: Za binarni izvor informacija: a) pokazati da je
entropija H maksimalna kada je verovatnoa slanja binarne 1 jednaka
verovatnoi slanja binarne 0. b) pronai vredost maksimalne
entropije.
Reenje:
p1 verovatnoa slanja 1 p0 verovatnoa slanja 0
a) ( )2
1 2 1 11 1 2 1 1
1 1 1 111i ii
H PI Pld P ld Pld P ldP P P P
=
= = + = +
( ) ( ) ( )1 1 1 11 ln 1 ln 1ln 2H P P P P =
( )( ) ( ) ( ) ( )11 11 1
10 ln 1 1 ln 1 1 01
PdH P PdP P
= + + =
( ) ( )1 1ln 1 ln 1 1 0P P + + = ( ) ( ) ( )1 1ln ln 1 ln 1 0P P
+ + =
11 1 1 2
1
1 1ln 0 12
P P P P PP
= = = =
b) ( ) ( )max 1 1 1 12 2 12 2 2 2H ld ld= + = + =
PRIMER 5: Numerika tastatura sadri cifre 0,1,...,9.
Pretpostaviti da je verovatnoa slanja bilo koje cifre ista kao i za
sve ostale. Izraunati koliko esto treba pritisnuti taster da bi se
informacija slala brzinom od 2 Sh/s (b/s)?
Reenje: Broj moguih slanja je q=10, 110jP = ;
1 110 3,32210 1/10 .
ShH ldsimb
= =
;
( )( )
3,322 / .1,661
2 / .Sh simbH sTSh s simb
= = =
-
16 | 1 9
DODATNI MATERIJAL
Osobine entropije
Vrlo vano pitanje se odnosi na ponaanje entropije kada se
verovatnoe pojedinih simbola menjaju. Ako jedan simbol ima
verovatnou ravnu jedinici, tada su verovatnoe svih ostalih simbola
ravne nulu, pa je i entropija jednaka nuli, jer
( ) 01ldlim,01ld10
=
=
xx
x
Poto izraz za entropiju predstavlja zbir nenegativnih veliina,
to i sama entropija ne moe biti nenegativna, te za donju vrednost
ima vrednost ravnu nuli. Sledee pitanje je da li je entropija
ograniena s gornje strane. U izlaganju koje sledi bie korien razvoj
funkcije ln (x) u Taylor-ov red u okolini take x=1,
( ) ( ) ( ) ...,31
211ln
32
+
=
xxxx
pri emu vai
1ln xx , odnosno, xx
11ln
Na osnovu prethodne relacije moe se takoe pokazati, ako su
ispunjeni sledei uslovi: ( )
= =
===q
i
q
iiiii yxqiyx
1 1,1,1,,...,2,1,0,0
tj. ako se xi i yi mogu shvatiti kao elementi potpunog skupa
verovatnoa, da vredi:
==
q
i ii
q
i ii y
xx
x11
1ld1ld,
gde znak jednakosti opet vredi samo ako je xi=yi za svako i.
Radi jednostavnijeg pisanja bie uvedena i sledea oznaka
( ) ( )qisPP ii ,...,2,1= . Da bi se odredila gornja granica
entropije treba poi od izraza
( ) =
=
q
i ii P
PqSHq1
1ldld1ld
ija e desna strana biti dalje transformisana. Imajui u vidu da
vredi:
=
=
q
iiP
1,1
i zamenjujui ovu vrednost umesto jedinice u prethodnom izrazu,
dobija se:
-
17 | 1 9
( )i
q
ii
q
ii P
PqPSHq 1ldldld11
==
=
( ) ( ) = =
==
q
i
q
iiiii qPPqPP
1 1ln
2ln1ld
,
pa se sada moe primeniti navedena nejednakost, na osnovu koje se
dobija: ( )
( ) 0112ln
1112ln
1
112ln
1
11
1
==
=
=
==
=
q
i
q
ii
q
i ii
qP
qPPSHqld
odnosno, na kraju: ( ) qSH ld .
Uzajamna informacija
Kada se posmatraju dve ili vie sluajnih promenljivih, slino kao
to se definiu zdruene i uslovne verovatnoe, mogu se definisati
zdruene i uslovne entropije. Ove veliine naroito su vane pri
analizi izvora sa memorijom. Zdruena entropija sluajnih
promenljivih X i Y data je izrazom:
( ) ( ) ( )[ ]=yx
yxPyxPYXH,
,ld,,.
U optem sluaju, za n sluajnih promenljivih, X=(X1, X2,..., Xn),
bie: ( ) ( ) ( )[ ]=
nxxx
nn xxxPxxxPH,...,,
212121
,,...,,ld,...,,X
odnosno zdruena entropija predstavlja entropiju sluajnog vektora
X. Uslovna entropija sluajne promenljive X, kada je poznata sluajna
promenljiva Y, data je izrazom:
( ) ( ) ( )[ ]=yx
yxPyxPYXH,
ld,,
to intuitivno odgovara neizvesnosti u pogledu X, kada je poznata
vrednost Y=y. U optem sluaju, vai:
( ) ( ) ( )[ ] =yx
nnnnn xxxPxxPXXXH,
11111 ,...,ld,...,,..., .
Zdruena entropija dveju sluajnih promenljivih moe se izraziti i
kao:
-
18 | 1 9
( ) ( ) ( )[ ] ( ) ( ) ( )[ ] ==yx yx
yxPyPyxPyxPyxPYXH, ,
ld,,ld,,
( ) ( )[ ] ( ) ( )[ ] =yx yx
yxPyxPyPyxP, ,
ld,ld,
( ) ( )[ ] ( ) ( )[ ] =y yx
yxPyxPyPyP,
ld,ld
( ) ( )YXHYH +=
gde je ( ) ( ) =x
yPyxP ,. Iz prethodne relacije vidi se da je informacioni sadraj
para (X, Y)
jednak zbiru informacionog sadraja Y i sadraja X nakon to je
poznato Y. Ukoliko su sluajne promenljive nezavisne, dobijamo:
( ) ( )=
=
n
iiXHH
1X
.
Ukoliko sluajna promeljiva Xn oznaava izlaz iz diskretnog izvora
u trenutku n, tada ( )12 XXH oznaava novu informaciju koju izlaz X2
prua onome ko ve poznaje izlaz X1. na slian nain, zakljuuje se da (
)121 ,...,, nn XXXXH oznaava novu informaciju koju Xn donosi
posmatrau koji poznaje sekvencu (X1,X2,..., Xn-1). Granica ove
uslovne entropije naziva se entropijskim protokom izvora:
( )121 ,...,,lim
= nnn
XXXXHH.
Pretpostavlja se da je posmatrani sluajni proces stacionaran i
diskretan u vremenu. Pretpostavimo sada da je na ulazu u posmatrani
kanal prisutan simbol X, a na izlazu iz kanala simbol Y. Prosena
neizvesnost preostala u simbolu Y je:
( ) ( ) ( )
=
ji ijji
xyPyxPXYH
,
1ld,
Analogno gornjoj definiciji, prosena neizvesnost o poslatom
simbolu koja preostaje nakon prijema, oznaava se kao ( )YXH .
Uzajamna informacija data je izrazom:
( ) ( ) ( )YXHXHYXI =, , pri emu se ona moe shvatiti kao
umanjenje neizvesnosti nakon prijema. Drugim reima, to je prenesena
koliina informacije. Odnos entropije, uslovne entropije i uzajamne
informacije, saglasno prethodnom izrazu, ilustrovan je na slici
1.12.
-
19 | 1 9
Slika 1.12 Entropija, uslovna entropija i uzajamna
informacija
1) I(X,Y)=H(X) + H(Y) H(X,Y) 2) I(X,Y)=H(X) H(X/Y) 3)
I(X,Y)=H(Y) H(Y/X)
Iz prethodnog se moe videti da je I(X,Y)H(X) i I(X,Y)H(Y).
Ukoliko se na izlazu iz kanala generie simbol nezavisno od simbola
na ulazu u kanal, tada je ( ) ( )XHYXH = . To znai da se kroz kanal
ne prenosi informacija. Sa druge strane, ukoliko je izlaz iz kanala
identiki jednak njegovom ulazu, nema preostale neizvesnosti, pa je
prenesena koliina informacije H(X). Uzajamna informacija ima sledee
osobine:
( ) ( ) ( ) ( ) ( )( ) 0,
,,,,
=+=
YXIXYIYXHYHXHYXI
Osobine prethodno definisanih veliina bie jo jednom ukratko
prokomentarisane: H(X) apriorna entropija ulazne liste, mera
apriorne neizvesnosti o tome koji e simbol biti emitovan; H(X/Y)
aposteriorna entropija ulazne liste, mera aposteriorne neizvesnosti
o tome ta je emitovano, ako se zna ta je primljeno; H(X,Y) zdruena
entropija (parova simbola ulazne i izlazne liste), mera
neizvesnosti o telekomunikacionom sistemu u celini; H(Y) apriorna
entropija izlazne liste, entropija prijemnika, mera apriorne
neizvesnosti o tome koji e simbol biti primljen; H(Y/X)
aposteriorna uslovna entropija izlazne liste, mera aposteriorne
neizvesnosti o tome koji e simbol biti primljen, ako se zna koji je
simbol emitovan.
-
20 | 1 9
Orijentaciona pitanja za Temu 1:
Model komunikacionog sistema. Shannon-ov model. Elementi modela
i uloga elemenata modela.
Detaljniji model komunikacionog sistema. Objasniti ulogu
dodatnih elemenata sistema. Pojam informacije. Mera za koliinu
informacija. Elementarna koliina informacija. Entropija kao srednja
koliina informacije koju izvor emituju. Informacioni protok
(fluks). Binarni izvor informacija. Entropijska funkcija.
Jedinice koje se koriste u prenosu signala. Normalni generator.
(Vebe: 1. as)