LL
+*-t
(J-
.-I
E 4 ol= Z. l-
L" rq, \fr
tt
SadrZajIJvodna razmatranja Uvod
1.1 1.2 1.3
Pojam sistema Deterministidki i stohastiiki sistemi Komunikacioni sistemi
6 tl6(
2 Entropija2.1 2.2 3.1 3.2 3.3 3.4 3.5Shannon-ova entropija Entropija beskonadne i neprekidne distribucije
1313
18
3 InformacijaSopstvena informacija Uzajamna informacija za diskretnu raspodelu Uzajamna informacija za neprekidnu raspodelu Prenos informacije i sistem upravljanja Primeri i zadaci
2727
,o.. 32 ts536
lzvor informacije
4949 50 53
4.1 Diskretni izvor informacije 4.2 Izvor bez memorije i. 4.3 Markovljev izvor
5 Kodovi5.1 5.2 5.3 5.4 6.1 6.2
rtz izvor informacije
545455
Kodovi sa fiksiranom duZinom Kodovi sa promenljivom duZinom kodnih zarnena Problem optimalnosti . Konstrukcija optimalnog koda
58 60
6 Komunikacioni kanalDiskretni kanal Kapacitet diskretnog kanala bez mernorijs kanal
6565
67TS
7 Koder i dekoder uz komunikacioni
Z. Bner.rovriLinearni kodovi77za BSK za linearni blok-kod77
8.1 Idealna Sema odludivanja 8.2 Linearni blok-kod 8.3 Idealna Sema odludivanja
80 84
Interakcijsko.komunikacionia.spektobrazovanjaivaspitanja
8787
9.1 Uvod g.2 Meduljudski odnos - temelj obrazovnog procesa 9.3 Faktori uspe5nosti meiluljudskog odnosa9.3.1 SocijalnaPercePcija' ' ' ' g.g.2 Emocionalni stawvi 9.3.3 EmPatija
8992 92
9495
g.4Tablice
Interakcija i komrmikaeija u obrazovanju
97
LOz r.07
Literatura
-t -)l
5
Uvodna razrnatranjaOsnove teorije informacija postavio je C.E. Shannon svojom poznatom raspravom "A mathematical Theory of Communication" objavljenom 1948. U to vreme, kada tehnologija izgradnje sistema za prikupljanje, prenos, usmeravanje, obradu i duvanje informacija jos nije bila dovoljno razvijena, nisu se mogli sagiedati dalekoseZnost i znaiaj postavljene teorije. Od tog ne tako davnog podetka do danas ova teorija je razvila svoje mnogostruke primene. Na to su znadajno uticali prilozi koje su dali D.K. Fadeev, A.N. Kolmogorov, P.M. Lee, B. McMillan, A. Feinstein, A.I. Hincin, L. Breiman, R.M. Fano, R.G. Gallager, R.V. Hamming, D. Slepian, W.W. Peterson i dr. Uvodenjem kolidinske mere za sadrZaj informacije, informaciji je pridruZena cena tako da se ona moie vrednovati u odnosu na materiju i energiju. Time je ona objektivno dobila znadaj koji imaju materija i energija i tako postala jedan od osnovnih entiteta prirode. SadrZaj ovog kursa je usmeren ka matematidkim aspektima tretiranja problema u vezi sa generisanjem, transformisanjem i prenoSenjem informacije. On obuhvata samo najvaZnije probleme, glavne pojmove. osnovne ideje i metode za reiavanje tipidni! problema. Konkretnije, on obuhvata: I Kvantitativno odredivanje pojma informacije; II Matemati6ki modeli za pojedine elemente informacionih sistema (tzvor informacije, komunukacioni kanal sa smetnjama); III Efektivno konstruisanje kodera i dekodera za obezbedenje pouzdanosti komuniciranj a (algebarska teorij a kodiranj a) : ry Interakcijsko-komunikacijski aspekt vaspitanja i obrazovanja. Osnovu zatzradts. ovog teksta dine [1] i [6].
6
Uvod
0.1.
sistem u nauenim istraZivanjima obicno oznadava neki svrsishodno organizovan skup objekata. Takvi skupovi objekata ulaze u odredene procese. Pona5anje, funkcionisanje sistema se karakteri5e stanjima u kojima se sistem nalazi u zavisnosti od procesa koji obavlja ili kroz koji prolazi. Pritom se smatra da se sistem u svakom trenutku nalazi u jednom od svojih stanja. Ta stanja se defini5u na osnovu cilja i aspekta istrazivanja, Sto znadi da se faktori, koji nisu u tom smislu bitni, zanemaruju. Svakom moguiem stanju se moZe pridruziti odredeni broj ili (prebrojiv) skupRed
Pojam sistema.
brojeva.
PrimerCoveka moZemo tretirati kao odredeni bioloski sistem. Obicno se govori o dobrom ili lo5em zdravstvenom stanju tog doveka (Sto. nararno. nije egzaktno opisivanje njegovog zdravstvenog stanja). To se stanje moZe u odredenom trenutku wemena opisati pomo6u niza brojeva 6t,fr2,...,frn (gde, na primer, 11 - olzp;a|ava visinu, fr2 teZinu, 13 - krvni pritisak. za - puls u jedinici tremetra- z5 - broj crvenih krvnih zt1aca, itd.). Ako u ovaj niz uk'ljudimo sle pararnetre koje dana5nja medicina moZe meriti, onda se dobija egzaktno opisano zdrarstteno stanje tog posmatranog doveka.
Jasno je da promena stanja sistcma pre@mtavlja promenu bar jednog od parametara kojima je definisan skup stanja sistemaU realnim sistemima parametri koji opisuju stanje sistema su medusobno zavisni, odnosno promena jednog od parametara utide na ponaSanje nekih drugih. Jedan od osnovnih zadataka naudnog ishrafiwnja u egzaktnim naukama je da se otkriju veze i karakteristike veza iznedu pojedinih parametara. To omogu6ava da se na osnovu poznavanja birdih i trenutnih stanja sistema prognoziraju bududa stanja tog sistema.
O.2. fsfsrministieki i stohastiEki sistemi.
Obidno se u egzaktnim istraZivanjimt pretpostavlja da se za. svaki sistem moZe definisati odredeni skup ^9 svih mogu6ih stanja tog sistema. Funkcionisanje sitema u vremenu je zauzimanje odredenog stanja iz skupa ,S . Ako se na osnovu poznavanja stanja sistema u fiksiranom trenutku i veza koje tu deluju molejednoznadno predvideti stanje sistema u budu6nosti, onda se kaZe da je sistem deterministiEki, odnosno da postoji kauzalna zavisnost izmedu stanja u sadaSnjosti i budu6nosti.
T
Medutim, ukoliko sa na osnovu poznavanja stanja sistema u sada'Snjosti moZe odrediti samo verovatno6a sa kojom 6e sistem preci u neko drugo stanje iz skupa S u budu6nosti, kaZe se da je sistem stohastiian (probabilistidan). Tada se ne moZe jednoznadno odrediti stanje sistema u budu6nosti, ve6 samo, moZda, raspodela (distribucija) verovatno6e na S u bududnosti, budu6i da se radi o manjoj ili ve6oj neizvesnosti u vezi sa stanjem koje 6e sistem zatzeti u budu]nosti' postavlja se problem kolicinskog (krantitativnog) odret[vanja (merenja) te neizvesnosti za posmatrani stohastidki sistem. Razumno je pretpostaviti da se stepen teneizvesnosti:
izraiava nekim odredenim brojem, da taj broj zavisi samo od distribucije verovatno& na skupu stanja S u momentu t nakon podetnog momenta, c) da se deterministidkim sistemima pridruZuje neizvesnost 0 . O6igledno je da bi krajnost u pona5anju sistema predstavljala situacija kada ne postoji nikakva povezanost izmedu stanja sistema u sadaSnjosti i budu6nosti, tj. kada ,tuau-,,potpuni haos" i ne moZe se nikako (ni sa manjom ili ve6om verovatno6om) predvideti kako 6e se sistem pona5ati u budu6nosti' kod Sre6om, u prirodi su desti sistemi koji su izmeCtu deterministickih i haotidnih. kojih se prognoze o njihovom zauzimanju stanja u budu6nosti mogu davati sa manjom
a) b)
ili
ve6om verovatno6om. Naved.eni brojdani pokazatelj za merenje neizvesnosti, koji se obidno naziva entropija sistema, moLeda posluZi kao mera razlikovanja od deterministidkog sistema, odnosno kao mera nereda (haosa).
tra sa razli6itih aspekata, odnosno, pri definisanju stanja sistema se uzimaju samo oni parametri koji su bitni za odredeni aspekt posmatranja' Tako se npr. Eovek moZe posmatrati sa medicinskog aspekta kada je bitno njegovo zdravstveno stanje. Ali se Eovek moile posmatrati i sa mehanidkog aspekta kao odredeno fizidko telo u prostoru i vremenu, pri demu se pridruZeni parametri mogu
0.8. Komunikacioni sistemi. U naudnim istraZivanjima se svaki sistem razma'
vezivati 11pr. za koordinate njegovog teZi5ta u datom koordinatnom sistemu, sa brzinom pomeranja i sl. Ya1at aspekt posmatranja doveka je njegovo poimanje kao sistema koji proizvodi, generi5e "informacij", & takode je korisnik, konzument informacija koje geueri5u drugi sistemi. Oeigledno je da se treba nrralo zadrlati na preciziranju pojma "informacija'Smatra se, u op5tem sludaju, da svaki sistem promenom stanja generi5e odredenu informaciju. Da bi se moglo govoriti o informaciji neophodno je da, pored izvora informacije,
8
drugi sistem koji prihvata i "razume" poruke koje emituje'rzl'ror. To podrazumeva da se radi o prenosu informacije od jednog do drugog sistema, odnosno o kanalu putem koga se informacija prenosi od izvora do korisnika. Zbog postojanja vi5e sistema i nemogu6nosti izolovanja jednog, dva ili odredenog manjeg broja sistema, objektivno je svaki primalac "zapljusnut emisijama" raznth izvora informacija iz okoline. Ako je primalac informacija zainteresovan samo za odredenu wstu poruka koje dolaze iz jednog izvora, onda emisije iz drugih izvora mogu samo Stetno uticati na prihvatanje poruka kod tog primaoca. Emisije druguh izvora javljaju se kao odredene smetnje ili Sumovi (buka) za dati izvor i datog primaoca informacije.
postoji i primalac informacije,
tj.
PrimerNeka je izvor informacija covek koji svira violinu, a primalac je dovek slu5alac. Jasno je da dovek putem dula prihvata i razre druge signale, poruke emitovane i iz istog izvora ali i iz drugih (pokreti violiniste, pokreti i1i glasovi u publici i sl.), koji se me5aju sa zvucima violine i time ometaju njihovo disto prihvatanje. Uobidajeno je da se sistem koji se sastoji od izvora informacije, primaoca informacije i sistema posrednika koji omogu6ava prenos poruka od izvora do primaoca naziva komunikacioni sistem. Najprostiji shematski prikaz tog sistema je, prema Shannon-u
at^'*1 GAd -+ akr"rtl -+ WAAIA -+ Vrc*A*i1
F;,wAlzvor informacije je objekat kojigeneri5e odredene poruke (kojima se fizicki
ili
na neki drugi naqin konlmetizuje informacija). Koder je objekat u bme se poruka transformiSe u oblik pogodan za prenoSenje kroz kanal. Obiino se kafo da u kodsu nastaje kodiranje informacije. Kodiranje ima i druge ciljeve keo Sto su: pove6anje brzine prenosa! povecanje pouzdanosti prenosa
i
sl.
Kanal je medijrrm kojim'putuju" srgnali kao nosioci informacija. Redeno je da je informacija na svom putu od izvora do primaoca"'tzloLena uticajima smetnji koje deluju tako da primljena poruh nije uvek identidna poslatoj. Dekoder je uredaj u kome se poslane poruke ponovo transformi5u, sada u oblik koji je prihvatljiv za primaoca. Zbog delovanja smetnji i dinjenice da se primljena poruka ne mora podudarati ni sa jednom od poslatih poruka, treba naglasiti da
o
odgovaraju6u upu6enu poruku koju prihvata primalac. U teoriii informacija se nastoji da se wakom od spomenutih objekata (delova komunikacionog sistema) pridruZi odredena matematidka interpretaci;a. Zapravo se izgraduju apstraktni matematicki modeli za ruz}r1ite tipov-e komunikacionih sistema, istraZu.iu odnosi unutar taksih modela i zatim dobijeni rezultati interpretiraju u praksi. Yalan zadatak je, kako je vec napomenuto, da se definisu odredene velidine koje se mogu meriti (rzrai'avati brojem) i koje bi sluZile kvantitativnom uporedivanju pojedinih sistema. To uporedivanje sluZi, jasno, usavrsavanju takvih sistema u smeru povedanja brzine i pouzdanosti prenosa informacija u njima. u primerima koji slede vide6emo ilustraciju do sada navedenog.
ie dekoder samo odredeni mehanizam koji svakoj od primljenih poruka pridruZuje -
Primeri. 1. Binarni simetriEni kanal (BSK)Izvor informacije mole u fiksiranom intervaiu emitovati poruke rn1 i m2 i to sa verovatnoiama p(m1):p i p(rn2) -1-p:q (0 7
H(Xr,xz,...,Xn): H(xt)+ H(hlx2) + "kaa
'+
H(hlxt,x2,...,xn_l)
,
i
za$raki prirodan
broj m >
7
H(y/ (xr, xz,. . ., X^) < H(y I (-x2, x3,. . ., x,.))
3. IxroRuacr"le
t6
3.4
Prenos informacije
i sistem upravljanjaIGj"k t I1
Delovanje na objekat u cilju poboljsanja njegovog funkcionisanja se u kibrnetici taziva upravljanje. Najjednostavnija sema sistema upravljanja irna oblik
lupravljanjal
I'*"t"FlPonasanje objekta se karakterise skupom izlaznih velidina (y) koje imaju odredene verovatno6e javljanja (zadataje odredena raspodela na y jer je svaka izlazna velidina uslovljena smetnjama. Skup svih mogu6ih ). dej_ stava na objekat odreduje promenljivu x sa odgovarajudom raspodelom verovatno6a. Cilj upravljanja neka bude odrZavanje velidine y u nekom stalnom stanju Uo . U idealnom sluiaju to stanje je izvesno pa je H(y) : 0 , tj p(ao) :1 . u opstem sludaju, jasno, postoji neodredenost izbora y i smanjenje te neodredenosti dejstvomiz skupa X opisuje se jednacinom
r(x,Y)
: H(Y) _ H(Ylx)
.
je
sada je I(x,Y) informacija u x o y koja karakterise smanjenje neodredenosti izlaza Y ulaznom velidinom iz X . Neodredenost H(X) se moZe interpretirati kao razrovrsnost upravljaikih dejstava i ona mora biti takva da se moze delovati na objekai, q.-d.
H(x) > I(x,Y)
odakle
je H(y/x) >_ H(x) _ H(y)
.
zadnja nejednakost daje krajnje mogu6nosti upravljanja. Neodredenos.t rzlaza se ne moZe smanjiti ispod navedene granice, a jednakost se postiZe ako i samo ako ulazni signal r e x jednoznacno odreduje izlaz e y, jer je a
tada
H(X): I(X,Y)H(Y)
.
Da bi se smanjila neizvesnos
H(Ylx):
upravljadkih dejstava
-
H(X), H(x) + H(x/Y)
t izlaza H (y I x) treba poveiati raznovrsnwt jer je I(X,y) : H(X) _ H(X/y) odnmo,.
Primer
Z. BnaNovliPretpostavimo da je sistem upravljanja takav da entropij a H(ylx) ne sme pre6i vrednost od 0,35 bita. Ako se smetnje u radu sistema opisuju sa 4 razlidite vrste Suma i raspodelom
;l. Imronu
O.rde je
0,2 0,3
IT\ TrL2 TrL30,1
0,4
F-Ue.ffilt.}-i
H(xlY)H(Y)
izradunati kolidinu informacije koju treba da unese upravljadki uredaj da bi se postigao zahtevani kvalitet upravljanja. Kolika treba da bude raznovrsnost upravljaikih dejstava? Pretpostavlja se da je upravljaEki uredaj idealan,
:0
tj.
: l
.
Vidimo da je bez upravijanja
.tri.L l
_{p +
-
-0,21og0, 2 - 0,31og0,3
- 0,11og0,1_ 0,41og0, 4: l,g5 bita.1,5 bita
Prema zadatom uslovu
je H(ylX) < 0,35 bita. Otuda je
Primenit foffimmtrij&
I(X,Y)
:
H(Y)
- H(y/X) > 1,85 - 0,85 : tjH(X)
ffirmrcija-tflm -r iz.
Raznovrsnost upravljaakih dejstava je
H(X) : I(X,Y) + H(X/y)
: r(X,y)
> 1,5 bita
.
3.5 Primeri i zadaci1' Vratimo se na binarni simetridni kanal kod koga postoje dva ulazna signala 0 i 1 sa pridruZenim verovatnodama p(X :0): p i pix _ 1) : q :i_p kao i uslovnim verovatno6ama za izlazre signale 0 i i,p(YUe
dmt
:0) : t - e - p(y : t/X : L), p(Y : L/X :0) : u : p(y :0/X 1) 0lX.
:
Fl M rymtruma fo nrmllnfi da ir.X*'m&*ffiumiilm @fri flM mruu
ieilem Ca
Dvodimenzionalna raspodela glasi0
t&
lffimmfu1fla
u
,&wfl"fr_trflil:
p(\
-
e)
p
q(l
- e)
f,Mdmrmiiidilffimlffi
3. INpoRuect"laOvde je
5r[
p(Y:0) :p(1 -a) +q:p+r(q-P), p(Y : 1) : pe+ q(1 - e) : q + e(P - q),
pa je
H(X):-plnp-qlnq H(Y) : -(p + e(q- p)) ln(p + r(q-p)) - (q + e(p- q)ln(q't'(p - q))' H(X,Y) : -plnp - qlnq -elne - (1 - e)ln(l - e)' I(X,Y):H(X)+H(Y)-H(X,Y):'lne*(1-t)ln(1-e) -(p+ e(q_p))1"(p +e(q-p)) - (q+e(p-q)ln(q +e(p -q)) Primetimo d'a je za e : 0 I(x'Y) : H(x) - kanalom se prenosi cela moi'e prenositi informacija l aza e : ll2 je I(X'Y) : 0 ' tj' kanalom se neinformacija. Ako se izabere
p: q: Ll2 i e < 1/2 ' dobija se
1(o, o)
:
In
p(t
p(p+e(q-p))
- e)
:
In2(1
-
6) > 0 ,
1(0.1) r \",
. j1-./:lr--- p(q + e(p _ q)) :ln2e (0, : In2e ( o, 1r1.0) : L-. -i1r\r,v/ --q(p+e(q_p))q(1
I
tI
/(1, 1) : in
j{!
{
I
: 1(0) : B2 Za dovoljno malo e (mala gre5ka u prenosu) je 1(0,0) kao tako da je uzajamna informacija koju izlaz 0 daje o ulazu 0 pribliZno je onda 1(0,1) : -oo Sto sopstvena informacija ulaza 0 . Istovremeno ziad d,a izlaz 1 pruZa potpune dezinformacije o ulazu 0 ' Medutim, ako je e: ll2, onda je /(0,0) : /(0,1) : 0 tako da ni 1 ni 0 kao \zlazi ne daiu skoro nikakvu informaciju o 0 kao ulazu. Srednja uzajamna informacija u tom sludaju je
q(q+e(p-q))
-
e)
:ln2(1 -6) >0
I(x,Y):
elna+
(1
- e)ln(1 - s) + rn2 : ofl,f;l - H(',1 - e) > 0'
Morse-ove abecede mogu se, po pretpostavci, pojaviti u nekoj emisiji sa slededim verovatno6ama
2. simboli
38
Z. Bnervovr6tadka0,51
simbol verovatno6a
crta0,31
razmak medu znanima razmak medu redinra0,L2 0.06
Odrediti srednji sadrZaj informacija u vesti koja sadrzi 500 znakova Morse-ove abebcede ako nema statistidke veze u sledu imedu pojedinih znakova.Reienje:
skup znakova koji se pojavljuje sa odredenim verovatno6arna se moie okarakterisati prosednim sadrZajem informacije. Srednji sa.drzaj informacije koji donosi jedan znakje
r(x):fdolr"-\: o, 51h
#
+
0,31h#:
+0,
1,628 tfta po amku
l2h# . o,o6h #-
Skup od 5fi) takvih zmakova 6e imati 500 . 1,628 : 815 bita.sa
seddi
sadrZaj informacije
I -
3. Neka su 11 i 12 ulazni simboli a !b gt " tlazna signala se pojavljuju jednakimje statistidki nezavisno. uslovne veronatno&
i W izltzni simboli. Obazadatesu iablicom
neror"atno6ama,. a nizs,njs znakova
dvrld
12 |
Ll32 L/64
GI/M;
Reienje: Iz
a) Napraviti tablicu za funkciju raspodele sludajne,elidine I(ru,a) b) Naii srednju vrednost velidine I(rt,A)
p(ri,yj) : p@i)p(ajl*r) : p(yj)p(ri/y)p(tr/a;) p@j) i+1
stedi
:
p(ni)?(ai
pwili+l
/ni)
,
odn.saspa je
:io@,,a) :io*"n)o(u,/*n)
3. INponu.q.cI.ln
tp(ai:0,5'#+0,5'rp pfur):0,5'H*o'1_1
_3?', ,+ - 64', p(az):t-#-*^-a
Dalje jer (r;, pa je i I r) * p(r,)e(d a i) -- 6 -?9t-!)- "' p(ni)p(y) - brp@!)p-@
:
6p(a i
p(ai)
I
r)
)
I(*r,ao):,r# *:ln1:0, I(,,,a): t'H #,:r' !] = o'e77 = LI(rr,Ar)
'
: L t64 : Iny = -b, 64' 311
I(rr,Ad:
rr#'f : O,,
I(rz,at): ,, # ' 3t = -u
I(rr,A): ,t # 3t = ,Znari- da sludajna
velidina
I(rt,A)
moae da uzme
tri vrednosti 0 ,
-5
sa verovatno6ama
p(I
:-5) ::0) :
p(rt,Az)
I p(rz,A) :0, tt# * #) : h,,O,tt# *O,
p(I p(IOtuda je
p(r1,yo) + p(*r,Ao)-
*l : *,,
: l) -- p(*r,yo) + P(*r,A) I(X,,Y)
UtH
* Hl
:#
: -5 116156 0g, *, U: U 64*bita Po znaku.
:0,877
3.
IxpoRlvract.lR
6. Pretpostavimo da je u pitanju
neBto sloZenija situacija nego u primeru
4; neka se prvo baca homogena ("po5tena") kocka. Ako je ishod paran brojbaca se nepravilan novdi6 kod koga su verovatnode ishoda ll4 (pismo) i 3/4 (glava). Ako je ishod neparan broj baca se drugi nepravilan novdid kod koga se navedeni ishodi (isti redom) 314 i ll4. Reienje: Sada je
p@tlrp)
:f, ,p@zlrr) :],p@rlr,) :l,nfurl*,) :i,,
gde ro e. {2,4,8} , u rn e {1,3,5} . Na osnovu relacije p(r*Ai): p(ri)p(Ajlr;) doblja se tablica
rl8 tl24 118 1124 118 tl24 718 Ll24 tl8 7124 7181
jer je
E4 8' 13 1 p(rz,az) : p(r2)p(a2l*r) : 64 8' 11 1 p(rz,a) : p(u)p(srlrt) :6'4itd.Ovde je
13 p(q,a) : p(rL)p(a'.lrt) :
1
24'
H(x,Y)H(X)
:
-r(*ros ] + *^r*)
:3,3e6
bita
:
log 6
:
2,585 bita
;
H(Y)
:
log2
:
1 bit.
.
H(X) + H(Y):
3,585 > 3,396
: H(X,Y)
Dalje je, na osnovu formule za izradwavanje uslovnih verovatno6a,
UtAz
1/12 7/4 rl12 114 1lt2 7lt2 114 Ll12 114 1lt2 Ll4tl4
2345
r /at
p(r laz)
42
Z. BneNovri3/4 r/4Odavde je6
114
3/4
r/4314
3/4L/4
3/4
r/4
L/4 3/4a ln6)
H(x/a)novdiia (Y) je
: H(x/az) : -r(1.* * i *.* #) : 2,3s6 bita(x)
.
srednja uslovna neodredenost bacanja kocke
u odnosu na bacanje
H(x/Y) :Slidno,zasve
lrr*,rlje
+)u6la,) :2,3e6
bita
.
re X
H(Y/r):
-i.r i - i.- i : 0,8113 bita:a[n1v1,,D)
,
H(Y/ x)
:
o,
8113 bita
.
Za poruku sludajno odabrane osobe: ',Dan65 mi je rodendan,, izradunati sopstvenu informaciju. Reienje:
7.
I(r;)
:
-logpo:
logz
#
= 8,51 bit
.
Srednja informacija koju takva poruka nosi je
I(X) :
logr 365 ry 8,51 bit
.
srednja informacija za opit da li je gornja informacija tadna
ili
ne
je
I(Y)= - 1 log 1 - 364' 364 ry 0, 063 bita = log 365 365 865 365 8- odrediti srednju sopstvenu30.07.". Reienje:
.
informaciju izjave: ,,Moj rodendan je
3. INponrraecue
43
I(r) :
-logpn
; i e {1,2,.- . ,365} ; c; nije 29 februar4 godine:4.36.5*1.1
;
rasporeduje na okrugle i ora,lne, a po tezini na lake i teske. U lake spada 70% svih delova. Medu lakim je 80% okruglih. od ukupnog broja delova posmatra se 64% . Koju koliiinu informacije u obliku dela moZemo dobiti njegovim merenjem. Reienje:
4-I r I(x\:-365- 4 lo8a.ms+t "--4.365 + l 4-365+ 1'og- .36t 9. Kolidina delova nekog proizrrcda se u zavisncti od tainosti izrade
''(oiinr:;r) '
Y
\o,z os)',
(a,
?tz
\
P'i'i:P(Y:Y)P(X:ri /Y --a), Ptr: P(Y : A)p(X : qlY : a) :0,7. 0,8 : 0,56 Ptz :0, 08 , Pzt : 0,L4 , p22 : 0,22 , pa je
I(X,Y): D Dpn,bsY Piqi ii
:
0,56tog +... + t 0,64 . 0rT '
il9-
0,22tos:*- : v1a""t 0,36 . 0J
0,862s2
.
10. cilj se moZe gadati n puta pri 6emu je verovatno6a pogadanja cilja u svakom pokusaju p. Posle k-tog gadanja (L < k < n) daje se izvestaj o tome da li je cilj pogoden ili ne. Ako jeste gadanje se prekida. odrediti k tako da kolidina informacije u izveStaju bude maksimalna.Reienje:
*r, (ii
;:)(1
,
Pr
-
Pogoden ,pz
-
promaSen
,
pz:
-p)k, Pr:1-(1 -p)k,
44
Z. Bnemovri
iz uslova
Pr: Pz:112
dobiia
se
"-
-l,og2(1
-
p)
'
11. U kutiji su 3 bele i 4 crne kuglice. Izvudene su 4 kuglice i ustanovlieno je da su od njih 3 crne i 1 bela. Izradunati informaciju dobijenu posmatraniem ovog dogada ja B za slededi dogadaj A : sledeia izvudena kuglica iz kutije je bela. Reienje:
I(A,B):
loB'#:
log
#:
--o,TTs
.
12. Pretpostavimo da je za neko mesto verovatno6a da 6e 15. juna pasti ki5a 0. 4 , a za 15. septembar je ta verovatno6a 0,8 . Neka je meteorolo5ka prognoza za15. juni tadna u 60% sluEajeva ako predvida kiSu, a u 80% sludajeva ako predvida suvo, a za 15. septembar neka su ti procenti redom s0% i 50%. Pitanje je za koji od tih dana prognoza daje vi5e informacije o vremenu.Reienje: Neka je X1 sludajna promenljiva vezala za 15. jun sa vrednostima 11 - kisa pada i 71 - ki5a ne pada. Za 15. septembar neka su analogne velicine redom Xz , rz i uz . Ocigledno jeH
(Xr)
-
-0, 4log -0, 8log
0, 4
-
O,6log 0, 60, 2log 0, 2
: :
0,
971 bita
,
H(Xr)Neka
0, 8
0,722 bita
YL sludajna promenljiva cije su vrednosti h - "prognozira se kiSa" i Ut - "prognozira se da ki5e ne6e biti" za 15. jun, a odgovarajude velidine za 15. septembar neka su redom Yz , Az i g, . Kako je
je
p@t/yt):iz jedna,kosti
0,6
, p(hlat) :
0,4
,
p(7.1lat)
:0,2 , p(hlat) :
0,8
,
p(r):
p(y)p(rr/a)
+
p(a)p@rlg)
i
p(a)
:1 - p(a)
3. IupoRriaecr"r,q.dobijase
45
p(yl)Slidno, iz
:0,5 ,
p(gL)
:0,5
.
p(rzlaz):0,9, p(izlq) :0,1, p(r2lg2):0,5 ,p(rz)dobijase
p(n2lA2)
:0,b,
:
p(y2)p(rr/yz) + pfu2)p(r2lp(uz)
g) i
p(gr).
: t - p(az)
:
o,75
,
p(a2)
:0,25
Otuda je
H(XrlY) - -0, 5(0, 6log0,6 -
0,41og0,4,
-
0,
:
2log0, 2 - 0,81og0, g)
0,846 bita
I(Xr,Yz) : H(Xz) - H(X2|Y2) : 0,120 bita . Informativnija je znaii prognoza za \b. jun (iako je verovatno6a tadne prognoze za taj dan manja).13. Raspodela verovatnode zafr1
H(X2/Y2): 0,602 bita . I(Xr,Yr) : H(Xr) - H(hlYr) :0,125 bita ,
(X,y) j" data tablicomUt
t2T3
0,4 0,1 0,5 Odrediti entropije H(Y/X) i H(YIX)Reienje:
0,2 0 0,4 0,1 0 0,1 0,1 0,1 0.
At Az
0,6 0,2 0,2
H(YlX): -Ip(X : r)p(Y : ajlX : i,iY , dobijaju
*o)tosp(y
: ailX :
*r)
.
Deljenjem verovatnol,a pii sa marginalnim vrednostima za se dve nove tablice:
X odnmo
46
Z. BneNovri
/3 1 l2 1 l21
112 0
0 0
2/3
tl2
atr-T--rTtl4 0 rl41
At Az
As
1/5
pa Je
H(y/x):0,u(-ir"**-
3.-3) +0,2(;r"*; ,
-i.-i)1
i.- i) : b,e4 bita H(xty) : o,nG;,"* -,. * f,rcri) * o, l rog+0,2e;,"*; +0,5(-*,"*
f - *.- *) :0,1 0,2 0,3
o,
e6 bitazad.at
14. Dvodimenzionalna slu6ajna promenljiva ima raspored
tablicom
0
0,2 0,3 0,2 0,7
0,3 0,5012
Na6i informaciju o X koja je sadrZana Reienje: Tablica uslovne raspodele X u odnosu
uyna
.
y
ima oblik
r13Kako je
01213
- 0,Tlog0, T:0,8831 H(x/a - -1) : -*r"r l 'r^r?: 0, e183-0,3log0,3
H(X)
-
,
,
H(X/a
toe : - 0) : -i )ooc -:
DqQT)
log
':
0, e210
,
3.
INpoRrraecr;e
ry
H(XIY:
1)
:0,
H(XIY) : p(Y : -L)H(X|Y : -1) + p(Y :o)H(xlY :0) +p(Y : I)H(XlY : l): 0,3 ' 0,9183 + 0,5 ' 0,9710 : 0,781 , I(X,Y): H(X) - H(XIY) :0, L22L .15. Raspodela verovatnoia sistema dogadaja je data tablicomfr1
fr2 frg
0,L2 0,08
0,1 0
0,1
0,04 0,1 0,26 0,8,
0,4 0,06 0,56
0,2 0,6 0,2
Odrediti H(X)Reienje:
, H(Y), H(xlY) H(Ylx) i I(x,,Y)
H(X) - -0,21og0,2 H(Y) - -0, 26log 0,26 -
- 0,61og0,6 - 0,21og0,2:7,371 0, 18log 0, 18 - -0, 56log 0, 56 : 1,4L9,
.
Iz tablica uslovnih raspodelaUr T1Uz
Az
Utfr1 fr2 fr3
Uz
Uz
0
0,5
fr2 fr3
dobija
se
H(XIY)
-
-0, -0,
26(0, 38log0, 38 + 0, 46log0, 46 18(0
+
0, 15log0, 15)
+ 0, 44log0, +
44
+
0, 55 Iog0, 55)
-0,
56(0, 17log 0, 17
0, 71 log 0, 71
+
0,
1
log 0, 1)
: -
1,1835
,
-0, 2(0, 5 log0, 5 + 0 + 0, 5log 0, 5) -0, 6(0, 2log 0, 2 + 0,13 tog 0, 13 + 0, 66log 0, 66) -0, 2(0, 2log 0, 2 + 0,51og 0, 5 + 0, 3log 0,3)
H(Y I X)
Z. BnaNovri
:I(X,Y)
L,2417
,.
:
H(X)
- H(XlY) :0,18750,08 0,05 0,L2 0,040,03 0,02 0,L2
16. Raspodela verovatnoia sistema dogadaja (X,Y) data je tablicom
r,
| 0,L2
0,1 0,04 0,05se
0,08 0,1
Nakon izradunavanja dobija
H(X) :
, H(Y) :2,293 , H(XIY) : H(YlX) :2,L27 , I(X,Y) : 0,1671, 555.
1, 388
,
L7. Poznato je da od jedne bolesti oboleva 4% ljudi. Radi konstantovanja bolesti koristi se jedna reakcija koja je pozitivna kod svih bolesnih a i kod 20% zdravih ljudi. a) Kolika je neodredenost u konstantorranju bolesti? b) Kotika je neodredenmt u korstantormnju bolesti ako se znaju rezultati
- opit da li je 6ovek bolestan ime d'na ishoda: 81 - bolestan i Bz nije bolestan; opit B - rezultat reakcije takode sa dva ishoda : Ar - reakcija je pozitivnai A2 - nije pozitivna.
reakcije?
o
Reienje: a) H (P)gde
-
-0,
04 log 0, 04.
-
0, 96log 0, 96
:
9(0, 04) + 9(0, 96)
,
b)
je g(r) : -plogpp(A)n(0
:
p(B)p(ArlBr): 0,04' 1 + 0,96'0,20 :0,232
,
_ _0,04. 1,^_0,04. 1Iog oJ32 0,222 H(BlA2) : 0 ; H(gl") :
I Ar)
:
P(Az): 0' 768 ' - p(tu I A) tos p(h I A) - p(8, I Ar) ros p(82 I A1)
_^ ctna : u' oo/ / ' 0,232' 0,6577 - 0,768' 0 : 0, 1526'
0,96. 0,2 r^*0,96.0,2 Log
o7n
o,2zz
ts
4
Izvor informacijeizvor informacije
4.L Diskretni
Zamislimo sistem koji se sastoji od doveka i pisa6e masine a proces koji tede je kucanje nekog teksta. U odredenom vremenu nakuca se tekst od n zna.kova. Proces kucanja je ograniden skupom znakova koje ima doticna masina kao i zahtevom da "proizvedeni" niz bude tekst sa smislom. Taj se sistem moZe posmatrati kao odredeni izvor informacije, a kucanje ka.o " generisanje" informacija. Neposredan cilj je da se izgradi matematidki moder koji "pokriva,, sustinske osobine generisanja informacija u realnim sistemima. Generisanje informacija se sastoji u emitovanju niza znakova (simbola) iz nekog nepraznog skupa A od svih moguiih znakova. Ako je A konadan skup i ako se, recimo, svake sekunde emituje jedan znak. onda ie se za n sekund.i emitovati poruka od n znakova, koja se moZe zapisati u obliku n-clanog niza
r : (at,a2r...,an), aa A r,i:L,2,,..rn, Jasno je da r An: {(at,(12t...tan) lqe A, i:1,2,...,n}. Kao Sto je poznato broj elemenata Kartezijevog proizvoda An skupa A sa c, dlanova iznosi o'.
I
e An pripada odredena verovatnoia p(d > 0. pri demu KaZemo da je rei o rlisfos6ns* izyoru-informaci;a (a,p) sa konadnom azbukom ,4, i merom p. Kako je emitovanje znakova u datom izvoru informacije odreden proces koji se zbiva tokom vremena na sludajan naiin, pogodno je definisati dis}retni izvor informacije ka.o odredeni stohastidki proces {x1 : t e ?} sa diskretnim parametarskim skupom T : {7,2,. . .} i skupom vrednosti ,4, .
Poruke koje se sastoje od niza znakova razlikuju se po verovatnoii sa kojom se emituju. Tako npr. medu porukama od b znakova AAAAA . NAA,IAS . DANAS najverovatnije je da ie se emitovati poslednja od njih. Diskretan izvor informacije se, zbog toga, matematidki definise tako da se odredi neprazan skup A : {or,az,...,o,a} - azbuka izvora i raspodela verovatno6a na skupu An za svako n N.
svakoj poruci
r
ie D,e.t* p@) -
1
.
Oznaka
P(Xt
: at,X2 : a2,...,Xn :arr) ) 0, (or,a2,..,,an)
e An1 , simbol
02 umomentu
ukazuje na verovatnodu da izvor emituje simbol o,1 u rnornntu
t: t:2 itd. Akozasvako nN vaZi p(XX+t : at, Xk+2 : azt.,,, X*+n : an) : p(Xt : dL, X2 : a2t . . . , Xn : an) : p(at, a2, . . . ,an) ,
kaZe se da je izvor informacije stacionaran. To znadi da probabilistiike osobine tog izvora ne zavise od vremena. Verovatno6a emitovanja odredene poruke isa je u bilo kom vremenu.
4. IzvoR lNroRlvllcurjednaka je bezuslovnoj verovatnodi p(a',,) simbola an e A
5[
Zbogtoga se tah \rrr, ,ou" izvor bez memorije - jer je emitovanje signala u sadasnjem mosimbola' mentu stohastiiki nezavisno od prethodno emitovanih
'
Za ovakve izvore je
1 --.-H.: !gt1x)
+ H(X) +
"'+ H(x*D: :nH(xr)1
: H(X): -irnlospr i=lhn: H(X*) : H(X) :Hn
;
'.
n:7'2' "'
Entropija izvora bez memorije je, dakle
H
-
-irotosn,i:r
r
Primetimodaje,zbogstacionarnosti,sopstvenainformacija'I'(r)poruke e A , T : (atr&2r. , ' r&n) '
I.(r):-lnp(r): -f
mP1,,)
'
i=lmoZemo
1(aa) Stavimoli /(a;) :-lnp(a;) , aeA' i:!'2'"''n'tada informaciju simbola a1 A ' Yaii interpretirati ka,o sopstvenu
In(r):itton)i=l
,
tj.
#,
emitovana iz datog izvora sopstvena informacija 1,(z) koju nosi poruka pojedina slora memo.i3e jednaka j" ,rir,r-ropstvenih informacija koje nose odredene diskretne sludajne veriine pri te poruke. Kako su demu. za izvor bez memorije, one imaju istu raspodelu' imamo
r
i*(*) i i(a)
D(I(a.t)):Isto tako i disPerzija
- t p(a)rnp(a11 : -lntrnpi - H' i=7 atAH2
oz(I(a)):\nr\n'po i=l
:
K2
.
Dalje se dobija
E(l.(r)):iu1r1on)):i=l
nH
'
odnmo
4. IzvoR lNroRlracr.lp
52
o21t.1r17 To znaci da je
:\o21t(ai)):i:1
nK2
.
u(*'"at) _H:Ako se na niz dobija se
*(!,"a0 :
#n : 1,2,...
I"(r)
primeni Cebisevljera nejednakost za
,(l*r"r,ri ,o)=#,gde
je 6 > 0 proizvoljan realan fusj.Odavde sledi
"ry*r(l*t(1)
@)
-
Hl, r)'
: o,
rj
I
)t.1r1;*u.je I.(r) : _lnp(z)
7'naij dzfiz r-(z|/n konvergira u verovatnoi i ka H , odnosno da za veliko sopstrena iuformacija Irc srovu poruke priblizno je kao entropija fr datog izvora informacije
z
to, s obzirom na to da .SSvimo li l?lnd: nejednahst GUSesa poprima oblik
,
p[l"p(")+nill>n6) 2 dobijarno, prema zadnjoj formuli,p(a* I @1, a2,..
.,o,-,
)
)
: o(?r':"':''''
P\at,or,.ffi
an- 1, an)
:
P(an/an-t)
'
To znadi da verovatnoda emitovanja nekog simbola an zavisi samo od prethodno emitovanog simbola an-! t a ne i od ranije emitovanih simbola ar, a2, . . . t an-2 . KaZe se da ovakav izvor ima memoriju prvog reda, dok se za izvor bez memorije kaZe da ima memoriju nultog reda. Napomenimo da se moZe dokazati da i jednostavni Markoder- iapr tu*osvojstvo AEP.
54
5
Kodovi uz izvor informacijesa fiksiranom duZinom
5.1 Kodovi
Detaljnija Sema komunikacijskog sistema ima oblik:
@+m +m-+ @ +H+m+Fr*,"qT
F.."jqZa uodavanje uloge kodera i dekodera iztrorainformacije vratimo se jos jednom na primer doveka i pisace masine. pretpostavimo dL tekst koji je rovek nakucao na maSini treba poslati kao telegrem do odredenog prima,oca. poznato je da se u telegrafskom sa.obra6aju primenjuje Morseov k ip"r".n koga se slova azbuke, kao i jos neki znaci, zamenjuju ,*tavljenim od l[odiraiu) "crta" i "taaaka". Takode se upotrebljavaju i drugi "i^"i*" (Baudotov kodovi i Mur_ rayev) u kojima se kodiranje vrsi petodlanim nizovima sustaitie.rim od nula i
neprazan
jedinica (iridi tablicu u prilogu). odredeni tekst, pre nego sto ude u komunikacioni kanar, prvo se kodira na jedan od navedenih naiina a zatim se moZe ponovo kodirati u cilju prenosenja putem kanala. osnovni cilj kodiraaja informacija koje generise odredeni izvor informacija je.u tome da se osigura sto brZi i pouzdaniji prenos informacija od izvora do primaoca. PoZeljno je da se poruka.ma kodiranjem pridruZe sto je mogu6e kraii nizovi kodnih simbola, a da istowemeno verovatnoia ta.6nog dekodiranja (korektnog primanja poruka) bude Sto je moguie veia. Formalni opis navedene problematike pretpostavrja da je zadat diskretan izvor informacija sa konainom aabukom A _ i konafan
b baza koda.
skup B : {0r,92,. . .,B6} , koji
{or",o2,..".,""1
eemo
,vati azbuka koda a broj
obicno se kao ,4 pojavrjuje skup u kome se naraze znaci slova, znaci inter_ punkcije, znaci cifara i osnovnih raiunskih operacija i st. zaskup B se desto yzima dvodlani skup. Tako je npr. Morseov t oa ru aru ,rrut r-gd'" duZina niza kojr_se pridruZuje datom simbolu nije fiksirana (kre6e se oa f aZ a;. Pretpostavimo da se kodiraju rn-erani (zn e N) tukstovi koje generise dati izvor.informacije u nizove elemenata iz skupa B , odnosno da se erementu x A* pridruZuje element y e Bn ka.o njegova kodna zamena. Nekaje U+g , UgA* i l:(J-Bn injektivnopreslikavanje. Tada se l*ze da je uz dati izvor informacije {A,p) zaait k"d ft;;;;iuzine od n kodnih znakorraSvakoj poruci u e (J je kort.a ziunena f (u) eB, pri demu je _pridruzena , f (u) n-elani niz aiji su elementi A E , t1-
u: (at,o2,.--,a-), l@) :(br,b,...,bn),
rli e
A, i :1,2,...,rn, bi e B, j :L,2,...,Tt
.
5. Kooovr uzrzvoe"Neka je
TNFoRMAcTJE
55
f(U)
:
{ulu
e Bn,'u
:
f(u),u e U }
.
Zbog pretpostavljene injektivnosti preslikavanja / moguie je svakom /(I/) pridruZiti jeda.n i samo jedan u eU zakoji je f(u) :o . PiSemo
a
.
u:f-r(r), aef(U)da je o dekodirano l 0 ; pri demu je.a ^ -D,!:rPtPti Qj -n,-'' q, -,
-
k'ot:
Ocigledno je da se za svaki uredeni par (ti,q) . (i : 1,2,. . . ,u) , 1,2, . . . ,u) moi,e govoriti o njegovoj verovatno6i p(,,4i) i pri tome je
(j :
P(r,q)Jasno
PrPri
: QiQti' i D,pGn,Ti) : i:r j:r
L
-
je da se mogu posmatrati za navedene sludajne velidine i velidine H(X), H(Y) - entropije; H(Yl X), H(XIY) - srednje uslovne entropije; H(X,Y) - entropija uredenih parova, kao i srednja uzajamna informacijaI
(x,Y)
: H (x) + H (Y) - H (x,Y) :
H (X)
-
H (x I
Y) :
H (Y)
-
H (Y I x)
.
Velidina I(X,Y) se moZe interpretirati i kao srednja kolicina informacije koja se prenosi datim kanalom bez memorije pomodu jednog signala. MoZe se re6i da ulazni signal "nosi" prosednu sopstvenu informaciju H(X) i da zbog uticaja smetnji u kanalu izgubi prosedno H(X,Y) sopstvene informacije po signalu, tako da I(X,Y) postaje prosedno prenesena kolidina informacije po signalu. Ocigledno je da se za I(X,Y) moze dobiti i oblikI (x, Y)
:,r-F-ort, q )
^
m
odnosno
70
Z. BneNovri
I(X,Y):skupu
t Dprprih =#L*tP*Pnj i:1j:l
Ako se sa Du oznadi skup svih funkcija raspodele verovatnoie na datom [/ , onda se moZe dobiti para.metar koji opisuje osobine diskretnog kanala bez memorije u smislu njegove pogodnosti ru p.eoos informacija rrczavisno od ulazne raspodele verovatnoda p, _ Velidina
mo6 datog diskretnog kanala bez memorije. Ako se koriste binarni logaritmi dobija se kapacitet C izrai,enu bitima. Velidina C oznadavamaksimalan prose-can broj bita koji prenosi jedan signal kroz dati kanal bez memorije. Vratimo li se na pomenuti beskorisni kenal (poi : ei ii : 1,2,. . . ,u) , onda je I(x,Y) : g tako da je c : 0. tj. iovori se o kanalu nula kapaciteta. Iz definicije je ocigledno da je c > 0. pri iemu znak jednakosti vazi ako i samo ako je pU : Qj ;,i : 1,2,,...0u, tj- ako zu ulaz X i izlaz y nezavisne slucajne velidine. Kanal bez gubitka informacije se msZe defoisati kao diskretni kanal bez memorije zakoji je H(X/Y) :0 , tj. H(Xiyi\:0 za j __ 1,2,...,r.r . To znadi da za bilo koji izlazni signal rlj sz veronatno6om 1 se moZe odrediti pripadni ulazni signal. Tada je kapacitet
zove se
': t#'I(x'Y) kapacitet ili propusna
C
:
max H(X\ P,D- \ /
: H(! ' 1\21
r.r,' u)
t _l
1,.
Primer.Diskretni kanal bez memorije, cija stohastidka matrica ima vrste sastavljene od istih brojeva (vrste se eventualno mogu razlikovati sarno u permutaciji dlanova), a isto tako i kolone, zove se simetridan kanal. Neka su vrste sas_ tavljene od brojeva @i 2 0,Dr;: l) , a kolone od brojeva ^r1,r2,...,r.,.
s1,s2,...,s2 (r, > 0,Ds;: ulu).
Uzimajuii u obzir napred date izraze dobija
se
I(x,Y)
:ipnfrinrji:L j:r
-Deibqi, j:L
odnosno
6. KouuNrxlcloNr xeNer,
,n- H(rr,rz,. . .,ro).
I(X,Y) :p, , tako
H(qt,,ez,. . .,Qo)
Drugi 6lan u zadnjoj jednakosti ne zavisi od ulazne raspodele verovatno6e da je
,:
#ff"H(qr,ez,...,Qu)
- H(rr,rz,,. .. ,r,):
.
Na osnovu svojstva entropije dobija
se
#&H'(q''Qz' "''Qo)i maksimumse postide za
:
'(:':'
'*)
""
p,:u(!,1,".,'), \uu u/jer ako je
h: I/u (i :1,2,. . . , u) , onda jeti
:f-o,o,i:c:
*I", : *,-
i :1,2,...,u
.
Otuda je kapacitet simetridnog kanala
r(:,:,..,, i) - H(,,,r2,...,ro)C
ili, ako se Zeli izraziti u bitima
:Iogzt +ir;log2r6.i,=L
Za u:1)
:2
matrica kanala ima oblik
rI:|.l-u I ei govori c(e)
1-uJI(BSK). Tada je kapacitet
e
se o binarnom simetridnom kanalu
: u (;,i) - rr, - ,): 1 * (1 - e) logr(1 - ) + elogre bita.
72
Z. BnnxovriLako je videti da se za e : 0 lli E : L12 je dati BSK nula kapaciteta.
e:
1
dobija BSK bez smetnji, a za
Da bi se stekla informacija o kolidini informacije koju mogu da prerade neki realni sistemi, navodimo nekoliko primera: Propusna moi ljudskih uSiju (za zvtbne informacije) j" = 5. 104 bita/sec, a kapacitet ljudskih odiju iznosi = 5. 106 bita/sec. Obradi (u jedinici vremena) informacija u ljudskom mozgu odgovara znatno manja propusna mo6. Tako rtpr- zacitanje (sa razumevanjem smisla) i to zalS do 40 slova u sec. potrebno je 20 do 50 bita/sec, dok razgovor "nosi" oko 50 bita/sec.
73
TKoderidekodet:rtzkomunikacionikanalAkosezadrLimonadeiukomunikacionogkanalapredstavljenomnanarednojSemi
koderkanalmoZe se provesti slede6e
w
Wr""l
C*64-1
t
zt fri dekoderkanala11 t--+
sh- t'-+
rasudivanje'
Zaodredenovlemeizvorgeneri5eodredeninizporukakojeseukoderu kodne azbuke B ' tako da u koder \zvotakodiraju * oJs""u*:"z'tini'simbola se kodira- u n-dlani Iiiz r . u" ' kanala dolazi zn-cl# riz e B* koji Niz fr ulaziukanal iizlaz\kao g Vn 'k9*?.seudekoderukanala i dekodiranja se mogu opisati pridruZuje niz z' e B* . Procesi koiiranjaodredenim funkcijama'
Funkcijahsedefinisetakodabudeinjektivnopreslikavanjeizskupa B^tskupU,.Kakose,uop5temsludaju,nemorajuutroSitisvielementi se uzeti da odrecleni
tz B*
moZe za kodiranje svih mogu6ih poruka-izvora'
skupDCB*sak(k3U")elernenatasadrZisvemogu6eulaznenizove. '' Un ' ti je mogu6e definisati injektivno preslikavanj e h : D
O;;,
h(21):au' 'i:!'2'"''k; zteD; riU" : h(D) : {rt'n2t "'':F} ' Tada je od'reden i skup M
-
pretpostaviti da se kao tzlazri nrz Kako u kanalu deluju smetnje mole sei
moilejavitibilokojielementskupaV"iondajepotrebnodonositiodluke kakodasedekodiru;,,tuk,iiz|azninizoviaevn.Zalosedefini5efunkcija g:Vn_,Mr.o3u,"zovesemaodluEivanjaipritomesepazidaSeotra ldredi tako da se Sto vi5e smanji uticaj smetnji' i odredeno particioniPrimetimo au 3" tort "ijom I : v" - M zadalo ranje skuPa V" , tako da je
l'2'"''k : St^lSi:A 'l'+ i' kao r; ]I{ . pri To znaci da se svaki izlazni niz Ul, S dekodira S,:{ae
Vnlg(a):*'};
i_-
6emuje,naravno,*os"e"dajedekodiranjepogre5no'tj'dajeizla-niniz
74
Z. BnarvovK
e Sr dobijen od nekog ulaznog niza r*U. Kakoje h-r:M--+D bijekcija, to 6e se i dekodirana poruka z: h-l(r) razlikovati od ulazne poruke z: h-L(r) . Kod konstrukcije kodera i dekodera kanala moZe se birati proizvoljan broj n , funkcije g i h , pa 6e se oni izabirati tako da pogresnog dekodiranjaU bude Sto manje. Kako su greske u prenosu signala datim kanalom opisane pomo6u odredenih funkcija raspodeie verovatno6a, moze se govoriti o uslovnoj raspodeli p(a e Sol*), (i:1,2,...,k) - dase rratzlazu dobije niz y koii pripada skupu St, e V" , ako je ulazni tiz ri (r; e M g tl") . Tada, uz primenu dekodiranja pomo6u date funkclie g , imamo prenos poruke z; bez greske, pa je p@
/
Srlro)
- 1- p(y e Srlq):p(Elz); i,:1,2,...,k.
verovatno6a greSke pri prenosu poruke zi Stavimo
t:'?'-%P(El"')tada nam parametar (0 < 6 < 1) karakterise dati koder i dekoder u smislu pouzdanosti prenosa informacija. Odmah je jasno da konstruktori kodera i dekodera nastoje da postignu sto je mogu6e manju vrednost za . Uobidajeno je da se odredeni n-dlani nizovi simbola, koji se podvrgavaju procesu kodiranja i dekodiranja, zovu blok-kodovi. Tako se govori o blokkodu duZine n . S tim u vezi se defini5e velidina
i
R:lnkngde je
,
prenosi.
sa k oznaden broj svih moguiih poruka koje dolaze u koder kanala. Kada bi sve poruke bile jednako verovatne, onda bi svaka od njih ,,nosila,, informaciju I :lnk nita, tako da se R moie tumaditi kao maksimalna kolidina informacije koja otpada na jedan signal u n-dlanom nint r [Jn . velidina E se obidno zove koeficijent prenosa ili brzina prenosa datog blok-koda. Drugim redima. u datom kodu je svaki signal n-dlanog niza r "prosedno optere6en" najvise sa R nita informacije emitovane iz datog izvora, koju treba da "prenese" kroz dati kanal. PoZeljno je da ,B bude sto je moguie ve6e, jer se tada informacija brZe
7. KoopR r ppxoonR uz xotuuNrx.q.cIoxI xeNel
75
Osnovni problem je u tome da se nadu uslovi koje moraju zadovoljavati koder i dekoder pa da signal prenese kroz kanal svu mogu6u informaciju koju je preuzeo od izvora i to sa verovatno6om bliskom jedinici. U cilju formulisanja osnovnog stava o re5enju tog problema uvodimoslede6e oznake:
1. Ako su dati prirodni brojevi k i n > Inkllnz i ako je izabrano k razlicitih elemenata rt,tz, - -.,rk e Un , kaZemo da je zadat koder kanala ili blok-kod duZine n , u oa.aci (r, k) . 2. Svaka funkcija g:Vn -'+ M: {rr,:r2,...)rk) zove se dekoder kanala ili Sema odluEivanja. Da bi se do5lo do najpogodniieg oblika funkcije g : Vn -- M sledi se ideja da se medusobno pridruiuju "najverovatniji" ulazni i izlazni nizovi.Neka
je
p(r)
: p(zi)
E
(Dp(r,)i:1
:
r)
verovatnoda i-tog ulaznog niza,
p@lrr) (D pfu1",;) :1)aevn
uslovna verovatno6a da se dobije izlazni
ri M
niz yk
Q
V"
ako
je ulazni
niz
,
p(u,a)
: p(ni) lp(a lr)k
(I I p@*a) : i:L geVn
L)
verovatnoia uredenog p x a :ulaz-izlaz,
p(il:\n@.,il (Ip(s) :t)i:lsVn
verovatnoda da se naizlazra, dobije
niz y e V* ik
p(ulil: p(rtillp@)uslovna verovatno6a da a evn
(D,e@rla)i:L
:
1)
je rlazni niz ri e M
ako
je dobijen izlaznt
ntz
76
Z. BnaNovrdAko
je r, : g(A) odreden tako da je
p(r'/d:onda se
,_?gr(, o/il
,
g zove sema odludivanja sa minimarnom verovatno6om greske. ZtaEi da svakom izlazt e V" A or,ul ,rtu, r e M koji ,pridruzuje maksimizira uslovnu verovatno6" p(*o/i) ou*";;{i l rruu takvih nizova u skupu M , ond,a se proizvoljro ,rirrru jedan oa n;ifr. F\rndamentalna je slede6a teorema:Teorema T.o.L Ako jerealan broj R (g . odluii,uanja g tako d,a je
i
d,at d,'iskretni, kanar bez
E < C) ,
memorije kapac,iteta
ond,a postoji,
Otoinoa
@,
k)
,i iema
c>0
e:ms;5(1 -p(&/n))s1.,2-^"gd,esu
in.
klenR,
l>0 i
niza signala, eksponencijano teZi ka nuli.
To znadi da je mogu6e konstruisati koder i dekoder tako da beskonadnosti, a da e - maksima.lna gre.ka pri prenosu pojedinog
^>0
ptarametrinezauisniod,
n teii
n_dlanog
il
77
t
88.1
Linearni kodoviIdealna Sema odluEivanja za BSK
I
Ve6 smo definisali BSK kao komunikacioni lnat kod koga
ie
U
: y:
{0, 1}
,
I
dok je matrica ptelaza
(r)C(e)
II
,:i':',.'-l I e I-61H(t
Zaovaj kanalje dobijen kaPacitet
:
H(ll2,t12)
-
e,e)
:1
+
(1
-
e)log2(1
- ) +elogre bita'
I
Grafik funkcije 6 '-- C(e) je oblika
s].Uslovgde
3
za s (0 < e < tl2) je postavljen da bi kapacitet bio pozitivan. u daljem ie se pretpostavljati da je raspodela verovatno6a na skupu M c : M p(t) : llk, je {0, 1}' uniformna, tako da za svako x {ar,a2, - -.,an} e
je
/c broj elemenata u skupu
M
svih mogu6ih ulaznih nizova' a
Ako je
ypr@lr):P(Ylr'),: r,, onda
{0,1}'
i ako stavim o s@)za dati BSK.
je time definisana
tzv. idealna Sema odluEivanja
Da bi se elakFalo konstruisanje takve idealne Seme, deinise se funkcija rastojanja na skupu {0, 1}, svih n-ehnih binarnih nizova na. slededi naiin: Za dva
8. LrxpeRur xooovrniza r {0,1}, i ye{0,1}, defini5e se njihovo ,,rastojanje,, broj koordinata u kojima se r i gr razlikuju, tj.
78
d(*,y)
kao
r:
(ar,a2t...,a,.),
y: (bt,b,,...,bn) + d(r,U):ilon_Ur1i:1 fi)110 i y: t010t je d,(r,y) i petoj koordinati. d@,y) :
.
Tako recimo za
se ova dva niza razlikuju u prvoj. etvrtoj Lako se proveravaju sledeia svojsbrra n
n:5 i nizove r:
:
S,
ier
(d.) d(x,z) < d(r,y) + d(y,z) .nizova r i y . Buduii dasu r eM i y.S, houlaziizlazRsK, takodeelementi skupa izmeriti;udaljcne. --r^^nog niza y od ulaznog niza r . {0,11:,, T1ry6".j" vazr sledeca teoremfr ovako definisana funkcija d na skupu s: rastojanje i govori se q Farnmingrryoj udaljencci {0,
(") d(r,y))o, (b) d(r,y):0
