ELTE BTK 2013 őszi félév Bevezetés a könyvtár- és információtudományba

Az információ mint közlemény

A kommunikációs modellPéldák az információmennyiség számítására

A Shannon-féle modellNéhány bekezdés a valószínűségről

A diszkrét modell

Az információ mértéke és a valószínűségShannon entrópikus formulája

További entrópiákKódolás

RedundanciaKitérés: A hőtani entrópia fogalma

Az információ mint közleményAmit ma információelmélet-nek nevezünk, az C. E. Shannon-nak 1948-ban a Bell Laboratórium folyóiratában “A hírközlés matematikai elmélete” címen megjelent közleményé-vel vette kezdetét.

Shannon már 1938-as szak-dolgozatában kimutatta, hogy a Boole-féle logikai formalizmus felhasználható az elektromos-áramkörök kapcsolási tulajdon-ságainak leírására, és ezzel lehetővé tette a digitális elekt-

Az információelmélet hatóköre ronikus áramkörök tervezését. http://coverfest.stanford.edu/IT.PNG

Norbert Wiener korábbi felvetései alapján dolgozta ki a diszkrét információ ún. valószínűségi, entropikus elméletét, a (zajos) csatornán keresztüli információátvitelre vonatkozó tételeit, valamint a kódoláselmélet alapjait.

Az információelméleti entrópiát máig is Shannon-Wiener féle entrópia-fogalomnak nevezik.

Munkájában alkalmazta R.V. L. Hartley-nek a szemantikától való elvonatkoztatásról kimondott elvét.

Szerinte: „A hírközlés szemantikai vonatkozásai műszaki szempontból teljesen közömbösek.” Ez teszi lehetővé, hogy az információ mennyiségi mértékére valamilyen objektív vonatkoztatási alapot használjunk.

Ugyanakkor hétköznapi értelemben az információhoz mindig valamilyen jelentéstartalmat rendelünk hozzá, azaz az informá-ciónak szemantikai tartalma van.

Rényi Alfréd írja, hogy az „információ” szót tulajdonképpen kétféle – konkrét és absztrakt, illetve kvalitatív és kvantitatív – értelemben használjuk. Információ alatt értjük egyrészt magát a konkrét információt (értesülést), másrészt ennek számszerű mértékét, vagyis a konkrét információban foglalt absztrakt információ-mennyiség mértékszámát bit-ekben kifejezve.

Célszerű csak a konkrét információt nevezni „információ”-nak, míg a konkrét információ számszerű információtartalmát „információmennyiség”-nek.

Warren Weaver hasonlata nagyon találó: „A hírközlés műszaki elmélete pontosan olyan, mint egy nagyon illedelmes, diszkrét postáskisasszony, aki a táviratunkat a postán felveszi. Azaz nem szentel figyelmet a jelentésnek…, azonban felkészültnek kell lennie, hogy minden, az asztalához érkező üzenetet kezelni tudjon.”

A kommunikációs modellA távközlés egész történetén végigvonul az a küzdelem, hogy

egy adott rendszeren keresztül minél gyorsabban és minél megbízhatóbban tudjuk átjuttatni a közleményt, az üzenetet.

Ez döntően műszaki kérdés. A két igény mellé helyezhetjük azt a

követelményt, hogy az üzenet csak ahhoz jusson el, akinek szántuk, és más számára titkos maradjon.

A múlt század húszas éveiben, a rádiózás, a kezdeti televíziós kísérle-tek és a nagy távolságú telefónia már

szükségessé tették az igen alapos elméleti vizsgálódást ezeken a területeken.

(http://www.123rf.com/photo_5049346_fine-specimen-of-a-real-antique-morse-code-telegraph-machine.html )

1924-ben Nyquist ill. Kopfmüller megállapították, hogy a táviró jelek adott sebességű átviteléhez meghatározott sávszélesség szükséges.

1928-ban Hartley ezt általánosabb formában is kifejezte: adott információmennyiség átviteléhez meghatározott sávszélesség x idő szorzat szükséges.

Hartley úgy határozta meg az információt mint jelek vagy szavak egymást követő kiválasztását egy adott listából (kizárva e jeleknek bármiféle jelentését).

A kommunikáció során fizikai jeleket vagy szimbólumokat közlünk. Kimutatta, hogy egy k elemű jelkészletből (ábécéből vagy ’kódkönyvből’) kiválasztott j jelből (szimbólumból) álló közlemény (üzenet) n=kj féle üzenetet tesz lehetővé, és hogy egy ilyen közlemény átvitelekor átadott információmennyiség (H) ésszerűen ennek logaritmusával adható meg:

H=logkj = jlogk .

A Shannon és Weaver által vizsgált hírközlési rendszer az adott megfelelő, de máig használható matematikai modell, amelynek elemeit az ábrán láthatjuk.

Az információforrás üzenetét, közleményét logikailag a kódoló, fizikailag az adó alakítja jellé (kódolja), amely a csatornán keresztül jut el a vevőhöz, miközben zaj keveredik hozzá. A vevő és a logikai dekódoló a jelet ismét üzenetté, közleménnyé alakítja és továbbítja a felhasználóhoz.

A modellt sokan kibővítik, amikor kettéválasztják a fizikai és logikai kódolást ill. dekódolást:

http://www.bokorportal.hu/bokke/3e/egyens/kommunikacio_modell.gif

Példaként egy nem technikai rendszert, az emberi beszédkommunikációt is megemlíthetjük, amelynek során a kódolás és dekódolás több lépésben megy végbe. (Az agyban lévő üzenetforrás jelei a hangképző szervekhez jutnak, ahol a jelkészletet a hangok ill. a fonémák adják. A beszédhang, avagy fón, a beszédfolyamat minimális egysége, az illető nyelv hangrend-szerében elfoglalt helyétől függetlenül. A fonéma azon beszéd-hangok összessége, amelyek ugyanazt a jelentést hordozzák.1 Az olyan beszédhangokat, amelyeket egy adott nyelvben egyazon fonémaként értelmezünk, egymás allofonjainak hívjuk. Wikipédia.)

A legtöbb esetben 20-50 elemből álló jelkészletből képződik az a térbe kisugárzott közlemény, amelyet viszont a hallórendszer vesz és alakít vissza az agyban érzékelhető jelsorozattá és a vett üzenetté.

1A nyelvtudomány különbséget tesz hang és fonéma között.A hang: beszédünk legkisebb, tovább már nem bontható eleme; egy adott szövegben hallható beszédhang, melynek önálló jelentése nincs.A fonéma: a nyelv legkisebb eleme; olyan jelelem, melynek a szavak jelentésének megkülönböztetése a legfőbb szerepe.http://tar.infotars.hu/ppl513/private/linknyelvtan_9.htm

http://www.termeszetvilaga.hu/tv2000/tv0006/hang.html https://engineering.purdue.edu/~ee649/notes/figures/ear.gif

Shannon közleményében a kommunikáció matematikai elméletéről ír, és ez az elmélet a valószínűségszámítás módszerein alapszik. Az információforrás a lehetséges üzenetek halmazából választ ki egy, a kívánt üzenetet.

A Hartley által is leírt jelkiválasztás egy adott listából itt valószínűségi esemény, azaz véletlenszerű. Információ csak akkor nyerhető, ha valamiféle bizonytalanság, kétség létezik, és ebből következik, hogy a közlemény kiválasztását tekintve különböző lehetőségek állnak fenn.

Ezek jelentésével Shannon matematikai leírása nem foglalkozik. Mondhatjuk azt, hogy a jelentés az információtudomány szempontjából is azt jelenti, hogy a forrás és a felhasználó megegyeztek, tehát azonosan értelmezik az üzenethalmaz egyes elemeit. A hírközlő rendszerekben mindig közleményt továbbítunk, amelynek van valamilyen információtartalma (mit akart elmondani az adó, és mit jelent az a vevő számára), és van információ-mennyisége. (Rényi)

Egy adott közleményt, akár emberi mondatokon, akár számítógépes jelsorozatokon keresztül más jeltípusokig bezárólag igen sokféleképpen lehet megfogalmazni. Az előbbiek szerint ez nevezzük kódolásnak.

Egy tetszőleges információ mennyiségét úgy mérjük meg, hogy átírjuk, azaz kódoljuk 0 – 1 jegyekből álló sorozattá, a lehető legrövidebb (legtömörebb) módon, akkor a jelsorozat kódszó hossza (bináris számjegyeinek száma) adja az információ mennyiségét.

Ebből következik: Az információ egysége egyetlenegy igennel vagy nemmel

megválaszolható kérdésre adott válaszban foglalt információ. Elnevezése 1 bit (BInary digiT2).

Minden (egyszerű) állítás igaz vagy hamis voltáról szóló megállapítás 1 bit információt tartalmaz.

2 A bit elnevezést John W. Tukey, adta.

Ez független a jelentéstől, viszont úgy érezhetjük, hogy az információ mértéke annál nagyobb, minél váratlanabb, minél kevésbé valószínű az üzenet, a közlemény, a hír.

Példa Rényi nyomán: Kisasszony, megkérem a kezét.Kisasszony, megkérem, a kezét mutassa meg.

Melyiknek nagyobb az információmennyisége?

(http://www.alompar.hu/eskuvoi-tortenetek/lanykeres-kulonos-modon/461/ )

Példák az információmennyiség számítására

Mielőtt összefoglalnánk az információelmélet néhány matematikai eredményét a valószínűségelmélet alapján, a könnyebb megértés végett induljunk el egy másik úton.

A korábban kiemelt meghatározások szerint:az információ egy közlemény kiválasztásában rejlő szabad

választásunk mértékét jelöli,illetve

az információ az előtte és utána lehetséges válaszok számai arányának függvénye.

A megértéshez példa lehet a barkochba játék elemi esete:

- Gondoltam egy egész számot, találd ki!A feladat úgy tűnik megoldhatatlan, mert elvileg végtelen szám

között kellene találgatni. Bizonytalanságom végtelen, csak esetlegesen találhatom ki a számot.

Reális a kérdés így: - Gondoltam egy egész számot 0-63 (n=64) között, találd ki. Hány célirányos, igennel vagy nemmel megválaszolható

kérdéssel lehet ezt kitalálni?A feladat m=6 jó kérdéssel megoldható. (Nagyobb-e a szám 31-

nél? stb. Mindig kizárjuk a felét.) Figyeljük meg: 2m = 64Ez a kérdések minimális száma. Ha rosszul kérdezünk, és így a

kapott válaszok átfedéseket is tartalmaznak, akkor a szükséges kérdések száma több is lehet.

Persze rossz kérdésekkel ugyan, de szerencsével jóval kevesebb kérdéssel is megkaphatjuk a helyes választ.

A kérdésekre adott IGEN-NEM válaszok tehát információhoz juttattak, csökkentik bizonytalanságunkat.

(A feladat persze átformálható egyenes közlésekre, tartalmilag a kérdés-felelet játék ugyanazt jelenti. Ha például a 37-es számra gondoltunk, akkor a kérdező végeredményül ugyanazon információmennyiséghez jut a jelzett jó kérdéseire kapott I-N-N-I-N-I válaszokkal mint a 100101 vagy a 37 egyszeri közléssel.)

0 1 2 3 4 5 6 7 8 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51 53 55 57 59 61 631 >36? Igen X

I N N I N I---- --- ---

1/2 >37? Nem x x

1/4 >35 Igen x x x x

1/8 >39? Nem x x x x x x x x

1/16 >47? Nem x x x x x x x x x x x x x x x x

1/32 >31? Igen x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x1/64 x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x

A bizonyosság (esély) változása a kérdésekre adott válaszok során

FinomításokMi van akkor, ha n nem 2 egész számú hatványa? Ekkor, attól függően, hogy melyik a gondolt érték a log2n-t

határoló egész számú kérdés szükségeltetik, és a pontos értékhez a több játék esetén számítható átlagérték fog közelíteni. (Itt lép be be a valószínűség-számítás.)

Mi történik akkor, ha rosszul kérdezek? Szélső eset, ha ismét felteszem az előző kérdést: ekkor nem új a

kapott információ, nem változik a bizonytalanságom, illetve az ismeretem.

Feltehetek részben átfedő kérdést is: ’Nagyobb-e 25-nél?’ ’Osztható-e héttel?’ stb.

A válasz nem felezi tovább a lehetőségek számát, tehát olyan információt is kaptam, amit már tudok, a kapott információ mennyisége kisebb 1 bitnél.

Mi a helyzet, ha a válasz nem igen-nem lehet, hanem pl. 3 elemű?

A kommunikáció során közleményeket (üzeneteket) kapunk. Nem szükséges a barkochba típusú kérdezz-felelek típusú

párbeszéd. Az üzenetek jelkészlete sem szükségszerűen két elemből (IGEN–NEM, 0–1) áll. Totónál a jelkészlet 1 – 2 – x.

Van 27 érmünk, ebből egy hamis. Hány mérés szükséges kétkarú mérleggel a hamis pénz megtalálásához?

Hartley összefüggése szerint kezdetben log227 információ hiányzik.Egy mérés log23 információmennyiséget adhat, ezért: x log23 ≥ log227= log233 = 3.log23

x≥ 3De három elég is, mert 3 lehetséges jel

esetén log327 = log333 = 3.log33 = 3.1 = 3.Ez akkor igaz, ha tudjuk azt, hogy a hamis

érme nehezebb vagy könnyebb.

Legyen a hamis érme könnyebb. A mérés menete: három csoportba osztjuk az érméket A (1-9), B (10-18) C(19-27), összehasonlítjuk A-t és B-t. Ha egyenlők, akkor a hamis a C-ben

van, ha nem, akkor abban, amelyik könnyebb; legyen C-ben. Ezt ismét három részre osztjuk és az előzőekhez

hasonlóan járunk el. A harmadik mérésre megtaláljuk a könnyebb érmét

Ha a súlyeltérés milyenségét nem tudjuk, akkor egy újabb mérés szükséges egy korábban már jónak minősített érmével kell összehasonlítást végeznünk. Ez azonban már csak kettő közötti választást jelent, így a kapott további információ mennyisége 1 bit.

A totómeccsek eredményeiről informáló közlemények is k=3 jelből álló jelkészletet használnak.

Az első meccs esetében a közlemény azonos a jelkészlettel 1 vagy x vagy 2. Az első meccs esetén a lehetőségek száma (szabad választásunk mértéke) n=3 (=31).

Két meccs esetén a lehetséges közlemények száma 3.3 = 9, azaz n = k2.

Általánosságban mondhatjuk, hogy a k nagyságú jelkészletet használó, j jelből álló közlemények száma: n = kj.

És egyetlen közlemény megadásával az így számítható információmennyiséghez jutunk.

Ez pedig az előzőek szerint H = logn = logkj =j.logk .A totó esetében j=14, tehát a teljes eredménylista megadásával:H = 14.log23 = 22,1895 bit.

Hogyan számolhatunk, ha sorrendbe állításról, pl. egy bajnokság végeredményéről kapunk információt?

Legyen n=8 csapat végső eredménye: A, B, C, D, E, F, G, H.A kérdés az, hogy hányféle sorrend lehetséges, mennyi a kezdeti

bizonytalanságunk?Az első helyre 8 választási lehetőségünk van. A másodikra hét,

és egyre eggyel kisebb. A kombinációk száma n= 8.7.6.5.4.3.2.1 = 8! (n!)

Így a sorrend megadásával (kitalálásával) log28! = SUM(i=1-8) log2i =~ 15,2991 bit információmennyiséghez

jutottunk.

A lottóeredmény információmennyiségét hasonlóan számíthatjuk.90-ből kell öt számot kiválasztani. A kombinációk száma: 90.89.88.87.86/1.2.3.4.5 ~~ 41 millió ~ 25-26 bit

Végül egy összetettebb feladat:Adva egy teniszverseny 8-as táblája és eredményei.

A________A____

B_____ ____A___

C________C____

D__________A

E________E____

F_________E___

G________G____

H_____

A teljes táblázat, azaz hierarchikus gráf megismerése mennyi információhoz juttat?

Amikor meghatározzák a kezdeti pozíciót, azaz sorrendet, a lehetőségek száma 8! Amint az előzőekben láttuk, ez ~ 15,2991 bit információmennyiséget jelent. Ehhez adódik a következő hét mérkőzés 1 – 1 bitnyi információmennyisége abban az esetben, ha a táblát pontosan ismerni akarjuk. Ha csak a párosításokat és az egyes fordulók eredményeit tudjuk meg, akkor a lehetőségek száma és ezzel a kapott információmennyiség is kevesebb, mert a párok pozíciói felcserélhetők, és ezzel a lehetőségek száma minden szinten feleződik.

Már az eddigiekből is tudjuk, hogy a közlemény valamilyen jelkészlet jeleiből épül fel (pl. kettes

vagy tízes számrendszer szerinti számokból, a magyar abc jeleiből),

a vevő csak akkor értheti meg az információtartalmat, ha megegyeztek a jelek és közlemények jelentésében, és kontextusában,

ugyanazon információtartalmat kevesebb vagy több jelből álló közlemény továbbíthatja, de ennek van egy alsó korlátja: egy adott információtartalmat nem lehet egy meghatározott értéknél kevesebb jelbe tömöríteni,

a vevőnél nem arányosan növekszik az információmennyiség, ha az egymást követő közlemények tartalmában átfedések vannak.

A Shannon-féle modell

Néhány bekezdés a valószínűségrőlA mindennapi életben gyakran találkozunk véletlen eseményekkel, akár tudatosan állítjuk elő, mint egy kísérlet vagy mérés során, akár csak tapasztaljuk azokat az élet minden területén, pl. a közleke-désben.

Kockázó férfiak egy Pompei-i freskón.

Ezt nevezhetjük általánosan kísérlet-nek. Ilyenkor bizonytalanok vagyunk a bekövetkező események

konkrét megtörténtét illetően. Van ugyanakkor intuitív elképzelésünk a lehetséges eseményekről, és ha az esemény sokszor bekövetkezik, akkor tapasztalatokat gyűjthetünk az egyes események előfordulási gyakoriságáról is.

Az ilyen történések matematikai leírásához a következő fogalmakkal dolgozhatunk:

Egy kísérlet lehetséges megvalósulásainak összessége, az eseménytér, ez az Ώ halmaz.

A kísérlet egy megvalósulása, ώ vagy ξ, amely az Ώ halmaz eleme.

Az esemény, A, B, C... stb. az Ώ halmaz egy részhalmaza. Azt az eseményt, hogy A és B közül

legalább az egyik bekövetkezik A + B -vel, hogy mindkettő bekövetkezik AB-vel, ha A és B kizárják egymást AB=0-val, ha A nem következik be Ã-sal és ha A következménye B, azt A ∩ B -vel jelöljük.

DefinicióHa tehát adott egy Ώ eseménytér, akkor ennek részhalmazain

értelmezett P(A) függvényt valószínűségnek nevezzük, ha erre teljesülnek a következő axiómák:

0 ≤ P(A) ≤ 1, P(Ώ) = 1, ha A1, A2,... egymást páronként kizáró eseményekből álló

véges vagy végtelen sorozat, azaz AiAk=0 i≠k esetében, akkor P(Σ Ak) = Σ P(Ak).

Ezt - az axiómáknak eleget tévő - P(A) függvényt nevezzük valószínűség-eloszlásnak, röviden valószínűségnek.

A fenti modellt kibontva beszélhetünk szimbólumkészlethez rendelhető modellről.

Információs forrásunk közöljön például magyar szavakat a magyar ábécé jelkészletével.

Tapasztalatból tudjuk, hogy a különböző betűk előfordulási gyakorisága különböző.

Sok szöveget vizsgálva kapunk egy viszonylagos gyakorisági sort, amelyek kis hibával már valószínűségeknek is tekinthetők.

A magyar nyelv relatív betűgyakoriságait és a betűk hordozta információmennyiségeket az alábbi táblázat mutatja be (Andor, 1980; idézi Fülöp):

A magyar nyelv betűgyakoriságai és a betűk információtartalma 10.000 betűs újságszöveg alapján (kiemelés saját)

Kis ábécé szóköz nélkül

Kis ábécé szóközzel

Ékezetes szóköz nélkül

Információbitben

A 11,55 10,07 9,35 2. 3,43Á - - 3,72 4,77B 2,38 2,12 1,72 5,87C 0,63 0,54 0,60 7,40D 1,79 1,42 1,71 5,90E 14,26 11,86 9,71 1. 3,37É - - 3,87 4,71F 0,94 0,83 0,88 6,87G 3,22 2,87 3,55 4,83H 1,68 1,37 1,23 6,37I 5,48 4,84 4,39 4,53J 1,05 0,90 1,21 6,39

K 5,84 5,26 5,35 4,24L 6,23 5,44 6,30 5. 4,00M 3,65 3,29 3,92 4,69N 5,47 4,69 5,47 4,21O 6,87 6,04 4,47 4,50Ö - - 2,14 5,57P 1,09 0,88 1,04 6,61Q 0,00 0,00 0,00 ?R 3,76 3,23 4,22 4,58S 5,89 5,10 6,57 4. 3,94T 7,35 6,12 7,87 3. 3,68U 2,47 2,24 1,29 6,30Ü - - 0,93 6,77V 1,66 1,42 1,81 5,81W 0,00 0,00 0,00 ?

X 0,02 0,01 0,01 13,33Y 1,92 1,64 2,21 5,52Z 4,79 4,14 4,46 4,50

Szóköz - 13,70 - -

Fülöp hozzáteszi, hogy „ezek az értékek csak abban az esetben lennének érvényesek, ha az egyes jelek között nem lenne kapcsolat, azaz a betűk (jelek) függetlenek lennének egymástól.

Mivel a természetes nyelvekben nagyon is szoros összefüggés van a betűk között, pontosabb értékek elérése érdekében nyelvész-statisztikusok kiszámították betűkettősök, sőt betűhármasok információtartalmát is.”

Betűk százalékos előfordulási gyakorisága az angol nyelvben: 3

E 12.51 T 9.25 A 8.04 O 7.60 I 7.26 N 7.09 S 6.54 R 6.12 H 5.49 L 4.14 D 3.99 C 3.06 U 2.71 M 2.53 F 2.30 P 2.00 G 1.96 W 1.92 Y 1.73 B 1.54 V 0.99 K 0.67 X 0.19 J 0.16 Q 0.11 Z 0.09

3 http://bsnyelvtanfolyam.blog.hu/2012/06/27/erdekessegek_es_mindenfele_az_angol_abc-rol

A diszkrét modell Kapjunk hírt egy véges, diszkrét E (E1; E2; E3; … Ek;… En;) n elemű, véges eseményhalmaz eseményeinek bekövetkeztéről

egy n elemű, véges X (x1; x2; x3; … xk;… xn;) szimbólumkészlet segítségével, amelynek minden egyes xk eleméhez meghatároz-ható egy-egy pk előfordulási valószínűség: p1; p2; p3; … pk;… pn; úgy, hogy

ami egyben azt is jelenti, hogy az érkezett szimbólum biztosan az adott szimbólumkészlet elemei közül került ki (biztos esemény).

A modellben két extrém eset is történhet: A pk = 1 valószínűségű esemény elvileg megengedett, de akkor –

a fenti összefüggés miatt – e biztos eseményen kívül nem is fordulhat elő más esemény a rendszerben, és ezt tudva nincs értelme a közlésnek.

Elméletben a pk=0 , tehát a nulla valószínűségű eseményeket is kizárhatjuk, mert azok sohasem valósulnak meg.

Ilyen tulajdonságok mellett a valószínűségi modellt teljes eseményrendszernek nevezzük.

(Más kérdés, hogy barkochba példánkban éppen sorozatosan kizárunk, nulla valószínűségűvé tettünk egyes eseményeket, hogy végül egy biztos eseményünk legyen.)

Esemény- halmaz, E

Szimbólum készlet, X

Valószínű-ségek, P

E1 x1

p1

E2 x2

p2

... ... ...Ek

xk pk

... ... ...En

xn pn

Az eseményhalmaz, a szimbó-lumkészlet halmaza és a valószí-nűségek között relációk állnak fenn, amelyek szélesebb értelem-ben leképezések. E és X között ez a leképezés kölcsönösen

egyértelmű, de mivel több eseményhez is tartozhat ugyanolyan értékű valószínűség, ezért a E és P illetve X és P között egyértelmű, de nem kölcsönös a kapcsolat.

Az információ mértéke és a valószínűségEgy közlemény – jelen esetben egy-egy szimbólum – által

nyújtott információ mennyisége függ az adott szimbólum bekövetkeztének, kiválasztásának valószínűségétől,

Ik = f(pk) ,ahol Ik a k-adik szimbólum által hordozott egyedi információ

mértéke, a k-adik (Ek) esemény bekövetkezéséről szóló közlemény információmennyisége.

Hogyan lehet ezt a függvényt meghatározni?Az előbbiekben már volt szó Hartley képletéről, amelynek Rényi

által adott megfogalmazása szerint: „Ha egy adott N elemű H halmaz egy ismeretlen elemét megadjuk, amelyről eleve semmi mást nem tudunk, mint hogy a H halmazhoz tartozik, az így kapott információ mennyisége

I= log2N bit lesz.”

Hogyan viszonyul az n (az idézetben N) számú esemény a pk

valószínűséghez? Ha a H halmaz elemeiről nem tudunk mást, csak azt, hogy a H

halmazhoz tartoznak akkor fel kell tételeznünk, hogy egyenlő valószínűséggel következik be mindegyik esemény, azaz

p1 = p2 = … = pk = … = pn = 1/n . Így I= log2(1/pn) = − log2pn .

A logaritmusfüggvény folytonos és monoton függ-vénye az argumentumának. Így az információ meny-nyisége is folytonos függvénye az esemény valószínűségének.

Nulla valószínűségű esemény azért nem lehetsé-ges a diszkrét forráshoz rendelt valószínűségi modell-ben, mert a zérus logaritmusa nem értelmezhető.

A biztos esemény valószínűsége 1, és 1 akármilyen alapú logaritmusa 0, ezért a biztos esemény információmennyisége nulla.

Log függvények. (10, e, 2 alapon)

Elvben bármilyen alapszámot választhatunk, ettől azonban változik az információmennyiség egysége és számértéke.

Mivel ugyanannak a számnak a különböző alapú logaritmusai csak egy-egy szorzófaktorban különböznek, azért a fenti egységek között az alábbi váltószámok érvényesek:

Alapszám egység bit nat hartley2 1 bit = 1 0,693 0,301e= 2,718... 1 nat = 1,443 1 0,43410 1 hartley = 3,322 2,302 1

(Pl. 1 bit = 0,301 hartley és így tovább.)

Az esetek túlnyomó többségében a bit egységet használjuk, amely kézenfekvő választás, mert egységnyinek tekintjük azt a közleményt, amely két, egyenlően valószínű esemény közti választásról (alternatíváról), azaz két, 50-50%-os valószínűségű esemény egyikének bekövetkezéséről értesít bennünket.

Feltehető az a kérdés is, miért nem n-nel arányos az információ-mennyiség, miért a logaritmusával?

Az egyszerű válasz: az additivitás szükséglete. Elvárjuk, hogy két független információ-mennyiség összege az egyes információ-mennyiségek összege legyen:

I1+2 = I1 + I2

Ezt a feltételt tudjuk a logaritmusfüggvénnyel kielégíteni.(Ha pl. két kockával dobunk és az egyes kockák eredménye

jelenti a közleményt akkor az összetett események száma n1+2 = 6*6 = 36, de az egyes, független események számának kétszerese 6+6=12. Ugyanakkor log62 = 2.log6 = log6 + log6.)

Shannon entrópikus formulájaA Hartley-képlet arra az esetre vonatkozik, amikor a közlemény,

(a kitalálandó n elem) egyformán valószínű. Ha ez nem igaz, akkor Rényi nyomán a következőket mondhatjuk.

Legyen ξ a H{x1, x2, …, xn} halmaz egy ismeretlen eleme. ξ valószínűségi változó, amelynek xi-k a lehetséges értékei pi

valószínűséggel, és a pi-k összege = 1. (Hartley-nél pi = 1/n)Ha most megfigyeljük ξ valószínűségi változót, és megtudjuk,

hogy melyik xi értéket vette fel, akkor H(ξ) információt kapunk.Általános esetben csak az átlagértéket adhatjuk meg. Barchoba

nyelven fogalmazva: ξ-t kell kitalálni, ahol a partner pi

valószínűséggel gondol xi-re, akkor elég sokszor játszva, a legcélszerűbb kérdezéssel, átlagosan, 1-hez tetszőlegesen közeli valószínűséggel, tetszőlegesen kevéssel több, mint

H (ξ )=−∑i=1

n

p i. logpi=∑i=1

n

(1/ni ) . logni

kérdésre van szükség. Ha pi = 1/n, akkor

H(ξ) = -Σ pi.log(pi) = -Σ(1/ni).log(1/ni) = Σ(1/ni).log(ni)

Hasonlóan gondolkodhatunk, amikor a hírközlés gyakorlati eseteiben egyedi közleményeket továbbítunk folyamatosan, egymás után.

Kézenfekvő, hogy az egyedi közlemények egyedi információmennyisége helyett a folyamatra és az információforrásra inkább jellemző átlagos információtartalmat számítjuk ki. Tehát képezzük az egyes közlemények előfordulási valószínűségével súlyozott egyedi információmennyiségek összegét.

Shannon elméletének középpontjában ez a H(ξ), az információ-elméleti entrópia fogalma áll.

Egy diszkrét információelméleti forrást az egyedi információ-mennyiségek átlagával, az un. forrásentrópiával tudjuk jellemezni. Ez egyben a forrásra vonatkozó bizonytalanságunk mértéke.

Egysége: bit/szimbólum, bit/jel, bit/betű stb. attól függően, hogy szimbólumkészletre, jelkészletre, vagy a forrás ábécéjére vonat-koztatjuk.

Megjegyzendő, hogy az információelmélet tudósai úgy jutottak el az információmennyiség fogalmához, hogy egy axiómarendszerben meghatározták, milyen tulajdonságai legyenek az információ-mennyiséget leíró függvénynek, majd kerestek ilyen függvényeket.

Most utólag adjuk meg az entrópiafüggvény tulajdonságait.

Az entrópiafüggvénynek a következő négy feltételt kell kielégítenie, négy tulajdonsága kell legyen:

Az entrópia a diszkrét eseményrendszer független egyedi eseményeihez rendelhető valószínűségek folytonos függvénye. A folytonosság azt is jelenti, hogy ha bármelyik valószínűség csak egy egészen kicsit változik, akkor az entrópia is csak egészen kicsivel változik meg.

Az entrópiafüggvénynek akkor van maximuma, ha valamennyi valószínűség azonos. Ekkor legnagyobb a bizonytalanságunk, ekkor a legkevésbé megjósolható a forrás viselkedése. Ezért mondhatjuk azt, hogy az entrópia a bizonytalanság mértéke, éppen azt mutatja meg, hogy mennyire nem tudjuk, hogy mi lesz a kérdéses esemény kimenetele és annak a bekövetkezéséről szóló közlemény éppen ezt az ismerethiányt szünteti meg, éppen annyi információt közöl, amennyi ennek az ismerethiánynak a mennyisége. Az információt illetően ezért jogos az entrópia negatív értékét megnevező negentrópia használata.

Az entrópiafüggvény a valószínűségek felcserélésére nézve invariáns, azaz szimmetrikus. Az entrópia számításakor nem magukkal az eseményekkel, hanem csak valószínűségeikkel számolunk és ezek sorrendje közömbös.

Az entrópia additív, azaz az egyedi események részinfor-mációinak összege egyenlő az összetett esemény teljes információjával. Ez a tulajdonság azt is jelenti, hogy az esemény-halmaz egyes eseményeinek csoportosításával a bizonytalanság nem változik.

Ezeket a feltételeket többféle függvény is kielégítheti, de közülük legegyszerűbb és legjobban kezelhető a logaritmus függvény. Ezért lett a Shannon-Wiener-féle információelméleti entrópia a valószínűségek logaritmikus függvénye.

Az előzőekben a diszkrét forrásra bevezetett információelméleti jellemzők kiterjeszthetők a teljes, Shannon által megfogalmazott, egy információforrásból, mint adóból és egy információfogadóból, mint vevőből álló rendszerre is.

Az információt közlő és az azt fogadó (adó-vevő, tároló-visszaolvasó) rendszert egy kétdimenziós valószínűségi modellel vizsgálhatjuk.

Ez a modell tehát nem foglalkozik sem a fizikai megvalósulással, sem az idővel. Ekkor a vevő oldalon is értelmezhetünk egy H(η) entrópiát. Zajmentes csatorna esetén a közlemény forrásának entrópiája és a vevőoldali entrópia megegyezik:

H(ξ) = H(η) .

Zajos csatorna esetén fontosak a – valószínűségi megfontolásokból adódó – un. feltételes entrópiák. Pl., ha ismerjük az üzenetforrás eloszlását, milyen lesz a vevőoldali entrópia: H(η|ξ)

A kódolásA kódolás szó használata a távírás és a titkosítás gyakorlatából

származik, de fel kell ismernünk, hogy itt egy általánosabb gondolatról van szó. A kódolás nem csak egy műszaki folyamat vagy lépés a kommunikációs láncban, hanem a közlemények reprezentációját, ábrázolását jelenti.

Vizsgáljuk meg ebből a szempontból kiinduló barchobás példánkat. Ha kettes számrendszerben (0 és 1 jelkészlettel) kódoljuk a 0 – 63 közötti egész számainkat, akkor ilyen számsorozatokat kapunk:

0 000000 32 100000

1 000001 ... -

2 000010 37 100101

3 000011 ... -

4 000100 62 111110

... - 63 111111

A Shannon összefüggés leírható a kódolás nyelvén is. Eszerint ― Rényi gondolatmenetét követve ―, ha ξ értékére független megfigyeléseket végzünk, és ezeket 0 – 1 jelekből álló sorozatokkal kódoljuk, akkor elérhető, hogy

átlagosan, 1-hez tetszőlegesen közeli valószínűséggel, H(ξ) -nál tetszőlegesen kevéssel több 0-ás vagy 1-es jel kerüljön

felhasználásra.

A „tetszőlegesen kevéssel több” kifejezés azt is jelenti, hogy a H(ξ) bit nem préselhető bele H(ξ)-nál rövidebb 0 vagy 1 értékű jelsorozatba.

Egy hírforrás jellemzésekor különbséget kell tenni a maximális és tényleges entrópia között. Az előbbi a forrást jellemzi, amikor a közlemények egyenlő valószínűséggel jelennek meg. A gyakorlat-ban azonban a közlemények megjelenésének eloszlása nem egyenletes, és emiatt a valóságos entrópia kisebb a maximálisnál.

A kettő különbsége az un. belső entrópia, az az információ, amely – a közlemények valószínűségi eloszlása miatt – már eleve birtokunkban van. Hbelső = Hmax- H

A redundancia A közlemény a minimális hossznál hosszabb is lehet, és akkor

arról beszélünk, hogy redundáns vagy terjengős, mert az egyes jelek nem hordozzák az elérhető maximális információt.

Ezt a terjengősséget az R = 1 – (H/Hmax) képlettel definiáljuk.Miután H < Hmax, R értéke 0 és 1 közé eső szám, és azt fejezi ki,

hogy a szöveg (a kódhossz) hányad része lenne nélkülözhető optimális kódolás mellett. Más szavakkal, Fülöp nyomán: „Az üzenet, ha redundáns, kevesebb információt tartalmaz, mint amennyit a jelek száma alapján tartalmazhatna. A jelenség egyik oka, . . . hogy a jelek előfordulási valószínűsége nem egyenlő. Akkor is csökken az üzenet információtartalma, ha közöttük valamilyen összefüggés van. Ha egy jel bekövetkezése függ az előző jeltől vagy jelektől, . . . akkor a jel bekövetkezésére vonatkozólag már rendelkezünk bizonyos mennyiségű információval, megjelenése kevésbé váratlan, a rendszer redundanciája nagyobb lesz.”

Shannon megvizsgálta és azt találta, hogy az írott angol nyelv redundanciája kb. 0,5, tehát ideális kódolás mellett az írott angol szöveget felére lehetne rövidíteni. Más nyelvek redundanciája általában kisebb, de eléri a 30-40 %-ot.

Az alábbi mondat például megérthető a hiányzó betűk ellenére is:A KU*YA U*AT A KA*AVÁ* HA*A*.Már problémásabb, ha több betű hiányzik:A KU**A U**T A KA*A*Á* *A*A*.Még több betű hiánya esetén már kétséges a felismerés.Megjegyzendő, hogy egy számítógép már az elsőnél is zavarba

jönne, mert az utolsó szónál a lehetséges HALAD és HARAP között kell dönteni. Az emberi értelem a kontextus alapján könnyen dönt.

A redundancia (terjengősség) hasznos az információközlés során fellépő hibák észlelésére és javítására, de kifejezheti a közlemény tömörítésével növekvő átviteli sebességet vagy csökkenthető költséget is.

Így alkalmat adhat hatékonyság és pontosság közötti egyensúly kialakításához.

Kitérés: A hőtani entrópia fogalmaShannon az entrópia fogalmát a hőtanból vette át, a matematikai

hasonlóság alapján. Ez azután sokféle inkább filozófiai megfontolásra adott alkalmat. (Neumann) Röviden foglaljuk össze az ezzel kapcsolatos gondolatokat.

A hőtan kutatói felismerték, hogy egy test energiája a p nyomáson – kis nyomáskülönbség kiegyenlítődése során – végbemenő ΔV térfogatváltozás hatására közelítőleg – p . ΔV értékkel változik. Ezt követően rájöttek arra is, hogy hasonló tétel igaz minden kiegyenlítődési folyamat során: hasonló közelítő jellegű összefüggés érvényes kémiai anyagokra vonatkozó, elektrosztatikus vagy termikus kiegyenlítődés esetében. Fel kellett tételezni a termikus hatások esetében is egy, akkor még nem ismert mennyiséget – amelyet entrópiának neveztek el és S-sel jelöltek, és amelyre felírható volt az előzőhöz hasonló T . ΔS mennyiség, mint a kölcsönhatás során megváltozó energia értéke.

Ebben a felismerésben meghatározó szerepe volt Rudolf Clausiusnak.

Az entrópia hőelméleti értelmezése is megfogalmazható a fenti analógia alapján. A ΔA = – p . ΔV mennyiséget a p nyomáson ΔV térfogatváltozással járó elemi térfogatmunkának tekintjük. (Ezt szemléletesen is beláthatjuk.) Szerencsére találunk a termikus kölcsönhatáshoz is a munkához hasonló mennyiséget a hőmennyiséget (Q), és ily módon .felírhatjuk a ΔQ = T . ΔS összefüggést, és megállapíthatjuk, hogy az entrópia a testeknek olyan tulajdonsága, amelynek változása hőhatás létrejöttét, állandó volta pedig a hőhatás hiányát jelenti. Ezek az eredmények azonban még nem mutatják a hasonlóságot az információelméleti entrópiával. Ez a lehetőség akkor mutatkozott meg, amikor a hőjelenségeket molekuláris szinten, statisztikai módszerekkel vizsgálták. Egy zárt rendszerben létező igen nagy számú molekula különböző energiával mozog. Amikor (gondolatban) minden molekulát nyomon követünk, akkor meghatározhatjuk a

mikroállapotokat. Ez természetesen nem lehetséges, és a rendszer szempontjából a makroállapot számít, az, hogy egy-egy energiaállapotban hány részecske van, milyen a molekulák energiaeloszlása. A statisztikai számítások segítségével becsülhető az egyes makroállapotok valószínűsége, és Ludwig Boltzmann, a hőelmélet kiváló tudósa rámutatott, hogy az S entrópia az állapotvalószínűség (w) monoton növekvő függvénye, a két mennyiség párhuzamosan változik. Termikusan gyengén összekapcsolt rendszerek esetében az entrópiának additívnek kell lennie, a gyenge kapcsolat pedig azt jelenti, hogy a rendszereket függetlennek tekinthetjük, tehát az állapotvalószínűségek az egyesített rendszerben összeszorzódnak.

Ekkor a korábbiakból ismerten az entrópia és az állapotvalószínűség függvény-kapcsolatának a logaritmusfüggvény tesz eleget, S = k log w. A k értéke 1,37.10-16 erg/oC

Az információ szerepe más modellekben

Az információ mint a rendezettség mértéke Az információ mint struktúrajellemzőAz információ mint a bonyolultság mértéke A szemantikus információEgy bővített (pszichológiai-döntési) modellEgy információtudományi modell