7_resumen Segundo Capitulo de Abramson

7/25/2019 7_resumen Segundo Capitulo de Abramson

1/15

20

Captulo 2 de Abramson

Clase 3

2. LA INFORMACIN Y SUS FUENTES2.1.Definicin de informacin

Definicin:sea E un suceso que puede presentarse con probabilidad . Cuando tiene lugar se dice que hemos recibido

.Al elegir la base se elige la unidad (

,

,

para

2,

y

10

respectivamente)

Se observa que s /, ser , o sea que un bit es la cantidad deinformacin obtenida al especificar una de dos posibles alternativas igualmente

probables.

Ej.: imagen de televisin en gris de pixeles con igualmenteprobables de brillantez y sin dependencia entre pxeles consecutivos.

Ej.:Informacin contenida en

emitidas por un locutor de radio de un

vocabulario de .2.2.Fuente de informacin de memoria nula2.2.1. Definicin:

Se define un mecanismo generador de informacin (fuente) como el de la ilustracin 1

Ilustracin 1: fuente de informacin

Si la fuente emite una secuencia de smbolos pertenecientes a un alfabeto finito y fijo {, , , } y, adems, los smbolos son estadsticamente independientes, la fuente esde memoria nula y se puede describir mediante el alfabeto fuente y la probabilidad deque los smbolos se presenten , ,,().La informacin media suministrada por esta fuente est dada por la entropa:

=

=


2/15

21

En donde nuevamente las unidades por smbolo de la entropa dependern de la base

escogida para el logaritmo.

Ejemplo: sea la fuente sin memoria , , con / y /

, entonces

12 2 14 4 14 4 32 /Puede interpretarse como la informacin necesaria para que la presencia de seacierta.

La entropa puede interpretarse como el valor medio de la informacin por smbolosuministrada por la fuente o el valor medio de la incertidumbre de un observador antes de

conocer la salida de la fuente.

2.2.2.

Propiedades de la entropa

Las propiedades de la entropa se pueden obtener con base en el comportamiento de las

dos curvas que se muestran en la ilustracin 2:

Ilustracin 2: Grficos de

y

Como se observa en esta figura, la recta se mantiene por encima de la curva y por tanto puede escribirse


3/15

22

Multiplicando por 1se tiene que

Si , , , , e , , , , son dos conjuntos de probabilidades, se demuestra(ver Pg. 30)que

= Y, adems,

=

=

Ejemplo:

Si se tienen los siguientes conjuntos de probabilidad

, , , , , , , , La informacin de los smbolos individuales ser:

1.5850,2.5850,2.5850,3.5850,2.0000

2.5850,2.5850,2.5850,2.5850,1.5850La entropa de la fuente est dada por log 1 2.1887

= La entropa de la fuente

est dada por

log 1 2.2516= Las entropas cruzadas:

log 1 2.335

= log 1 2.39

=


4/15

23

Para analizar de qu modo depende la entropa de la probabilidad de los diferentes

smbolos de la fuente sea una fuente

isS y sus probabilidades qisP i ,,2,1,

Se demuestra (ver Pg. 31)que

0)log( SHq

O sea que la entropa de la fuente siempre es menor o igual que )log(q . La igualdad se

cumple siq

Pi1

Luego el valor mximo de la entropa es )log(q y se alcanza cuando todos los smbolos

son equiprobables. (Ejemplo: representacin fija con log ).Un ejemplo particularmente importante de fuente de informacin de memoria nulacorresponde a una fuente binaria de memoria nula. En tal fuente, el alfabeto se reduce a0 , 1. La probabilidad de un 0 esy la de un 1, . La entropa de tal fuente

/ (2-12)La funcin en (2.12) aparece con frecuencia en los problemas de teora de la informacin.

Por esta razn se acostumbra a representarla por un smbolo especial. Por definicin:

/

(2-13)

Que llamaremos funcin entropa. Hay que sealar la diferencia existente entre (2-12) y

(2-13). La funcin determina la entropa de una fuente particular S, mientras quees una funcin de la variable definida en el lintervalo , .El significado delsmbolo depende, en definitiva, de la variable. Otro punto importante es que

Y as por definicin

En la ilustracin 3 se observa la variacin de la curva en funcin de , en elintervalo 0 , 1de la variable independiente. En este caso se muestra que una fuente binaria no suministra ninguna informacin en

el caso de la informacin cierta y que la informacin media mxima es 1 bit. Adems,

aunque los binits de salida pueden aportar informacin mayor a 1 bit, en promedio la

informacin de la fuente siempre ser menor o igual a 1 bit por binit.


5/15

24

Debe observarse tambin que la cantidad mxima de informacin crecelentamente al aumentar , de tal manera que para duplicar la informacin promediomxima se debe tener una fuente con 2q smbolos.

Ilustracin 3: funcin entropa

2.2.3. Extensiones de una fuente de memoria nula

Se trabaja con grupos de smbolos, lo que equivale a tener una fuente con ms smbolos.Si se tiene una fuente de memoria nula con un alfabeto {, , , }se pueden agruparlas salidas en paquetes de smbolos, lo que permite nq secuenciasde salida distintas.Sea

una fuente de memoria nula, con un alfabeto

{, , , }. Sea

iP la probabilidad

correspondiente ai

s . La extensin de orden de , nS ,es una fuente de memoria nulade nq smbolos, nq

,,,21 . El smbolo

i corresponde a una secuencia de

smbolos de losq

s , con una probabilidad i

P que es precisamente la probabilidad de la

secuencia correspondiente. Es decir, sii

representa la secuencia inii sss ,,, 21 ,entonces

iniii PPPP ***

21

En este caso se demuestra (ver pginas 35-36) que

SHnSH n

*


6/15

25

Ejemplo: Consideremos la extensin de segundo orden de la fuente que tiene un alfabeto

321 ,, sssS con probabilidades 4/1,4/1,2/1SP . Dicha fuente tendr losnueve smbolos mostrados en la tabla 1:

Tabla 1: Fuente extendida

Para esta fuente extendida la informacin promedio ser:

14 l o g 4 4 18 l o g 8 4 116 log16 3 /

2.3.Fuentes de informacin de Markov (fuente con memoria)2.3.1. Definicin:

En este caso la presencia de un determinado smboloi

s depende de un nmero finito de smbolos precedentes. Tal fuente se define por su alfabeto

y el conjunto de

probabilidades condicionales

mpqjqissssP pjmjji ,,2,1,,,2,1;,,2,1para,,,/ 21

En una fuente de Markov de orden la probabilidad de un smbolo cualquiera vienedeterminada por lossmbolos precedentes. Puesto que existen smbolos distintos,existirn estados posibles, en donde estadosignifica los smbolos precedentes.Un estado cambia cuando la fuente emite nuevos smbolos. Una forma de representar este

comportamiento es el diagrama de estados.

En este diagrama los estados se representan cada uno por un punto (o por un crculo),indicndose mediante flechas las transiciones entre estados.Ejemplo:consideremos una fuente de Markov de segundo orden con un alfabeto binario0,1. Supongamos que las probabilidades condicionales son

(0 00 ) (1 11 ) 0.8

(1 00 ) (0 11 ) 0.2

(0 01 ) (0 10 ) (1 01 ) (1 10 ) 0.5


7/15

26

El diagrama de estados para esta fuente se muestra en la ilustracin 4:

Ilustracin 4: Diagrama de estados de una fuente de Markov de segundo orden

Fuente ergdica: es aquella que observada durante un tiempo suficientemente largo, emite

con toda seguridad una secuencia tpica de smbolos.

Las fuentes no ergdicas son una rareza y por tanto si se escoge un estado inicial de una

fuente de Markov y se deja transcurrir un gran nmero de transiciones de estado, se sabe

que existir una probabilidad finita de que se presente cada uno de ellos. Adems en una

fuente ergdica los estados que realmente aparecen en una secuencia larga lo harn (con

probabilidad 1) con las mismas probabilidades.

Ejemplo: Consideremos una fuente de Markov de segundo orden con un alfabeto binario

0,1. Supongamos que las probabilidades condicionales son:(0 01 ) (0 10 ) (1 01 ) (1 10 ) 0.5(0 00 ) (1 11 ) 1.0(1 00 ) (0 11 ) 0.0

Su correspondiente diagrama de estados se muestra en la ilustracin 5:

Ilustracin 5: Diagrama de estados de una fuente de Markov de segundo orden no ergdica.


8/15

27

Una propiedad adicional de las fuentes ergdicas es que la distribucin de probabilidades

de un conjunto de estados que se presentan despus de producirse un gran nmero de

transiciones (o, anlogamente, la distribucin de estados en una secuencia de salida tpica)

no depende de la distribucin inicial con que son elegidos los diferentes estados.

Existe una distribucin de probabilidades nica para un conjunto de estados de una fuentede Markov ergdica y los estados en cualquier secuencia suficientemente larga se

presentarn (con probabilidad 1) de acuerdo con esa distribucin. Esta distribucin se

llama distribucin estacionaria y puede calcularse a partir de las probabilidadescondicionales de los smbolosya que no depende de la distribucin inicial con que losestados fueron escogidos.

Por ejemplo en la fuente de Markov del ejemplo 2.3 Pg. 37se tiene que

10*10/000*00/000 PPPPP

10*5.200 PP

10*10/100*00/101 PPPPP

1001 PP

01*01/111*11/111 PPPPP

0011 PP

Adems

111100100 PPPP

1005.2/005.2/0000 PPPP

Finalmente:

2/1410P01

5/1411P00

P

P

Cuando se definen las probabilidades condicionales de los smbolos

jmjji ssssP ,,,/ 21 de un proceso ergdico de Markov de orden , implcitamentedefinimos tambin las mq probabilidades de estado jmjj sssP ,,, 21 .

Combinando estas dos probabilidades se obtiene la probabilidad del suceso simultneo,fuente en el estado

jmjj sss ,,, 21 y is presente.Esta probabilidad es precisamente

jmjjjmjjiijmjj sssPssssPssssP ,,,*,,,/,,,, 212121 .


9/15

28

En la tabla 2 se observan las probabilidades de transicin, las probabilidades de losestados y las probabilidades del suceso simultneo.

,

,

,

(

,

)

(

,

, )

000 0,8 5/14 4/14001 0,2 5/14 1/14

010 0,5 2/14 1/14

011 0,5 2/14 1/14

100 0,5 2/14 1/14

101 0,5 2/14 1/14

110 0,2 5/14 1/14

111 0,8 5/14 4/14

Tabla 2: Tabla con las probabilidades de la fuente del ejemplo

La informacin media suministrada por una fuente ergdica de Markov de orden sepuede calcular de la siguiente manera:Si nos encontramos en el estado

jmjj sss ,,, 21 , la probabilidad condicional de recibir

el smboloi

s es jmjji ssssP ,,,/ 21 . La informacin obtenida si se presenta is es

jmjji

jmjjissssP

ssssI,,,/

1log,,,/

21

21

La informacin media por smbolo cuando nos encontramos en el estado jmjj sss ,,, 21

est dada por

S

jmjjijmjjijmjj ssssIssssPsssSH ,,,/*,,,/,,,/ 212121

La cantidad media de informacin o entropa de la fuente de Markov de orden , secalcula obteniendo el valor medio de esta cantidad, extendida a los mq estados posibles.

m

S

jmjjjmjj sssSHsssPSH ,,,/*,,, 2121

Al escribir esta ecuacin se ha supuesto que el estado jmjj sss ,,, 21 es equivalente a

un smbolo dem

S

m

S S jmjji

jmjjijmjjssssP

ssssPsssPSH,,,/

1log*,,,/*,,,

21

2121

1

21

2121,,,/

1log*,,,/*,,,

m

S jmjji

jmjjijmjjssssP

ssssPsssPSH


10/15

29

1 21

21,,,/

1log*,,,,

mS jmjji

ijmjjssssP

ssssPSH

En dondem

S es una extensin de orden

de una fuente de Markov.

Ejemplo:Consideremos la fuente de Markov ergdica previa. Las probabilidades ms

significativas estn resumidas en la tabla 3:

, , , ( , ) (, , )000 0,8 5/14 4/14

001 0,2 5/14 1/14

010 0,5 2/14 1/14

011 0,5 2/14 1/14

100 0,5 2/14 1/14

101 0,5 2/14 1/14110 0,2 5/14 1/14

111 0,8 5/14 4/14

Tabla 3: distribucin de probabilidades para la fuente de Markov de segundo orden del ejemplo.

La entropa se calcula de la siguiente manera:

( , , ) , 2 4 14 10.8 2 114 10.2 4 114 10.50.81 2.3.2. Fuente afn

Se define una fuente afn as: Suponiendo que el alfabeto de una fuente de Markov deorden es { , , , } y que, adems, , , , son las probabilidades deprimer orden de los smbolos de la fuente, la fuente afn de , llamada ,es la fuente deinformacin de memoria nula del alfabeto idntico al de , y de smbolos de

probabilidades , , , .Por la simetra que tiene la fuente de Markov de orden 2 de la ilustracin 4los 1y los0son igualmente probables y por tanto la fuente afn ser aquella fuente de memorianula con smbolos equiprobables y .Se demuestra (ver pp. 42-43) que la entropa de la fuente afn

nunca es menor que la

entropa de la fuente , o sea


11/15

30

Lo cual significa que como las dos fuentes y tienen las mismas probabilidades de

primer orden y difieren en el hecho de las probabilidades condicionales de impuestas asus secuencias de salida, entonces es esta restriccin la que hace decrecer la informacin

promedia que fluye de la fuente.

La igualdad se cumple cuando es estadsticamente independiente de o sea que seauna fuente de memoria nula. Esto se comprueba en el ejemplo visto previamente en donde

la fuente de Markov tiene una entropa de . y su fuente afn tiene una entropade .

2.3.3. Extensiones de una fuente de Markov

Se define una fuente conformada por smbolos construidos a partir de

smbolos de una

fuente de Markov de orden

, as:

Sea una fuente de informacin de Markov de orden , de alfabeto {, , , } yprobabilidades condicionales ( , , , ).La extensin de orden de , ,es una fuente de Markov de orden , con smbolos, {, , , }. Cada corresponde a una secuencia de de los smbolos y las probabilidades condicionalesde son ( , , , ). Estas probabilidades, as como , se definen acontinuacin.

Si

representa un smbolo de la extensin de orden

, o sea una secuencia de

smbolos de la fuente original, entonces la secuencia , , , es equivalente aalguna secuencia de , digamos , , , en donde Luego es el menor nmero entero igual o superior a . Las probabilidadescondicionales de los smbolos de, por lo tanto, pueden escribirse en la forma

( , , , )Por ejemplo, la tercera extensin de una fuente de Markov de quinto orden con

smbolos

sera una fuente de Markov de segundo orden con smbolos. De aqu se puede concluirque si se toman al menos extensiones de una fuente de Markov de orden puedesiempre obtenerse una fuente de Markov de primer orden.

Para obtener la probabilidad condicional de la extensin en funcin de lasprobabilidades condicionales de los smbolos de la fuente original , sea

, , , Por lo tanto la probabilidad condicional


12/15

31

( , , , ) ( , , , , , , )( , , , ) ( , , , ) ( , + , ) En el ltimo termino del producto se ha supuesto que > . Si este ltimotrmino sera ( , , ).Se demuestra en laspginas 45 y 46 que

Se demuestra adems que la entropa de una fuente afn de la extensin de orden de unafuente de Markov de primer orden, cumple con

, , , [ / /] . . SH

n

SH n

n

_

lim

Lo cual significa que para valores grandes de

, las limitaciones de Markov sobre los

smbolos de son cada vez menos importantes.De este resultado puede concluirse que la fuente afn de la extensin de orden de nocoincide con la extensin de orden de la fuente afn de , o sea

Ejemplo: Resumiremos algunos de los resultados obtenidos en los ejemplos anteriores en

el caso de la fuente de la ilustracin 4:

0.81 1.0 1.62 Puede calcularse( ) ( , )1/ (, ) 1.86

Un clculo ms largo y complicado permite deducir los valores siguientes:

( ) 2.66 ( ) 3.47

Hay que destacar como la secuencia


13/15

32

1 ( )2 0.93 ( )3 0.89 ( )4 0.87Se aproxima al valor de .Ver ejemplo 2-6 pp. 47 y 48

2.4.Estructura del lenguaje

En esta seccin se estudia la analoga que hay entre el modelo de probabilidades

previamente visto y el proceso fsico de generacin de informacin. En particular se

estudia el modelo de generacin de mensajes compuestos de palabras de la lengua inglesa.

Se asume un alfabeto de 26 letras ms el espacio.

Si se asume una fuente con memoria nula con smbolos equiprobables se tiene una

entropa de 4.75 /.En la ilustracin 6se muestra una secuencia tpica de 76 para este caso.ZEWRTZYNSADXESYJRQY_WGECIJJ_OBVKRBQPOZBYMBUAWVLBTQCNIKFMP_KMVUUGBSAXHLHSIE_M

Ilustracin 6: Aproximacin cero al ingls

Si se usan las probabilidades reales de los smbolos que se muestran en la tabla 4se

puede obtener una aproximacin ms exacta al idioma ingls. En este caso la entropa esde 4.03 /.

Smbolo Probabilidad Smbolo Probabilidad

Espacio 0.1859 N 0.0574A 0.0642 O 0.0632B 0.0127 P 0.0152C 0.0218 Q 0.0008D 0.0317 R 0.0484E

0.1031 S

0.0514

F

0.0208 T

0.0796

G 0.0152 U 0.0228H 0.0467 V 0.0083I 0.0575 W 0.0175J 0.0008 X 0.0013K 0.0049 Y 0.0164L 0.0321| Z 0.0005M 0.0198

Tabla 4: Probabilidades de los smbolos en ingls (Reza, 1961)

La ilustracin 7muestra una secuencia tpica para esta fuente.


14/15

33

AL_NGAE__ITF_NNR_ASAEV_OIE_BAINTHA_HYROO_POER_SETRYGAIETRWCO__EHDUARU_EU_C_FT_NSREM_DIY_EESE__F_O_SRIS_R_UNNASHOR

Ilustracin 7: primera aproximacin al ingls

En este caso se tiene una mejor aproximacin dado que las palabras son en su mayora de

longitud apropiada, y la proporcin entre consonantes y vocales es ms real.

Si se utiliza una fuente de Markov de primer orden con probabilidades condicionales bien

escogidas (Pratt 1942) se tiene que

, .

Utilizando un mtodo sugerido por Shannon en donde se toman las probabilidades de un

texto que se desprenden directamente de l.

El proceso es el siguiente:

Se abre el texto y se selecciona una letra al azar

Se saltan varias lneas buscando la prxima ocurrencia de la letra y se mira cual

letra le sigue.

Se repite de nuevo la operacin y se mira la ocurrencia de la letra que sigui en el

caso anterior y cual le sigue y as sucesivamente.

Con este procedimiento se construye la aproximacin al ingls de la ilustracin 8.

URTESHETHING_AD_E_AT_FOULE_ITHALIORT_WACT_D_STE_MINTSAN_OLINS_TWID_OULY_TE_THIGHE_CO_YS_TH_HR_UPAVIDE_PAD_CTAVED

Ilustracin 8: segunda aproximacin al ingls

En este caso se observa que el texto generado tiene un sabor a ingls.

Con este procedimiento y construyendo una fuente de Markov de segundo orden se logra

un texto como el de la ilustracin 9en donde Shannon estim que la entropa era delorden de 3.1 /.IANKS_CAN_OU_ANG_RLER_THATTED_OF_TO_SHOR_OF_TO_HAVEMEM_A_I_MAND_AND_BUT_WHISSITABLY_THERVEREER_EIGHTS_TAKILLIS_TA

Ilustracin 9: tercera aproximacin al ingls

Utilizando una fuente con memoria nula que emite palabras del ingls con probabilidadessimilares a las del ingls Shannon obtuvo la aproximacin de la ilustracin 10


15/15

34

REPRESENTING AND SPEEDILY IS AN GOOD APT OR COME CANDIFFERENT NATURAL HERE HE THE A IN CAME THE TO OF TO EXPERTGRAY COME TO FURNISHES THE LINE MESSAGE HAD BE THESE

Ilustracin 10: cuarta aproximacin al ingls

Utilizando una fuente de Markov de primer orden que genere palabras inglesas Shannon

gener la secuencia de la ilustracin 11:

THE HEAD AND IN FRONTAL ATTACK ON AN ENGLISH WRITER THATTHE CHARACTER OF THIS POINT IS THEREFORE ANOTHER METHODFOR THE LETTERS THAT THE TIME OF WHO EVER TOLD THE PROBLEMFOR AN UNEXPECTED

Ilustracin 11: quinta aproximacin al ingls

7_resumen Segundo Capitulo de Abramson

Documents