This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
ProbabilidadesEntropías
Shannon: SCT
Probabilidades, entropías y SCTCTI: Lección 1, Primer teorema de Shannon (SCT)
Ramiro Moreno Chiral
Dpt. Matemàtica (UdL)
6 de febrero 2010
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 1 / 31
ProbabilidadesEntropías
Shannon: SCT
Índice
1 Teoría de la Probabilidad
2 Información y entropía asociadas a variables aleatorias
3 Primer teorema de Shannon: SCT
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 2 / 31
ProbabilidadesEntropías
Shannon: SCT
NotacionesDefinicionesTeoremas
Índice
1 Teoría de la ProbabilidadNotacionesDefinicionesTeoremas
2 Información y entropía asociadas a variables aleatorias
3 Primer teorema de Shannon: SCT
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 3 / 31
ProbabilidadesEntropías
Shannon: SCT
NotacionesDefinicionesTeoremas
Probabilidad y variables aleatorias
Variable aleatoria (v.a.) X , sobre X = {x1, x2, . . . , xr}.Suceso: X = xi , se realiza el experimento asociado a lav.a. X y el resultado es xi .Probabilidades asociadas a X .
PX (X = xi) = pi = p(x),
tales que
r∑
i=1pi =
∑x∈X
p(x) = 1, con
0 ≤ pi ,p(x) ≤ 1, xi , x ∈ X .
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 4 / 31
ProbabilidadesEntropías
Shannon: SCT
NotacionesDefinicionesTeoremas
Probabilidad y variables aleatorias
Variable aleatoria (v.a.) X , sobre X = {x1, x2, . . . , xr}.
Suceso: X = xi , se realiza el experimento asociado a lav.a. X y el resultado es xi .Probabilidades asociadas a X .
PX (X = xi) = pi = p(x),
tales que
r∑
i=1pi =
∑x∈X
p(x) = 1, con
0 ≤ pi ,p(x) ≤ 1, xi , x ∈ X .
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 4 / 31
ProbabilidadesEntropías
Shannon: SCT
NotacionesDefinicionesTeoremas
Probabilidad y variables aleatorias
Variable aleatoria (v.a.) X , sobre X = {x1, x2, . . . , xr}.Suceso: X = xi , se realiza el experimento asociado a lav.a. X y el resultado es xi .
Probabilidades asociadas a X .
PX (X = xi) = pi = p(x),
tales que
r∑
i=1pi =
∑x∈X
p(x) = 1, con
0 ≤ pi ,p(x) ≤ 1, xi , x ∈ X .
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 4 / 31
ProbabilidadesEntropías
Shannon: SCT
NotacionesDefinicionesTeoremas
Probabilidad y variables aleatorias
Variable aleatoria (v.a.) X , sobre X = {x1, x2, . . . , xr}.Suceso: X = xi , se realiza el experimento asociado a lav.a. X y el resultado es xi .Probabilidades asociadas a X .
PX (X = xi) = pi = p(x),
tales que
r∑
i=1pi =
∑x∈X
p(x) = 1, con
0 ≤ pi ,p(x) ≤ 1, xi , x ∈ X .
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 4 / 31
ProbabilidadesEntropías
Shannon: SCT
NotacionesDefinicionesTeoremas
Media. Distribuciones conjuntas y marginales
Esperanza matemática o media,
EX X =r∑
i=1xiPX (X = xi) =
r∑i=1
xipi =∑
x∈Xxp(x);
EX f (X ) =∑
x∈Xf (x)p(x).
Distribuciones conjuntas y marginales,
Conjunta: PXY (X = xi ,Y = yj) = pij = p(x , y),
Marginales:
PX (X = x) =
∑y∈Y
p(x , y) = p(x),
PX (Y = y) =∑
x∈Xp(x , y) = p(y).
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 5 / 31
ProbabilidadesEntropías
Shannon: SCT
NotacionesDefinicionesTeoremas
Media. Distribuciones conjuntas y marginales
Esperanza matemática o media,
EX X =r∑
i=1xiPX (X = xi) =
r∑i=1
xipi =∑
x∈Xxp(x);
EX f (X ) =∑
x∈Xf (x)p(x).
Distribuciones conjuntas y marginales,
Conjunta: PXY (X = xi ,Y = yj) = pij = p(x , y),
Marginales:
PX (X = x) =
∑y∈Y
p(x , y) = p(x),
PX (Y = y) =∑
x∈Xp(x , y) = p(y).
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 5 / 31
ProbabilidadesEntropías
Shannon: SCT
NotacionesDefinicionesTeoremas
Media. Distribuciones conjuntas y marginales
Esperanza matemática o media,
EX X =r∑
i=1xiPX (X = xi) =
r∑i=1
xipi =∑
x∈Xxp(x);
EX f (X ) =∑
x∈Xf (x)p(x).
Distribuciones conjuntas y marginales,
Conjunta: PXY (X = xi ,Y = yj) = pij = p(x , y),
Marginales:
PX (X = x) =
∑y∈Y
p(x , y) = p(x),
PX (Y = y) =∑
x∈Xp(x , y) = p(y).
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 5 / 31
ProbabilidadesEntropías
Shannon: SCT
NotacionesDefinicionesTeoremas
Distribuciones condicionales
De la v.a. Y respecto a la X ,
PY |X (Y = y |X = x) =p(x , y)
p(x)= p(y |x),
Y de la X respecto a la Y ,
PX |Y (X = x |Y = y) =p(x , y)
p(y)= p(x |y).
X e Y son v.a.’s independientes si p(x |y) = p(x) paracualquier par (x , y) ∈ X × Y. Entonces, también esp(y |x) = p(y).
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 6 / 31
ProbabilidadesEntropías
Shannon: SCT
NotacionesDefinicionesTeoremas
Distribuciones condicionales
De la v.a. Y respecto a la X ,
PY |X (Y = y |X = x) =p(x , y)
p(x)= p(y |x),
Y de la X respecto a la Y ,
PX |Y (X = x |Y = y) =p(x , y)
p(y)= p(x |y).
X e Y son v.a.’s independientes si p(x |y) = p(x) paracualquier par (x , y) ∈ X × Y. Entonces, también esp(y |x) = p(y).
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 6 / 31
ProbabilidadesEntropías
Shannon: SCT
NotacionesDefinicionesTeoremas
Distribuciones condicionales
De la v.a. Y respecto a la X ,
PY |X (Y = y |X = x) =p(x , y)
p(x)= p(y |x),
Y de la X respecto a la Y ,
PX |Y (X = x |Y = y) =p(x , y)
p(y)= p(x |y).
X e Y son v.a.’s independientes si p(x |y) = p(x) paracualquier par (x , y) ∈ X × Y. Entonces, también esp(y |x) = p(y).
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 6 / 31
ProbabilidadesEntropías
Shannon: SCT
NotacionesDefinicionesTeoremas
Distribuciones condicionales
De la v.a. Y respecto a la X ,
PY |X (Y = y |X = x) =p(x , y)
p(x)= p(y |x),
Y de la X respecto a la Y ,
PX |Y (X = x |Y = y) =p(x , y)
p(y)= p(x |y).
X e Y son v.a.’s independientes si p(x |y) = p(x) paracualquier par (x , y) ∈ X × Y. Entonces, también esp(y |x) = p(y).
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 6 / 31
ProbabilidadesEntropías
Shannon: SCT
NotacionesDefinicionesTeoremas
Del producto y de la suma
Teorema (Regla del producto)
p(x , y) = p(y |x)p(x) = p(x |y)p(y).
Si X e Y son independientes es p(x , y) = p(x)p(y).
Teorema (Regla de la suma)
p(x) =∑
y∈Yp(x , y) =
∑y∈Y
p(x |y)p(y),
p(y) =∑
x∈Xp(x , y) =
∑x∈X
p(y |x)p(x).
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 7 / 31
ProbabilidadesEntropías
Shannon: SCT
NotacionesDefinicionesTeoremas
Del producto y de la suma
Teorema (Regla del producto)
p(x , y) = p(y |x)p(x) = p(x |y)p(y).
Si X e Y son independientes es p(x , y) = p(x)p(y).
Teorema (Regla de la suma)
p(x) =∑
y∈Yp(x , y) =
∑y∈Y
p(x |y)p(y),
p(y) =∑
x∈Xp(x , y) =
∑x∈X
p(y |x)p(x).
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 7 / 31
ProbabilidadesEntropías
Shannon: SCT
NotacionesDefinicionesTeoremas
Del producto y de la suma
Teorema (Regla del producto)
p(x , y) = p(y |x)p(x) = p(x |y)p(y).
Si X e Y son independientes es p(x , y) = p(x)p(y).
Teorema (Regla de la suma)
p(x) =∑
y∈Yp(x , y) =
∑y∈Y
p(x |y)p(y),
p(y) =∑
x∈Xp(x , y) =
∑x∈X
p(y |x)p(x).
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 7 / 31
ProbabilidadesEntropías
Shannon: SCT
NotacionesDefinicionesTeoremas
Teorema de Bayes
Teorema (De las probabilidades a "posteriori")Con las mismas notaciones,
p(y |x) =p(x |y)p(y)
p(x)=
p(x |y)p(y)∑Y
p(x , y)=
p(x |y)p(y)∑Y
p(x |y)p(y).
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 8 / 31
ProbabilidadesEntropías
Shannon: SCT
NotacionesDefinicionesTeoremas
Teorema de Bayes
Teorema (De las probabilidades a "posteriori")Con las mismas notaciones,
p(y |x) =p(x |y)p(y)
p(x)=
p(x |y)p(y)∑Y
p(x , y)=
p(x |y)p(y)∑Y
p(x |y)p(y).
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 8 / 31
ProbabilidadesEntropías
Shannon: SCT
DefinicionesResultadosInformación mutua
Índice
1 Teoría de la Probabilidad
2 Información y entropía asociadas a variables aleatoriasDefinicionesResultadosEntropía relativa e Información mutua
3 Primer teorema de Shannon: SCT
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 9 / 31
ProbabilidadesEntropías
Shannon: SCT
DefinicionesResultadosInformación mutua
Información
Información asociada a una v.a. X :
I(X = x) = log1
p(x)= − log p(x).
A priori: incertidumbre, desconocimiento.A posteriori: información, conocimiento.
Propiedades:1 Decreciente con la probabilidad.2 Aditiva: I(X = x ,Y = y) = log 1
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 10 / 31
ProbabilidadesEntropías
Shannon: SCT
DefinicionesResultadosInformación mutua
Entropía de una v.a.
Entropía asociada a una v.a. X : Es el promedio de lainformación asociada a X .
H(X ) = EX I(X = x) = −EX log p(x) = −∑x∈X
p(x) log p(x),
donde si p(x) = 0 se define p(x) log p(x) = 0. Con otranotación,
H(X ) = H(p1, . . . ,pn).
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 11 / 31
ProbabilidadesEntropías
Shannon: SCT
DefinicionesResultadosInformación mutua
Entropía de una v.a.
Entropía asociada a una v.a. X :
Es el promedio de lainformación asociada a X .
H(X ) = EX I(X = x) = −EX log p(x) = −∑x∈X
p(x) log p(x),
donde si p(x) = 0 se define p(x) log p(x) = 0. Con otranotación,
H(X ) = H(p1, . . . ,pn).
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 11 / 31
ProbabilidadesEntropías
Shannon: SCT
DefinicionesResultadosInformación mutua
Entropía de una v.a.
Entropía asociada a una v.a. X : Es el promedio de lainformación asociada a X .
H(X ) = EX I(X = x) = −EX log p(x) = −∑x∈X
p(x) log p(x),
donde si p(x) = 0 se define p(x) log p(x) = 0. Con otranotación,
H(X ) = H(p1, . . . ,pn).
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 11 / 31
ProbabilidadesEntropías
Shannon: SCT
DefinicionesResultadosInformación mutua
Entropía de una v.a.
Entropía asociada a una v.a. X : Es el promedio de lainformación asociada a X .
H(X ) = EX I(X = x) = −EX log p(x) = −∑x∈X
p(x) log p(x),
donde si p(x) = 0 se define p(x) log p(x) = 0. Con otranotación,
H(X ) = H(p1, . . . ,pn).
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 11 / 31
ProbabilidadesEntropías
Shannon: SCT
DefinicionesResultadosInformación mutua
Entropía de una v.a.
Entropía asociada a una v.a. X : Es el promedio de lainformación asociada a X .
H(X ) = EX I(X = x) = −EX log p(x) = −∑x∈X
p(x) log p(x),
donde si p(x) = 0 se define p(x) log p(x) = 0
. Con otranotación,
H(X ) = H(p1, . . . ,pn).
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 11 / 31
ProbabilidadesEntropías
Shannon: SCT
DefinicionesResultadosInformación mutua
Entropía de una v.a.
Entropía asociada a una v.a. X : Es el promedio de lainformación asociada a X .
H(X ) = EX I(X = x) = −EX log p(x) = −∑x∈X
p(x) log p(x),
donde si p(x) = 0 se define p(x) log p(x) = 0. Con otranotación,
H(X ) = H(p1, . . . ,pn).
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 11 / 31
ProbabilidadesEntropías
Shannon: SCT
DefinicionesResultadosInformación mutua
Entropía de una v.a.
Entropía asociada a una v.a. X : Es el promedio de lainformación asociada a X .
H(X ) = EX I(X = x) = −EX log p(x) = −∑x∈X
p(x) log p(x),
donde si p(x) = 0 se define p(x) log p(x) = 0. Con otranotación,
H(X ) = H(p1, . . . ,pn).
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 11 / 31
ProbabilidadesEntropías
Shannon: SCT
DefinicionesResultadosInformación mutua
Entropías conjunta y condicionadas
Entropía conjunta de dos v.a.’s X e Y ,
H(X ,Y ) = EXY log1
p(x , y)= −
∑x∈X
∑y∈Y
p(x , y) log p(x , y).
Entropía condicionada de la v.a X cuando Y = y ,
H(X |Y = y) = EX |Y=y log 1P(X |Y=y)
= −∑
x∈Xp(x |y) log p(x |y).
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 12 / 31
ProbabilidadesEntropías
Shannon: SCT
DefinicionesResultadosInformación mutua
Entropías conjunta y condicionadas
Entropía conjunta de dos v.a.’s X e Y ,
H(X ,Y ) = EXY log1
p(x , y)= −
∑x∈X
∑y∈Y
p(x , y) log p(x , y).
Entropía condicionada de la v.a X cuando Y = y ,
H(X |Y = y) = EX |Y=y log 1P(X |Y=y)
= −∑
x∈Xp(x |y) log p(x |y).
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 12 / 31
ProbabilidadesEntropías
Shannon: SCT
DefinicionesResultadosInformación mutua
Entropías conjunta y condicionadas
Entropía conjunta de dos v.a.’s X e Y ,
H(X ,Y ) = EXY log1
p(x , y)= −
∑x∈X
∑y∈Y
p(x , y) log p(x , y).
Entropía condicionada de la v.a X cuando Y = y ,
H(X |Y = y) = EX |Y=y log 1P(X |Y=y)
= −∑
x∈Xp(x |y) log p(x |y).
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 12 / 31
ProbabilidadesEntropías
Shannon: SCT
DefinicionesResultadosInformación mutua
Entropía condicionada, H(X |Y )
Entropía condicionada de la v.a X respecto a la v.a Y
H(X |Y ) = EY H(X |Y = y) =∑
y∈Yp(y)H(X |Y = y)
=∑
y∈Yp(y)
(−∑
x∈Xp(x |y) log p(x |y)
)= −
∑x∈X
∑y∈Y
p(x , y) log p(x |y)
= −EXY log p(x |y)
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 13 / 31
ProbabilidadesEntropías
Shannon: SCT
DefinicionesResultadosInformación mutua
Entropía condicionada, H(X |Y )
Entropía condicionada de la v.a X respecto a la v.a Y
H(X |Y ) = EY H(X |Y = y) =∑
y∈Yp(y)H(X |Y = y)
=∑
y∈Yp(y)
(−∑
x∈Xp(x |y) log p(x |y)
)= −
∑x∈X
∑y∈Y
p(x , y) log p(x |y)
= −EXY log p(x |y)
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 13 / 31
ProbabilidadesEntropías
Shannon: SCT
DefinicionesResultadosInformación mutua
Entropía condicionada, H(X |Y )
Entropía condicionada de la v.a X respecto a la v.a Y
H(X |Y ) = EY H(X |Y = y) =∑
y∈Yp(y)H(X |Y = y)
=∑
y∈Yp(y)
(−∑
x∈Xp(x |y) log p(x |y)
)= −
∑x∈X
∑y∈Y
p(x , y) log p(x |y)
= −EXY log p(x |y)
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 13 / 31
ProbabilidadesEntropías
Shannon: SCT
DefinicionesResultadosInformación mutua
Propiedades de la entropía
No–negatividad: H(X ) ≥ 0, siendo H(X ) = 0 sii p(x) = 1,para algún x ∈ X .Cambio de base del logaritmo: Hb(X ) = logb a Ha(X ).El condicionamiento reduce la entropía: H(X |Y ) ≤ H(X ),siendo H(X |Y ) = H(X ) sii X e Y son independientes.Cota superior: H(X ) ≤ log |X |, llegando a la igualdad si Xes una v.a. uniforme.Regla de la cadena:H(X ,Y ) = H(X ) + H(Y |X ) = H(Y ) + H(X |Y ).
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 14 / 31
ProbabilidadesEntropías
Shannon: SCT
DefinicionesResultadosInformación mutua
Propiedades de la entropía
No–negatividad: H(X ) ≥ 0, siendo H(X ) = 0 sii p(x) = 1,para algún x ∈ X .
Cambio de base del logaritmo: Hb(X ) = logb a Ha(X ).El condicionamiento reduce la entropía: H(X |Y ) ≤ H(X ),siendo H(X |Y ) = H(X ) sii X e Y son independientes.Cota superior: H(X ) ≤ log |X |, llegando a la igualdad si Xes una v.a. uniforme.Regla de la cadena:H(X ,Y ) = H(X ) + H(Y |X ) = H(Y ) + H(X |Y ).
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 14 / 31
ProbabilidadesEntropías
Shannon: SCT
DefinicionesResultadosInformación mutua
Propiedades de la entropía
No–negatividad: H(X ) ≥ 0, siendo H(X ) = 0 sii p(x) = 1,para algún x ∈ X .Cambio de base del logaritmo: Hb(X ) = logb a Ha(X ).
El condicionamiento reduce la entropía: H(X |Y ) ≤ H(X ),siendo H(X |Y ) = H(X ) sii X e Y son independientes.Cota superior: H(X ) ≤ log |X |, llegando a la igualdad si Xes una v.a. uniforme.Regla de la cadena:H(X ,Y ) = H(X ) + H(Y |X ) = H(Y ) + H(X |Y ).
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 14 / 31
ProbabilidadesEntropías
Shannon: SCT
DefinicionesResultadosInformación mutua
Propiedades de la entropía
No–negatividad: H(X ) ≥ 0, siendo H(X ) = 0 sii p(x) = 1,para algún x ∈ X .Cambio de base del logaritmo: Hb(X ) = logb a Ha(X ).El condicionamiento reduce la entropía: H(X |Y ) ≤ H(X ),siendo H(X |Y ) = H(X ) sii X e Y son independientes.
Cota superior: H(X ) ≤ log |X |, llegando a la igualdad si Xes una v.a. uniforme.Regla de la cadena:H(X ,Y ) = H(X ) + H(Y |X ) = H(Y ) + H(X |Y ).
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 14 / 31
ProbabilidadesEntropías
Shannon: SCT
DefinicionesResultadosInformación mutua
Propiedades de la entropía
No–negatividad: H(X ) ≥ 0, siendo H(X ) = 0 sii p(x) = 1,para algún x ∈ X .Cambio de base del logaritmo: Hb(X ) = logb a Ha(X ).El condicionamiento reduce la entropía: H(X |Y ) ≤ H(X ),siendo H(X |Y ) = H(X ) sii X e Y son independientes.Cota superior: H(X ) ≤ log |X |, llegando a la igualdad si Xes una v.a. uniforme.
Regla de la cadena:H(X ,Y ) = H(X ) + H(Y |X ) = H(Y ) + H(X |Y ).
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 14 / 31
ProbabilidadesEntropías
Shannon: SCT
DefinicionesResultadosInformación mutua
Propiedades de la entropía
No–negatividad: H(X ) ≥ 0, siendo H(X ) = 0 sii p(x) = 1,para algún x ∈ X .Cambio de base del logaritmo: Hb(X ) = logb a Ha(X ).El condicionamiento reduce la entropía: H(X |Y ) ≤ H(X ),siendo H(X |Y ) = H(X ) sii X e Y son independientes.Cota superior: H(X ) ≤ log |X |, llegando a la igualdad si Xes una v.a. uniforme.Regla de la cadena:H(X ,Y ) = H(X ) + H(Y |X ) = H(Y ) + H(X |Y ).
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 14 / 31
ProbabilidadesEntropías
Shannon: SCT
DefinicionesResultadosInformación mutua
Definiciones
Entropía relativa o distancia de Kullback–Leibler,
D(p‖q) = Ep logp(X )
q(X )=∑x∈X
p(x) logp(x)
q(x).
Información mutua,
I(X ; Y ) = D (p(x , y)‖p(x)p(y))
= EXY logp(x , y)
p(x)p(y)
=∑x∈X
∑y∈Y
p(x , y) logp(x , y)
p(x)p(y)
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 15 / 31
ProbabilidadesEntropías
Shannon: SCT
DefinicionesResultadosInformación mutua
Definiciones
Entropía relativa o distancia de Kullback–Leibler,
D(p‖q) = Ep logp(X )
q(X )=∑x∈X
p(x) logp(x)
q(x).
Información mutua,
I(X ; Y ) = D (p(x , y)‖p(x)p(y))
= EXY logp(x , y)
p(x)p(y)
=∑x∈X
∑y∈Y
p(x , y) logp(x , y)
p(x)p(y)
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 15 / 31
ProbabilidadesEntropías
Shannon: SCT
DefinicionesResultadosInformación mutua
Definiciones
Entropía relativa o distancia de Kullback–Leibler,
D(p‖q) = Ep logp(X )
q(X )=∑x∈X
p(x) logp(x)
q(x).
Información mutua,
I(X ; Y ) = D (p(x , y)‖p(x)p(y))
= EXY logp(x , y)
p(x)p(y)
=∑x∈X
∑y∈Y
p(x , y) logp(x , y)
p(x)p(y)
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 15 / 31
ProbabilidadesEntropías
Shannon: SCT
DefinicionesResultadosInformación mutua
Propiedades
Simetría:I(X ; Y ) = H(X )− H(X |Y ) = H(Y )− H(Y |X ) = I(Y ; X ).Relación con las entropía conjunta:I(X ; Y ) = H(X ) + H(Y )− H(X ,Y ).No–negatividad o Lema de Gibbs: D(p‖q) ≥ 0, llegando ala igualdad sii p(x) = q(x), ∀x .No–negatividad de la información mutua:I(X ; Y ) = D(p(x , y)‖p(x)p(y)) ≥ 0, siendo nula siip(x , y) = p(x)p(y), i.e., cuando X e Y son independientes.
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 16 / 31
Relación con las entropía conjunta:I(X ; Y ) = H(X ) + H(Y )− H(X ,Y ).No–negatividad o Lema de Gibbs: D(p‖q) ≥ 0, llegando ala igualdad sii p(x) = q(x), ∀x .No–negatividad de la información mutua:I(X ; Y ) = D(p(x , y)‖p(x)p(y)) ≥ 0, siendo nula siip(x , y) = p(x)p(y), i.e., cuando X e Y son independientes.
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 16 / 31
ProbabilidadesEntropías
Shannon: SCT
DefinicionesResultadosInformación mutua
Propiedades
Simetría:I(X ; Y ) = H(X )− H(X |Y ) = H(Y )− H(Y |X ) = I(Y ; X ).Relación con las entropía conjunta:I(X ; Y ) = H(X ) + H(Y )− H(X ,Y ).
No–negatividad o Lema de Gibbs: D(p‖q) ≥ 0, llegando ala igualdad sii p(x) = q(x), ∀x .No–negatividad de la información mutua:I(X ; Y ) = D(p(x , y)‖p(x)p(y)) ≥ 0, siendo nula siip(x , y) = p(x)p(y), i.e., cuando X e Y son independientes.
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 16 / 31
ProbabilidadesEntropías
Shannon: SCT
DefinicionesResultadosInformación mutua
Propiedades
Simetría:I(X ; Y ) = H(X )− H(X |Y ) = H(Y )− H(Y |X ) = I(Y ; X ).Relación con las entropía conjunta:I(X ; Y ) = H(X ) + H(Y )− H(X ,Y ).No–negatividad o Lema de Gibbs: D(p‖q) ≥ 0, llegando ala igualdad sii p(x) = q(x), ∀x .
No–negatividad de la información mutua:I(X ; Y ) = D(p(x , y)‖p(x)p(y)) ≥ 0, siendo nula siip(x , y) = p(x)p(y), i.e., cuando X e Y son independientes.
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 16 / 31
ProbabilidadesEntropías
Shannon: SCT
DefinicionesResultadosInformación mutua
Propiedades
Simetría:I(X ; Y ) = H(X )− H(X |Y ) = H(Y )− H(Y |X ) = I(Y ; X ).Relación con las entropía conjunta:I(X ; Y ) = H(X ) + H(Y )− H(X ,Y ).No–negatividad o Lema de Gibbs: D(p‖q) ≥ 0, llegando ala igualdad sii p(x) = q(x), ∀x .No–negatividad de la información mutua:I(X ; Y ) = D(p(x , y)‖p(x)p(y)) ≥ 0, siendo nula siip(x , y) = p(x)p(y), i.e., cuando X e Y son independientes.
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 16 / 31
ProbabilidadesEntropías
Shannon: SCT
DefinicionesResultadosInformación mutua
Propiedades: visualización
La figura permite recordar las relaciones aditivas más usadas:
H(X,Y)
H(X|Y) H(Y|X)
H(X) H(Y)
I(X;Y)
Figura: Entropías e información mutua
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 17 / 31
ProbabilidadesEntropías
Shannon: SCT
DefinicionesResultadosInformación mutua
Propiedades: visualización
La figura permite recordar las relaciones aditivas más usadas:
H(X,Y)
H(X|Y) H(Y|X)
H(X) H(Y)
I(X;Y)
Figura: Entropías e información mutua
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 17 / 31
ProbabilidadesEntropías
Shannon: SCT
DefinicionesResultadosInformación mutua
Propiedades: visualización
La figura permite recordar las relaciones aditivas más usadas:
H(X,Y)
H(X|Y) H(Y|X)
H(X) H(Y)
I(X;Y)
Figura: Entropías e información mutua
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 17 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
Índice
1 Teoría de la Probabilidad
2 Información y entropía asociadas a variables aleatorias
3 Primer teorema de Shannon: SCTPrincipio de Equipartición Asintótica, AEPConjunto de secuencias típicas, CSTPrimer teorema de Shannon, SCT
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 18 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
V.a.’s independientes e idénticamente distribuidas, iid
Convergencia en probabilidad. Sea una sucesión de v.a.’s(Xn)n∈N, escribiremos Xn
P−→ X si ∀ε > 0
limn↑∞
P(|Xn − X | > ε) = 0.
V.a.’s independientes e idénticamente distribuidas, iid.(Xn)n∈N son v.a.’s iid ∼ X cuando
P(Xn = x) = P(X = x),∀n y ∀x ,
es decir, todas las Xn siguen el “modelo” X .
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 19 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
V.a.’s independientes e idénticamente distribuidas, iid
Convergencia en probabilidad. Sea una sucesión de v.a.’s(Xn)n∈N, escribiremos Xn
P−→ X si ∀ε > 0
limn↑∞
P(|Xn − X | > ε) = 0.
V.a.’s independientes e idénticamente distribuidas, iid.(Xn)n∈N son v.a.’s iid ∼ X cuando
P(Xn = x) = P(X = x),∀n y ∀x ,
es decir, todas las Xn siguen el “modelo” X .
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 19 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
V.a.’s independientes e idénticamente distribuidas, iid
Convergencia en probabilidad. Sea una sucesión de v.a.’s(Xn)n∈N, escribiremos Xn
P−→ X si ∀ε > 0
limn↑∞
P(|Xn − X | > ε) = 0.
V.a.’s independientes e idénticamente distribuidas, iid.(Xn)n∈N son v.a.’s iid ∼ X cuando
P(Xn = x) = P(X = x), ∀n y ∀x ,
es decir, todas las Xn siguen el “modelo” X .
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 19 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
Ley Débil de los Grandes Números, LDGN
Ley Débil de los Grandes Números, LDGN. SeanXn iid ∼ X , se cumple
1n
n∑i=1
xiP−→ EX X
La LDGN también se puede escribir,
∀ε, δ > 0,∃ n(ε, δ) ∈ N, tal que si n > n(ε, δ) es
P(∣∣∣∣1n n∑
i=1xi − EX X
∣∣∣∣ > δ
)< ε,
P(∣∣∣∣1n n∑
i=1xi − EX X
∣∣∣∣ ≤ δ) > 1− ε
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 20 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
Ley Débil de los Grandes Números, LDGN
Ley Débil de los Grandes Números, LDGN. SeanXn iid ∼ X , se cumple
1n
n∑i=1
xiP−→ EX X
La LDGN también se puede escribir,
∀ε, δ > 0,∃ n(ε, δ) ∈ N, tal que si n > n(ε, δ) es
P(∣∣∣∣1n n∑
i=1xi − EX X
∣∣∣∣ > δ
)< ε,
P(∣∣∣∣1n n∑
i=1xi − EX X
∣∣∣∣ ≤ δ) > 1− ε
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 20 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
Ley Débil de los Grandes Números, LDGN
Ley Débil de los Grandes Números, LDGN. SeanXn iid ∼ X , se cumple
1n
n∑i=1
xiP−→ EX X
La LDGN también se puede escribir,
∀ε, δ > 0,∃ n(ε, δ) ∈ N, tal que si n > n(ε, δ) es
P(∣∣∣∣1n n∑
i=1xi − EX X
∣∣∣∣ > δ
)< ε,
P(∣∣∣∣1n n∑
i=1xi − EX X
∣∣∣∣ ≤ δ) > 1− ε
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 20 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
Enunciado del AEP
Teorema (AEP)
Si (Xn)n∈N es una sucesión de v.a.’s iid ∼ X, se cumple
−1n
log PX n(X1, . . . ,Xn)P−→ H(X ).
O también con otra notación,
∀ε > 0, ∃ n(ε) ∈ N, tal que si n > n(ε) esP(∣∣−1
n log PX n(X1, . . . ,Xn)− H(X )∣∣ ≤ ε) > 1− ε.
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 21 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
Enunciado del AEP
Teorema (AEP)
Si (Xn)n∈N es una sucesión de v.a.’s iid ∼ X, se cumple
−1n
log PX n(X1, . . . ,Xn)P−→ H(X ).
O también con otra notación,
∀ε > 0, ∃ n(ε) ∈ N, tal que si n > n(ε) esP(∣∣−1
n log PX n(X1, . . . ,Xn)− H(X )∣∣ ≤ ε) > 1− ε.
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 21 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
Enunciado del AEP
Teorema (AEP)
Si (Xn)n∈N es una sucesión de v.a.’s iid ∼ X, se cumple
−1n
log PX n(X1, . . . ,Xn)P−→ H(X ).
O también con otra notación,
∀ε > 0, ∃ n(ε) ∈ N, tal que si n > n(ε) esP(∣∣−1
n log PX n(X1, . . . ,Xn)− H(X )∣∣ ≤ ε) > 1− ε.
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 21 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
Conjunto de secuencias típicas, CST
Definición (CST)
Consideramos (Xn)n∈N una sucesión de v.a.’s iid ∼ X , definidasen X , y un ε > 0, se define el CST, A(n)
ε , como el conjunto desecuencias x (n) = (x1, x2, . . . , xn) ∈ X n que verifican el AEPpara esos ε y n.
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 24 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
Probabilidad del CST
10 20 30 40 50
0.2
0.4
0.6
0.8
1
10 20 30 40
0.2
0.4
0.6
0.8
1
Probabilidades del conjunto de secuencias típicas, CSTMuy probables+Poco probables=Secuencias no–típicas
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 25 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
Probabilidad del CST
10 20 30 40 50
0.2
0.4
0.6
0.8
1
10 20 30 40
0.2
0.4
0.6
0.8
1
Probabilidades del conjunto de secuencias típicas, CSTMuy probables+Poco probables=Secuencias no–típicas
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 25 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
Probabilidad del CST
10 20 30 40 50
0.2
0.4
0.6
0.8
1
10 20 30 40
0.2
0.4
0.6
0.8
1
Probabilidades del conjunto de secuencias típicas, CSTMuy probables+Poco probables=Secuencias no–típicas
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 25 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
Compresión a partir del AEP: Algoritmo
1 Ordenamos todas las secuencias de X n.2 En ese conjunto ordenado definimos un índice.3 Como |A(n)
ε | ≤ 2n(H(x)+ε), sólo necesitamosdn(H(x) + ε)e ≤ n(H(x) + ε) + 1 bits para codificar el CST.
4 En el conjunto A(n)ε = X n \ A(n)
ε , podemos “gastar” bits, yaque P(A
(n)ε ) < ε. Para codificarlo usamos tantos bits como
si quisiéramos codificar todo X n, es decir,dn log |X |e ≤ n log |X |+ 1 bits.
5 Para diferenciar ambos modos de codificaciónanteponemos un bit diferenciador.
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 26 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
Compresión a partir del AEP: Algoritmo
1 Ordenamos todas las secuencias de X n.
2 En ese conjunto ordenado definimos un índice.3 Como |A(n)
ε | ≤ 2n(H(x)+ε), sólo necesitamosdn(H(x) + ε)e ≤ n(H(x) + ε) + 1 bits para codificar el CST.
4 En el conjunto A(n)ε = X n \ A(n)
ε , podemos “gastar” bits, yaque P(A
(n)ε ) < ε. Para codificarlo usamos tantos bits como
si quisiéramos codificar todo X n, es decir,dn log |X |e ≤ n log |X |+ 1 bits.
5 Para diferenciar ambos modos de codificaciónanteponemos un bit diferenciador.
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 26 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
Compresión a partir del AEP: Algoritmo
1 Ordenamos todas las secuencias de X n.2 En ese conjunto ordenado definimos un índice.
3 Como |A(n)ε | ≤ 2n(H(x)+ε), sólo necesitamos
dn(H(x) + ε)e ≤ n(H(x) + ε) + 1 bits para codificar el CST.
4 En el conjunto A(n)ε = X n \ A(n)
ε , podemos “gastar” bits, yaque P(A
(n)ε ) < ε. Para codificarlo usamos tantos bits como
si quisiéramos codificar todo X n, es decir,dn log |X |e ≤ n log |X |+ 1 bits.
5 Para diferenciar ambos modos de codificaciónanteponemos un bit diferenciador.
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 26 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
Compresión a partir del AEP: Algoritmo
1 Ordenamos todas las secuencias de X n.2 En ese conjunto ordenado definimos un índice.3 Como |A(n)
ε | ≤ 2n(H(x)+ε), sólo necesitamosdn(H(x) + ε)e ≤ n(H(x) + ε) + 1 bits para codificar el CST.
4 En el conjunto A(n)ε = X n \ A(n)
ε , podemos “gastar” bits, yaque P(A
(n)ε ) < ε. Para codificarlo usamos tantos bits como
si quisiéramos codificar todo X n, es decir,dn log |X |e ≤ n log |X |+ 1 bits.
5 Para diferenciar ambos modos de codificaciónanteponemos un bit diferenciador.
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 26 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
Compresión a partir del AEP: Algoritmo
1 Ordenamos todas las secuencias de X n.2 En ese conjunto ordenado definimos un índice.3 Como |A(n)
ε | ≤ 2n(H(x)+ε), sólo necesitamosdn(H(x) + ε)e ≤ n(H(x) + ε) + 1 bits para codificar el CST.
4 En el conjunto A(n)ε = X n \ A(n)
ε , podemos “gastar” bits, yaque P(A
(n)ε ) < ε. Para codificarlo usamos tantos bits como
si quisiéramos codificar todo X n, es decir,dn log |X |e ≤ n log |X |+ 1 bits.
5 Para diferenciar ambos modos de codificaciónanteponemos un bit diferenciador.
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 26 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
Compresión a partir del AEP: Algoritmo
1 Ordenamos todas las secuencias de X n.2 En ese conjunto ordenado definimos un índice.3 Como |A(n)
ε | ≤ 2n(H(x)+ε), sólo necesitamosdn(H(x) + ε)e ≤ n(H(x) + ε) + 1 bits para codificar el CST.
4 En el conjunto A(n)ε = X n \ A(n)
ε , podemos “gastar” bits, yaque P(A
(n)ε ) < ε. Para codificarlo usamos tantos bits como
si quisiéramos codificar todo X n, es decir,dn log |X |e ≤ n log |X |+ 1 bits.
5 Para diferenciar ambos modos de codificaciónanteponemos un bit diferenciador.
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 26 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
SCT: EnunciadoPrimer teorema de Shannon
Teorema (SCT)
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 27 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
SCT: EnunciadoPrimer teorema de Shannon
Teorema (SCT)
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 27 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
SCT: EnunciadoPrimer teorema de Shannon
Teorema (SCT)
Sea (Xn)n∈N una secuencia de v.a.’s iid ∼ X sobre un alfabetofinito X
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 27 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
SCT: EnunciadoPrimer teorema de Shannon
Teorema (SCT)
Sea (Xn)n∈N una secuencia de v.a.’s iid ∼ X sobre un alfabetofinito X , y ε un número real > 0
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 27 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
SCT: EnunciadoPrimer teorema de Shannon
Teorema (SCT)
Sea (Xn)n∈N una secuencia de v.a.’s iid ∼ X sobre un alfabetofinito X , y ε un número real > 0. Entonces, para un nsuficientemente grande, existe un código que hacecorresponder uno a uno cada secuencia xn ∈ X n con unapalabra–código
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 27 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
SCT: EnunciadoPrimer teorema de Shannon
Teorema (SCT)
Sea (Xn)n∈N una secuencia de v.a.’s iid ∼ X sobre un alfabetofinito X , y ε un número real > 0. Entonces, para un nsuficientemente grande, existe un código que hacecorresponder uno a uno cada secuencia xn ∈ X n con unapalabra–código, tal que si `(X n) es la longitud de laspalabras–código, será
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 27 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
SCT: EnunciadoPrimer teorema de Shannon
Teorema (SCT)
Sea (Xn)n∈N una secuencia de v.a.’s iid ∼ X sobre un alfabetofinito X , y ε un número real > 0. Entonces, para un nsuficientemente grande, existe un código que hacecorresponder uno a uno cada secuencia xn ∈ X n con unapalabra–código, tal que si `(X n) es la longitud de laspalabras–código, será
EX
(1n`(X n)
)≤ H(X ) + ε.
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 27 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
SCT: EnunciadoPrimer teorema de Shannon
Teorema (SCT)
Sea (Xn)n∈N una secuencia de v.a.’s iid ∼ X sobre un alfabetofinito X , y ε un número real > 0. Entonces, para un nsuficientemente grande, existe un código que hacecorresponder uno a uno cada secuencia xn ∈ X n con unapalabra–código, tal que si `(X n) es la longitud de laspalabras–código, será
EX
(1n`(X n)
)≤ H(X ) + ε.
NOTA.
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 27 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
SCT: EnunciadoPrimer teorema de Shannon
Teorema (SCT)
Sea (Xn)n∈N una secuencia de v.a.’s iid ∼ X sobre un alfabetofinito X , y ε un número real > 0. Entonces, para un nsuficientemente grande, existe un código que hacecorresponder uno a uno cada secuencia xn ∈ X n con unapalabra–código, tal que si `(X n) es la longitud de laspalabras–código, será
EX
(1n`(X n)
)≤ H(X ) + ε.
NOTA. Nótese que 1n`(X
n) es la longitud de la palabra–códigopor carácter de xn.
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 27 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
SCT: Demostración
Sea n suficientemente grande para que P(A(n)ε ) > 1− ε
EX (`(X n)) =∑
xn∈X n
p(xn)`(xn)
=∑
xn∈A(n)ε
p(xn)`(xn) +∑
xn∈A(n)ε
p(xn)`(xn)
≤∑
xn∈A(n)ε
p(xn) (n(H + ε) + 2) +∑
xn∈A(n)ε
p(xn) (n log |X |+ 2)
= (n(H + ε) + 2) P(A(n)ε ) + (n log |X |+ 2) P(A
(n)
ε )
≤ nH + n(ε+ ε log |X |+ 2(1 + ε)
n
)= n(H + ε′)
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 28 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
SCT: Demostración
Sea n suficientemente grande para que P(A(n)ε ) > 1− ε
EX (`(X n)) =∑
xn∈X n
p(xn)`(xn)
=∑
xn∈A(n)ε
p(xn)`(xn) +∑
xn∈A(n)ε
p(xn)`(xn)
≤∑
xn∈A(n)ε
p(xn) (n(H + ε) + 2) +∑
xn∈A(n)ε
p(xn) (n log |X |+ 2)
= (n(H + ε) + 2) P(A(n)ε ) + (n log |X |+ 2) P(A
(n)
ε )
≤ nH + n(ε+ ε log |X |+ 2(1 + ε)
n
)= n(H + ε′)
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 28 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
SCT: Demostración
Sea n suficientemente grande para que P(A(n)ε ) > 1− ε
EX (`(X n)) =∑
xn∈X n
p(xn)`(xn)
=∑
xn∈A(n)ε
p(xn)`(xn) +∑
xn∈A(n)ε
p(xn)`(xn)
≤∑
xn∈A(n)ε
p(xn) (n(H + ε) + 2) +∑
xn∈A(n)ε
p(xn) (n log |X |+ 2)
= (n(H + ε) + 2) P(A(n)ε ) + (n log |X |+ 2) P(A
(n)
ε )
≤ nH + n(ε+ ε log |X |+ 2(1 + ε)
n
)= n(H + ε′)
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 28 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
SCT: Demostración
Sea n suficientemente grande para que P(A(n)ε ) > 1− ε
EX (`(X n)) =∑
xn∈X n
p(xn)`(xn)
=
∑xn∈A(n)
ε
p(xn)`(xn) +∑
xn∈A(n)ε
p(xn)`(xn)
≤∑
xn∈A(n)ε
p(xn) (n(H + ε) + 2) +∑
xn∈A(n)ε
p(xn) (n log |X |+ 2)
= (n(H + ε) + 2) P(A(n)ε ) + (n log |X |+ 2) P(A
(n)
ε )
≤ nH + n(ε+ ε log |X |+ 2(1 + ε)
n
)= n(H + ε′)
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 28 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
SCT: Demostración
Sea n suficientemente grande para que P(A(n)ε ) > 1− ε
EX (`(X n)) =∑
xn∈X n
p(xn)`(xn)
=∑
xn∈A(n)ε
p(xn)`(xn)
+∑
xn∈A(n)ε
p(xn)`(xn)
≤∑
xn∈A(n)ε
p(xn) (n(H + ε) + 2) +∑
xn∈A(n)ε
p(xn) (n log |X |+ 2)
= (n(H + ε) + 2) P(A(n)ε ) + (n log |X |+ 2) P(A
(n)
ε )
≤ nH + n(ε+ ε log |X |+ 2(1 + ε)
n
)= n(H + ε′)
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 28 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
SCT: Demostración
Sea n suficientemente grande para que P(A(n)ε ) > 1− ε
EX (`(X n)) =∑
xn∈X n
p(xn)`(xn)
=∑
xn∈A(n)ε
p(xn)`(xn) +∑
xn∈A(n)ε
p(xn)`(xn)
≤∑
xn∈A(n)ε
p(xn) (n(H + ε) + 2) +∑
xn∈A(n)ε
p(xn) (n log |X |+ 2)
= (n(H + ε) + 2) P(A(n)ε ) + (n log |X |+ 2) P(A
(n)
ε )
≤ nH + n(ε+ ε log |X |+ 2(1 + ε)
n
)= n(H + ε′)
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 28 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
SCT: Demostración
Sea n suficientemente grande para que P(A(n)ε ) > 1− ε
EX (`(X n)) =∑
xn∈X n
p(xn)`(xn)
=∑
xn∈A(n)ε
p(xn)`(xn) +∑
xn∈A(n)ε
p(xn)`(xn)
≤
∑xn∈A(n)
ε
p(xn) (n(H + ε) + 2) +∑
xn∈A(n)ε
p(xn) (n log |X |+ 2)
= (n(H + ε) + 2) P(A(n)ε ) + (n log |X |+ 2) P(A
(n)
ε )
≤ nH + n(ε+ ε log |X |+ 2(1 + ε)
n
)= n(H + ε′)
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 28 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
SCT: Demostración
Sea n suficientemente grande para que P(A(n)ε ) > 1− ε
EX (`(X n)) =∑
xn∈X n
p(xn)`(xn)
=∑
xn∈A(n)ε
p(xn)`(xn) +∑
xn∈A(n)ε
p(xn)`(xn)
≤∑
xn∈A(n)ε
p(xn) (n(H + ε) + 2)
+∑
xn∈A(n)ε
p(xn) (n log |X |+ 2)
= (n(H + ε) + 2) P(A(n)ε ) + (n log |X |+ 2) P(A
(n)
ε )
≤ nH + n(ε+ ε log |X |+ 2(1 + ε)
n
)= n(H + ε′)
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 28 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
SCT: Demostración
Sea n suficientemente grande para que P(A(n)ε ) > 1− ε
EX (`(X n)) =∑
xn∈X n
p(xn)`(xn)
=∑
xn∈A(n)ε
p(xn)`(xn) +∑
xn∈A(n)ε
p(xn)`(xn)
≤∑
xn∈A(n)ε
p(xn) (n(H + ε) + 2) +∑
xn∈A(n)ε
p(xn) (n log |X |+ 2)
= (n(H + ε) + 2) P(A(n)ε ) + (n log |X |+ 2) P(A
(n)
ε )
≤ nH + n(ε+ ε log |X |+ 2(1 + ε)
n
)= n(H + ε′)
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 28 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
SCT: Demostración
Sea n suficientemente grande para que P(A(n)ε ) > 1− ε
EX (`(X n)) =∑
xn∈X n
p(xn)`(xn)
=∑
xn∈A(n)ε
p(xn)`(xn) +∑
xn∈A(n)ε
p(xn)`(xn)
≤∑
xn∈A(n)ε
p(xn) (n(H + ε) + 2) +∑
xn∈A(n)ε
p(xn) (n log |X |+ 2)
=
(n(H + ε) + 2) P(A(n)ε ) + (n log |X |+ 2) P(A
(n)
ε )
≤ nH + n(ε+ ε log |X |+ 2(1 + ε)
n
)= n(H + ε′)
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 28 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
SCT: Demostración
Sea n suficientemente grande para que P(A(n)ε ) > 1− ε
EX (`(X n)) =∑
xn∈X n
p(xn)`(xn)
=∑
xn∈A(n)ε
p(xn)`(xn) +∑
xn∈A(n)ε
p(xn)`(xn)
≤∑
xn∈A(n)ε
p(xn) (n(H + ε) + 2) +∑
xn∈A(n)ε
p(xn) (n log |X |+ 2)
= (n(H + ε) + 2) P(A(n)ε )
+ (n log |X |+ 2) P(A(n)
ε )
≤ nH + n(ε+ ε log |X |+ 2(1 + ε)
n
)= n(H + ε′)
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 28 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
SCT: Demostración
Sea n suficientemente grande para que P(A(n)ε ) > 1− ε
EX (`(X n)) =∑
xn∈X n
p(xn)`(xn)
=∑
xn∈A(n)ε
p(xn)`(xn) +∑
xn∈A(n)ε
p(xn)`(xn)
≤∑
xn∈A(n)ε
p(xn) (n(H + ε) + 2) +∑
xn∈A(n)ε
p(xn) (n log |X |+ 2)
= (n(H + ε) + 2) P(A(n)ε )︸ ︷︷ ︸≤1
+ (n log |X |+ 2) P(A(n)
ε )
≤ nH + n(ε+ ε log |X |+ 2(1 + ε)
n
)= n(H + ε′)
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 28 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
SCT: Demostración
Sea n suficientemente grande para que P(A(n)ε ) > 1− ε
EX (`(X n)) =∑
xn∈X n
p(xn)`(xn)
=∑
xn∈A(n)ε
p(xn)`(xn) +∑
xn∈A(n)ε
p(xn)`(xn)
≤∑
xn∈A(n)ε
p(xn) (n(H + ε) + 2) +∑
xn∈A(n)ε
p(xn) (n log |X |+ 2)
= (n(H + ε) + 2) P(A(n)ε )︸ ︷︷ ︸≤1
+ (n log |X |+ 2) P(A(n)
ε )
≤ nH + n(ε+ ε log |X |+ 2(1 + ε)
n
)= n(H + ε′)
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 28 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
SCT: Demostración
Sea n suficientemente grande para que P(A(n)ε ) > 1− ε
EX (`(X n)) =∑
xn∈X n
p(xn)`(xn)
=∑
xn∈A(n)ε
p(xn)`(xn) +∑
xn∈A(n)ε
p(xn)`(xn)
≤∑
xn∈A(n)ε
p(xn) (n(H + ε) + 2) +∑
xn∈A(n)ε
p(xn) (n log |X |+ 2)
= (n(H + ε) + 2) P(A(n)ε )︸ ︷︷ ︸≤1
+ (n log |X |+ 2) P(A(n)
ε )︸ ︷︷ ︸<ε
≤ nH + n(ε+ ε log |X |+ 2(1 + ε)
n
)= n(H + ε′)
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 28 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
SCT: Demostración
Sea n suficientemente grande para que P(A(n)ε ) > 1− ε
EX (`(X n)) =∑
xn∈X n
p(xn)`(xn)
=∑
xn∈A(n)ε
p(xn)`(xn) +∑
xn∈A(n)ε
p(xn)`(xn)
≤∑
xn∈A(n)ε
p(xn) (n(H + ε) + 2) +∑
xn∈A(n)ε
p(xn) (n log |X |+ 2)
= (n(H + ε) + 2) P(A(n)ε )︸ ︷︷ ︸≤1
+ (n log |X |+ 2) P(A(n)
ε )︸ ︷︷ ︸<ε
≤
nH + n(ε+ ε log |X |+ 2(1 + ε)
n
)= n(H + ε′)
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 28 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
SCT: Demostración
Sea n suficientemente grande para que P(A(n)ε ) > 1− ε
EX (`(X n)) =∑
xn∈X n
p(xn)`(xn)
=∑
xn∈A(n)ε
p(xn)`(xn) +∑
xn∈A(n)ε
p(xn)`(xn)
≤∑
xn∈A(n)ε
p(xn) (n(H + ε) + 2) +∑
xn∈A(n)ε
p(xn) (n log |X |+ 2)
= (n(H + ε) + 2) P(A(n)ε )︸ ︷︷ ︸≤1
+ (n log |X |+ 2) P(A(n)
ε )︸ ︷︷ ︸<ε
≤ nH + n(ε+ ε log |X |+ 2(1 + ε)
n
)
= n(H + ε′)
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 28 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
SCT: Demostración
Sea n suficientemente grande para que P(A(n)ε ) > 1− ε
EX (`(X n)) =∑
xn∈X n
p(xn)`(xn)
=∑
xn∈A(n)ε
p(xn)`(xn) +∑
xn∈A(n)ε
p(xn)`(xn)
≤∑
xn∈A(n)ε
p(xn) (n(H + ε) + 2) +∑
xn∈A(n)ε
p(xn) (n log |X |+ 2)
= (n(H + ε) + 2) P(A(n)ε )︸ ︷︷ ︸≤1
+ (n log |X |+ 2) P(A(n)
ε )︸ ︷︷ ︸<ε
≤ nH + n(ε+ ε log |X |+ 2(1 + ε)
n
)︸ ︷︷ ︸
ε′
= n(H + ε′)
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 28 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
SCT: Demostración
Sea n suficientemente grande para que P(A(n)ε ) > 1− ε
EX (`(X n)) =∑
xn∈X n
p(xn)`(xn)
=∑
xn∈A(n)ε
p(xn)`(xn) +∑
xn∈A(n)ε
p(xn)`(xn)
≤∑
xn∈A(n)ε
p(xn) (n(H + ε) + 2) +∑
xn∈A(n)ε
p(xn) (n log |X |+ 2)
= (n(H + ε) + 2) P(A(n)ε )︸ ︷︷ ︸≤1
+ (n log |X |+ 2) P(A(n)
ε )︸ ︷︷ ︸<ε
≤ nH + n(ε+ ε log |X |+ 2(1 + ε)
n
)︸ ︷︷ ︸
ε′
= n(H + ε′)
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 28 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
SCT: Demostración
Sea n suficientemente grande para que P(A(n)ε ) > 1− ε
EX (`(X n)) =∑
xn∈X n
p(xn)`(xn)
=∑
xn∈A(n)ε
p(xn)`(xn) +∑
xn∈A(n)ε
p(xn)`(xn)
≤∑
xn∈A(n)ε
p(xn) (n(H + ε) + 2) +∑
xn∈A(n)ε
p(xn) (n log |X |+ 2)
= (n(H + ε) + 2) P(A(n)ε )︸ ︷︷ ︸≤1
+ (n log |X |+ 2) P(A(n)
ε )︸ ︷︷ ︸<ε
≤ nH + n(ε+ ε log |X |+ 2(1 + ε)
n
)︸ ︷︷ ︸
ε′
= n(H + ε′)
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 28 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
SCT: Ejemplo (I)
Tenemos una fuente con vas binarias iid ∼ X sobreX = {0,1}, con p = P(X = 1) = 0′2, luegoH(X ) = H(0′2,0′8) = h(0′2) = 0′7219, es la entropía de lafuente de bits.El CST A(n)
ε se alcanza para ε = 0′05 en n = 960, ya queP(A(n)
ε ) = 0′952063 > 1− ε = 0′95.Usaremos, según el algoritmo de la demostración,
para codificar cada secuencia del CST.Y dn log |X |e+ 1 = 961 bits para codificar las secuenciasno típicas.
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 29 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
SCT: Ejemplo (I)
Tenemos una fuente con vas binarias iid ∼ X sobreX = {0,1}, con p = P(X = 1) = 0′2, luegoH(X ) = H(0′2,0′8) = h(0′2) = 0′7219, es la entropía de lafuente de bits.
El CST A(n)ε se alcanza para ε = 0′05 en n = 960, ya que
para codificar cada secuencia del CST.Y dn log |X |e+ 1 = 961 bits para codificar las secuenciasno típicas.
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 29 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
SCT: Ejemplo (I)
Tenemos una fuente con vas binarias iid ∼ X sobreX = {0,1}, con p = P(X = 1) = 0′2, luegoH(X ) = H(0′2,0′8) = h(0′2) = 0′7219, es la entropía de lafuente de bits.El CST A(n)
ε se alcanza para ε = 0′05 en n = 960, ya queP(A(n)
para codificar cada secuencia del CST.Y dn log |X |e+ 1 = 961 bits para codificar las secuenciasno típicas.
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 29 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
SCT: Ejemplo (I)
Tenemos una fuente con vas binarias iid ∼ X sobreX = {0,1}, con p = P(X = 1) = 0′2, luegoH(X ) = H(0′2,0′8) = h(0′2) = 0′7219, es la entropía de lafuente de bits.El CST A(n)
ε se alcanza para ε = 0′05 en n = 960, ya queP(A(n)
ε ) = 0′952063 > 1− ε = 0′95.Usaremos, según el algoritmo de la demostración,
Y dn log |X |e+ 1 = 961 bits para codificar las secuenciasno típicas.
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 29 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
SCT: Ejemplo (I)
Tenemos una fuente con vas binarias iid ∼ X sobreX = {0,1}, con p = P(X = 1) = 0′2, luegoH(X ) = H(0′2,0′8) = h(0′2) = 0′7219, es la entropía de lafuente de bits.El CST A(n)
ε se alcanza para ε = 0′05 en n = 960, ya queP(A(n)
ε ) = 0′952063 > 1− ε = 0′95.Usaremos, según el algoritmo de la demostración,
para codificar cada secuencia del CST.Y dn log |X |e+ 1 = 961 bits para codificar las secuenciasno típicas.
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 29 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
SCT: Ejemplo (II)
La longitud media de las palabras–código será
`(X n) = P(A(n)ε )(dn(H + ε)e+ 1) + P(A
(n)ε )(dn log |X |e+ 1)
= 0′952063 · 743 + (1− 0′952063) · 961= 753′45
Lo que supone
1n`(X n) =
753′45960
= 0′784844
bits–código por cada bit–fuente, i.e., una ratio decompresión del 78 %.
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 30 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
SCT: Ejemplo (II)
La longitud media de las palabras–código será
`(X n) = P(A(n)ε )(dn(H + ε)e+ 1) + P(A
(n)ε )(dn log |X |e+ 1)
= 0′952063 · 743 + (1− 0′952063) · 961= 753′45
Lo que supone
1n`(X n) =
753′45960
= 0′784844
bits–código por cada bit–fuente, i.e., una ratio decompresión del 78 %.
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 30 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
SCT: Ejemplo (II)
La longitud media de las palabras–código será
`(X n) = P(A(n)ε )(dn(H + ε)e+ 1) + P(A
(n)ε )(dn log |X |e+ 1)
= 0′952063 · 743 + (1− 0′952063) · 961= 753′45
Lo que supone
1n`(X n) =
753′45960
= 0′784844
bits–código por cada bit–fuente, i.e., una ratio decompresión del 78 %.
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 30 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
SCT: Unas notas
Observad que en este ejemplo no se cumple la acotacióndel SCT para ε = 0′05:`(X n) = 753′45 6≤ n(H + ε) = 741′051, pero sí para el ε′ dela demostración, ε′ = ε+ ε log |X |+ 2(1+ε)
n = 0′1021875,pues entonces es n(H + ε′) = 791′124.Si la entropía de la fuente binaria está próxima al máximode 1 bit, el teorema se cumple, pero el algoritmo puedeque no comprima. Por ejemplo, para p = P(X = 1) = 0,4 yε = 0′1 se alcanza el AEP para n = 23, pero la ratio decompresión es
1n`(X n) =
25′822223
= 1′12271,
es decir, ¡del 122 %!.
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 31 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
SCT: Unas notas
Observad que en este ejemplo no se cumple la acotacióndel SCT para ε = 0′05:`(X n) = 753′45 6≤ n(H + ε) = 741′051, pero sí para el ε′ dela demostración, ε′ = ε+ ε log |X |+ 2(1+ε)
n = 0′1021875,pues entonces es n(H + ε′) = 791′124.
Si la entropía de la fuente binaria está próxima al máximode 1 bit, el teorema se cumple, pero el algoritmo puedeque no comprima. Por ejemplo, para p = P(X = 1) = 0,4 yε = 0′1 se alcanza el AEP para n = 23, pero la ratio decompresión es
1n`(X n) =
25′822223
= 1′12271,
es decir, ¡del 122 %!.
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 31 / 31
ProbabilidadesEntropías
Shannon: SCT
AEPCSTSCT
SCT: Unas notas
Observad que en este ejemplo no se cumple la acotacióndel SCT para ε = 0′05:`(X n) = 753′45 6≤ n(H + ε) = 741′051, pero sí para el ε′ dela demostración, ε′ = ε+ ε log |X |+ 2(1+ε)
n = 0′1021875,pues entonces es n(H + ε′) = 791′124.Si la entropía de la fuente binaria está próxima al máximode 1 bit, el teorema se cumple, pero el algoritmo puedeque no comprima. Por ejemplo, para p = P(X = 1) = 0,4 yε = 0′1 se alcanza el AEP para n = 23, pero la ratio decompresión es
1n`(X n) =
25′822223
= 1′12271,
es decir, ¡del 122 %!.
Ramiro Moreno (Matemàtica, UdL) Probabilidades, entropías y SCT 6 de febrero 2010 31 / 31