UNIVERSIDAD NACIONAL JOS FAUSTINO SNCHEZ CARRIN
Entropa (desambiguacin)
Entermodinmica, laentropa(simbolizada comoS) es unamagnitud
fsicaque, mediante clculo, permite determinar la parte de
laenergaque no puede utilizarse para producirtrabajo. Es unafuncin
de estadode carcterextensivoy su valor, en unsistema aislado, crece
en el transcurso de un proceso que se d de forma natural. La
entropa describe loirreversiblede los sistemastermodinmicos. La
palabraentropaprocede delgriego() y significa evolucin o
transformacin. FueRudolf Clausiusquien le dio nombre y la desarroll
durante la dcada de 1850; yLudwig Boltzmann, quien encontr en 1877
la manera de expresar matemticamente este concepto, desde el punto
de vista de la probabilidad.
I. EVIDENCIAS
Cuando se plantea la pregunta: Por qu ocurren los sucesos en la
Naturaleza de una manera determinada y no de otra manera?, se busca
una respuesta que indique cul es el sentido de los sucesos. Por
ejemplo, si se ponen en contacto dos trozos de metal con distinta
temperatura, se anticipa que finalmente el trozo caliente se
enfriar, y el trozo fro se calentar, finalizando enequilibrio
trmico. El proceso inverso, el calentamiento del trozo caliente y
el enfriamiento del trozo fro es muy improbable que se presente, a
pesar de conservar la energa. El universo tiende a distribuir la
energa uniformemente; es decir, a maximizar la entropa.La funcin
termodinmica entropa es central para lasegunda Ley de la
Termodinmica. La entropa puede interpretarse como una medida de la
distribucinaleatoria de un sistema. Se dice que un sistema
altamente distribuido al azar tiene alta entropa. Un sistema en una
condicin improbable tendr una tendencia natural a reorganizarse a
una condicin ms probable (similar a una distribucin al azar),
reorganizacin que dar como resultado un aumento de la entropa. La
entropa alcanzar un mximo cuando el sistema se acerque al
equilibrio, y entonces se alcanzar la configuracin de mayor
probabilidad.Una magnitud es unafuncin de estadosi, y slo si, su
cambio de valor entre dos estados es independiente del proceso
seguido para llegar de un estado a otro. Esa caracterizacin de
funcin de estado es fundamental a la hora de definir la variacin de
entropa.La variacin de entropa nos muestra la variacin del orden
molecular ocurrido en unareaccin qumica. Si el incremento de
entropa es positivo, losproductos presentan un mayor desorden
molecular (mayor entropa) que losreactivos. En cambio, cuando el
incremento es negativo, los productos son ms ordenados. Hay una
relacin entre la entropa y la espontaneidad de una reaccin qumica,
que viene dada por laenerga de Gibbs.
II. ECUACIONES
Esta idea de desorden termodinmico fue plasmada mediante
unafuncinideada porRudolf Clausiusa partir de un proceso cclico
reversible. En todo proceso reversiblelaintegral curvilneadeslo
depende de los estados inicial y final, con independencia del
camino seguido (Qes la cantidad de calor absorbida en el proceso en
cuestin yTes latemperatura absoluta). Por tanto, ha de existir
unafuncindel estado del sistema, S=f(P,V,T), denominadaentropa,
cuya variacin en un proceso reversible entre los estados 1 y 2 es:
.
Tngase en cuenta que, como elcalorno es una funcin de estado, se
usaQ, en lugar dedQ.
La entropa fsica, en su forma clsica, est definida por la
ecuacin siguiente:
o, ms simplemente, cuando no se produce variacin
detemperatura(proceso isotrmico):DondeSes la entropa,la cantidad
decalorintercambiado entre el sistema y el entorno yTla temperatura
absoluta enkelvin.Unidades: S=[cal/K]Los nmeros 1 y 2 se refieren a
los estados iniciales y finales de un sistema termodinmico.A)
SignificadoEl significado de esta ecuacin es el siguiente:
Cuando un sistema termodinmico pasa, en un proceso reversible e
isotrmico, del estado 1 al estado 2, el cambio en su entropa es
igual a la cantidad decalor intercambiado entre el sistema y el
medio dividido por sutemperaturaabsoluta.
De acuerdo con la ecuacin, si el calor se transfiere al sistema,
tambin lo har la entropa, en la misma direccin. Cuando la
temperatura es ms alta, el flujo de calor que entra produce un
aumento de entropa menor. Y viceversa.Las unidades de la entropa,
en el Sistema Internacional, son el J/K (o Clausius), definido como
la variacin de entropa que experimenta un sistema cuando absorbe el
calor de 1Julio (unidad)a la temperatura de 1Kelvin.Cuando el
sistema evoluciona irreversiblemente, la ecuacin de Clausius se
convierte en una inecuacin:
Siendo el sumatorio de las i fuentes de calor de las que recibe
o transfiere calor el sistema y la temperatura de las fuentes. No
obstante, sumando un trmino positivo al segundo miembro, podemos
transformar de nuevo la expresin en una ecuacin:
Al trmino, siempre positivo, se le denominaproduccin de entropa,
y es nulo cuando el proceso es reversible salvo irreversibilidades
fruto de transferencias de calor con fuentes externas al sistema.
En el caso de darse un proceso reversible yadiabtico, segn la
ecuacin, dS=0, es decir, el valor de la entropa es constante y
adems constituye unproceso iso-entrpico.
III. CERO ABSOLUTO
Solo se pueden calcular variaciones de entropa. Para calcular la
entropa de un sistema, es necesario fijar la entropa del mismo en
un estado determinado. Latercera ley de la termodinmicafija un
estado estndar:para sistemas qumicamente puros, sin defectos
estructurales en la red cristalina, de densidad finita, la entropa
es nula en elcero absoluto(0 K) o (-273.16C)Esta magnitud permite
definir lasegunda ley de la termodinmica, de la cual se deduce que
un proceso tiende a darse de forma espontnea en un cierto sentido
solamente. Por ejemplo: un vaso de agua no empieza a hervir por un
extremo y a congelarse por el otro de forma espontnea, an cuando
siga cumplindose la condicin deconservacin de la energadel sistema
(laprimera ley de la termodinmica).
IV. ENTROPA Y REVERSIVILIDAD
La entropa global del sistema es la entropa del sistema
considerado ms la entropa de los alrededores. Tambin se puede decir
que la variacin de entropa del universo, para un proceso dado, es
igual a su variacin en el sistema ms la de los alrededores:
Si se trata de unproceso reversible, S (universo) es cero, pues
el calor que el sistema absorbe o desprende es igual
altrabajorealizado.
Pero esto es una situacin ideal, ya que para que esto ocurra los
procesos han de ser extraordinariamente lentos, y esta
circunstancia no se da en la naturaleza. Por ejemplo, en la
expansin isotrmica (proceso isotrmico) de un gas, considerando el
proceso como reversible, todo el calor absorbido del medio se
transforma en trabajo yQ= -W. Pero en la prctica real el trabajo es
menor, ya que hay prdidas por rozamientos, por lo tanto, los
procesos son irreversibles.Para llevar al sistema nuevamente a su
estado original, hay que aplicarle un trabajo mayor que el
producido por el gas, lo que da como resultado una transferencia de
calor hacia el entorno, con un aumento de la entropa global.Como
los procesos reales son siempre irreversibles, siempre aumentar la
entropa. As comola energa no puede crearse ni destruirse, la
entropa puede crearse pero no destruirse. Es posible afirmar
entonces que,como el Universo es un sistema aislado, su entropa
crece constantemente con el tiempo. Esto marca un sentido a la
evolucin del mundo fsico, que se conoce comoprincipio de
evolucin.Cuando la entropa sea mxima en el Universo, esto es,
cuando exista un equilibrio entre todas las temperaturas y
presiones, llegar lamuerte trmica del Universo(enunciada
porClausius).En el caso de sistemas cuyas dimensiones sean
comparables a las dimensiones de las molculas, la diferencia entre
calor y trabajo desaparece y, por tanto, parmetros termodinmicos
como la entropa, la temperatura y otros no tienen significado. Esto
conduce a la afirmacin de que elsegundo principio de la
termodinmicano es aplicable a estos microsistemas, porque realmente
no son sistemas termodinmicos. Se cree que existe tambin un lmite
superior de aplicacin del segundo principio, de tal modo que no se
puede afirmar su cumplimiento en sistemasinfinitoscomo el Universo,
lo que pone en controversia la afirmacin de Clausius sobre la
muerte trmica del Universo.
V. HISTORIA DE LA ENTROPA
El concepto de entropa desarrollado en respuesta a la observacin
de que una cierta cantidad de energa liberada de
funcionalesreacciones de combustinsiempre se pierde debido a la
disipacin o la friccin y por lo tanto no se transforma en trabajo
til. Los primeros motores de calor comoThomas Savery(1698),
elNewcomen motor(1712) y el Cugnot de vapor de tres ruedas (1769)
eran ineficientes, la conversin de menos de dos por ciento de la
energa de entrada en produccin de trabajo til; una gran cantidad de
energa til se disipa o se pierde en lo que pareca un estado de
aleatoriedad inconmensurable. Durante los prximos dos siglos los
fsicos investigaron este enigma de la energa perdida, el resultado
fue el concepto de entropa.En la dcada de 1850,Rudolf
Clausiusestableci el concepto desistema termodinmicoy postula la
tesis de que en cualquier proceso irreversible una pequea cantidad
de energa trmica Q se disipa gradualmente a travs de la frontera
del sistema. Clausius sigui desarrollando sus ideas de la energa
perdida, y acu el trmino "entropa". Durante el prximo medio siglo
se llev a cabo un mayor desarrollo, y ms recientemente el concepto
de entropa ha encontrado aplicacin en el campo anlogo de prdida de
datos en los sistemas de transmisin de informacin.
VI. INTERPRETACIN ESTADSTICA DE LA ENTROPA
Tumba de Boltzmann en el Cementerio central de Vienacon la
frmula de entropa.
En los aos1890-1900el fsico austracoLudwig Boltzmanny otros
desarrollaron las ideas de lo que hoy se conoce como mecnica
estadstica, teora profundamente influenciada por el concepto de
entropa. Una de las teoras termodinmicas estadsticas (lateora de
Maxwell-Boltzmann) establece la siguiente relacin entre la entropa
y laprobabilidad termodinmica:,
donde S es la entropa, k laconstante de Boltzmanny el nmero
demicro estadosposibles para el sistema (lnes la funcin logaritmo
neperiano). La ecuacin asume que todos los micro estados tienen la
misma probabilidad de aparecer.La ecuacin se encuentra grabada
sobre la lpida de la tumba deLudwig Boltzmannen
ElZentralfriedhof(el cementerio central) deViena. Boltzmann se
suicid en1906, profundamente deprimido, quiz por la poca aceptacin
de sus teoras en el mundo acadmico de la poca.4
El significado de la ecuacin es el siguiente:
La cantidad de entropa de un sistema es proporcional al
logaritmo natural del nmero demicroestadosposibles.
Uno de los aspectos ms importantes que describe esta ecuacin es
la posibilidad de dar una definicin absoluta al concepto de la
entropa. En la descripcin clsica de la termodinmica, carece de
sentido hablar del valor de la entropa de un sistema, pues slo los
cambios en la misma son relevantes. En cambio, la
teoraestadsticapermite definir la entropa absoluta de un sistema.La
entropa es una magnitud fsica bsica que dio lugar a diversas
interpretaciones, al parecer a veces en conflicto. Han sido,
sucesivamente, asimilados a diferentes conceptos, como el desorden
y la informacin. La entropa mide tanto la falta de informacin como
la informacin. Estas dos concepciones son complementarias. La
entropa tambin mide la libertad, y esto permite una interpretacin
coherente de las frmulas de entropa y de los hechos experimentales.
No obstante, asociar la entropa y el desorden implica definir el
orden como la ausencia de libertad.5El desorden o la agitacin
guardan relacin con latemperatura.
A) Entropa y desorden
Cuando la energa es degradada, dijo Boltzmann, se debe a que los
tomos asumen un estado ms desordenado. Y la entropa es un parmetro
del desorden: sa es la concepcin profunda que se desprende de la
nueva interpretacin de Boltzmann. Por extrao que parezca, se puede
crear una medida para el desorden; es la probabilidad de un estado
particular, definido aqu como el nmero de formas en que se puede
armar a partir de sus tomosJacob Bronowski.El ascenso del
hombre(The Ascent of Man).Bogot, Fondo Educativo Interamericano,
1979, p. 347, captulo 10 "Un mundo dentro del
mundo".Coloquialmente, suele considerarse que la entropa es el
desorden de un sistema, es decir, su grado de homogeneidad. Un
ejemplo domstico sera el de lanzar un vaso de cristal al suelo:
tender a romperse y a esparcirse, mientras que jams ser posible
que, lanzando trozos de cristal, se construya un vaso por s solo.
Otro ejemplo domstico: imagnense dos envases de un litro de
capacidad que contienen, respectivamente, pintura blanca y pintura
negra; con una cucharita, se toma pintura blanca, se vierte en el
recipiente de pintura negra y se mezcla; luego se toma pintura
negra con la misma cucharita, se vierte en el recipiente de pintura
blanca y se mezclan; el proceso se repita hasta que se obtienen dos
litros de pintura gris, que no podrn reconvertirse en un litro de
pintura blanca y otro de pintura negra; la entropa del conjunto ha
ido en aumento hasta llegar a un mximo cuando los colores de ambos
recipientes son sensiblemente iguales (sistema homogneo).No
obstante, considerar que la entropa es el desorden de un sistema
sin tener en cuenta la naturaleza del mismo es unafalacia. Y es que
hay sistemas en los que la entropa no es directamente proporcional
al desorden, sino al orden.
B) Entropa como creadora de orden
A pesar de la identificacin entre la entropa y el desorden, hay
muchas transiciones de fase en la que emerge una fase ordenada y al
mismo tiempo, la entropa aumenta. En este artculo se muestra que
esta paradoja se resuelve haciendo una interpretacin literal de la
famosa ecuacin de Boltzmann S = k log W. Podemos verlo en la
segregacin de unamezclatipocoloide, por ejemplo cuando el agua y
aceite tienden a separarse. Tambin en la cristalizacin de esferas
duras: cuando agitamos naranjas en un cesto, stas se ordenan de
forma espontnea. De estos casos se deduce el concepto de fuerza
entrpica o interaccin, muy til en la ciencia de polmeros o ciencia
coloidal.6
C) Relacin de la entropa con la teora de la informacin
Recientes estudios han podido establecer una relacin entre la
entropa fsica y laentropade lateora de la informacingracias a la
revisin de la fsica de los agujeros negros. Segn la nueva teora
deJacob D. Bekensteinelbitde informacin sera equivalente a una
superficie de valor 1/4 del rea de Planck. De hecho, en presencia
de agujeros negros lasegunda ley de la termodinmicaslo puede
cumplirse si se introduce la entropa generalizada o suma de la
entropa convencional (Sconv) ms un factor dependiente del rea total
(A) de agujeros negros existente en el universo, del siguiente
modo:
Donde,kes laconstante de Boltzmann,ces lavelocidad de la luz,Ges
laconstante de la gravitacinyes laconstante de
Planckracionalizada.Los agujeros negros almacenaran la entropa de
los objetos que engulle en la superficie delhorizonte de
sucesos.Stephen Hawkingha tenido que ceder ante las evidencias de
la nueva teora y ha propuesto un mecanismo nuevo para la
conservacin de la entropa en los agujeros negros.Simplemente, al
realizar un trabajo, se ocupa muy poca energa; la entropa se
encarga de medir la energa que no es usada y queda reservada en un
cuerpo.
En el mbito de lateora de la informacinlaentropa, tambin
llamadaentropa de la informacinyentropa de Shannon(en honor aClaude
E. Shannon), mide la incertidumbre de unafuente de informacin.La
entropa tambin se puede considerar como la cantidad de informacin
promedio que contienen los smbolos usados. Los smbolos con menor
probabilidad son los que aportan mayor informacin; por ejemplo, si
se considera como sistema de smbolos a las palabras en un texto,
palabras frecuentes como "que", "el", "a" aportan poca informacin,
mientras que palabras menos frecuentes como "corren", "nio",
"perro" aportan ms informacin. Si de un texto dado borramos un
"que", seguramente no afectar a la comprensin y se sobreentender,
no siendo as si borramos la palabra "nio" del mismo texto original.
Cuando todos los smbolos son igualmente probables (distribucin de
probabilidad plana), todos aportan informacin relevante y la
entropa es mxima.El conceptoentropaes usado entermodinmica,mecnica
estadsticayteora de la informacin. En todos los casos la entropa se
concibe como una "medida del desorden" o la "peculiaridad de
ciertas combinaciones". La entropa puede ser considerada como una
medida de la incertidumbre y de la informacin necesarias para, en
cualquier proceso, poder acotar, reducir o eliminar la
incertidumbre. Resulta que el concepto de informacin y el de
entropa estn bsicamente relacionados entre s, aunque se necesitaron
aos de desarrollo de lamecnica estadsticay de lateora de la
informacinantes de que esto fuera percibido.ndice 1Relacin con la
entropa termodinmica 2Concepto intuitivo 3Definicin formal
3.1Ejemplos 3.2Informacin mutua 4Propiedades 5Codificador ptimo
5.1Ejemplo 6Entropa condicional 6.1Aplicacin en criptoanlisis
6.2Ejemplo 7Entropa de un proceso estocstico 7.1Ratio de entropa
8Referencias 8.1Bibliografa
Relacin con la entropa termodinmica
La entropa de la teora de la informacin est estrechamente
relacionada con laentropa termodinmica. En la termodinmica se
estudia un sistema de partculas cuyos estados X (usualmente posicin
y velocidad) tienen una ciertadistribucin de probabilidad, pudiendo
ocupar varios microestados posibles (equivalentes a los smbolos en
la teora de la informacin). La entropa termodinmica es igual a la
entropa de la teora de la informacin de esa distribucin (medida
usando ellogaritmo neperiano) multiplicada por laconstante de
Boltzmannk, la cual permite pasar de nats (unidad semejante al bit)
a J/K. Cuando todos los microestados son igualmente probables, la
entropa termodinmica toma la forma k log(N). En un sistema aislado,
la interaccin entre las partculas tiende a aumentar su dispersin,
afectando sus posiciones y sus velocidades, lo que causa que la
entropa de la distribucin aumente con el tiempo hasta llegar a un
cierto mximo (cuando el mismo sistema es lo ms homogneo y
desorganizado posible); lo que es denominadosegunda ley de la
termodinmica. La diferencia entre la cantidad de entropa que tiene
un sistema y el mximo que puede llegar a tener se
denominaneguentropa, y representa la cantidad de organizacin
interna que tiene el sistema. A partir de esta ltima se puede
definir laenerga libre de Gibbs, que indica la energa que puede
liberar el sistema al aumentar la entropa hasta su mximo y puede
ser transformada en trabajo (energa mecnica til) usando unamquina
ideal de Carnot. Cuando un sistema recibe un flujo de calor, las
velocidades de las partculas aumentan, lo que dispersa la
distribucin y hace aumentar la entropa. As, el flujo de calor
produce un flujo de entropa en la misma direccin.
Concepto intuitivo
Entropa de la informacin en unensayo de BernoulliX(experimento
aleatorio en que X puede tomar los valores 0 o 1). La entropa
depende de la probabilidad P(X=1) de que X tome el valor 1. Cuando
P(X=1)=0.5, todos los resultados posibles son igualmente probables,
por lo que el resultado es poco predecible y la entropa es mxima.El
concepto bsico de entropa enteora de la informacintiene mucho que
ver con laincertidumbreque existe en cualquier experimento o seal
aleatoria. Es tambin la cantidad de "ruido" o "desorden" que
contiene o libera un sistema. De esta forma, podremos hablar de la
cantidad de informacin que lleva una seal.Como ejemplo,
consideremos algn texto escrito enespaol, codificado como una
cadena de letras, espacios ysignos de puntuacin(nuestra seal ser
una cadena de caracteres). Ya que, estadsticamente, algunos
caracteres no son muy comunes (por ejemplo, 'w'), mientras otros s
lo son (como la 'a'), la cadena de caracteres no ser tan
"aleatoria" como podra llegar a ser. Obviamente, no podemos
predecir con exactitud cul ser el siguiente carcter en la cadena, y
eso la hara aparentemente aleatoria. Pero es la entropa la
encargada de medir precisamente esa aleatoriedad, y fue presentada
por Shannon en su artculo de1948,A Mathematical Theory of
Communication("Una teora matemtica de la comunicacin", en
ingls).Shannon ofrece una definicin de entropa que satisface las
siguientes afirmaciones: La medida de informacin debe
serproporcional(linealcontinua). Es decir, el cambio pequeo en una
de las probabilidades de aparicin de uno de los elementos de la
seal debe cambiar poco la entropa. Si todos los elementos de la
seal son equiprobables a la hora de aparecer, entonces la entropa
ser mxima.Ejemplos de mxima entropa: Suponiendo que estamos a la
espera de un texto, por ejemplo un cable con un mensaje. En dicho
cable slo se reciben las letras en minscula de la a hasta la z,
entonces si el mensaje que nos llega es
"qalmnbphijcdgketrsfuvxyzwo" el cual posee una longitud de 27
caracteres, se puede decir que este mensaje llega a nosotros con la
mxima entropa (o desorden posible); ya que es poco probable que se
pueda pronosticar la entrada de caracteres, pues estos no se
repiten ni estn ordenados en una forma predecible.
Definicin formal
Supongamos que un evento (variable aleatoria) tiene un grado de
indeterminacin inicial igual a(i.e. existenestados posibles) y
supongamos todos los estados equiprobables. Entonces la
probabilidad de que se d una de esas combinaciones ser. Luego
podemos representar la expresincomo:
Si ahora cada uno de losestados tiene una probabilidad, entonces
la entropa vendr dada por la suma ponderada de la cantidad de
informacin:1
Por lo tanto, la entropa de un mensaje, denotado por, es el
valor medio ponderado de la cantidad de informacin de los diversos
estados del mensaje:
que representa una medida de la incertidumbre media acerca de
una variable aleatoria y por tanto de la cantidad de informacin.
Nota: Obsrvese que se usa el logaritmo en base 2 porque se
considera que la informacin se va a representar mediante cdigo
binario (se quiere representar conbits). Si para representar la
informacin se usaran valores en una baseentonces sera conveniente
utilizar el logaritmo en base.Nota 2: Observese que es una cantidad
adimensional, es decir no lleva unidad.
a) Ejemplos La entropa de un mensaje M de longitud 1 carcter que
utiliza el conjunto de caracteres ASCII, suponiendo una
equiprobabilidad en los 256 caracteres ASCII, ser:
Supongamos que el nmero de estados de un mensaje es igual a 3,
M1, M2y M3donde la probabilidad de M1es 50%, la de M225% y la de
M325%. Por tanto la entropa de la informacin es:
b) Informacin mutua
La entropa puede verse como caso especial de lainformacin mutua.
Lainformacin mutuade dosvariables aleatorias, denotado por I(X;Y),
es unacantidadque mide la dependencia mutua de las dosvariables; es
decir, mide la reduccin de la incertidumbre (entropa) de una
variable aleatoria, X, debido al conocimiento del valor de otra
variable aleatoria, Y.2De la definicin podemos concluir que si X e
Y son iguales, entonces I(X;X)=H(X).PropiedadesLa entropa tiene las
siguiente propiedades:1. La entropa es no negativa. Esto es
evidente ya que al seruna probabilidad entonces. Por tanto podemos
decir quey por tanto2. Es decir, la entropa H est acotada
superiormente (cuando es mxima) y no supone prdida de informacin.3.
Dado un proceso con posibles resultados {A1,..,An} con
probabilidades relativas p1,...,pn, la funcines mxima en el caso de
que. El resultado es intuitivo ya que tenemos la mayor
incertidumbre del mensaje, cuando los valores posibles de la
variable son equiprobables4. Dado un proceso con posibles
resultados {A1,..,An} con probabilidades relativas p1,...,pn, la
funcines nula en el caso de quepara todo i, excepto para una clase,
tal que:. De forma intuitiva podemos pensar que cuando uno o ms
estados tienen una probabilidad alta, disminuye significativamente
la entropa porque, como es lgico, existe una menor incertidumbre
respecto al mensaje que se recibir.
Codificador ptimo
Uncodificador ptimoes aquel que utiliza el mnimo nmero de bits
para codificar un mensaje. Un codificador ptimo usar cdigos cortos
para codificar mensajes frecuentes y dejar los cdigos de mayor
longitud para aquellos mensajes que sean menos frecuentes. De esta
forma se optimiza el rendimiento del canal o zona de almacenamiento
y el sistema es eficiente en trminos del nmero de bits para
representar el mensaje.Por ejemplo, elcdigo Morsese aprovecha de
este principio para optimizar el nmero de caracteres a transmitir a
partir del estudio de las letras ms frecuentes del alfabeto ingls.
El cdigo Morse no es un codificador ptimo pero s asigna a las
letras ms frecuente cdigo ms cortos. Otro ejemplo sera elalgoritmo
de Huffmande codificacin que sirve para compactar informacin.3Este
mtodo se basa en elcodificador ptimo. Para ello lo primero que hace
es recorrer toda la informacin para encontrar la frecuencia de los
caracteres y luego a partir de esta informacin busca el codificador
ptimo por medio de rboles binarios. Algunas tcnicas de compresin
comoLZWodeflacinno usan probabilidades de los smbolos aislados,
sino que usan las probabilidades conjuntas de pequeas secuencias de
smbolos para codificar el mensaje, por lo que pueden lograr un
nivel de compresin mayor.Podemos construir un codificador ptimo
basndonos en la entropa de una variable aleatoria de informacin X.
En efecto, la entropa nos da elnmero mediode bits (si usamos
logaritmos de base 2) necesarios para codificar el mensaje a travs
de uncodificador ptimoy por tanto nos determina el lmite mximo al
que se puede comprimir un mensaje usando un enfoque smbolo a smbolo
sin ninguna prdida de informacin (demostrado analticamente por
Shannon), el lmite de compresin (en bits) es igual a la entropa
multiplicada por el largo del mensaje. Reescribiendo la ecuacin de
clculo de la entropa llegamos a que:
Por lo tanto, la informacin (que se encuentra definida en bits,
dado que la base del logaritmo es 2) que aporta un determinado
valor o smbolode una variable aleatoria discretase define como:
Esta expresin representa el nmero necesario de bits para
codificar el mensaje x en elcodificador ptimoy por tanto la entropa
tambin se puede considerar como una medida de la informacin
promedio contenida en cada smbolo del mensaje.
a) EjemploSupongamos que el nmero de estados de un mensaje es
igual a 3 M1, M2y M3donde la probabilidad de M1es 50%, la de M225%
y la de M325%.Para M1tenemos quePara M2tenemos quePara M3tenemos
quePor tanto en el codificador ptimo para transmitir M1har falta un
bit y para M2y M3ser necesario contar con dos bits. Por ejemplo
podramos codificar M1con "0", M2con "10" y M2con "11". Usando este
convenio para codificar el mensaje M1M2M1M1M3M1M2M3usaramos
"010001101011" y por tanto 12 bits. El valor de la entropa
sera:
Por tanto elcodificador ptimonecesita de media 1,5 bits para
codificar cualquier valor de X.
Entropa condicional
Supongamos que en vez de tener una nica variable aleatoria X,
existe otra variable Y dependientes entre s, es decir el
conocimiento de una (por ejemplo Y) entrega informacin sobre la
otra (por ejemplo X). Desde el punto de vista de la entropa de la
informacin podemos decir que la informacin de Y disminuir la
incertidumbre de X. Por tanto podemos decir que la entropa de X ser
condicional a Y. y por tanto:
Como por elteorema de Bayestenemos que p(x,y)=p(y)p(x|y) donde
p(x|y) es la probabilidad de que se d un estado de X conocida Y,
podemos decir:
Aplicacin en criptoanlisis
El concepto de entropa condicional es muy interesante en el
campo delcriptoanlisis. Proporciona una herramienta para evaluar el
grado de seguridad de los sistemas. Por ejemplo para un sistema
decifradohay dos entropas condicionales interesantes:4Supongamos Un
mensaje M1es sometido a un proceso de cifrado usando la clave
K1obteniendo E(K1,M1)=C1. representan la probabilidad condicional
de la clave K dado el criptograma recibido C. A veces tambin se
denota por representan la probabilidad condicional del mensaje M
dado el criptograma recibido C. A veces tambin se denota por
Entonces: Podemos calcular la entropa del conocimiento de la
clave una vez conocido el texto cifrado, y por tanto medir
laequivocacin del mensaje(en inglsmessage equivocation),, tambin
denotada por, mediante la frmula:
La primera igualdad es por la definicin de la entropa
condicional y la segunda por aplicacin delteorema de Bayes.Observar
que sisignifica que se podr romper el cifrado pues ya no hay
incertidumbre. Esta anulacin nos introduce en el concepto
dedistancia de unicidad. Podemos calcular la entropa del
conocimiento del mensaje una vez conocido el texto cifrado, y por
tanto medir laequivocacin de la clave(en inglskey equivocation),,
tambin denotada por, mediante la frmula:
La primera igualdad es por la definicin de la entropa
condicional y la segunda por aplicacin delteorema de Bayes.
a) EjemploSupongamos una variable X con cuatro estados:todos
equiprobables y por tanto. Existe adems otra variable Y con tres
estados;con probabilidadesy. Se conocen adems las siguientes
dependecias:Sientonces los posibles valores de x sonSientonces los
posibles valores de x sonSientonces los posibles valores de x
sonAplicando las frmulas tenemos:
En este caso el conocimiento de la dependencia de X respecto Y
reduce la entropa de X de 2 a 1,5.
Entropa de un proceso estocsticoUnproceso estocsticoes una
secuencia indexada de variables aleatorias. En general, puede haber
dependencias entre las variables aleatorias. Para estudiar la
probabilidad de cierto conjunto de valores se suele adoptar el
siguiente convenio:
Seaun proceso estocstico de n variables aleatorias, y seael
conjunto de la posibles combinaciones de valores de. Se define
laentropa del proceso estocstico, tambin llamadaentropa del
n-gramay denotado por, como:
Ratio de entropa Laratio de entropade una secuencia de n
variables aleatorias (proceso estocstico) caracteriza la tasa de
crecimiento de la entropa de la secuencia con el crecimiento de
n.Laratio de entropade un proceso estocsticoviene definida por la
ecuacin:
Siempre que dicho lmite exista.
1. Concepto de Entropia2. Caracteristicas3. Transferencia de
Entropia4. Irreversibilidad y Entropia5. Principio de aumento de
entropia6. Calculo de variaciones de EntropiaConcepto de Entropia
.1.- Desigualdad de Clausius:La desigualdad de Clausiu es una
relacion entre las temperasturas de un numero arbitrario de fuentes
termicas y las cantidades de calor entregadas o absorbidas por
ellas, cuando a una sustancia se le hace recorrer un proceso
ciclico arbitrario durante el cual intercambie calor con las
fuentes. Esta desigualdad viene dada por:dQ / T