Che cos’è la teoria Che cos’è la teoria dell’informazione dell’informazione? E’ una teoria matematica che tratta l’aspetto “simbolico” dell’informazione La teoria dell’informazione ha origine nel 1948 con la pubblicazione da parte di C. E. Shannon di “A Mathematical theory of Communication” Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata 1 theory of Communication” Inizia un approccio quantitativo alla nozione di informazione Viene introdotto un modello di un sistema di comunicazione in cui compare una sorgente di informazione ed una di rumore
31
Embed
Che cos’è la teoria Che cos’è la teoria dell’informazione ... · Viene introdotto un modello di un sistema di comunicazione in ... (decodifica). Mauro De Sanctis ... La teoria
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Che cos’è la teoria Che cos’è la teoria dell’informazionedell’informazione??
� E’ una teoria matematica che tratta l’aspetto “simbolico”
dell’informazione
� La teoria dell’informazione ha origine nel 1948 con la
pubblicazione da parte di C. E. Shannon di “A Mathematical
theory of Communication”
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
1
theory of Communication”
� Inizia un approccio quantitativo alla nozione di informazione
� Viene introdotto un modello di un sistema di comunicazione in
cui compare una sorgente di informazione ed una di rumore
Che cos’è la teoria Che cos’è la teoria della codifica?della codifica?
� E’ nata con la teoria dell’informazione.
� E’ una teoria matematica che tratta il processo di
rappresentazione dell’informazione in un dato formato (codifica)
ed il processo inverso di recupero dell’informazione nel suo
formato originario (decodifica).
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
2
formato originario (decodifica).
� La teoria della codifica fa uso della teoria dei numeri e
dell’algebra astratta.
Modello generale di un sistema di Modello generale di un sistema di comunicazione/memorizzazionecomunicazione/memorizzazione
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
3
Sistema di comunicazione Sistema di comunicazione ddigitaleigitale
� L’obiettivo di ogni sistema di comunicazione è:“La riproduzione di un messaggio emesso da una sorgente nel luogo dove l’utente dell’informazione è ubicato”
� La distanza tra sorgente e utente può essere:- CONSIDEREVOLE (come nel caso delle trasmissioni
intercontinentali)
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
4
intercontinentali)- MOLTO PICCOLA (come nella memorizzazione e recupero di dati usando l’unità disco di un computer)
S DSorgente Destinazione
Informazione
Messaggio astratto
Segnale fisico
Sistema di comunicazione Sistema di comunicazione ddigitaleigitale
� Il canale di comunicazione permette il trasporto dell’informazione attraverso l’utilizzo di tre risorse:
- Potenza
- Banda
- Tempo
� I dispositivi di comunicazione permettono di inviare l’informazione attraverso il canale sfruttando le seguenti risorse:
- Potenza di funzionamento (assorbita per calcoli, amplificazione,
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
5
- Potenza di funzionamento (assorbita per calcoli, amplificazione,
memorizzazione,…)
- Memoria
- Complessità
- Peso
� Le risorse del canale e dei dispositivi devono essere utilizzate nel modo più efficiente possibile. Esistono vari compromessi tra risorse.
nodo (dispositivo)
collegamento
Rete di telecomunicazioniRete di telecomunicazioni
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
6
Pila Protocollare
� L'Open Systems Interconnection (o modello OSI) è uno standard per reti di calcolatori proposto nel 1978 dall'International Organization for Standardization(ISO).
Codifica di sorgente e codifica
crittografica
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
Sorgenti e messaggi informativiSorgenti e messaggi informativi
� Come misurare la “quantità d’informazione” emessa da una sorgente?
� L’uscita di una sorgente (il messaggio) consiste in una sequenza di simboli scelti in un insieme finito
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
9
una sequenza di simboli scelti in un insieme finito (l’alfabeto di sorgente)
� Un meccanismo probabilistico regola l’emissione di simboli consecutivi nel messaggio
Sorgenti e messaggi informativiSorgenti e messaggi informativi
� Messaggi diversi in genere trasportano quantità diverse di informazione
Si deve definire per la sorgente una quantità d’informazione media (ENTROPIA)
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
10
� l’unità di misura dell’informazione è il bit, che corrisponde all’informazione associata all’emissione di uno tra i due simboli equiprobabili
� l’entropia della sorgente rappresenta il minimo numero medio di simboli binari (digit) che è necessario per rappresentare ogni simbolo del messaggio
(ENTROPIA)
Sorgenti e messaggi informativiSorgenti e messaggi informativi
• L’uscita della sorgente può dunque essere sostituita da
una stringa di simboli binari che trasportano la stessa
quantità di informazione ed hanno un numero medio di digit
per simbolo della sorgente originaria vicino quanto
desiderato all’entropia della sorgente
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
11
• Il canale di comunicazione è il mezzo fisico usato per
connettere la sorgente d’informazione con il suo utente
Sorgenti e messaggi informativiSorgenti e messaggi informativi
• I canali discreti senza memoriacanali discreti senza memoria sono specificati da una legge probabilistica che lega i simboli dell’alfabeto di ingresso al canale ai simboli dell’alfabeto d’uscita al canale stesso
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
12
• Un punto importante è la conoscenza del massimo flusso di informazione media che può attraversare il canale in modo affidabile: si arriva così alla definizione di capacità di canale ed al problema di calcolarla
Sorgenti e messaggi informativiSorgenti e messaggi informativi
Il teorema della “codifica di canale” collega i concetti di
entropia di una sorgente e capacità di un canale, stabilendo
cosa significhi “trasmissione affidabile” e indicando come
ottenerla
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
13
ottenerla
Variabili aleatorie e processi stocastici
� L’ingresso e l’uscita di uno qualsiasi dei blocchi di un sistema di comunicazione digitale può essere modellizzatotramite una variabile aleatoria o, più in generale, un processo stocastico.
� Se il sistema è senza memoria è sufficiente utilizzare come modello una variabile aleatoria.
� Si consideri un esperimento stocastico in cui ω rappresenta
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
� Si consideri un esperimento stocastico in cui ω rappresenta il risultato di una determinata osservazione; ω viene anche detto campione. L’insieme costituito da tutti i campioni ω è detto spazio dei campioni.
� Una variabile aleatoria X(ω) è un numero reale che viene assegnato ad ogni risultato ω di un esperimento stocastico.
� Analogamente una variabile aleatoria X(ω) è una funzione misurabile che mappa lo spazio dei campioni nell’insieme dei numeri reali.
Sorgenti discrete senza memoriaSorgenti discrete senza memoria
Alfabeto: insieme formato da NX simboli:
Messaggio: è una sequenza finita o semi-infinita di simboli dell’alfabeto.
SORGENTE DISCRETA STOCASTICA:
{ } XN
iixA1=
=
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
15
SORGENTE DISCRETA STOCASTICA:
Una sorgente discreta senza memoria è modellizzabile come
una variabile aleatoria discreta X a valori in A.
Una sorgente discreta è un dispositivo che emette messaggi
attraverso la selezione di simboli dell’alfabeto A, secondo una
assegnata massa di probabilità:
)( ii xPp ={ } XN
iip1=
Definiamo il contenuto informativo (autoinformazione) legato
,0per,1ln >−≤ yyyUtilizziamo: che diventa uguaglianza per y=0
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
28
Uguaglianza se:
ovvero: (simboli equiprobabili)
11
=XNp
k
X
kN
p1
=
Interpretazione del termine Bit
� bit (binary unit): unità di misura dell'informazione. Può averequalsiasi valore reale non negativo. Nel passato era indicato come"binit".
� bit (binary digit): indica una variabile discreta (binaria) che può averedue soli valori possibili comunemente indicati con "0" e "1". Puòavere soltanto valori interi che stanno ad indicare quante variabilibinarie vengono utilizzate. Nel passato era indicato come "bigit".
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
binarie vengono utilizzate. Nel passato era indicato come "bigit".
� Dall'esempio 1.1 si vede come una sorgente binaria (che emette deibinary digit) ha un contenuto medio di informazione H(X) pari ad 1bit/simbolo (binary unit) se e solo se i due simboli "0" ed "1" sonoequiprobabili. Allo stesso modo, il contenuto di informazione I(x1) delsingolo evento x1=0 è pari ad 1 bit se e solo se P(x1)=1/2.
Libri di Testo
� Ernestina Cianca, Mauro De Sanctis, Marina Ruggieri, “Information
and Coding: Theory Overview, Design, Applications and Exercices”,
ARACNE editrice, Italy, ISBN 978–88–548–1170–6, May 2007.
� R. G. Gallager, “Information Theory and Reliable Communication”,
John Wiley & Sons, New York, 1968.
� Andrew J. Viterbi, Jim K. Omura, “Principles of Digital
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
� Andrew J. Viterbi, Jim K. Omura, “Principles of Digital
Communication and Coding”, McGraw-Hill, 1979.
� T. M. Cover, J. A. Thomas, “Elements of Information Theory”, John
Wiley & Sons, New York, 1991.
� Steven Roman, “Coding and Information Theory”, Springer, New
York, 1992.
Riferimenti
� Harry Nyquist, “Certain Factors Affecting Telegraph Speed”, The
Bell System Technical Journal, April 1924.
� Harry Nyquist, “Certain Topics in Telegraph Transmission
Theory”, A.I.E.E. Transactions, vol. 47, April 1928.
� R. V. L. Hartley, “Transmission of Information”, The Bell System
Technical Journal, vol. 3, pp. 535-564, July 1928.
� Claude E. Shannon, “A Mathematical Theory of Communication”,
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
� Claude E. Shannon, “A Mathematical Theory of Communication”,
The Bell System Technical Journal, vol. 27, pp. 379-423 and pp.
623-656, July - October 1948.
� Claude E. Shannon, “Communication Theory of Secrecy
Systems”, The Bell System Technical Journal, vol. 28, pp. 656-715,
October 1949.
� R. W. Hamming, Error Detecting and Error Correcting Codes”,