Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme

Vorlesung

Theoretische Grundlagen derInformationstechnik

Prof. Dr.-Ing. Jürgen Götze

Arbeitsgebiet DatentechnikTechnische Universität Dortmund

http://www.dt.e-technik.tu-dortmund.de

Organisatorisches| DT/IPLDT/IPLDT/IPL | TGIT | 0.0.1

Vorlesung: Mo 14:15 - 15:45 ET A 3.21 GötzeDi 14:15 - 15:45 SRG 2.009 Götzelsf: 080314

Übung: Mo 16:15 - 17:45 P1-04-207 Abdallatiflsf: 080315

Adresse: Prof. Dr.-Ing. Jürgen GötzeEmail: [email protected]: P1-04-214, Tel.: 0231 755-2091

M. Sc. Mohammed AbdallatifEmail: [email protected]: P1-04-216, Tel.: 0231 755-2862

Webseite: http://www.dt.e-technik.tu-dortmund.de/lehrePrüfung: Klausur (3 Stunden)

Vorleistungen: 2 von 4 Pflichtübungen, Praktikumsversuch(lsf: Versuch 207)

mailto:[email protected]

mailto:[email protected]

http://www.dt.e-technik.tu-dortmund.de/cms/de/lehre/vorlesungen/tgit/index.html

Inhalt| DT/IPLDT/IPLDT/IPL | TGIT | 0.0.1

1 Einführung

2 Signale und SystemeZeit-diskrete und digitale SignaleZeit-diskrete SystemeAlgebraische Beschreibung zeit-diskreter SystemeSignale und Signalräume

3 Lineare Transformationen von SignalenLineare TransformationenDiskrete SignaltransformationenFaltung als lineare Matrixtransformation

4 Lineare Gleichungssysteme und AnwendungenMatrixzerlegungenLineare GleichungssystemeAnwendungen


5 Prinzipielle Komponenten Analyse und AnwendungenFundamentale Unterräume einer MatrixPrinzipielle Komponenten einer MatrixParameterschätzung basierend auf SWZ/EWZSystemidentifikation und Zustandsraummodell

6 Wahrscheinlichkeit, Zufallsvariablen und stochastische ProzesseWahrscheinlichkeitsrechnungZufallsvariableZufallsvektorenStochastische Prozesse

7 Informationstheorie und CodierungGrundlagen der InformationstheorieQuellencodierungKanalkapazität und KanalcodierungstheoremGrundlagen des Rechnens auf endlichen KörpernErzeugung von KanalcodesHamming CodesBCH CodesRS Codes


8 Anhang: Lineare AlgebraGrundlagen der Vektor/MatrixrechnungMatrixrechnungVektorräume und Unterräume

9 Anhang: Grundlegende Strukturen der Algebra (Ergänzung)

10 Anhang: Ergänzung zur Wahrscheinlichkeitsrechnung

11 Anhang: Total Least Squares (Ergänzung)

12 Anhang: Inverse Matrizen (Ergänzung)

Literatur| DT/IPLDT/IPLDT/IPL | TGIT | 0.0.2

1 G. Strang, Linear Algebra and Its Applications, Academic Press, 3rd edition, 1989.

2 A. Hoffmann, B. Marx, W. Vogt, Mathematik für Ingenieure 1, Pearson Studium, 2005.

3 G.H. Golub, C.F. van Loan, Matrix Computations, The John Hopkins University Press, 3rdedition, 1996.

4 A.V. Oppenheim, R.W. Schafer, J.G. Buck, Zeitdiskrete Signalverarbeitung, PearsonStudium, 2004.

5 J.G. Proakis, D.G. Manolakis, Digital Signal Processing: Principles, Algorithms andApplications, Macmillan, 2nd edition, 1992.

6 E. Hänsler, Statistische Signale - Grundlagen und Anwendungen, Springer, 2. Auflage,1997.

7 A. Papoulis, Probability , Random Variables, and Stochastic Processes, McGraw Hill, 4thedition, 2001.

8 J.G. Proakis, M. Salehi Grundlagen der Kommunikationstechnik, Pearson Studium, 2.Auflage 2004.

9 K.D. Kammeyer, Nachrichtenübertragung, B.G. Teubner, 3. Auflage, 2004.

10 H. Rohling, Einführung in die Informations- und Codierungstheorie, Teubner 1995.

11 T.M. Cover, J.A. Thomas: Elements of Information Theory. Wiley 1991.

12 D.J.C. MacKay: Information Theory, Inference and Learning Algorithms. CambridgeUniversity Press 2007.

13 M. Bossert, Kanalcodierung, B.G. Teubner, 2nd edition, 1998.


1 Einführung




Informationstechnische Systeme und Anwendungen| DT/IPLDT/IPLDT/IPL | TGIT | 1.1.1

Informationstechnische Komponenten| DT/IPLDT/IPLDT/IPL | TGIT | 1.1.2

Architekturen, Methoden/Algorithmen| DT/IPLDT/IPLDT/IPL | TGIT | 1.1.3

Mikro-prozessor

Digitaler Signal-Prozessor (DSP)

Field ProgrammableGate Array (FPGA)

Application SpecificIntegrated Circuit (ASIC)

SignaltransformationFilterung

Detektion,Schlätzung

Entzerrung,Identifikation

Kodierung,Dekodierung

Signal- und Informations-Verarbeitung

Eingangssignale Ausgangssignale

Architekturen (zum Aufbau der Komponenten)

Methoden/Algorithmen

Blockschaltbild eines Übertragungssystems| DT/IPLDT/IPLDT/IPL | TGIT | 1.1.4

Signal i q k d

Signal i q k d

analogQuellen- Kanal- Signal-

Modu-

digital

analog

digital

kodierung kodierung transformation

Quellende- Kanalde-kodierung kodierung

Detektion/Schätzung/

lation

Kanal

Demodu-

lation

Entzerrung

InverseSignal-

transformation

• Handy→ Funkkanal→ Handy (gezeigtes Beispiel)

• WLAN-Router→ Funkkanal→ Laptop

• Server→ Kabel (Ethernet)→ Rechner

• Bluray Disc→ Laser→ Bildschirm

Signale & Systeme| DT/IPLDT/IPLDT/IPL | TGIT | 1.1.5

Signale: Sprache, Bilder, Daten (Text, Bitfolge)Systeme: Operation wird auf Signal angewendet;

1) Schalter, Rechnerprogramm, Prozessor, Filter,2) Leitung, Mobilfunkkanal, Motor, chemischer Prozess

Eingangs-

signalSystem

Ausgangs-

signal

y[t]x[t]

x(n) y(n){..i..} {..k..}

Modellbildung: Die betrachteten physikalischen Systemen (gemäßPunkt 2)) werden häufig durch Modelle beschrieben. Diese werden für denEntwurf der Methoden/Algorithmen (gemäß Punkt 1)) verwendet. DieseModelle sind auch erforderlich, um eine Simulation des realen Systemsdurchzuführen.

Klassifikation von Signalen und Systemen| DT/IPLDT/IPLDT/IPL | TGIT | 1.1.6

Klassifikation von Signalen:• deterministisches Signal x[t] = Ae−αt sin(ωt− φ)

• stochastisches Signal: Geräusche, Sprache

• mehrkanaliges Signal: EKG von Baby, Sensorfelder (Antennen)

• mehrdimensionales Signal: Bild

Klassifikation von Systemen bezüglich:• Linearität, Kausalität, Zeitvarianz, . . .

• Hardware, Software, physikalisches System, . . .

Beispiele für Signale| DT/IPLDT/IPLDT/IPL | TGIT | 1.1.7

0 50 100 150 200

−1

−0.8

−0.6

−0.4

−0.2

0

0.2

0.4

0.6

0.8

1

Zeit in µsec

Be

tra

g

Deterministisches Signal

0.48 0.49 0.5 0.51 0.52 0.53 0.54

−0.1

0

0.1

Time in seconds

Am

plit

ud

e

Stochastisches Signal: Train Whistle

M

0 2 4 6 8 10 12 14−50

0

50EKG: Sensor 2

Am

plit

ude

0 2 4 6 8 10 12 14−50

0

50EKG: Sensor 5

Am

plit

ude

0 2 4 6 8 10 12 14−500

0

500

1000EKG: Sensor 9

Am

plit

ude

Time

Bild: 480x500 Bildpunkte

50 100 150 200 250 300 350 400 450 500

50

100

150

200

250

300

350

400

450

Theoretische Informationstechnik| DT/IPLDT/IPLDT/IPL | TGIT | 1.1.8

Informationstechnik: Umsetzung von Methoden und Verfahren der

Nachrichtentechnik (z. B. Übertragungstechnik, Mobilfunk),

Signalverarbeitung (z. B. Filterung, Signaltransformation, Detektion),

Informationstheorie (z. B. Codierung, Kryptographie), Robotik (z. B.

Systemidentifikation, Modellierung), usw. in technische Systeme

(DVD-Spieler, Handy, Festplatte, eingebettetes System, . . .) bzw. in die zur

Realisierung dieser Systeme erforderlichen elektronischen Komponenten

(Mikroprozessor, Signalprozessor,Integrierte Schaltungen, Speicher, . . .).

Theoretische Informationstechnik:Mathematische Darstellung der

theoretischen Grundlagen der Informationstechnik und der Grundlagen

der Informationstheorie, so dass Anwendungen in den verschiedenen oben

genannten Gebieten allgemein beschrieben werden können und

Zusammenhänge der verschiedenen Problemstellungen aufgezeigt werden

können.

Vorhaben und Ziele der Vorlesung I| DT/IPLDT/IPLDT/IPL | TGIT | 1.1.9

Vorhaben: Definition von Grundbegriffen der Informationstechnik undInformationstheorie. Signale und Systeme der IT werden durchmathematische Konstrukte (z. B. Vektoren/Matrizen) beschrieben.Algebraische und geometrische Methoden dienen zur Herleitung vonLösungsverfahren für verschiedene Problemstellungen und zur Darstellungvon Zusammenhängen. Grundlagen der Statistik dienen zur Analyse undzur informationstheoretischen Beschreibung der Signale und Systeme.

• Wie lassen sich Signale und Systeme durch algebraische Strukturen(z.B. Mengen, Vektoren, Matrizen) beschreiben? Wie lässt sich derInformationsgehalt und die Übertragung von Informationmathematisch beschreiben? M

• Was sagen Beschreibungsgrößen der algebraischen Strukturen (z. B.φ(v1, v2): Winkel zwischen zwei Vektoren, λ(A): Eigenwerte der Matrix)und der Statistik (Varianz, Korrelation) über die Signale und Systemeder Informationstechnik?• Welche Problemstellungen der obigen Anwendungsgebiete könnendamit gelöst werden?

Vorhaben und Ziele der Vorlesung II| DT/IPLDT/IPLDT/IPL | TGIT | 1.1.10

Ziel ist zu zeigen,• wie reichhaltig mathematische(algebraische/geometrische/statistische) Beschreibungen in derInformationstechnik vertreten sind• wie sie das Verständnis (für Zusammenhänge) fördern

Signale und Systeme

deterministische stochastischeSignale & Systeme

Signale & lineare Systeme

Signale & Systeme Datenmatrizen Korrelationsmatrizen

Algebra und Transformationen

Lineare Algebra & lineare Transformationen

Codierung

Block Codes Faltungscodes

Informationstheorie

Anwendungsgebiete

Technische InformatikNachrichtentechnik, Signalvarbeitung,

Filterung, Entzerrung, Detektion,Schätzung, Identifikation, Codierung

Vorlesung

Nichts ist praktischer als eine gute Theorie.

- Ludwig Boltzmann

Kapitelübersicht| DT/IPLDT/IPLDT/IPL | TGIT | 1.1.11

Kap. 1 Einführung (dieses Kapitel)

Kap. 2 Signale und Systeme

Kap. 3 Lineare Transformationen von Signalen und Systemen

Kap. 4 Lineare Gleichungssysteme und Anwendungen

Kap. 5 Prinzipielle Komponenten Analyse und Anwendungen

Kap. 6 Wahrscheinlichkeit, Zufallsvariablen und stochastischeProzesse

Kap. 7 Informationstheorie und Codierung


1 Einführung




| DT/IPLDT/IPLDT/IPL | TGIT | 2.1.0

2.1 Zeit-diskrete und digitale Signale

Analoges Signal| DT/IPLDT/IPLDT/IPL | TGIT | 2.1.1

x[t] = Ae−αt sin( 2πT t− φ)

z. B. : A = 1.6, α = 0.0005, T = 50 µs, f = 20 kHz, φ = 0.1

0 20 40 60 80 100 120 140 160 180 200−1.5

−1

−0.5

0

0.5

1

1.5

Zeit in µsec

Be

tra

g

Frage: Wie wird das Zeit- und Werte-kontinuierliche (analoge) Signal ineinem Rechner abgespeichert?

Diskretisierung der Zeit| DT/IPLDT/IPLDT/IPL | TGIT | 2.1.2

Werte des kontinuierlichen Signals bei t = n · ∆t (n ∈ Z)

→ x(n∆t) = Ae−α·n·∆t sin(2π

Tn · ∆t− φ)

∆t ||| Normierung

x(n) = Ae−(α·∆t)·n sin(2π∆t

Tn− φ)

Zeit-diskretes Signal x(n) = Zahlensequenz:

x(n) = {..., x(n− 1), x(n), x(n + 1), ...}Zur exakten Darstellung des zeit-diskreten, werte-kontinuierlichenSignals x(n) ist im Allgemeinen eine Wortlänge w→ ∞ (unendlich vieleBits) für jeden Abtastwert x(n) erforderlich.

Diskretisierung der Amplitudenwerte| DT/IPLDT/IPLDT/IPL | TGIT | 2.1.3

Quantisierung:

xq(n) = Q[x(n)] ,

wobei Q[ · ] die Quantisierung beschreibt (durch Wortlänge w begrenzt).Hier z. B. für w=4 (mit Vorzeichen):

VZ 22 21 20

± 0 0 0 0.0± 0 0 1 0.2± 0 1 0 0.4± 0 1 1 0.6± 1 0 0 0.8± 1 0 1 1.0± 1 1 0 1.2± 1 1 1 1.4 −1.5 −1 −0.5 0 0.5 1 1.5

−1.5

−1

−0.5

0

0.5

1

1.5Quantisierungskennlinie

Eingang

Au

sg

an

g

VZ:+→ 0;− → 1;

Zeit- und werte-diskretes Signal = Digitales Signal

Quantisierung| DT/IPLDT/IPLDT/IPL | TGIT | 2.1.4

∆ =xmax − xmin

L︸︷︷︸Anzahl der Quantisierungsstufen

=1.5− (−1.5)

15=

315

= 0.2

A/D Wandler w= 11 bit⇒ L = 2w − 1 = 2047⇒ ∆ = 3

2047 ≈ 0.0015

Anmerkung:• Quantisierung werden wir in den folgenden Kapiteln 3-5vernachlässigen. Annahme: Wortlänge genügend groß, umQuantisierungseffekte zu vernachlässigen (z.B. MatlabGleitpunktdarstellung ε = 2.2204 · 10−16). In der Praxis istQuantisierung/Wortlänge aber ein wichtiges Problem: Kosten,Auflösung der A/D Wandler.• Quantisierung/Binärdarstellung der Amplitudenwerte wird in denKapiteln 6 und 7 berücksichtigt (z.B. wie oft tritt der Wert−0.2 auf).

M

Beispiel ∆t = 10µsec: Graphische Darstellung| DT/IPLDT/IPLDT/IPL | TGIT | 2.1.5

0 20 40 60 80 100 120 140 160 180 200−1.5

−1

−0.5

0

0.5

1

1.5

Zeit in µsec

Be

tra

g

Kontinuierliches Signal und Abtastwerte

(1)

0 20 40 60 80 100 120 140 160 180 200−1.5

−1

−0.5

0

0.5

1

1.5

Zeit in µsec

Be

tra

g

Halten der Abtastwerte (sample & hold)

(2)

0 2 4 6 8 10 12 14 16 18 20−1.5

−1

−0.5

0

0.5

1

1.5

n (entspricht Zeitpunkt n∆t)

Betr

ag

Digitales Signal

(4)

0 20 40 60 80 100 120 140 160 180 200−1.5

−1

−0.5

0

0.5

1

1.5

Zeit in µsec

Be

tra

g

Halten der Abtastwerte (sample & hold)

(3) Quantisierung

Digitales Signal: x(n) = {−0.2,+1.4,+1.0,−0.6,−1.4,−0.2, · · · }x(n) = {1001, 0111, 0101, 1011, 1111, 1001, · · · }

Zeit-diskrete Abtastwerte = Zahlensequenz| DT/IPLDT/IPLDT/IPL | TGIT | 2.1.6

Annahme: endlich viele Abtastwerte eines zeit-diskreten Signals: x(n):n = 0, 1, . . . , N (Quantisierung vernachlässigt, Zeitbezug implizit durch ∆t,Fehler bei Rekonstruktion vernachlässigt).

0 2 4 6 8 10 12 14 16 18 20−1.5

−1

−0.5

0

0.5

1

1.5

n

Betr

ag

(1)

Kontinuierliches Signal und Abtastwerte

x(n) = {−0.1000 . . . , 1.3121 . . . , 1.0969 . . . ,−0.5424 . . . ,−1.3114 . . . ,−0.2802 . . . , · · · }x = [−0.1000 . . . , 1.3121 . . . , 1.0969 . . . ,−0.5424 . . . ,−1.3114 . . . ,−0.2802 . . . , · · · ]T

Zeit- und werte-diskrete Abtastwerte| DT/IPLDT/IPLDT/IPL | TGIT | 2.1.7

Zeit- und werte-diskrete Abtastwerte = diskrete Zahlensequenz

0 2 4 6 8 10 12 14 16 18 20−1.5

−1

−0.5

0

0.5

1

1.5

n (entspricht Zeitpunkt n∆t)

Betr

ag

Digitales Signal

(4)

p = 121

102230006221101

p ∈NL

0 beschreibt relative Häufigkeit der quantisierten Amplitudenwerte.

Datenvektoren| DT/IPLDT/IPLDT/IPL | TGIT | 2.1.8

Vektor: x =

x(1)x(2)...

x(n)...

x(N)

x(n) ∈ F⇒ x ∈ FN

Transponierter Vektor:

Für x ∈ RN; xT = [x(1) x(2) . . . x(N)]Für x ∈ CN; xH = (x∗)T konjugiert transponiert

Beispiele: Sprachsignal (F = R), Antennensignal (F = C)Abtastwerte bilden Vektorkomponenten

Datenmatrizen| DT/IPLDT/IPLDT/IPL | TGIT | 2.1.9

X = [xij] =

x1(1) x2(1) . . . xM(1)x1(2) x2(2) . . . xM(2)x1(3) x2(3) . . . xM(3)...

.... . .

...x1(N) x2(N) . . . xM(N)

= [x1 x2 . . . xM] =

xT(1)xT(2)xT(3)...

xT(N)

xij = xj(n) X ∈ FN×M

Beispiele:

Bilder: Pixelwerte bilden Matrixelemente xij (F = R).Sensorfelder: Abtastwerte xj(n) der M Sensoren bilden die

M Spalten der Matrix (F = C bei Antennenfeldern).

Abtasttheorem| DT/IPLDT/IPLDT/IPL | TGIT | 2.1.10

Gegeben: Die höchste Frequenz, die in einem analogen Signal x[t]vorhanden ist, sei fmax. Die Abtastwerte des zeit-diskreten Signals seienx(n) ≡ x(n ∆t), wobei ∆t := Abtastintervall.

Theorem:

a) Falls ∆t = 1fA

< 12fmax

gilt, lässt sich das kontinuierliche Signal x[t] exaktaus den Abtastwerten x(n) rekonstruieren (fA = 2fmax: Nyquistrate).

b) Mit

g[t] =sin(πfAt)

πfAt

gilt

x[t] =+∞

∑n=−∞

x(n)g[t− n ∆t]

Anmerkung:

Abtasttheorem gilt nur für exakte Abtastwerte (d.h. keine Quantisierung).M

Beispiel (1): Rekonstruktion aus Abtastwerten| DT/IPLDT/IPLDT/IPL | TGIT | 2.1.11

0 20 40 60 80 100 120 140 160 180 200−1.5

−1

−0.5

0

0.5

1

1.5

Zeit in µsec

g(t−n∆t) fuer vier Abtastwerte

Be

tra

g

0 20 40 60 80 100 120 140 160 180 200−1.5

−1

−0.5

0

0.5

1

1.5

Zeit in µsec

Urspruengliches und rekonstruiertes Signal (ohne Quantisierung)

Be

tra

g

Anmerkung: keine Fensterung (≈ unendlich viele Abtastwerte), d.h. hierwird nur der Ausschnitt für die ersten 21 Abtastwerte gezeigt.

Beispiel (2): Rekonstruktion aus Abtastwerten (quantisiert)| DT/IPLDT/IPLDT/IPL | TGIT | 2.1.12

0 20 40 60 80 100 120 140 160 180 200−1.5

−1

−0.5

0

0.5

1

1.5

Zeit in µsec

Urspruengliches und rekonstruiertes Signal (Quantisierung 0.1)

Be

tra

g

0 20 40 60 80 100 120 140 160 180 200−1.5

−1

−0.5

0

0.5

1

1.5

Zeit in µsec

Urspruengliches und rekonstruiertes Signal (Quantisierung 0.2)

Be

tra

g

Definition: Impuls| DT/IPLDT/IPLDT/IPL | TGIT | 2.1.13

Impulsfunktion δ[t]:

δ[t] =

{1 für t = 00 für t 6= 0

Zeit-diskreter Impuls δ(n):

δ(n) =

{1 für n = 00 für n 6= 0

δ(n) = {. . . , 0, . . . , 0, 1, 0↑

n=0

, . . . , 0, . . . }

−10 −5 0 5 10

0

0.2

0.4

0.6

0.8

1

t

δ(t

)

−10 −5 0 5 10

0

0.2

0.4

0.6

0.8

1

n

δ(n

)

Anmerkung: Abtasttheorem nicht erfüllt (Definition)


2.2 Zeit-diskrete Systeme

Beschreibung zeit-diskreter Systeme| DT/IPLDT/IPLDT/IPL | TGIT | 2.2.1

Ein-/Ausgangsbeschreibung:

y(n) = H[x(n)

] Eingangs-signal

Ausgangs-signal

SystemH

x(n) y(n)

Transformation von Eingangssequenz x(n) durch ein System H (vgl. Folie1.1.5), so dass eine Ausgangssequenz y(n) entsteht. Für ein n ∈ Z gilt:

y(n) = H[xT(n)

]= f(n, {x(n− k); k ∈ Z}

); xT(n) ⊆ x(n)

• H kann auch teilweise kontinuierliches System sein (z.B. Kanal), wobeieine diskrete E/A-Beschreibung erfolgt.• H ist selbst zeit-diskret: z.B. Algorithmus

y(n) = H[xT(n)

]= x(n− 3) + x(n); xT(n) = {x(n− 3), x(n)} ⊆ x(n)

Klassifikation von zeit-diskreten Systemen| DT/IPLDT/IPLDT/IPL | TGIT | 2.2.2

Klassifikationen:

• K1: Kausal/Nichtkausal• K2: Statisch/Dynamisch• K3: Zeitvariant/Zeitinvariant• K4: Linear/Nichtlinear

Zeitverschiebung:

Die Verschiebung eines Signals (Sequenz) x(n) um k ∈ Z Zeitschrittesei x(n− k).Entsprechend gilt:xT(n) = {x(n− 3), x(n)} ⇒ xT(n− k) = {x(n− 3− k), x(n− k)}

K1: Kausal/ Nichtkausal| DT/IPLDT/IPLDT/IPL | TGIT | 2.2.3

Ein System ist kausal, wenn

y(n) = H[xT(n)

]= f (n, x(n), x(n− 1), x(n− 2), . . . ) ∀ n

für eine beliebige Funktion f ( · ) gilt, d.h. die Ausgabe des Systems hängtnur von momentanen und vergangenen Eingangswerten ab, aber nicht vonden zukünftigen Eingangswerten (x(n + 1), x(n + 2), . . . ) Beispiel:

y(n) = x(n)− x(n− 1) kausaly(n) = x(n)− x(n + 1) nicht kausal

Anmerkung: Im Folgenden werden nur kausale Systeme betrachtet.

K2: Statisch/ Dynamisch↔ Gedächtnis-behaftet| DT/IPLDT/IPLDT/IPL | TGIT | 2.2.4

y(n) = H[xT(n)

]= f (n, x(n), x(n− 1), . . . , x(n− K)) ∀ n

H statisch: K = 0 ; y(n) = f (n, x(n))

H dynamisch: 0 < K < ∞ endliches GedächtnisK = ∞ unendliches Gedächtnis

Beispiel:y(n) = a · x(n) (K = 0)y(n) = x(n) + 3x(n− 1) (K = 1)

y(n) =∞

∑k=0

x(n− k) = x(n) + x(n− 1) + . . . (K = ∞)

K3: Zeitvarianz/ Zeitinvarianz| DT/IPLDT/IPLDT/IPL | TGIT | 2.2.5

Gegeben sei das System H : y(n) = H[x(n)

]. Für ein k ∈ Z sei

yk(n) = H[x(n− k)

]Das System H ist zeit-invariant (schiebe-invariant) genau dann, wenn

yk(n) = y(n− k) ∀ n, k

Z

SystemH

SystemH

x(n− k)x(n)

x(n) y(n) y(n− k)

yk(n)Tk

Verzögerung umk ZeitschritteTk

Tk

K3: Zeitvarianz: Beispiel| DT/IPLDT/IPLDT/IPL | TGIT | 2.2.6

b = 140 : y(n) = H

[xT(n)

]= b · n · x(n)

y(n− k)yk(n) = H

[xT(n− k)

] = b · (n− k) · x(n− k)= b · n · x(n− k)

}≡ ZV

0 50 100 150

−1

−0.5

0

0.5

1

x(n

)

0 50 100 150−2

−1

0

1

2

y(n

)

0 50 100 150

−1

−0.5

0

0.5

1

x(n

+4

0)

0 50 100 150−2

−1

0

1

2

y(n

,40

)

0 50 100 150−2

−1

0

1

2

y(n

+4

0)

K3: Zeitinvarianz: Beispiel| DT/IPLDT/IPLDT/IPL | TGIT | 2.2.7

y(n) = H[xT(n)

]= x(n)− x(n− 1)

y(n− k)yk(n) = H

[xT(n− k)

] = x(n− k)− x(n− k− 1)= x(n− k)− x(n− k− 1)

}≡ ZIV

0 50 100 150

−1

−0.5

0

0.5

1

x(n

)

0 50 100 150

−1

−0.5

0

0.5

1

y(n

)

0 50 100 150

−1

−0.5

0

0.5

1

x(n

+4

0)

0 50 100 150

−1

−0.5

0

0.5

1

y(n

,40

)

0 50 100 150−1

−0.5

0

0.5

1

y(n

+4

0)

K4: Linear/ Nichtlinear| DT/IPLDT/IPLDT/IPL | TGIT | 2.2.8

Das System H : y(n) = H[x(n)

]ist linear genau dann, wenn

H[a1 x1(n) + a2 x2(n)

]= a1H

[x1(n)

]+ a2H

[x2(n)

]∀ x1(n), x2(n), a1, a2

System

H

System

H

System

H

x2(n)

a2

x1(n)

x2(n) y2(n)

y(n)

a2

a1a1

x1(n) y1(n)

y(n)

Allgemein:

H

[∑

iai xi(n)

]= ∑

iaiH [xi(n)] ∀ xi(n), ai

K4: Linear/ Nichtlinear: Beispiele| DT/IPLDT/IPLDT/IPL | TGIT | 2.2.9

(1) linear: y(n) = n · x(n)H[a1 x1(n) + a2 x2(n)

]= n(a1 x1(n) + a2 x2(n))= n a1 x1(n) + n a2 x2(n)

a1H[x1(n)

]+ a2H

[x2(n)

]= a1 n x1(n) + a2 n x2(n))= n a1 x1(n) + n a2 x2(n)

(2) nichtlinear: y(n) = x2(n)H[a1 x1(n) + a2 x2(n)

]= (a1 x1(n) + a2 x2(n))2

= a21 x2

1(n) + a22 x2

2(n) + 2 a1 a2 x1(n) x2(n)a1H

[x1(n)

]+ a2H

[x2(n)

]= a1 x2

1(n) + a2 x22(n)

(3) linear: y(n) = x(n)− x(n− 1)H[a1 x1(n) + a2 x2(n)

]= a1 x1(n) + a2 x2(n)− a1 x1(n− 1)− a2 x2(n− 1)

a1H[x1(n)

]+ a2H

[x2(n)

]= a1 x1(n)− a1 x1(n− 1) + a2 x2(n)− a2 x2(n− 1)= a1 x1(n) + a2 x2(n)− a1 x1(n− 1)− a2 x2(n− 1)⇒ 3) ist lineares zeit-invariantes (LZI) System


2.3 Algebraische Beschreibung zeit-diskreterSysteme

Auflösung eines zeit-diskreten Signals in Impulse| DT/IPLDT/IPLDT/IPL | TGIT | 2.3.1

Mit δ(n) ={

1 n = 00 n 6= 0

lässt sich jedes zeit-diskrete Signalfolgendermaßen darstellen:

x(n) =∞

∑k=−∞

x(k)δ(n− k)

Beispiel: Äquivalente Beschreibungen eines zeit-diskreten Signals

n −1 0 1 2x(n) 2.2 4.1 0.3 3.1

t = n · ∆tx[n · ∆t]

xT = [2.2 4.1↑

n=0

0.3 3.1]

x(n) = 2.2 · δ(n + 1) + 4.1 · δ(n) + 0.3 · δ(n− 1) + 3.1 · δ(n− 2)= {. . . , 0, . . . , 0, 2.2, 4.1

↑n=0

, 0.3, 3.1, 0 . . . , 0, . . . }

Definition: Impulsantwort| DT/IPLDT/IPLDT/IPL | TGIT | 2.3.2

Bestimmung der Antwort eines linearen Systems H auf Impulse amEingang.

• Die Impulsantwort hk(n) des Systems H auf den Eingangsimpuls bein = k (d.h. x(n) = δ(n− k)) sei

y(n) = H[δ(n− k)

]≡ hk(n) −∞ < k < +∞

• Impulsantwort auf skalierten Impuls c · δ(n− k)

y(n) = H[c · δ(n− k)

]= c · hk(n)

Impulsantwort einer Mehrwegausbreitung| DT/IPLDT/IPLDT/IPL | TGIT | 2.3.3

Beispiel: Betrachtetes System sei eine Funkübertragung:

a1, τ1

a1a2, τ2

nn

k + n1 k + n2

a2

δ(n− k)

k

x(n) hk(n)

1.Echo-Pfad

Sender Direkter Weg

Direkter Weg: a1, τ1 = n1∆tEcho Pfad: a2, τ2 = n2∆t

Lineare Faltung| DT/IPLDT/IPLDT/IPL | TGIT | 2.3.4

Bestimmung der Antwort y eines linearen Systems H auf Eingangssignal x.

• Mit x(n) =+∞

∑k=−∞

x(k)δ(n− k) gilt

y(n) = H[x(n)

]= H

[ +∞

∑k=−∞

x(k)δ(n− k)]

(Linearität)=

+∞

∑k=−∞

x(k)H[δ(n− k)

]=

+∞

∑k=−∞

x(k)hk(n) (1)

Lineare Faltung: y(n) =+∞

∑k=−∞

x(k)hk(n) = x(n) ∗ hk(n) (2)

Faltung bei LZI Systemen| DT/IPLDT/IPLDT/IPL | TGIT | 2.3.5

LZI-System: hk(n) = H[δ(n− k)

]= h(n− k), vollständige

Charakterisierung von H durch h(l), l = n− k (eine Impulsantwort für allen; lediglich Verschiebung um k).

y(n) =+∞

∑k=−∞

x(k)h(n− k) (3)

Kausale LZI-Systeme:⇔ h(l) = 0 f ur l < 0

y(n) =n

∑k=−∞

x(k)h(n− k) (4)

Kausale LZI-Systeme mit Eingangssignal x(k) = 0 für k < 0

y(n) =n

∑k=0

x(k)h(n− k) (5)

Beispiel (nächsten 2 Folien): T

x(n) = {. . . , 0, 1↑, 2, 3, 1, 0, . . .}, h(n) = {. . . , 0, 1, 2

↑, 1,−1, 0, . . .} M

Graphisches Beispiel der diskreten Faltung I| DT/IPLDT/IPLDT/IPL | TGIT | 2.3.6

−5 −4 −3 −2 −1 0 1 2 3−1

0

1

2

h(n

)

0

1

2

3

x(n

−k)

−2

0

2

4

6

h(n

)x(n

−k)

−2 −1 0 1 2 3 4 5 6−2

0

2

4

6

8

y(n

)

x(0)

x(1)

x(2)

x(3)

−5 −4 −3 −2 −1 0 1 2 3−1

0

1

2

h(n

)

0

1

2

3

x(n

−k)

−2

0

2

4

6

h(n

)x(n

−k)

−2 −1 0 1 2 3 4 5 6−2

0

2

4

6

8

y(n

)

−5 −4 −3 −2 −1 0 1 2 3−1

0

1

2

h(n

)

0

1

2

3

x(n

−k)

−2

0

2

4

6

h(n

)x(n

−k)

−2 −1 0 1 2 3 4 5 6−2

0

2

4

6

8

y(n

)

−5 −4 −3 −2 −1 0 1 2 3−1

0

1

2

h(n

)

0

1

2

3

x(n

−k)

−2

0

2

4

6

h(n

)x(n

−k)

−2 −1 0 1 2 3 4 5 6−2

0

2

4

6

8

y(n

)

Graphisches Beispiel der diskreten Faltung II| DT/IPLDT/IPLDT/IPL | TGIT | 2.3.7

−5 −4 −3 −2 −1 0 1 2 3−1

0

1

2

h(n

)

0

1

2

3

x(n

−k)

−2

0

2

4

6

h(n

)x(n

−k)

−2 −1 0 1 2 3 4 5 6−2

0

2

4

6

8

y(n

)

−5 −4 −3 −2 −1 0 1 2 3−1

0

1

2

h(n

)

0

1

2

3

x(n

−k)

−2

0

2

4

6

h(n

)x(n

−k)

−2 −1 0 1 2 3 4 5 6−2

0

2

4

6

8

y(n

)

−5 −4 −3 −2 −1 0 1 2 3−1

0

1

2

h(n

)

0

1

2

3

x(n

−k)

−2

0

2

4

6

h(n

)x(n

−k)

−2 −1 0 1 2 3 4 5 6−2

0

2

4

6

8

y(n

)

−5 −4 −3 −2 −1 0 1 2 3−1

0

1

2

h(n

)

0

1

2

3

x(n

−k)

−2

0

2

4

6

h(n

)x(n

−k)

−2 −1 0 1 2 3 4 5 6−2

0

2

4

6

8

y(n

)

Faltungsoperation: Kommutativ, Assoziativ, Distributiv| DT/IPLDT/IPLDT/IPL | TGIT | 2.3.8

• Kommutativ:

y(n) = x(n) ∗ h(n) =+∞

∑k=−∞

x(k)h(n− k) = h(n) ∗ x(n) =∞

∑m=−∞

h(m)x(n−m) Z

• Assoziativ: [h1(n) ∗ h2(n)] ∗ x(n) = h1(n) ∗ [h2(n) ∗ x(n)]

x(n) x1(n) y(n) x(n) y(n)⇔h2(n)h1(n) h1(n) ∗ h2(n)

• Distributiv: [h1(n) + h2(n)] ∗ x(n) = h1(n) ∗ x(n) + h2(n) ∗ x(n)

y(n)h1(n) + h2(n)

x(n)

x(n)

x(n)

h1(n)

h2(n)

y(n)⇔


2.4 Signale und Signalräume

Achtung: Integral (analog)↔ Summe (diskret)| DT/IPLDT/IPLDT/IPL | TGIT | 2.4.1

Zusammenhang: Definitionen gelten äquivalent für analoge (Integral) undzeit-diskrete (Summe) Signale auf Basis des Abtasttheorems.vgl. Abtasttheorem: analoge Funktion aus Abtastwerten exaktrekonstruierbar.

Aber:

Im Allgemeinen gilt dieÄquivalenz von Summe undIntegral nur für N → ∞, d.h.nur für infinitesimal kleineAbtastperioden ∆t

N

∑i=1

x(i)∆t N→∞−→∫ b

ax(t) dt

x1 xN

a b

x(t)

t

Energie-und Leistung-begrenzte Signale| DT/IPLDT/IPLDT/IPL | TGIT | 2.4.2

Energie eines kontinuierlichen Signals x(t):

Ex =∫ +∞

−∞|x(t)|2 dt

Mittlere Leistung von x(t):

Px = limT→∞

1T

∫ T2

− T2

|x(t)|2 dt

Falls Ex < ∞, dann ist x(t) ein Energie-begrenztes Signal; Falls Ex → ∞

aber Px < ∞, dann ist x(t) ein Leistung-begrenztes Signal.

Klassifikation in Signalräumen| DT/IPLDT/IPLDT/IPL | TGIT | 2.4.3

Lp(a, b)mit 1 ≤ p < ∞ beschreibt die Klasse von Signalen x(t) für die gilt:

∫ b

a|x(t)|p dt < ∞

Für a→ −∞ und b→ ∞ schreiben wir Lp(∞) oder Lp(R).z.B.: Energie-begrenzte Signale gehören zum Signalraum L2(R); x ∈ L2(R)lp(n1, n2) ist das zeit-diskrete Äquivalent zu Lp(a, b) (a = n1∆t, b = n2∆t) mit

n2

∑n=n1

|x(n)|p

d.h. Ex =+∞

∑n=−∞

|x(n)|2 < ∞; x ∈ l2(Z)

Normierte Räume| DT/IPLDT/IPLDT/IPL | TGIT | 2.4.4

Eine Normmuss folgende drei Axiome erfüllen (α ∈ R, C)

(1) ‖x‖ ≥ 0, ‖x‖ = 0 falls x = 0(2) ‖x+ y‖ ≤ ‖x‖+ ‖y‖(3) ‖αx‖ = α‖x‖

Norm für kontinuierliche Signale: ‖x‖Lp =

[∫ b

a|x(t)|p dt

] 1p

, 1 ≤ p < ∞

z.B. p = 2: Ex = ‖x‖2L2(Euklidische Norm)

Norm für zeit-diskrete Signale: ‖x‖lp =

[n2

∑n=n1

|x(n)|p] 1

p

, 1 ≤ p < ∞

z.B. p = 2: Ex = ‖x‖2l2

T

Metrische Räume| DT/IPLDT/IPLDT/IPL | TGIT | 2.4.5

Eine Funktion, die zwei Elementen x und y einer Menge X eine reelle Zahlzuordnet, heißt Metrik für X, falls

(1) d(x, y) ≥ 0, d(x, y) = 0, falls x = y(2) d(x, y) = d(y, x)(3) d(x, z) ≤ d(x, y) + d(y, z)

d(x, y) kann als Distanz von x und y betrachtet werden. Euklidische Metrik:

d(x, y) =

[∫ b

a|x(t)− y(t)|2 dt

] 12

= ‖x− y‖L2 x, y ∈ L2(a, b)

d(x, y) =

[n2

∑n=n1

|x(n)− y(n)|2] 1

2

= ‖x− y‖l2 x, y ∈ l2(n1, n2)

Bem.: Ein normierter Raum ist auch ein metrischer Raum. T

Signalräumemit inneren Produkten| DT/IPLDT/IPLDT/IPL | TGIT | 2.4.6

Sei x(t), y(t) ∈ L2(a, b) bzw. x(n), y(n) ∈ l2(n1, n2). Ein inneres Produktordnet den beiden Signalen x und y eine Zahl c ∈ C zu:< x, y >= c.Ein inneres Produkt muss folgende Axiome erfüllen:

(1) < x, y >=< y, x >∗

(2) < αx + βy, z >= α < x, z > +β < y, z >; (α, β ∈ C)

(3) < x, x > ≥ 0, < x, x >= 0, falls x(t) = 0 bzw. x(n) = 0 ∀n

Beispiel: < x(t), y(t) > =∫ b

ax(t)y∗(t) dt

< x(n), y(n) > =n2

∑n=n1

x(n)y∗(n) = yHx

fürx = [x(n1) x(n1 + 1)...x(n2)]

T, y = [y(n1) y(n1 + 1)...y(n2)]T

Analoge Faltung→ Diskrete Faltung I| DT/IPLDT/IPLDT/IPL | TGIT | 2.4.7

y[t] = h[t] ∗ x[t] =+∞∫−∞

h[τ]x[t− τ] dτ (1)

Es gilt gemäß Abtasttheorem für x[t] (ebenso für y[t] und h[t]):

x[t] =+∞

∑n=−∞

x(n∆t)g[t− n∆t] =

[+∞

∑n=−∞

x(n∆t)δ[t− n∆t]

]∗ g[t]

mit g[t] = sin(πfAt)πfAt und fA = 1

∆t , so dass sich für (1) ergibt:[+∞

∑n=−∞

y(n∆t)δ[t− n∆t]

]∗ g[t] =

=

[+∞

∑n=−∞

h(n∆t)δ[t− n∆t]

]∗ g[t] ∗

[+∞

∑n=−∞


]∗ g[t]

Kommutativität der Faltung und g[t] ∗ g[t] = ∆tg[t] liefert:

Analoge Faltung→ Diskrete Faltung II| DT/IPLDT/IPLDT/IPL | TGIT | 2.4.8

+∞

∑n=−∞

y(n∆t)δ[t− n∆t] = ∆t

[+∞

∑n=−∞

h(n∆t)δ[t− n∆t]

]∗[

+∞

∑n=−∞


]

Faltungsintegral ausschreiben (Umbenennung der Summationsvariablen):

+∞

∑n=−∞

y(n∆t)δ[t− n∆t] = ∆t+∞∫−∞

+∞

∑m=−∞

h(m∆t)δ[τ −m∆t] ·+∞

∑k=−∞

x(k∆t)δ[t− k∆t− τ] dτ

Da+∞∫−∞

s[τ]δ[t− τ] dτ = s[t], gilt für

+∞∫−∞

δ[τ −m∆t]δ[t− k∆t− τ] dτ =

+∞∫−∞

δ[τ − (m + k)∆t]δ[t− τ] dτ = δ[t− (m + k)∆t] ,

so dass T

Analoge Faltung→ Diskrete Faltung III| DT/IPLDT/IPLDT/IPL | TGIT | 2.4.9

+∞

∑n=−∞

y(n∆t)δ[t− n∆t] = ∆t+∞

∑m=−∞

+∞

∑k=−∞

h(m∆t)x(k∆t)δ[t− (m + k)∆t]

Mit k + m = n (und Summierung von jeweils−∞ bis+∞): T

+∞

∑n=−∞

y(n∆t)δ[t− n∆t] = ∆t+∞

∑n=−∞

+∞

∑m=−∞

h(m∆t)x((n−m)∆t)δ[t− n∆t]

Für die Abtastwerte y(n∆t) gilt mit ∆t = 1 (Normierung):

y(n) =+∞

∑m=−∞

h(m)x(n−m)

Hiermit ist die Äquivalenz von diskreter und analoger Faltung auf Basis desAbtasttheorems gezeigt.


1 Einführung





3.1 Lineare Transformationen

Lineare Transformationen| DT/IPLDT/IPLDT/IPL | TGIT | 3.1.1

Sei vi ∈ Rn, i = 1, . . . , n eine Basis des Vektorraums V = Rn.

Damit gilt für jeden Vektor v ∈ Rn : v = c1v1 + c2v2 + · · ·+ cnvn.

Für eine lineare Transformation T gilt:

T(v) = c1T(v1) + c2T(v2) + · · ·+ cnT(vn) ∀ ci ∈ R; vi ∈ V

(vgl. auch Folie 2.2.8, T=H)

Matrixdarstellung einer linearen Transformation:

T =[T(v1) T(v2) . . . T(vn)

]∈ Rm×n

Mit c = [c1 . . . cn]T gilt dann: T(v) = T · cAnmerkung: Falls die Basis verändert wird, bleibt T gleich, aber die Matrix

T ändert sich.⇒ Basiswechsel = Linearer Transformation

Beispiel| DT/IPLDT/IPLDT/IPL | TGIT | 3.1.2

v1 =

[10

]v2 =

[01

], v = 1 · v1 + 2 · v2 =

[12

](c =

[12

])

T(v1) =

234

T(v2) =

555

⇒ T(v) = 1 · T(v1) + 2 · T(v2) =

121314

T(v) =

2 53 54 5

[ 12

]= T · c =

121314

Orthogonale Transformationen| DT/IPLDT/IPLDT/IPL | TGIT | 3.1.3

Definition: Ein Satz von Vektoren qi ∈ Rm, i = 1, 2, . . . , n ist orthogonal,wenn

qTi · qj =

{0 für i 6= jcii für i = j

}⇔ qi ⊥ qj (i 6= j)

Falls cii = 1 ∀ i sind die Vektoren orthonormal.Mit Q = [q1 q2 . . .qn] (orthonormale Matrix) gilt

QT · Q = I↑

Einheitsmatrix

=

1 0. . .

0 1

Falls die lineare Transformation T durch eine orthogonale Matrix Qrepräsentiert wird, d.h. Q =

[T(v1) T(v2) . . . T(vn)

]∈ Rm×n , ist T eine

orthogonale Transformation.Falls Q ∈ Cm×n mit QHQ = I repräsentiert Q eine unitäre Transformation.Anmerkung: Zwei Unterräume V1 und V2 eines Vektorraumes V sindorthogonal, falls

vTi · vj = 0 für alle vi ∈ V1 und alle vj ∈ V2

Anmerkungen zu linearen Transformationen I| DT/IPLDT/IPLDT/IPL | TGIT | 3.1.4

• Es seien T1, T2, . . . , Tn die Matrixdarstellungen von linearenTransformationen. Es gilt:

T =n

∏i=1

Ti

ist ebenfalls eine lineare Transformation.Dies gilt auch für orthogonale Transformationen Qi:

Q =n

∏i=1

Qi

ist ebenfalls eine orthogonale Transformation.• Lineare Transformationen sind aber auch als Transformationen einergegebenen Matrix von Bedeutung. Methoden der linearen Algebra(Gauß Algorithmus, Eigenwertzerlegung, ...) lassen sich als lineareTransformationen darstellen.

Anmerkungen zu linearen Transformationen II| DT/IPLDT/IPLDT/IPL | TGIT | 3.1.5

• Signale und Systeme (vgl. Kap. 2) bzw. Größen der Statistik (vgl. Kap.6) können als Vektoren/Matrizen repräsentiert werden. Mit linearenTransformationen stehen uns Werkzeuge zur Bearbeitung dieserRepräsentationen zur Verfügung.

• Die Signaltransformationen DFT (Diskrete Fourier Transformation),DST (Diskrete Sinus Transformation), DCT (Diskrete CosinusTransformation) oder DWT (Diskrete Wavelet Transformationen) lassensich als lineare Transformationen bzw. durchTransformationsmatrizen darstellen. Anwendung sind z.B.Compressionsverfahren (JPEG,MPEG, . . .) oder Orthogonal FrequencyDivision Multiplex (OFDM wird bei DVB-T, LTE, . . . verwendet)→Kapitel 3.2.

• Dies gilt auch für die Verfahren der Informationstechnik undSignalverarbeitung. Lineare Systeme lassen sich als lineareTransformationen darstellen (z.B. Faltung, Filterung, Korrelation, . . .)→ Kapitel 3.3.


3.2 Diskrete Signaltransformationen

Diskrete Cosinus Transformation (DCT)| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.1

Die DCT eines Vektors/Signals xn = [x1 x2 . . . xn]T ∈ Rn ist:

yn = Cn · xn

wobei yn ∈ Rn die Cosinus Transformierte darstellt und Cn ∈ Rn×n dieDCT-Matrix ist:

Cn = [ckl]mit ckl = γk1√n

cos(

π(k− 1)(2l− 1)2n

),

wobei γk =

{1 k = 1√

2 2 ≤ k ≤ n

Anmerkungen: (1) Es gilt: C−1n = CT

n (Orthogonalität)(2) Berechnung der DCT: n2 Multiplikationen und n(n− 1)

Additionen(3) Anwendung auf Bild B ∈ Rn×n: D = Cn · B · CT

n(zweiseitige DCT)

M

Beispiel: DCT eines Bildes| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.2

Das folgende Beispiel zeigt das prinzipielle Vorgehen bei der Bildcodierungunter Verwendung der DCT (z.B. JPEG, MPEG). Das 480× 480 Orginalbild(Bild 1) wird in 8× 8 Blöcke zerlegt.Jeder Block Bij wird mit der zweiseitigen DCT transformiert:Dij = C8 · Bij · CT

8 (Bild 2; zur besseren Visualisierung zeigt das kleine Bildden links oben liegenden 32× 32 Ausschnitt des großen Bildes).Von jedem 8× 8 Block Dij werden nur die ersten 2× 2 Pixel übertragen:Dij(k, l) = 0 für k > 2∨ l > 2 (Bild 3; zur besseren Visualisierung zeigt daskleine Bild den links oben liegenden 32× 32 Ausschnitt des großen Bildes).Damit ergibt sich eine Reduktion der Datenmenge auf 1/16. Aus diesenverbleibenden Koeffizienten wird das Bild wieder durch die zweiseitigeinverse DCT rekonstruiert: B′ij = CT

8 · Dij · C8 (Bild 4).Bild 5 zeigt zum Vergleich das rekonstruierte Bild, wenn die ersten 4× 4Pixel übertragen werden: Dij(k, l) = 0 für k > 4∨ l > 4 für alle i, j (Reduktionauf 1/4).

Bild 1: Orginalbild| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.3

Bild 2: DCT des Bildes| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.4

Bild 3: Reduktion der DCT Koeffizienten (8× 8→ 2× 2)| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.5

Bild 4: Rekonstruiertes Bild aus verbleibenden DCT Koeff.| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.6

Bild 5: Rekonstruiertes Bild für 8× 8→ 4× 4| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.7

Diskrete Fourier Transformation (DFT)| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.8

Die DFT eines Vektors/Signals xn = [x1 x2 . . . xn]T ∈ Cn ist:

yn = Fn · xn

wobei yn ∈ Cn die Fourier Transformierte darstellt und Fn ∈ Cn×n dieDFT-Matrix ist:

Fn = [fkl] k, l = 1, 2, . . . , n

mit fkl = w(k−1)(l−1)n , wobei wn = e−j 2π

n .

Anmerkungen: (1) Es gilt: F−1n = 1

n · FHn = 1

n · F∗n = 1n · [f ∗kl] (Orthogonalität)

(2) Berechnung der DFT: n2 Multiplikationen und n(n− 1)Additionen

(3) Es gilt: w(k−1)(l−1)n = w(k−1)(l−1)mod n

n

Beispiel: DFT| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.9

n = 4: w4 = e−j 2π4 = e−j π

2 = −j

F4 =

w04 w0

4 w04 w0

4

w04 w1

4 w24 w3

4

w04 w2

4 w44 w6

4

w04 w3

4 w64 w9

4

=

w04 w0

4 w04 w0

4

w04 w1

4 w24 w3

4

w04 w2

4 w04 w2

4

w04 w3

4 w24 w1

4

=

1 1 1 1

1 −j −1 j

1 −1 1 −1

1 j −1 −j

(w(k−1)(l−1)

4 = w(k−1)(l−1)mod 44 )

w12

n = 2

w02 w2

4 w04

w34

w14

w68

w78

w08

w18

w28

w38

w48

w58

n = 4 n = 8

1

−j

+j

−1

M

Fast Fourier Transformation (FFT)| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.10

Durch Ausnutzung der speziellen Struktur von Fn kann die DFT mitn2 log2(

n2 )Multiplikationen und n log2 n Additionen

berechnet werden=⇒ FFT

Zur Herleitung einige Definitionen:

• Indexvektor: in = [1 2... n]• Permutationsvektor: pn = [beliebige Permutation von in]z.B. p4 = [3 4 2 1]• Permutationsmatrix: Pn(n× n):

Pn = P(pn) = [k-te Zeile hat 1 Element in Spalte pn(k) ; sonst Null]

P4 = P(p4) =

0 0 1 00 0 0 10 1 0 01 0 0 0

• Für Pn gilt: Pnin = pn und P

Tn · Pn = I

FFT: Zerlegung der DFT-Matrix| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.11

Hier nur für Radix-2 FFT, d.h. wir nehmen an n = 2t

Startpunkt: Permutationsvektor pn = [1 3 . . . (n− 1) 2 4 . . . n] =⇒ Pn

Fn · PTn =

F n2

D n2· F n

2

F n2−D n

2· F n

2

=

I n2

D n2

I n2−D n

2

· F n

20

0 F n2

wobei

D n2=

1 0

wnw2

n. . .

0 wn2−1n

; d n2= diag(D n

2) =

1

wnw2

n...

wn2−1n

Durch Fn · PT

n werden die Spalten von Fn gemäß pn getauscht (d.h. zuerstungerade Spalten, dann gerade Spalten).

Beispiel: Zerlegung von F4| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.12

F4 =

1 1 1 1

1 −j −1 j

1 −1 1 −1

1 j −1 −j

;

F2 =

[1 11 −1

]; D2 =

[1 00 −j

];

d2 =

[1−j

]; p4 = [1 3 2 4]

F4 · PT4 =

1 1 1 1

1 −1 −j j

1 1 −1 −1

1 −1 j −j

=

1 0 1 0

0 1 0 −j

1 0 −1 0

0 1 0 j

·

1 1 0 0

1 −1 0 0

0 0 1 1

0 0 1 −1

=

F2 D2 · F2

F2 −D2 · F2

=

I2 D2

I2 −D2

· F2 0

0 F2

Wiederholte Zerlegung| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.13

Die Zerlegung kann log2 n-mal rekursiv wiederholt werden. Im k-ten Schrittwird die Zerlegung 2(k−1) mal angewendet. Als Beispiel sind im Folgendendie ersten zwei Schritte dargestellt:

yn = Fn · xn =

I n2

D n2

I n2−D n

2

·

I n4

D n4

0 0

I n4−D n

40 0

0 0 I n4

D n4

0 0 I n4−D n

4

·

F n4

0 0 0

0 F n4

0 0

0 0 F n4

0

0 0 0 F n4

· xp,

wobei xp der entsprechend oft permutierte Vektor xn ist (siehe nächsteFolie bezüglich der Permutation von xn).

Berechnung der FFT| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.14

Sei Pn · xn =

[xuxg

], wobei

xu = [x1 x3 . . . xn−1]T ∈ C

n2

xg = [x2 x4 . . . xn ]T ∈ Cn2, und y1, y2 ∈ C

n2 :

yn =

[y1y2

]= Fn ·xn = Fn ·PT

n · Pn︸︷︷︸I

·xn =

I n2

D n2

I n2−D n

2

F n2

0

0 F n2

· xu

xg

=⇒Mit yu = F n

2· xu und yg = F n

2· xg (zwei DFT der Dimension n

2 ) ergibt sich:

y1 = yu + D n2yg = yu + d n

2. ∗ yg

y2 = yu − D n2yg = yu − d n

2. ∗ yg (

n2Multiplikationen und n Additionen)

wobei .∗ komponentenweise Vektormultiplikation=⇒ a = b. ∗ c bedeutet demnach ai = bi · ci ∀i

Für n = 2t lässt sich dieser Prozess t = log2 n-mal wiederholen=⇒ n

2 log2(n2 )Multiplikationen und n log2 n Additionen

Beispiel: Berechnung der FFT (n = 4)| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.15

DFT:

y4 = F4x4 =

1 1 1 1

1 −j −1 j

1 −1 1 −1

1 j −1 −j

1

2

2

1

=

6

−1− j

0

−1 + j

FFT:

yu = F2xu =

[1 11 −1

] [12

]=

[3−1

]; yg = F2xg =

[1 11 −1

] [21

]=

[31

];

y4 =

[yuyu

]+

[d2−d2

]. ∗[ygyg

]=

3−1

3−1

+

1−j−1

j

. ∗

3131

=

6

−1− j0

−1 + j

Berechnungsschema der FFT| DT/IPLDT/IPLDT/IPL | TGIT | 3.2.16

Stage 1 Stage 2 Stage 3

−1

−1

−1 −1

−1

−1

−1 −1

−1

−1 −1 −1

x(1)

x(2)

x(3)

x(4)

x(5)

x(6)

x(7)w3

8

w28

w18

w08

w08

w28

w28

w08

w08

w08

w08

w08

x(0)x(0)

x(4)

x(6)

x(2)

x(1)

x(5)

x(3)

x(7)

Eight-point decimation-in-time FFT algorithm.

baA=

a+

wr N

b

B=

a−

wr N

b−

1

wr N

Basicbu

tterflycompu

tation

inthe

decimation-in-timeFFTalgorithm.


3.3 Faltung als lineare Matrixtransformation

Faltung als Matrix-Vektor-Multiplikation| DT/IPLDT/IPLDT/IPL | TGIT | 3.3.1

Die Faltung war folgendermaßen definiert: y(n) = ∑∞k=−∞ x(k)h(n− k)

Annahme: endliche Sequenzen in einem Vektor zusammengefasst

endliche Impulsantwort h = [h(−n−), . . . , h(−1), h(0), h(1), . . . , h(n+)]T

mit Länge: nh = n− + n+ + 1endliche Eingangssequenz x = [x(−k−), . . . , x(−1), x(0), x(1), . . . , x(k+)]T

mit Länge: nx = k− + k+ + 1

Der Vektor y der Länge ny = nh + nx − 1 (endliche Ausgangssequenz) lässtsich als Matrix-Vektor-Produkt berechnen:

y = Th · x mit y : ny × 1; x : nx × 1; Th : ny × nx

Faltungsmatrix| DT/IPLDT/IPLDT/IPL | TGIT | 3.3.2

Th wird folgendermaßen gebildet:

Th =

h(−n−) 0 . . . 0... h(−n−)

...

h(−1)...

. . . 0h(0) h(−1) h(−n−)

h(1) h(0)...

... h(1). . . h(−1)

h(n+)... h(0)

0 h(n+) h(1)... 0

. . . h(1)...

......

0 0... h(n+)

Toeplitz-Matrix

Eine Toeplitz Matrix ist eine Matrix, die auf ihren Diagonalen identischeElemente besitzt.

Beispiel: Faltungmit MVM| DT/IPLDT/IPLDT/IPL | TGIT | 3.3.3

Die Impulsantwort eines LZI-Systems sei:

h(n) = {1, 2↑

n=0

, 1,−1}, nh = 1 + 2 + 1 = 4

Bestimme die Antwort des Systems für das Eingangssignal:

x(n) = {1, 2↑

n=0

, 3, 1}, nx = 4

Es ergibt sich ny = nx + nh − 1 = 7 so, dass Th : 7× 4.

y =

n = −1012345

1 0 0 02 1 0 01 2 1 0−1 1 2 1

0 −1 1 20 0 −1 10 0 0 −1

·

1231

=

14883−2−1

y = Th · x

M

Zeitbezug der Übertragung in MVM| DT/IPLDT/IPLDT/IPL | TGIT | 3.3.4

h(-2)

h(-1) h(-2)

h(-1) h(-2)

h(-1)

h(-2)h(-1)

h(-2)h(-1)

y(-4)

y(-3)

y(-2)

y(-1)

y(0)

y(1)

y(2)

h(0)

h(1)

h(2)

h(0)

h(1)

h(2)

h(0)

h(1)

h(2)

h(0)

h(1)

h(2)

h(0)

h(1)

h(2)

x(-2)

x(-1)

x(0)

x(1)

x(2)

h(-2)

h(-1) h(-2)

h(-1) h(-2)

h(-1)

h(-2)h(-1)

h(-2)h(-1)

y(-4)

y(-3)

y(-2)

y(-1)

y(0)

y(1)

y(2)

h(0)

h(1)

h(2)

h(0)

h(1)

h(2)

h(0)

h(1)

h(2)

h(0)

h(1)

h(2)

h(0)

h(1)

h(2)

x(-2)

x(-1)

x(0)

x(1)

x(2)

Die roten und blauen Werte zeigen die Veränderungen derFaltungsoperation und der Position von n = 0 in den Vektoren für den Fall,dass zusätzliche Werte (Vergangenheit) bei den Signalen berücksichtigtwerden

Faltungsmatrix und Systemeigenschaften| DT/IPLDT/IPLDT/IPL | TGIT | 3.3.5

Eigenschaften der Faltungsoperation und Charakterisierung zeit-diskreterlinearer Systeme mit MVM (Matrix Vektor Multiplikation)

Linearität⇔MVMBeschreibungmöglich

hh

h

0

0

Kausalität

Gedächtnis N

n = 0

00

Th

Zeitinvarianz = Schiebeinvarianz der Toeplitz-Matrix

hk(n) = h(n− k) ⇔ ti,j = konst. für i− j = konst.

Äquivalente Beschreibungen| DT/IPLDT/IPLDT/IPL | TGIT | 3.3.6

1) Multiplikation zweier Polynome p1(x), p2(x), (hi=p1i, xi=p2i)

2) Filterung mit FIR-Filter in Direktstruktur (hi=wi, x=x)

∆t

x(n− 1) x(n− 2)x(n) x(n−M + 2) x(n−M + 1)

y(n)

w∗0 w∗1 w∗M−2 w∗M−1

∆t∆t

3) Autokorrelations- und Kreuzkorrelationssequenz⇒ AKF/KKFx(n), y(n) : (h=y, x=flip(x)) (siehe Folie 3.3.11)• Für unendliche Sequenzen ergeben sich unendlich dimensionaleVektoren und Matrizen→ Operatoren Z

Zyklische Faltung| DT/IPLDT/IPLDT/IPL | TGIT | 3.3.7

Zunächst werden h und x auf Länge ny erweitert (Anhängen von Nullen):

hz =

[h0ny−nh

]: ny × 1, xz =

[x0ny−nx

]: ny × 1

Unter der Annahme, dass es sich bei h um eine periodische Sequenzhandelt, lässt sich eine zyklische Faltungsmatrix Thz : ny × ny aufbauen.Vorgehen wie beim Aufbau der Toeplitz Matrix, wobei Spalten zyklisch(periodisch) wiederholt werden1).Für h = [h1 h2 h3]

T und ny = 4 (nx = 2) ergibt sich:

Thz =

h1 0 h3 h2h2 h1 0 h3h3 h2 h1 00 h3 h2 h1

und es gilt: y = Th · x = Thz · xz

1): „Was unten herausfällt, kommt oben wieder rein.“

Eigenschaften der Faltung anhandMVM| DT/IPLDT/IPLDT/IPL | TGIT | 3.3.8

• Kommutativität:

Th · x = Thz · xz = Tx · h = Txz · hz (Betrachtung der Matrizen)

• Assoziativität:(Th1z · Th2z) · xz = Th1z · (Th2z · xz)

• Distributivität:

(Th1z + Th2z) · xz = Th1z · xz + Th2z · xz

• Ferner gilt: Kommutativität aufeinander folgender Faltungen :

Th1z · Th2z = Th2z · Th1z

Kommutativität der MMM (Matrix Matrix Multiplikation) gilt fürzyklische Matrizen. (allg.: A · B 6= B · A für A,B ∈ Fn×n)

Faltung im Frequenzbereich| DT/IPLDT/IPLDT/IPL | TGIT | 3.3.9

Für eine zyklische Matrix gilt: Die Spalten der inversen FourierTransformation F−1

ny = 1nyFH

ny bilden die Eigenvektoren der zyklischenMatrix und die Eigenwerte ergeben sich durch die Fourier Transformationder ersten Spalte der zyklischen Matrix.

Thz = F−1ny ΛFny , wobei diag(Λ) =

λ1λ2...λny

= Fny · Thz(:, 1) = Fny · hz

und Λ eine Diagonalmatrix ist. Somit gilt:

y = Th · x = Thz · xz = F−1ny ΛFnyxz = F−1

ny

[(Fny · hz

). ∗(Fnyxz

)]wobei .∗ die elementweise Multiplikation zweier Vektoren beschreibt.Rechenkomplexität: Faltung (MVM): CMVM = nynx − n2

x + nxMultiplikationen;Faltung im Frequenzbereich: CF = 3 ny

2 log2(ny2 ) + ny Multiplikationen;

z. B. für nh = 65, nx = 192: ny = nh + nx − 1 = 256 ⇒ CMVM = 12480 undCF = 2944.

Beispiel: Faltung im Frequenzbereich| DT/IPLDT/IPLDT/IPL | TGIT | 3.3.10

Faltung von h = [1 2 1]T und x = [2 1]T.

y = Th · x =

1 02 11 20 1

· [ 21

]= Thz · xz =

1 0 1 22 1 0 11 2 1 00 1 2 1

·

2100

=

2541

F4 · [hz xz] =

1 1 1 11 −j −1 j1 −1 1 −11 j −1 −j

·

1 22 11 00 0

=

4 3−2j 2− j0 12j 2 + j

yF = (F4 · hz) . ∗ (F4xz) =

4−2j02j

. ∗

32− j12 + j

=

12−2− 4j0−2 + 4j

F−14 · yF =

14FH

4 · yF =14

1 1 1 11 j −1 −j1 −1 1 −11 −j −1 j

·

12−2− 4j0−2 + 4j

=14

8

20164

=

2541

Faltung und Korrelation| DT/IPLDT/IPLDT/IPL | TGIT | 3.3.11

Mit y = Th · x ergibt sich die Faltung von h und x. Die Korrelation von h und x

kann genauso berechnet werden

rhx = Th · xf ,

wobei xf = flip(x) Vektor/Sequenz in umgekehrter Ordnungx = [x1 x2 . . . xn]T → xf = flip(x) = [xn . . . x2 x1]

T

Anmerkung: Alle für die Faltung gemachten Aussagen gelten äquivalent

für die Korrelation (zyklische Korrelation, Korrelationsberechnung im

Frequenzbereich). Lediglich die Eingangsdaten werden in umgekehrter

Reihenfolge verwendet.

Anwendung: Akquisition der GPS Satelliten.

Beispiel: Das vorherige Beispiel zeigt die Faltung von h = [1 2 1]T und

x = [2 1]T.

Mit xf = flip(x) = [1 2]T und xfz = [1 2 0 0]T berechnet sich die Korrelation

von h und x genau äquivalent.


1 Einführung





4.1 Matrixzerlegungen

Definition und Hilfssatz| DT/IPLDT/IPLDT/IPL | TGIT | 4.1.1

Matrixzerlegungen, d. h. die Zerlegung einer gegebenen Matrix X in das

Produkt von mehreren Matrizen, ergeben sich durch lineare

Transformationen der Matrix X.

z. B. Gauß Algorithmus→ LR-Zerlegung T

Hilfssatz (Konstruktion einer orthogonalenMatrix).

Sei x = [x1 x2 . . . xm]T ∈ Rm. Mit s = ||x||2 = (xTx)1/2 und

i1 = [1 0 . . . 0]T ∈ Rm sei

u = x− s · i1und mit I (m×m Einheitsmatrix) sei

H = I− 2uT u

· uuT .

Die Matrix H ist symmetrisch und orthogonal und es gilt:

H · x = s · i1T

Beweis| DT/IPLDT/IPLDT/IPL | TGIT | 4.1.2

• H symmetrisch:

HT = (I− 2u uT

uTu)T = IT − 2(

u uT

uTu)T = I− 2 · u u

T

uTu= H

• H orthogonal:

HTH = HH = (I− 2u uT

uTu)(I− 2

u uT

uTu) =

= I− 2u uT

uTu− 2

u uT

uTu+ 4

u uTu uT

uTu uTu= I

• Mit uTu = (x− s · i1)T(x− s · i1) = xTx︸︷︷︸s2

−2s xTi1︸︷︷︸x1

+s2 iT1 i1︸︷︷︸1

= 2s2 − 2sx1

und uTx = (x− s · i1)Tx = s2 − sx1 gilt:

H · x = (I− 2u uT

uTu)x = x− 2

u uTxuTu

=

= x− 2(x− s · i1)(s2 − sx1)

2(s2 − sx1)= x− x+ s · i1 = s · i1 �

QR-Zerlegung (QRZ)| DT/IPLDT/IPLDT/IPL | TGIT | 4.1.3

Theorem: Es sei X ∈ Rm×n (m ≥ n).

Es existiert eine orthogonale Matrix Q ∈ Rm×m (QTQ = I), so dass

QTX =

[R0

], (6)

wobei R ∈ Rn×n eine rechte obere Dreiecksmatrix mit nichtnegativen

Diagonalelementen (rii ≥ 0) ist.

z. B. für m = 4, n = 3:

X = Q[R0

]=

q11 q12 q13 q14q21 q22 q23 q24q31 q32 q33 q34q41 q42 q43 q44

r11 r12 r130 r22 r230 0 r330 0 0


Induktion über Anzahl der Spalten: X = [x1 x2 . . . xn]n = 1: X = x1: Hilfssatz⇒ ∃ H, so dass (s = (xT

1x1)1/2)

HTX = HTx1 = Hx1 = s · i1 =

[s01

]= (6)

n > 1: X = [x1 Xr]:

HTX =

[s bT

01 C

]Theorem liefert: QT

c C =

[Rc02

](QRZ von C), so dass sich mit

QT =

[1 0T

101 QT

c

]·HT ergibt:

QTX =

s bT

03 Rc04 02

=

[R05

]Anmerkung: Für die Dimensionen der Nullvektoren/-matrizen gilt:01 = 0m−1×1, 02 = 0m−n×n−1, 03 = 0n−1×1, 04 = 0m−n×1, 05 = 0m−n×n


4.2 Lineare Gleichungssysteme

Lineare Gleichungssysteme| DT/IPLDT/IPLDT/IPL | TGIT | 4.2.1

X = [x1 x2 . . . xn ] ∈ Rm×n(m ≥ n); xi linear unabhängig (Rang(X) = n)X ·w = w1x1 + w2x2 + · · ·+ wnxn: Linearkombination der Spalten

Lineares Gleichungssystem:X ·w = b

Lösung des linearen Gleichungssystems: Finde Vektorw = [w1, . . . , wn]T ∈ Rn, so dass Linearkombination der Spalten von X denVektor b ∈ Rm ergibt.

X ·w = b ist exakt lösbar, falls b ∈ SR(X)

x2

w2x2

w1x1

bx1b liegt in der Ebene,die von x1, x2aufgespannt wird

Minimierung des quadratischen Fehlers| DT/IPLDT/IPLDT/IPL | TGIT | 4.2.2

Falls b 6∈ SR(X): Minimiere den Fehler, d.h. den Abstand zu SR(X)

x2

w2x2

w1x1

x1

b

e = X w - b

r

Mit r = Xw = w1x1 + w2x2 + · · ·+ wnxn gilt: rTe = 0⇔ e⊥r⇔ e⊥SR(X)

Abstand = Länge von e : ||e||2 = (e21 + e2

2 + · · ·+ e2m)

12 = (eTe)

12

Least Squares (LS) Problem: minw||e||2 = min

w||Xw−b||2

Lösungmit QR-Zerlegung| DT/IPLDT/IPLDT/IPL | TGIT | 4.2.3

Es gilt:||e||2 = (eTe)

12 = (eT QQT︸︷︷︸

I

e)12 = ||QTe||2

||e||2 = ||Xw−b||2 = ||QTe||2 = ||QTXw−QTb||2 = ||[R0

][w]−

[b1b2

]||2 ,

wobei R : n× n (rechte obere Dreiecksmatrix), b1 : n× 1 undb2 : (m− n)× 1.

Damit ergibt sich der Lösungsvektorw durch Rücksubstitution aus:

Rw = b1

und der minimale Fehler emin zu:

emin = minw||e||2 = ||b2||2

Lösungmit Normalengleichung:| DT/IPLDT/IPLDT/IPL | TGIT | 4.2.4

Orthogonalität von SR(X) und Fehler e liefert:

XTe = 0

so dass,XTe = XTXw− XTb = 0 ⇔ XTXw = XTb

Da XTX eine quadratische nichtsinguläre (Rang(X) = n) Matrix ist, existiertInverse, d.h.

w = (XTX)−1XTb

Die Matrix X# = (XTX)−1XT heißt Pseudo-Inverse der m× n Matrix X.T


4.3 Anwendungen

Anwendung I: Detektion und Kanalschätzung| DT/IPLDT/IPLDT/IPL | TGIT | 4.3.1

Gegeben sei ein zeit-invarianter Kanal (nh = 4), der mit Rauschen behaftetist:

h(k)

Kanalx(n) y(n) y(n)

v(n)

Übertragungsverhalten (ohne Rauschen) durch Faltung beschrieben:

h(1)h(2) h(1)h(3) h(2)

h(4) h(3). . .

0 h(4)... 0...

...0 0

·

x(1)x(2)x(3)...

=

y(1)y(2)y(3)............

Th · x = y

Detektion und Kanalschätzung| DT/IPLDT/IPLDT/IPL | TGIT | 4.3.2

Detektion: Kanalimpulsantwort h(k) bekannt; Gesucht: Schätzung dergesendeten Daten x(n).y = y+ v

y ∈ SR(Th), aber empfangene Daten sind mit Rauschen v =[v(1) . . . v(n)]T beaufschlagt, d.h. y = y+ v 6∈ SR(Th) liegt am Emp-fänger vor.

Zur Rekonstruktion der gesendeten Daten:

minx||Thx− y||2 ⇒ x = (TH

h Th)−1TH

h y = T#h · y

M

Kanalschätzung: Gesendete Daten x(n) bekannt; Gesucht: Schätzung derKanalimpulsantwort h(k).

Äquivalente Problemstelllung↔ Kommutativität der Faltung

minh||Txh− y||2 ⇒ h = (TH

x Tx)−1TH

x y = T#x · y

Anwendung II: Frequenzschätzung und Prädiktion| DT/IPLDT/IPLDT/IPL | TGIT | 4.3.3

Gegeben: Messwerte x(n); Gesucht: fi (i = 1, . . . , p) (vgl. Fourieranalyse). Z

Annahme: Signal setzt sich aus p Frequenzanteilen (ωi = 2πfi) zusammen

x(n) =p

∑i=1

cos ωin ,

Hilfssatz: Für ein (p = 1) Kosinussignal x(n) = cos ωn gilt folgendeDifferenzengleichung:

x(n) = c1 x(n− 1) + c2 x(n− 2) ,

mit c1 = 2 cos ω, c2 = −1 und x(−1) = −1, x(−2) = 0 (Initialisierung).Beweis:

cos(ωn) = 2 cos ω cos ω(n− 1)− cos ω(n− 2)

= 2 cos ω[cos ω cos ωn + sin ω sin ωn]− [cos 2ω cos ωn + sin 2ω sin ωn]

= [2 cos2 ω− cos 2ω︸︷︷︸cos2 ω−sin2 ω

] cos ωn + [2 cos ω sin ω︸︷︷︸sin 2ω

− sin 2ω] sin ωn

= [2 cos2 ω− cos2 ω + sin2 ω] cos ωn = cos ωn

Allgemeine Differenzengleichung| DT/IPLDT/IPLDT/IPL | TGIT | 4.3.4

Allgemein gilt für x(n) =p

∑i=1

cos ωin (ωi = 2πfi) folgende

Differenzengleichung:

x(n) =2p

∑m=1

cmx(n−m) (7)

Lässt sich ebenfalls mit Additionstheoremen zeigen (Hilfssatz erweitertauf p Cosinussignale).Gleichung (7) über mehrere Zeitpunkte (n = 2p + 1, . . . , N) ausgeschriebenergibt:

c2px(1) +c2p−1x(2) + . . . +c1x(2p) = x(2p + 1)c2px(2) +c2p−1x(3) + . . . +c1x(2p + 1) = x(2p + 2)

......

... =...

c2px(N− 2p) +c2p−1x(N− 2p + 1) + . . . +c1x(N− 1) = x(N)(8)

Matrixschreibweise| DT/IPLDT/IPLDT/IPL | TGIT | 4.3.5

Da p normalerweise unbekannt ist, verwenden wir L > 2p anstatt 2p.Damit ergibt sich für Gleichung (8) in Matrixschreibweise (N− 2p > L):

x(1) x(2) . . . x(L)x(2) x(3) . . . x(L + 1)x(3) x(4) . . . x(L + 2)...

.... . .

...x(N− L) x(N− L + 1) . . . x(N− 1)

·

cL

cL−1...

c1

=

x(L + 1)x(L + 2)x(L + 3)

...x(N)

X · c = xp

Anmerkung: Dieses Gleichungssystem läßt sich vollständig aus denAbtastwerten x(n), n = 1, . . . , N aufbauen.

Lineare Prädiktion und Frequenzschätzung| DT/IPLDT/IPLDT/IPL | TGIT | 4.3.6

Lineare Prädiktion:Wie gut lässt sich x(N) aus den vorhergehenden Messwerten vor-hersagen?Exakte Vorhersage⇔ xp ∈ SR(X).Da aber x(N) neuer Messwert (neue Information) gilt: xp 6∈ SR(X).

minc||Xc− xp||2 ⇔ best mögliche Vorhersage von xp im SR(X)

Frequenzschätzung:

Px(f ) =σ2

L∣∣∣∣∣1 + L

∑k=1

cke−j2πfk

∣∣∣∣∣2 ,

wobei σ2L =

(1N

N

∑n=1

x2(n)

)·

L

∏k=1

(1− |ck|2

).

Die Maxima von Px(f ) liefern die gesuchten Frequenzen fi (i = 1, . . . , p). M

Diskussion LS| DT/IPLDT/IPLDT/IPL | TGIT | 4.3.7

LS: minw

||e||2 = minw

||Xw− b||2 =

minb+e ∈SR(X)

||e||2 = minb+e ∈SR(X)

||Xw− b||2

⇒ Xw = b+ e

Entspricht der Veränderung von b durch einen Vektor e (minimale Länge),so dass b+ e durch eine Linearkombination von X dargestellt werden kann.

Anwendung I: Problemstellung entspricht LS Problem (h(k)→ Th bekannt,nur Fehler in rechter Seite y→ y)Anwendung II: Auch Matrix X enthält Störungen, nicht nur rechte Seite xp.Eine gleichzeitige Minimierung der Fehler in der Matrix und in der rechtenSeite liefert genauere Ergebnisse (Totale Minimierung: siehe Anhang D).






5.1 Fundamentale Unterräume einer Matrix

Vektorräume einer Matrix| DT/IPLDT/IPLDT/IPL | TGIT | 5.1.1

Matrix = zwei Vektorräume→ Zeilenvektoren, SpaltenvektorenEine N× L Matrix Xmit xij ∈ R, d.h. X ∈ RN×L (N ≥ L) ist ein Satz von• L Spaltenvektoren xi ∈ RN

X = [x1 x2 . . . xL]

• N Zeilenvektoren x(i) ∈ RL

X =

xT(1)xT(2)...

xT(N)

Beispiel:

X =

3 11 11 3

: x1 =

311

; x2 =

113

; x(1) =[

31

]; x(2) =

[11

]; x(3) =

[13

]

Die vier fundamentalen Unterräume| DT/IPLDT/IPLDT/IPL | TGIT | 5.1.2

1 Spaltenraum von X: SR(X) = {y ∈ RN : y = X · v für v ∈ RL}=Menge aller Linearkombinationen der Spalten von X

SR(X) ={ L

∑i=1

vi xi : vi ∈ R}

• SR(X) ist ein Unterraum des RN

2 Linker Nullraum von X: LR(X) = NR(XT) = {v ∈ RN : XT · v = 0}3 Zeilenraum von X: ZR(X) = SR(XT) = {y ∈ RL : y = XT · v für v ∈ RN}

=Menge aller Linearkombinationen der Zeilen von X

ZR(X) ={ N

∑i=1

vi x(i) : vi ∈ R}

• ZR(X) ist ein Unterraum des RL

4 Nullraum von X: NR(X) = {v ∈ RL : X · v = 0} T

Rang und Dimension| DT/IPLDT/IPLDT/IPL | TGIT | 5.1.3

Der Rang der Matrix X ist die Dimension des Spaltenraumes:

p = Rang(X) = dim[SR(X)]= Anzahl der linear unabhängigen Spaltenvektoren xi

Die vier fundamentalen Unterräume besitzen folgende Dimensionen:

dim[SR(X)] = p , dim[NR(X)] = L− pdim[ZR(X)] = p , dim[LR(X)] = N− p

dim[SR(X)] = dim[ZR(X)]

Orthogonalität der fundamentalen Unterräume| DT/IPLDT/IPLDT/IPL | TGIT | 5.1.4

• NR(X) = {v ∈ RL : Xv = 0}, d. h. jede Zeile von X ist orthogonal zuv ∈ NR(X) (x(i) ⊥ v)• ZR(X) wird von den Zeilen von X aufgespannt⇒ NR(X) ⊥ ZR(X)• LR(X) = NR(XT) = {v ∈ RN : XTv = 0}, d. h. jede Spalte von X istorthogonal zu v ∈ LR(X) (xi ⊥ v)• SR(X) wird von den Spalten von X aufgespannt⇒ SR(X) ⊥ LR(X)

L Spalten xi ∈ RN (N ≥ L) N Zeilen x(i) ∈ RL

dim = p Spalten-raum

SR(X)

NR(XT)

dim = N− p

NullraumLinker

alle X v

XTv = 0

RN

orthogonal komplementär,nicht nur orthogonal !

Zeilen-raum

alle XTv

RL

SR(XT)

dim = p

NR(X)Nullraum dim = L− p

X v = 0

Lin. Transformationen + fundamentale Unterräume| DT/IPLDT/IPLDT/IPL | TGIT | 5.1.5

Es sei mit p < n:X

=

S

· CT

X : N× LS : N× p, Rang(S) = pCT : p× L, Rang(C) = p

Dann gilt:ZR(X) = ZR(CT)

Multiplikation von CT mit S liefert Linearkombination der Zeilen von CT.

SR(X) = SR(S)

Multiplikation von Smit CT liefert Linearkombination der Spalten von S.


5.2 Prinzipielle Komponenten einer Matrix

Eigenwerte und Eigenvektoren| DT/IPLDT/IPLDT/IPL | TGIT | 5.2.1

Für einen Eigenwert λ und einen Eigenvektor y 6= 0 einer Matrix A ∈ RL×L

gilt:A · y = yλ (9)

d. h. ywird durch lineare Transformation A nur in der Länge um λ verändert.

A · y = λy⇔ (λI− A)︸︷︷︸⇓

y = 0

ΦA(λ)↑

= det(λI− A) = 0

charakteristisches Polynom

⇒ λ

(9) gilt für alle Eigenwerte λi und Eigenvektoren yi (Vorraussetzungλi 6= λj ∀ i, j Matrix A diagonalisierbar)

⇒ A [y1 y2 . . . yL]︸︷︷︸Y

= [y1 y2 . . . yL]︸︷︷︸Y

λ1 0...

0 λL

︸︷︷︸

Λ

⇒ A = YΛY−1

Eigenwertzerlegung hermitscher/symmetrischer Matrizen| DT/IPLDT/IPLDT/IPL | TGIT | 5.2.2

Eine Matrix A ∈ CL×L ist hermitsch (symmetrisch) falls gilt:

A = AH für A ∈ CL×L (A = AT für A ∈ RL×L).

Die EWZ der Matrix A sei A = YΛY−1, dann gilt für A = AH:

A = YΛY−1 = AH =(Y−1

)HΛHYH

⇒ Λ = ΛH ⇒ λi = λ∗i ⇒ λi reell

YH = Y−1 ⇒ Y unitär/orthogonal

so dass (mit Q als Symbol für unitäre/orthogonale Matrix; QHQ = I) gilt T

A = QΛQH

M

Singulärwertzerlegung (SWZ)| DT/IPLDT/IPLDT/IPL | TGIT | 5.2.3

Theorem: (Singulärwertzerlegung). Die Matrix X ∈ RN×L (N ≥ L) sei vom

Rang p. Es existieren orthogonale Matrizen U ∈ RN×N,V ∈ RL×L und eine

Diagonalmatrix Σ ∈ RN×L, so dass

X = UΣVT , (10)

wobei

Σ = diag(σ1, σ2, . . . , σL) =

σ1 0σ2

. . .σL

0

mit σ1 ≥ σ2 ≥ · · · ≥ σp > σp+1 = · · · = σL = 0


Es sei Σp = diag(σ1, σ2, . . . , σp) ∈ Rp×p, XTX symmetrisch

EWZ⇒ VTXTXV =

[Σ2

p 00 0

], V orthogonal

Mit V = [V1 V2];V1 ∈ RL×p : VT1X

TXV1 = Σ2p

VT2X

TXV2 = 0⇒ XV2 = 0 (1)

Nun sei U1 = XV1Σ−1p , (2)

so dass UT1U1 = Σ−1

p VT1X

TXV1Σ−1p = I⇒ U1 ∈ RN×p orthogonale Spalten

Es existiert ein U2, so dass U = [U1 U2] orthogonal ist (z.B. QR-Zerlegung

von U1 )

Aus (2) ⇒ UT2XV1 = UT

2U1︸︷︷︸=0

Σp = 0 und UT1XV1 = UT

1U1︸︷︷︸=I

Σp = Σp

Zusammen mit (1) ergibt sich damit:

UTXV =

[UT

1UT

2

]· X · [V1 V2] =

[UT

1XV1 UT1XV2

UT2XV1 UT

2XV2

]=

[Σp 00 0

]T

Eigenschaften der Matrix und SWZ| DT/IPLDT/IPLDT/IPL | TGIT | 5.2.5

Rang(X) = p= Anzahl der σi 6= 0SR(X) = span{u1, u2, . . . ,up}NR(X) = span{vp+1, vp+2, . . . , vL}ZR(X) = span{v1, v2, . . . , vp}LR(X) = span{up+1, up+2, . . . ,uN}

orthogonale Basen für diefundamentalen Unterräume

Orthogonalität der fundamentalen Unterräume:

SR(X) ⊥ LR(X) (UTU = I);

ZR(X) ⊥ NR(X) (VTV = I)

Kondition von X :cond(X) =

σmax

σmin

Zusammenhang: Singulärwerte⇔ Eigenwerte| DT/IPLDT/IPLDT/IPL | TGIT | 5.2.6

A = XTX = VΣT UTU︸︷︷︸I

ΣVT = VΣ2VT

XTX = A = QΛQT

⇓Q = V

λi(A) = σ2i (X) ∀ i

Daraus ergibt sich:

ZR(A) = ZR(X)NR(A) = NR(X)

Rang(A) = Rang(X)

cond(A) = (cond(X))2

Überblick: Zerlegungen| DT/IPLDT/IPLDT/IPL | TGIT | 5.2.7

X ∈ RN×L: (0) X = QR Q orthogonal, R rechte obere Dreiecksmatrix

A ∈ RL×L: (1) A = YΛY−1 Y EV-Matrix, Λ EW (Diagonalmatrix)

(2) A = QΛQT Q orthogonal und reelle EW∃ für A hermitsch/symmetrisch

(3) A = UΣVT U,V orthogonal (verschieden); Σ Diagonalmatrix∃ für beliebige A

X ∈ RN×L: (4) X = UΣVT U : N×N und V : L× L orthogonal, Σ diagonal

Aus den Zerlegungen lassen sich auch die inversen Matrizen bestimmen

(lediglich die Diagonalmatrix muss invertriert werden; siehe Anhang 12).


5.3 Parameterschätzung basierend auf SWZ/EWZ

Problemformulierung| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.1

Bisher: Parameterschätzung basierend auf linearen Transformationen der

Signale (Kap. 3) bzw. Lösung linearer Gleichungssysteme (Kap. 4)

Jetzt: Parameterschätzung basierend auf SWZ/EWZ der Signalmatrix.

Signalmodell: Komplexe Schwingungen ejωin = cos ωin + j sin ωin

x(n) =p

∑i=1

aiejωin + v(n) (v(n) : Rauschen)

Aufgabe: Bestimme ωi aus Messwerten x(n), d.h. gesucht p, ωi

(i = 1, . . . , p).

Anmerkung: Es gilt: cos ωin = 12(ejωin + e−jωin

), so dass sich p

Kosinusschwingungen auf 2p komplexe Schwingungen abbilden (±ωi).

Annahme: Rauschen wird zunächst vernachlässigt.

Signalmodell für p = 2| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.2

x(n) = a1ejω1n + a2ejω2n (ejω(n−k) = ejωne−jωk)x(n− 1) = a1ejω1n e−jω1 + a2ejω2n e−jω2

x(n− 2) = a1ejω1n e−j2ω1 + a2ejω2n e−j2ω2

x(n− 3) = a1ejω1n e−j3ω1 + a2ejω2n e−j3ω2

...

Darstellung aufeinanderfolgender Abtastwerte als Matrixprodukte:

[x(n) x(n− 1) x(n− 2)] = [a1 a2] ·[

ejω1n 00 ejω2n

]·[

1 e−jω1 e−j2ω1

1 e−jω2 e−j2ω2

]︸︷︷︸

CT

[x(n− 1) x(n− 2) x(n− 3)] = [a1e−jω1 ejω1n a2e−jω2 ejω2n] · CT =

= [a1e−jω1 a2e−jω2 ] ·[

ejω1n 00 ejω2n

]· CT

Zusammenfassung der beiden Zeilen:[x(n) x(n− 1) x(n− 2)x(n− 1) x(n− 2) x(n− 3)

]=

[a1 a2a1e−jω1 a2e−jω2

]·[

ejω1n 00 ejω2n

]· CT

Allgemeines Signalmodell (N > L)| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.3

X =

x(n) x(n− 1) . . . x(n− L + 1)

x(n− 1) x(n− 2) . . . x(n− L)...

.... . .

...x(n−N + 1) x(n−N) . . . x(n−N− L + 2)

: N× L (L > p)

S =

a1 a2 . . . ap

a1e−jω1 a2e−jω2 . . . ape−jωp

......

. . ....

a1e−j(N−1)ω1 a2e−j(N−1)ω2 . . . ape−j(N−1)ωp

ejω1n 0

. . .0 ejωpn

CT =

1 e−jω1 e−j2ω1 . . . e−j(L−1)ω1

1 e−jω2 e−j2ω2 . . . e−j(L−1)ω2

......

.... . .

...1 e−jωp e−j2ωp . . . e−j(L−1)ωp

X = S · CT =

P

L

CT·SN P

Anwendung Richtungsschätzung: Sensorfelddatenmatrix| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.4

· · · · · · · · · ·��

��

��

@@

@@

@@

��

@@

x1(t) x2(t) x3(t) xL(t)

-� ∆

��

��

��

��

ZZ

ZZZ

ZZZ

ZZ

ZZZ

ZZZ

ZZZ

ZZZ

ZZZ

ZZ

ZZZ

ZZ

ZZ

ZZ

ZZZ

ZZZ

ZZ

ZZZ

ZZZ

ZZZ

ZZZ

ZZ

ZZZ

ZZZ

ZZZ

ZZZ

ZZZ

ZZZ

ZZ

ZZZ

ZZZ

ZZZ

ZZZ

ZZ

ZZZZ

��/

si(t)

ZZ

ZZ

ZZZ

ZZZ

ZZZ

ZZZ

ZZ

ZZZ

ZZZ

ZZZ

ZZZ

ZZ

ZZ

ZZZZ

θi θi θi

��/

τi

x1(1) x2(1) . . . xL(1)x1(2) x2(2) . . . xL(2)x1(3) x2(3) . . . xL(3)... ... . . . ...

x1(N) x2(N) . . . xL(N)

= X

Äquivalentes Signalmodell| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.5

p Signale si(n) aus unterschiedlichen Raumrichtungen θi werden vonäquidistantem linearen Sensorfeld empfangen.

S =

s1(1) s2(1) . . . sp(1)s1(2) s2(2) . . . sp(2)...

.... . .

...s1(N) s2(N) . . . sp(N)

CT, wie zuvor mit ωi = ω0

∆c sin θi

ω0 : Trägerfrequenz∆ Abstand der Sensorenc : Wellenausbreitungsgeschwindigkeitθi : Signalrichtungen

Aufgabe: Schätzung der Signalrichtungen. Bestimme Zahl und Richtungder ankommenden Signale (Wellenfronten), d.h. p und ωi (i = 1, . . . , p).

⇒ θi = arcsin(

cω0∆ ωi

)Z

X = S · CT =

P

L

CT·SN P

Lösung der Schätzprobleme I: Herleitung| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.6

Anwendung der SVD auf X (nur X bekannt; S, CT unbekannt)

X = S · CT = UΣVT mit V = [v1, . . . , vL]

Bestimmung der Anzahl der Frequenzen/Signalquellen p:dim[ZR(X)] = dim[SR(S)] = dim[ZR(CT)] = p⇒ Rang(X) = p, d.h σi > 0 ∀ i ≤ p

Damit lassen sich die Unterräume bestimmen. Ausnützung derOrthogonalität der Unterräume liefert Parameter:

ZR(X) : VZR = [v1, . . . , vp]; ⊥ NR(X) : VNR = [vp+1, . . . , vL]|| ← (siehe Folie 5.1.5)

ZR(CT) ⊥ NR(X)

Berechne P(ω) = n||cH(ω)VNR||2 mit c

H(ω) = [1 e−jω e−j2ω . . . e−j(L−1)ω ]

(wobei cH(ω) eine Zeile von Cmit ω unbekannt)P(ω)→ ∞ für ω → ωi⇒ ωi

Algorithmus I| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.7

Berechnungsschritte:

1 Berechne X = UΣVT

2 Bestimme p = Anzahl σi 6= 0⇒ VNR = [vp+1, . . . , vL]

3 Bestimme P(ω) = n||cH(ω)VNR||2

mit cH(ω) = [1 e−jω e−j2ω . . . e−j(L−1)ω ]

4 Bestimme Unendlichkeitsstellen (Maxima) von P(ω):

P(ω)→ ∞/max für ω → ωi⇒ ωi

Anmerkung: Berechnungsaufwand für Schritt (3) sehr groß (Auflösung).Dieser Algorithmus ist unter dem Namen MUSIC (MUltiple SIgnalClassification) bekannt.

M

Lösung der Schätzprobleme II: Schiebeinvarianz von C:| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.8

Mit

J1 = [IL−1×L−1 OL−1×1]

J2 = [OL−1×1 IL−1×L−1]

und

Φ = diag(e−jωi) =

e−jω1 0

e−jω2

. . .0 e−jωp

: p× p

gilt:J1 · C ·Φ = J2 · C

Lösung der Schätzprobleme II: Herleitung| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.9

Aus Folie 5.1.5 folgt:

ZR(CT) = ZR(X) = ZR(VTZR)

Für eine nichtsinguläre p× p Transformationsmatrix T gilt also:

CT = TT · VTZR ⇔ C = VZR · T

Damit ergibt sich aus der Schiebeinvarianz von C:

J1 · C ·Φ = J2 · CJ1 · VZR · T ·Φ = J2 · VZR · T

Mit Ψ = T ·Φ · T−1 ergibt sich damit:

J1 · VZR ·Ψ = J2 · VZR

Algorithmus II| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.10

Berechnungsschritte:

1 Berechne X = UΣVT

2 Bestimme p = Anzahl σi 6= 0⇒ VZR = [v1, . . . , vp]

3 Löse LS Problem (p rechte Seiten):

minΨ||J1 · VZR ·Ψ− J2 · VZR||F⇒ Ψ

4 Berechne Eigenwertzerlegung: Ψ = T ·Φ · T−1

Eigenwerte: φii = e−jωi ⇒ ωi⇒ θi

Anmerkung: Berechnungsaufwand geringer als bei Algorithmus I (keineMaximumsuche). Dieser Algorithmus ist unter dem Namen ESPRIT(Estimation of Signal Parameters via Rotational Invariant Techniques)bekannt.

Praktisches Signalmodell| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.11

Jetzt kommt Rauschen dazu:

X = S · CT +N

Rauschniveau γ⇒für N → ∞: σ1 ≥ σ2 ≥ · · · ≥ σp > σp+1 = · · · = σL = γfür N groß: σ1 ≥ σ2 ≥ · · · ≥ σp > σp+1 ≈ · · · ≈ σL ≈ γ

Es gibt keine Singulärwerte σi = 0 mehr: σi 6= 0 ∀i→ Schätzung von pAlgorithmus:wie oben, nur (2) p = Anzahl der großen Singulärwerte

Da σi 6= 0 ∀i→ es gibt keine Nullräume mehr→ Schätzung der fundamentalen UnterräumeZR(X) ≈ Signalraum (Vektoren, die zu großen Singulärwerten

gehören)NR(X) ≈ Rauschraum (Vektoren, die zu kleinen Singulärwerten

gehören)ZR(X) ⊥ NR(X) (weiterhin gilt Signalraum⊥ Rauschraum)

M


Lineares Antennenfeld mit L = 5 Sensoren. p = 2 Signale:θ1 = 20◦ , θ2 = 40◦

SNR = 10 dB, N = 100

Gegeben: X : 100× 5Gesucht: p und θi, i = 1, . . . , pBerechnung: X = UΣVT V : 5× 5

σ(X) = [25, 38 19, 92︸︷︷︸ 3, 38 3, 17 2, 79︸︷︷︸][v1 v2

]Signalraum

[v3 v4 v5

]Rauschraum

dim[Signalraum]= 2⇒ p = 2.

Beispiel: Algorithmus I| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.13

Bestimme P(θ) = n||cH(θ)[v3 v4 v5]||2 mit c

H(θ) = [1 e−jω e−j2ω e−j3ω e−j4ω ],wo-

beiω = ω0

∆c sin θ

5 10 15 20 25 30 35 40 45 500

1000

2000

3000

4000

5000

6000

7000

θ

P(θ

)

Beispiel: Algorithmus II| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.14

VSignalraum = [v1 v2] =

−0.3671− 0.0000i 0.5921− 0.0000i−0.0099 + 0.5036i 0.0128− 0.3117i

0.5584 + 0.0109i 0.0399− 0.0088i0.0133− 0.4699i 0.0204− 0.3632i−0.2799− 0.0175i −0.6443− 0.0543i

(3) Löse LS Problem: min

Ψ||J1 · VSignalraum ·Ψ− J2 · VSignalraum||F

⇒ Ψ =

[0.0104− 0.8682i 0.0282− 0.6283i0.0029 + 0.3338i 0.0413− 0.9205i

]

(4) Eigenwerte von Ψ: λ1 = e−jω1 = −0.4317− 0.9018i,λ2 = e−jω2 = 0.4835− 0.8870i

Mit θi = arcsin(

cωiω0∆

): θ1 = 19.9463,

θ2 = 39.9504

M

Anmerkung| DT/IPLDT/IPLDT/IPL | TGIT | 5.3.15

Die Verfahren lassen sich auch für die Autokorrelationsmatrizen der Datenangeben, wobei die SWZ von X durch die EWZ der entsprechendenAutokorrelationsmatrix A ersetzt wird (vgl. Zusammenhang:Singulärwertzerlegung↔ Eigenwertzerlegung)

A = XTX = VΣT UTU︸︷︷︸I

ΣVT = VΣ2VT

XTX = A = QΛQT

Q = Vλi = σ2

i ∀ i

Anstatt Singulärwertzerlegung von X (Schritt 1): Schätzung derAutokorrelationsmatrix A = 1

NXTX und Berechnung der

Eigenwertzerlegung von A.Weitere Anwendung: Die Identifikation eines unbekannten Systems durchsein Zustandsraummodell kann ebenfalls mit den hier vorgestelltenKonzepten (QRZ, SWZ, Schiebeinvarianz) durchgeführt werden (nächstesKapitel 5.4).


5.4 Systemidentifikation und Zustandsraummodell

Zustandsraummodell| DT/IPLDT/IPLDT/IPL | TGIT | 5.4.1

unbekanntes

System

A, B, C,D

u(n)

m-dim

y(n)

l-dim

Modell:T−1Tx[n + 1]

k×1= T−1 A

k×kTx[n] + T−1 B

k×mu[n]m×1

y[n]l×1

= Cl×k

Tx[n] + Dl×m

u[n]

Gegeben: u[n], y[n] n = 1, 2, . . .

E-/A-Verhalten invariant gegen Transformation T:Gesucht:

[AT, BT, CT, D

]=[T−1AT, T−1B, CT, D

]Z

Kombinierte Gleichungen| DT/IPLDT/IPLDT/IPL | TGIT | 5.4.2

Wiederholtes Einsetzen der Zustandsgleichung in Ausgangsgleichung:

y[n + i− 1] =Cx[n + i− 1] + Du[n + i− 1]=CAx[n + i− 2] + CBu[n + i− 2] + Du[n + i− 1]

=CA2x[n + i− 3] + CABu[n + i− 3] + CBu[n + i− 2] + Du[n + i− 1]

=CA3x[n + i− 4] + CA2Bu[n + i− 4] + CABu[n + i− 3] ++CBu[n + i− 2] + Du[n + i− 1]

...=CAi−1x[n] + CAi−2Bu[n] + CAi−3Bu[n + 1] + . . .

+CBu[n + i− 2] + Du[n + i− 1]

Matrixdarstellung| DT/IPLDT/IPLDT/IPL | TGIT | 5.4.3

Diese Gleichung läßt sich über mehrere Zeitpunkte folgendermaßendarstellen:

Y = M · X+H · U,wobei: X = [x[n] x[n + 1] . . . x[n + N− 1]] : k×N

M =

CCACA2

...CAi−1

: li× k H =

D 0CB DCAB CB D...

.... . .

CAi−2B CAi−3B . . . . . . D

: li×mi

Y =

y[n] y[n + 1] . . . y[n + N− 1]

y[n + 1] y[n + 2] . . . y[n + N]...

.... . .

...y[n + i− 1] y[n + i] . . . y[n + N + i− 2]

: li×N

U = [genau wie Y nur u[n] statt y[n]] : mi×N

Identifikationsalgorithmus I| DT/IPLDT/IPLDT/IPL | TGIT | 5.4.4

Mit N � max(li, mi), i > k

1 Bilde S = [UT YT]

2 Berechne QRZ von S:

S = [UT YT] = Q ·[R0

]= Q

mi li R11 R120 R220 0

mi

li

N−(mi+li)

3 Berechne SWZ von R22 (li× li):

R22 = UΣVT =↑

σk�σk+1

[U1U2] ·k li−k[

ΣSΣR

] [VT

SVT

R

]k

li−k

Identifikationsalgorithmus II| DT/IPLDT/IPLDT/IPL | TGIT | 5.4.5

4 Schiebeinvarianz vonM überträgt sich auf Signalraum von VS (li× k).Mit V(1)S = VS(1 : l(i− 1), :) und V(2)S = VS(l + 1 : li, :) ergibt sich:

minAT||V(1)S AT − V(2)S ||F

woraus man AT erhält. Ferner gilt:

CT = VS(1 : l, :)

5 BT und DT lassen sich ebenfalls aus den berechneten Größen durchLösungen von Gleichungssystemen bestimmen (hier nicht weiterausgeführt, da komplexe Nomenklatur erforderlich, aber prinzipielleinfach).

Beispiel I| DT/IPLDT/IPLDT/IPL | TGIT | 5.4.6

Das Zustandsraummodell eines unbekannten Systems sei

x[n + 1] = Ax[n] + Bu[n]y[n] = Cx[n] + Du[n] ,

wobei

A =

0.8 0 00 0.5 0.60 −0.6 0.5

B =

111

C =

[1 1 1

]D = [1]

Offensichtlich gilt k = 3, m = 1 und l = 1. Eingangssignal:u[n] = sign(w[n]) ∈ {−1,+1}, wobei w[n] Gauss’sches weißes Rauschenist. Messung am Ausgang des Systems liefert: y[n] = y[n] + v[n], wobei v[n]Gauss’sches weißes Rauschen mit SNR = 10dB.

Beispiel II| DT/IPLDT/IPLDT/IPL | TGIT | 5.4.7

Wir wählen i = 5 (groß genug um i > k zu erfüllen) und N = 200.Aus dem Eingangssignal u[n] und dem gemessenen Ausgangssignal y[n]lassen sich U:5× 200 und Y:5× 200 bilden.

1) Bilde S =[UT YT

]: 200× 10

2) QRZ von S liefert:

S = [UT YT] = Q ·[R0

]= Q

5 5 R11 R120 R220 0

5

5

190

Beispiel III| DT/IPLDT/IPLDT/IPL | TGIT | 5.4.8

3) SWZ von R22: 5× 5 liefert die Singulärwerte

σ(R22) = [54.5224 , 19.3371 , 14.8940 , 4.7064 , 4.6391]

und die rechtsseitigen Singulärvektoren

V =

0.8674 −0.2522 0.3016... −0.1582 −0.2608

0.4722 0.4888 −0.3020... 0.1664 0.6475

0.0673 0.6987 −0.0563... 0.2459 −0.6660

−0.1188 0.4522 0.4641... −0.7370 0.1511

−0.0776 0.0686 0.7741... 0.5862 0.2152

.

R22 besitzt drei große Singulärwerte:⇒ k = 3VS = [v1 v2 v3] VR = [v4 v5]

Beispiel IV| DT/IPLDT/IPLDT/IPL | TGIT | 5.4.9

Gleichungssysteme aufstellen und lösen liefert:

AT =

0.4379 0.7893 −0.4045−0.2002 0.5537 0.7718

0.1393 −0.1876 0.8096

BT =

3.63510.2646−0.0588

CT =

[0.8674 −0.2522 0.3016

]DT = [1.0869]

Vergleich: ursprüngliches System↔ identifiziertes System

i λi(A) λi(AT)1 0.8 0.81272 0.5 + j0.6 0.4943+j0.59733 0.5− j0.6 0.4943-j0.5973

Beispiel V| DT/IPLDT/IPLDT/IPL | TGIT | 5.4.10

Ausgangssignal des ursprünglichen (durchgezogene Linie) und desidentifizierten Systems (gestrichelte Linie).

50 100 150 200-8

-6

-4

-2

0

2

4

6

8

10

n

Aus

gang

ssig

naly

[n]





Deterministische/ stochastische Signale| DT/IPLDT/IPLDT/IPL | TGIT | 6.0.1

Zeit-diskretes deterministisches Signal: Werte-kontinuierlicheSignalwerte x(n) lassen sich für jeden Zeitpunkt n ∆t genau angeben(Funktion der Zeit: x(n) = x(n∆t) = sin(2πfn∆t)).

Zeit-diskretes stochastisches Signal: Werte-kontinuierliche Signalwertex(n) lassen sich nicht für jeden Zeitpunkt n genau angeben, aberbestimmte Werte (z.B. Mittelwert von x(n)) gehen gegen einen konstantenWert, wenn Anzahl der Versuche (Messungen)→ ∞. Ferner bleibt dieserWert unverändert, wenn nur eine Untermenge der Signalwerte betrachtetwird (z.B. jeder 4. Abtastwert). Z

Digitales stochastisches Signal: Quantisierte (werte-diskrete) Signalwertetreten zufällig auf und weisenHäufigkeits-/Wahrscheinlichkeitsverteilungen auf (z.B. ein Signal mit 8Quantisierungsstufen/Amplitudenwerten, bei dem die 8 Werte gleichhäufig auftauchen, entspricht einem fairen Würfel mit 8 Seiten).


6.1 Wahrscheinlichkeitsrechnung

Nomenklatur in der Wahrscheinlichkeitsrechnung| DT/IPLDT/IPLDT/IPL | TGIT | 6.1.1

• Grundmenge: Φ = {ϕ1, ϕ2, . . . , ϕn} |Φ| = n Ereignismenge

z.B. Würfel: ΦW = {1, 2, 3, 4, 5, 6}, |ΦW | = 6Münze: ΦM = {K, Z}, |ΦM| = 2Messungen: Φx = {xq}

(Menge der möglichen quantisierten Werte)

• Untermenge:A = {ϕk1, ϕk2, . . . , ϕkm} ⊂ Φ; ki ∈ {1, 2, . . . , |Φ|} EreignisA = {2, 4, 6} ⊂ ΦW

Das Ergebnis eines Versuchs ist ein elementares Ereignis ϕi:• A = Φ tritt bei jedem Versuch ein;A = ∅ tritt nie ein• A und B sind disjunkte Ereignisse, falls ϕi ∈ A ⇒ ϕi 6∈ B• A ∪ B tritt ein, falls ϕi ∈ A oder ϕi ∈ B oder ϕi ∈ A ∪ B• A ∩ B tritt ein, falls ϕi ∈ A und ϕi ∈ B

Komplementäres Ereignis A:A∪ A = Φ, A∩ A = ∅

Die Axiome der Wahrscheinlichkeitsrechnung| DT/IPLDT/IPLDT/IPL | TGIT | 6.1.2

Jedem EreignisA wird ein Wert P(A) (Wahrscheinlichkeit des EreignissesA) zugeordnet, so dass

(I) P(A) ≥ 0(II) P(Φ) = 1(III) P(A∪ B) = P(A) + P(B) fallsA∩ B = ∅

(IIIa) P(A1 ∪A2 ∪ . . . ) = P(A1) + P(A2) + . . . fallsAi : disjunkte Mengen

Axiome: Alle Herleitungen basieren nur auf den Axiomen (siehe AnhangFolie 10.0.1)z. B. : P(A∪ B) = P(A) + P(B)− P(A∩ B) ≤ P(A) + P(B)Bew.:A∪ B = A∪ (A ∩ B) (III)⇒ P(A∪ B) = P(A) + P(A ∩ B) (1)

B = (A∩ B) ∪ (A ∩ B) (III)⇒ P(B) = P(A∩ B) + P(A ∩ B) (2)(1)− (2) : P(A∪ B)− P(B) = P(A)− P(A∩ B) �

Definition eines Experiments| DT/IPLDT/IPLDT/IPL | TGIT | 6.1.3

• EndlicheMenge: |Φ| = N < ∞

P(ϕi) = pi für i ∈ {1, 2, . . . , N} Axiome⇒ pi ≥ 0;N

∑i=1

pi = 1

SeiA = {ϕk1, ϕk2, . . . , ϕkr} für ki ∈ {1, 2, . . . , N} dann gilt wegen

A =r⋃

i=1

{ϕki} und {ϕki} ∩ {ϕkj} = ∅ ∀ i, j:

P(A) = P(ϕk1) + · · ·+ P(ϕkr) = pk1 + · · ·+ pkr

• UnendlicheMenge: |Φ| = ∞ (z.B. reelle ZahlenA = {x|x1 ≤ x ≤ x2})

P(x1 ≤ x ≤ x2)P(x ≤ x1)

x1 x2 x

P(x ≤ x1) + P(x1 ≤ x ≤ x2) = P(x ≤ x2) (III)

Beispiele| DT/IPLDT/IPLDT/IPL | TGIT | 6.1.4

1 Fairer Würfel: Φ = {1, 2, 3, 4, 5, 6}, pi =1N = 1

6 ∀ i⇒ P(A) = rN

2 Faire Münze: Φ = {K, Z}, wobei P({K}) = P({Z}) = 12

3 Würfe: Φ = {KKK, KKZ, KZK, KZZ, ZKK, ZKZ, ZZK, ZZZ}P({ϕi}) = pi =

18 ∀ i

Wie groß ist die Wahrscheinlichkeit für das Ereignis:A = {KZZ, ZZZ} (Zahl bei den letzten beiden Würfen)P(A) = P({KZZ}) + P({ZZZ}) = p4 + p8 = 1

8 + 18 = 1

4

3 Abtastwerte eines Signals (siehe Folie 2.1.7)Φ = {−1.4 − 1.2 − 1.0 − 0.8 . . . − 0.2 0.0 + 0.2 . . . + 0.8 + 1.0 + 1.2 + 1.4}P({ϕi}) = { 1

21[

1 0 2 2 3 0 0 0 6 2 2 1 1 0 1]}

Anmerkung: Unendliche Ereignismengen (|Φ| = ∞) tretten bei digitalen(zeit-, wertediskreten) Signalen und Systemen nicht auf.

Bedingte Wahrscheinlichkeit| DT/IPLDT/IPLDT/IPL | TGIT | 6.1.5

Die bedingte Wahrscheinlichkeit des EreignissesA unter der Annahme,dass das EreignisM eingetreten ist, ist

P(A|M) =P(A∩M)

P(M)(P(M) 6= 0) (1)

• WennA ⊂M⇒ A∩M = A ⇒ P(A|M) = P(A)P(M)

≥ P(A)• WennM⊂ A ⇒ A∩M =M⇒ P(A|M) = P(M)

P(M)= 1

Anmerkung: Für bedingte Wahrscheinlichkeiten gelten ebenfalls dieAxiome.

Beispiel: Fairer Würfel: Φ = {1, 2, 3, 4, 5, 6}mit P(ϕi) =16

Wahrscheinlichkeit von ϕ2 = 2 unter der Bedingung, dass gerader Wurfeingetreten ist:

A = {2}; M = {2, 4, 6}

Es gilt P(A) = 16 und P(M) = 3

6 . WegenA ⊂M gilt: P(A|M) =P(A)P(M)

=13


Schachtel mit 3 weißen und 2 roten Kugeln.Experiment: Ziehe zwei Kugeln hintereinander.Gesucht: Wahrscheinlichkeit für 1. Kugel weiß und 2. Kugel rot

w1w2w2w1w3w1r1w1r2w1

w1w3w2w3w3w2r1w2r2w2

w1r1w2r1w3r1r1w3r2w3

w1r2w2r2w3r2r1r2r2r1} |Φ| = 5 · 4 = 20

Φ = {A =W1∩R2

a)

b) EreignisseW1 = {weiße Kugel im 1. Zug},R2 = {rote Kugel im 2. Zug}.Weiße Kugel gezogen (im ersten Zug); es verbleiben zwei weiße und zweirote Kugeln.

P(W1) =Anzahl weiße Kugeln

Anzahl Kugeln=

35

; P(R2|W1) =Anzahl rote KugelnAnzahl Kugeln

=24

DaW1 ∩R2 = R2 ∩W1 ist, gilt:

P(W1 ∩R2) = P(R2 ∩W1)(1)= P(R2|W1) · P(W1) =

24 · 3

5 = 620

Unabhängigkeit| DT/IPLDT/IPLDT/IPL | TGIT | 6.1.7

Zwei EreignisseA und B sind unabhängig, falls

P(A∩ B) = P(A) · P(B)

Verallgemeinerung: n EreignisseAi sind unabhängig, falls

P(A1 ∩ · · · ∩ An) =n

∏i=1

P(Ai)

für jede mögliche Kombination derA1, . . . ,An.Vergleiche Beispiel: Ziehen von Kugeln.

P(W1 ∩R2) =6206= P(W1) · P(R2) =

35· 2

5=

625

Die beiden Ereignisse sind abhängig, da zweiter Zug vom Ergebnis desersten Zuges abhängt


6.2 Zufallsvariable

Definition einer Zufallsvariable (ZV)| DT/IPLDT/IPLDT/IPL | TGIT | 6.2.1

Eine Zufallsvariable (ZV) x erhält man, wenn jedem elementaren Ereignisϕk ∈ Φ eine Zahl x(ϕk) zugeordnet wird. Die Abbildungsmenge X seiX = {x1, . . . , xN} =

⋃k

x(ϕk).

Mit xi = x(ϕi) gilt:

(I) {xj ≤ x(ϕk) ≤ xi} ⊂ X definiert ein EreignisA = {ϕk|xj ≤ x(ϕk) ≤ xi} für alle xi ∈ X

(II) |Φ| = |X| = N

Φ

ϕ1

ϕ

ϕΝ

k

x x jx i x k x N1

Α

Bemerkung: Bei einer komplexen ZV z = x + jy sind der Realteil x und derImaginärteil y jeweils reelle ZV.

Z

Beispiele: ZV| DT/IPLDT/IPLDT/IPL | TGIT | 6.2.2

a) Würfelexperiment: Φ = {1, 2, 3, 4, 5, 6} 10

a1) x(ϕi) = i, X = Φ, {2 ≤ x(ϕi) ≤ 3} = {2, 3} ⇒ A = {2, 3}a2) x(ϕi) = i2, X = {1, 4, 9, 16, 25, 36}, {2 ≤ x(ϕi) ≤ 10} = {4, 9}⇒wie a1)

b) Münzwurf: Φ = {ϕ1, ϕ2} = {K, Z},

x(ϕi) =

{+1 für i = 1 (K)−1 für i = 2 (Z) X = {+1, −1, }

c) Gauss’sches weißes Rauschen: (zeit-diskrete Abtastwerte x(n))

Quantisierung: x(ϕi) = xi =

−3.0 für x(n) < −2.75−2.5 für − 2.75 ≥ x(n) < −2.25

...+3.0 für x(n) ≥ +2.75

X = {−3.0,−2.5,−2.0, . . . ,−0.5, 0.0,+0.5, . . . ,+2.0,+2.5,+3.0}

10000 Abtastwerte x(n): {+1.6589,+0.7058,−0.1041,−1.0279,+2.0692, . . .}10000 Ereignisse xi: {+1.5,+0.5,−0.0,−1.0,+2.0, . . .}

Wahrscheinlichkeitsdichtefunktion (WDF)| DT/IPLDT/IPLDT/IPL | TGIT | 6.2.3

p(xi) = P({ϕk|x(ϕk) = xi})⇒WDF: p(x) =∞

∑i=−∞

p(xi) δ(x− xi)

a) p(xi) =16 ∀ i

16

1 2 3 4 5 6 xi

p(xi)a1)16

p(xi)a2)

1 4 xi3625169

b) p(xi) =12 ∀ i c)

p(xi)

1

1/2

-1 xi −3 −2 −1 0 1 2 30

0.02

0.04

0.06

0.08

0.1

0.12

0.14

0.16

0.18

x

Wahrs

chein

lichkeitsdic

hte

Wahrscheinlichkeitsverteilungsfunktion (WVF)| DT/IPLDT/IPLDT/IPL | TGIT | 6.2.4

f (xi) = P({ϕk|x(ϕk) ≤ xi}) =i

∑k=1

p(xk)

Eigenschaften:1 Es gilt f (−∞) = 0 und f (+∞) = 12 Falls xs < xt, dann f (xs) ≤ f (xt) (monoton steigende Sequenz)3 P({x(ϕk) = xi}) = p(xi) = f (xi)− f (xi−1)

1 2 3 4 5 6 xi

16

1 F(xi)a1)

1

16

1 F(xi)a2)

4 xi3616 259

F(xi)

xi-1 1

12

1

b)

−3 −2 −1 0 1 2 30

0.2

0.4

0.6

0.8

1

x

Wah

rsch

einl

ichk

eits

verte

ilung

Mittelwert und Varianz| DT/IPLDT/IPLDT/IPL | TGIT | 6.2.5

Mit x = [x(ϕ1), . . . , x(ϕN)]T = [x1 . . . xN]

T

und p = [p(x1), . . . , p(xN)]T = [p1 . . . pN]

T

gilt für den Mittelwert der ZV x(ϕi) folgende Gleichung:

ηx = E[x(ϕ)

]= xTp =

N

∑i=1

pi xi

und die Varianz ergibt sich mit v = [(x1 − ηx)2 . . . (xN − ηx)2]T zu:

σ2x = E

[(x(ϕ)− ηx)

2] = vTp =N

∑i=1

pi(xi − ηx)2

Beispiele| DT/IPLDT/IPLDT/IPL | TGIT | 6.2.6

a1) x = [1 2 3 4 5 6]T,p = 16 [1 1 1 1 1 1]T, ηx = xT · p = 3.5

v = 14 [25 9 1 1 9 25]T, σx =

√vT · p = 1.7078

a2) x = [1 4 9 16 25 36]T,p = 16 [1 1 1 1 1 1]T, ηx = xT · p = 91

6 = 15.1667v = 1

36 [7225 4489 1369 25 3481 15625]T, σx =√vT · p = 12.2122

b) x = [−1 + 1]T,p = 12 [1 1]T, ηx = xT · p = 0

v = [1 1]T, σx =√vT · p = 1

c) x = [−3 − 2.5 − 2 − 1.5 − 1 − 0.5 ± 0 + 0.5 + 1 + 1.5 + 2 + 2.5 + 3]T,p = [0.003 0.009 0.029 0.065 0.116 0.174 0.201 0.177 0.120 . . .]T

ηx = xT · p = 0.0019(≈ 0.0 nur 10000 Werte im Experiment)v = [9.00 6.25 4.00 2.25 1.00 0.25 0.00 0.25 1.00 2.25 4.00 6.25 9.00]T,σx =

√vT · p = 1.0081(≈ 1.0)

d) Berechne ηx, σx für Signal von Folie 2.1.7.


6.3 Zufallsvektoren

Zweidimensionale Zufallsvektoren| DT/IPLDT/IPLDT/IPL | TGIT | 6.3.1

Zwei Zufallsvariablen: x(θi), θi ∈ Θ, |Θ| = M undy(ψj), ψj ∈ Ψ, |Ψ| = N.

Zwei Abbildungsmengen: X = {x1 . . . xM} =⋃

i x(θi) undY = {y1 . . . yN} =

⋃j y(ψj).

Verbundverteilung:Mit Φ = Θ×Ψ = {(θi, ψj) ∀ i, j}, |Φ| = M ·N gilt:

p(xi, yj) = P({θi|x(θi) = xi} ∩ {ψj|y(ψj) = yj}

)∀ i, j

Es gilt:• ∑

i,jp(xi, yj) = 1

• f (xm, yn) = P({θi|x(θi) ≤ xm} ∩ {ψj|y(ψj) ≤ yn}

)=

m

∑i=1

n

∑j=1

p(xi, yj)

• P = [p(xi, yj)]M×N F = [f (xm, yn)]M×N

Beispiel I: Würfel undMünze| DT/IPLDT/IPLDT/IPL | TGIT | 6.3.2

10

Münze: Θ = {θ1, θ2}, |θ| = 2Würfel: Ψ = {ψ1, ψ2, . . . , ψ6}, |ψ| = 6

ZV1: x(θi) =

{+1 for i = 1−1 for i = 2; X = {+1 − 1}

ZV2: y(ψj) = j for j = 1, 2, . . . , 6; Y = {1 2 3 4 5 6}

Verbundverteilungen:Mit Φ = Θ×Ψ = {(θi, ψj) ∀ i, j}, |Φ| = 2 · 6 = 12 gilt:

p(xi, yj) = P({θi|x(θi) = xi} ∩ {ψj|y(ψj) = yj}

)=

112

P =112

[1 1 1 1 1 11 1 1 1 1 1

]F =

112

[1 2 3 4 5 62 4 6 8 10 12

]

Beispiel II: Gauss’sches weißes Rauschen 2D| DT/IPLDT/IPLDT/IPL | TGIT | 6.3.3

P und F sind 13× 13 Matrizen (hier graphische Darstellung derMatrixelemente)

P F

−3−2

−10

12

3

−3

−2

−1

0

1

2

3

0

0.005

0.01

0.015

0.02

0.025

0.03

0.035

xy

Wahrs

chein

lichkeitsdic

hte

−3−2

−10

12

3

−3−2

−10

12

30

0.2

0.4

0.6

0.8

1

xy

Wah

rsch

einl

ichk

eits

verte

ilung

M

Verbundwahrscheinlichkeit und bedingte Wahrscheinlichkeit| DT/IPLDT/IPLDT/IPL | TGIT | 6.3.4

Gegeben seien zwei ZV x und y mit Verbundverteilung P = [p(xi, yj)]M×N.Daraus lassen sich die folgenden Verteilungen bestimmen:

p(xi) =N

∑j=1

p(xi, yj) und p(yj) =M

∑i=1

p(xi, yj)

Ferner gilt (vgl. Folie 6.1.5):

p(xi, yj) = p(xi ∩ yj) = p(xi) · p(yj|xi) ⇒ p(yj|xi) =p(xi, yj)

p(xi)

p(xi, yj) = p(yj ∩ xi) = p(yj) · p(xi|yj) ⇒ p(xi|yj) =p(xi, yj)

p(yj)

Das folgende Beispiel zeigt die Berechnungen dieser Verteilungen auseiner gegebenen Verbundverteilung P = [p(xi, yj)]4×4.

Beispiel: Berechnung| DT/IPLDT/IPLDT/IPL | TGIT | 6.3.5

yj p(xi) p(yj|xi)p(xi, yj) 0 1 2 3 0 1 2 3 ∑

0 1/8 1/16 1/16 1/4 1/2 1/4 1/8 1/8 1/2 1xi 1 1/16 1/8 1/16 0 1/4 1/4 1/2 1/4 0 1

2 1/32 1/32 1/16 0 1/8 1/4 1/4 1/2 0 13 1/32 1/32 1/16 0 1/8 1/4 1/4 1/2 0 1

p(yj) 1/4 1/4 1/4 1/4 ∑ = 10 1/2 1/4 1/4 1

p(xi|yj) 1 1/4 1/2 1/4 02 1/8 1/8 1/4 03 1/8 1/8 1/4 0∑ 1 1 1 1

Wahrscheinlichkeiten bei Übertragungssystem| DT/IPLDT/IPLDT/IPL | TGIT | 6.3.6

Eingangssignal x(n) liefert Zufallsvariable x mit X = {x1, . . . , xM}Ausgangssignal y(n) liefert Zufallsvariable y mit Y = {y1, . . . , yN}• p(xi): Wahrscheinlichkeitsverteilung der Eingangsdaten.• p(yj): Wahrscheinlichkeitsverteilung der Ausgangsdaten.• p(xi, yj): Verbundverteilung, d.h. Wahrscheinlichkeit, dass yjempfangen wurde und xi gesendet wurde.• p(yj|xi): Wahrscheinlichkeit, dass yj empfangen wird, unter derBedingung, dass xi gesendet wurde.• p(xi|yj): Wahrscheinlichkeit, dass xi gesendet wurde, unter derBedingung, dass yj empfangen wurde.

Beispiel:Alphabet des Senders: X = {00, 01, 10, 11}, (Signal mit 4 Quantisierungsstufen)Alphabet des Empfängers: Y = {00, 01, 10, 11}

Korrelation und Kovarianz| DT/IPLDT/IPLDT/IPL | TGIT | 6.3.7

Korrelation:rxy = E{x y} = ∑

i,jxi yj pij = xT · P · y

Kovarianz:cxy = rxy − ηx · ηy ; ηx = E{x}, ηy = E{y}

Zwei ZV x und y sind unkorreliert, falls

cxy = 0 ; E{xy} = E{x} · E{y}

Zwei ZV x und y sind orthogonal, falls

rxy = E{xy} = 0 x⊥y


• Würfel/Münze x = [+1 − 1]; y = [1 2 3 4 5 6]T; ηx = 0; ηy = 3.5;P = [pij]2×6 mit pij =

112

rxy = xTPy = 0

• Zwei Würfel: x = y = [1 2 3 4 5 6]T; ηx = ηy = 3.5;P = [pij]6×6 mit pij =

136

rxy = xTPy = 12.25 6= 0cxy = rxy − ηx · ηy = rxy − (3.5)2 = 0

• x = y = [−3 − 2.5 − 2 − 1.5 − 1 − 0.5 0 + 0.5 + 1 + 1.5 + 2 + 2.5 + 3]T;ηx = ηy = 0; PMatrix gemäß Folie 6.3.3rxy = xTPy = 0

M

Mehrdimensionale Zufallsvektoren| DT/IPLDT/IPLDT/IPL | TGIT | 6.3.9

n Zufallsvariablen xi = xi(ϕk), i = 1, . . . , n⇒ x = [x1 x2 . . . xn]T

Interesse an gegenseitigen Abhängigkeiten (Korrelationen)

Korrelationsmatrix: Rn = [rij] rij = E{xi xj} = xTi Pijxj

Kovarianzmatrix: Cn = [cij] cij = rij − ηi · ηj

Mit x = [x1 x2 . . . xn]T gilt:

Rn = E{x xT} =

E{x1 x1} E{x1 x2} · · · E{x1 xn}E{x2 x1} E{x2 x2} · · · E{x2 xn}

......

. . ....

E{xn x1} E{xn x2} · · · E{xn xn}

Bem.: Für komplexe ZV gilt: rij = E{xi x∗j }

cij = rij − ηiη∗j

Rn = E{x xH}


6.4 Stochastische Prozesse

Definition eines stochastischen Prozesses| DT/IPLDT/IPLDT/IPL | TGIT | 6.4.1

Ein stochastischer Prozess ist eine zeitabhängige Zufallsvariable, wobeifür jeden Zeitpunkt 0 ≤ n ≤ N− 1 eine Zufallsvariable x(n, ϕk) existiert,wobei ϕk ∈ Φ (Φ Menge der möglichen Quantisierungsstufen). Wir nehmenan das ∞-viele Realisierungen (z.B. Messungen eines Signals) desProzesses existieren.

Wir können vier Bedeutungen unterscheiden:• ϕk und n sind variabel. x(n, ϕk) ist ein stochastischer Prozess (eineSchar von Mustersignalen).• ϕk ist fest und n ist variabel. Wir erhalten eine Realisierung desstochastischen Prozesses, d.h. ein (ganz normales) digitales Signalx(n), wobei die Werte von x(n) ∈ Φ• ϕk ∈ Φ ist variable und n ist fest. Für den Zeitpunkt n stellt x(n) eineZV dar.• Für ein festes n und festes ϕk ist x(n, ϕk) ein (ganz gewöhnlicher)Abtastwert.

Realisierungen eines Stochastischen Prozesses| DT/IPLDT/IPLDT/IPL | TGIT | 6.4.2

0 10 20 30 40 50 60 70 80 90 100−4

−2

0

2

4

Realisierung 1

x(n

)

0 10 20 30 40 50 60 70 80 90 100−4

−2

0

2

4

Realisierung 2

x(n

)

0 10 20 30 40 50 60 70 80 90 100−4

−2

0

2

4

Realisierung ∞

x(n

)

...

Stationäre stochastische Prozesse (SSP)| DT/IPLDT/IPLDT/IPL | TGIT | 6.4.3

Für jeden Zeitpunkt n existieren Beschreibungsgrößen (Mittelwert,Varianz) von ZV.Mittelwert: η(n) = E

{x(n)

}Autokorrelation: r(n, k) = E

{x(n)x(k)

}für k = n− l, l = 0, 1, 2, . . .

Autokovarianz: c(n, k) = E{(

x(n)− η(n))(

x(k)− η(k))}

= r(n, k)− η(n)η(k)Ein stochastischer Prozess ist stationär (zeitinvariant), wenn seinestatistischen Eigenschaften invariant bezüglich einer Zeitverschiebungsind, d.h.

η(n) = η ∀ nr(n, k) = r(k) ∀ nc(n, k) = c(k) ∀ n

Bem.:Wahrscheinlichkeitsdichtefunktion 6= f (n)

Bem.: r(0) = E{|x(n)|2

}< ∞ (Quadratischer Mittelwert)

c(0) = E{|x(n)− η|2

}(Varianz)

Beispiel: Autokorrelation| DT/IPLDT/IPLDT/IPL | TGIT | 6.4.4

Gauss’sches weißes Rauschen: η = E{

x(n)}= 0 für n = 0, 1, 2, . . .

r(k) = E{

x(n)x(n− k)}=

{σ2

x für k = 00 sonst

Der Rauschprozess enthält keine Korrelationen zwischen den Daten.

Sprachsignal: Die Abtastwerte eines Sprachsignals weisen Korrelationen auf.Für n = 12880 Abtastwerte eines Gauss’schen weißen Rauschprozesses und einesSprachsignals wurden die Korrelationen mit den benachbarten Werten fürk = −20 . . . + 20 berechnet und in folgenden Abbildungen dargestellt.

−20 −15 −10 −5 0 5 10 15 20−1

−0.8

−0.6

−0.4

−0.2

0

0.2

0.4

0.6

0.8

1Autokorrelation: Rauschen

k

r(k)

−20 −15 −10 −5 0 5 10 15 20−1

−0.8

−0.6

−0.4

−0.2

0

0.2

0.4

0.6

0.8

1Autokorrelation: Sprachsignal

k

r(k)

Autokorrelationsmatrix eines SSP| DT/IPLDT/IPLDT/IPL | TGIT | 6.4.5

Mit x(n) =[x(0) x(1) . . . x(N− 1)

]T ergibt sich dieAutokorrelationsmatrix A des SSP zu:

A=E{x(n) x(n)T} =

=

E{

x(0) x(0)}

E{

x(0) x(1)}

· · · E{

x(0) x(N− 1)}

E{

x(1) x(0)}

E{

x(1) x(1)}

· · · E{

x(1) x(N− 1)}

......

. . ....

E{

x(N− 1) x(0)}

E{

x(N− 1) x(1)}· · · E

{x(N− 1) x(N− 1)

} =

=

r(0) r(1) r(2) · · · r(N− 1)

r(−1) r(0) r(1) · · · r(N− 2)r(−2) r(−1) r(0) · · · r(N− 3)...

......

. . ....

r(−N + 1) r(−N + 2) r(−N + 3) · · · r(0)

(1)

sym. Toeplitz-Matrix (N×N) T

Schätzung der statistischen Beschreibungsgrößen| DT/IPLDT/IPLDT/IPL | TGIT | 6.4.6

Problem: In der Praxis nur eine Zeitreihe x(n) (eine Realisierung) verfügbar:

⇒ Ensemble Mittelwerte (Mittelwerte über die Realisierungen) werdendurch Zeit Mittelwerte (Mittelwerte über die Abtastwerte) ersetzt.

(z.B. 1000 Realisierungen mit 100 Abtastzeitpunkten werden durch 100000Abtastzeitpunkte einer Realisierung ersetzt) ! SSP !

Annahme: pij = const. ∀ i, j

Mittelwert: η =1N

N−1

∑n=0

x(n)

Autokorrelation: r(k) =1N

N−1

∑n=0

x(n)x(n− k) für−N + 1 ≤ k ≤ N−1Autokovarianz: c(l) = r(l)− η

Schätzung von r(l)mit MVM| DT/IPLDT/IPLDT/IPL | TGIT | 6.4.7

x = [x(N− 1) x(N− 2) . . . x(1) x(0)]T;

r = [r(−N + 1) . . . r(−1) r(0) r(1) . . . r(N− 1)]T

X =

x(0) 0 0 · · · 0x(1) x(0) 0 · · · 0x(2) x(1) x(0) · · · 0...

......

. . ....

x(N− 1) x(N− 2) x(N− 3) · · · x(0)0 x(N− 1) x(N− 2) · · · x(1)0 0 x(N− 1) · · · x(2)...

......

. . ....

0 0 0. . . x(N− 1)

Toeplitz: (N + m− 1)×m

r =1NXx (vgl. Faltung; Folie 3.3.11)

⇒ A gemäß (1) aus r(l) liefert Schätzung für Autokorrelationsmatrix A.Anmerkung: Auch A = 1

NXTX liefert Schätzung (A keine Toeplitz Struktur).

M

Ergodizität| DT/IPLDT/IPLDT/IPL | TGIT | 6.4.8

Schätzung nur sinnvoll, falls die Zeitmittelwerte η, r, c gegen die

Ensemblemittelwerte η, r, c konvergieren.

Theorem (Ergodizität desMittelwerts). Für den mittleren quadratischen

Fehler (Konvergenzkriterium) des Mittelwerts eines ergodischen

stationären stochastischen Prozesses x(n), der asymptotisch unkorreliert

(c(l) = 0 für N → ∞) ist, gilt:

limN→∞

E{|η − η|2} = 0

Anmerkung: Der Beweis ist im Anhang (siehe Folien 10.0.2 und 10.0.3) zu

finden. In ähnlicher Weise lässt sich auch die Ergodizität von

Autokorrelation und Autokovarianz zeigen.





Einführung| DT/IPLDT/IPLDT/IPL | TGIT | 7.0.1

Die Informationstheorie liefert die theoretischen Grundlagenzum Entwurf von Codes.Codierung: Abbildung einer Informationsfolge i in ein Codewort c

i = [i0 i1 . . . ik−1]T ∈ Fk → c = [c0 c1 . . . cn−1]

T ∈ Fn

Lineare Codes: i ∈ Fk → c ∈ Fn : c = Gimit G ∈ Fn×k

z. B. F = GF(2) = {0, 1}, für k = 3, n = 5: i = [101]T → c = [10110]T).Coderate: Rc =

kn

• Quellcodierung: Entfernung von Redundanz (n < k,Datenkompression).z. B. MP3, JPEG, MPEG, DivX• Kanalcodierung: Schutz der Daten vor Übertragungsfehlern durchHinzufügen von Redundanz (n > k); erlaubt Erkennung/Korrektur vonFehlern.z. B. Speichermedien (CD, DVD, Festplatte), Mobilfunk (GSM, UMTS),Modem (Standard-, DSL-, Kabelmodem), Rundfunk/Fernsehen (DAB,DVB)

Z


7.2 Grundlagen der Informationstheorie

Informationsgehalt und Entropie| DT/IPLDT/IPLDT/IPL | TGIT | 7.1.1

X = {x1, . . . , xN}: Zeichenvorrat einer diskreten Quelle (Zufallsvariable).p(xi): Auftrittswahrscheinlichkeiten der Zeichen xi.Def.: Der Informationsgehalt eines einzelnen Zeichens xi sei:

I(xi) = log2

(1

p(xi)

)= − log2 (p(xi)) ; (bit/Zeichen)

Def.: Die Entropie H(X) beschreibt den mittleren Informationsgehalt einesZeichenvorrats:

H(X) = ∑xi∈X

p(xi)I(xi) = − ∑xi∈X

p(xi) log2(p(xi))

• H(X) ist eine Funktion, die ausschließlich auf denWahrscheinlichkeiten p(xi) der Zeichen basiert (nicht auf den Wertender Zeichen). !

• H(X) kann auch als der Erwartungswert (Mittelwert) von− log2(p(xi))

betrachtet werden.

Beispiel: Entropie| DT/IPLDT/IPLDT/IPL | TGIT | 7.1.2

X = {0, 1}mit p(0) = pb und p(1) = 1− pb:H(X) := S(pb) =

= −pb log2(pb)− (1− pb) log2(1− pb)

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.2

0.4

0.6

0.8

1

Entropie

pb

S(p

b)

X = {a, b, c, d}mit p(a) = 1/2, p(b) = 1/4, p(c) = p(d) = 1/8:

H(X) = −12

log2(12)− 1

4log2(

14)− 2

18

log2(18) =

74(bits/Zeichen)

Vergleiche: Binärcodierung von 4 Zeichen: a→ 00, b→ 01, c→ 10, d→ 11.Hierbei nehmen wir an, dass

p(a) = p(b) = p(c) = p(d) = 1/4 ⇒ H(X) = 2 (bits/Zeichen)

Verbundentropie und bedingte Entropie| DT/IPLDT/IPLDT/IPL | TGIT | 7.1.3

Def.: Die Verbundentropie H(X, Y) eines Paares von zweiZeichensätzen/ZVs X und Y mit Verbundverteilung p(xi, yj) ist

H(X, Y) = − ∑xi∈X

∑yj∈Y

p(xi, yj) log2(p(xi, yj))

Def.: Die bedingte Entropie H(Y|X), d.h. der mittlere Informationsgehaltvon Y unter der Bedingung, dass die Information von X bekannt ist, ist

H(Y|X) = − ∑xi∈X

p(xi)H(Y|X = xi) =

= − ∑xi∈X

p(xi) ∑yj∈Y

p(yj|xi) log2(p(yj|xi)) =

vgl. Folie (6.3.4) = − ∑xi∈X

∑yj∈Y

p(xi, yj) log2(p(yj|xi))

Kettenregel der Verbundentropie| DT/IPLDT/IPLDT/IPL | TGIT | 7.1.4

Theorem: Die Verbundentropie eines Paares von ZVs H(X, Y) ergibt sichaus der Summe der Entropie einer ZV und der bedingten Entropie deranderen ZV.

H(X, Y) = H(X) + H(Y|X) = H(Y) + H(X|Y) (11)

Bew.:H(X, Y) = − ∑xi∈X

∑yj∈Y

p(xi, yj) log2(p(xi, yj)) =

vgl. Folie (6.3.4) = − ∑xi∈X

∑yj∈Y

p(xi, yj) log2(p(xi)p(yj|xi)) =

= − ∑xi∈X

∑yj∈Y

p(xi, yj) log2(p(xi))−∑xi∈X

∑yj∈Y

p(xi, yj) log2(p(yj|xi)) =

= − ∑xi∈X

p(xi) log2(p(xi))− ∑xi∈X

∑yj∈Y

p(xi, yj) log2(p(yj|xi)) =

= H(X) + H(Y|X)

Anmerkung: Für unabhängige ZV gilt:p(xi, yj) = p(xi) · p(yj)⇒ H(X, Y) = H(X) + H(Y)

Relative Entropie und Transinformationsgehalt| DT/IPLDT/IPLDT/IPL | TGIT | 7.1.5

Def: Die relative Entropie (Kullback Leibner Distanz) zwischen zweiVerteilungen p(xi) und q(xi) einer ZV X ist:

D(p‖q) = ∑xi∈X

p(xi) log2

(p(xi)

q(xi)

)Anm.: Keine Distanz im Sinne von Folie (2.4.5), da Dreiecksungleichungnicht erfüllt. Man verwendet: 0 log2(

0q ) = 0 und p log2(

p0 ) = ∞.

Def: Der Transinformationsgehalt I(X, Y) ist der mittlereInformationsgehalt, den eine ZV X über die andere ZV Y besitzt:

I(X, Y) = ∑xi∈X

∑yj∈Y

p(xi, yj) log2

(p(xi, yj)

p(xi)p(yj)

)

Anm.: Für unabhängige ZV gilt: p(xi, yj) = p(xi) · p(yj)⇒ I(X, Y) = 0

Zusammenhang: Entropie↔ Transinformationsgehalt| DT/IPLDT/IPLDT/IPL | TGIT | 7.1.6

Wieder durch Anwendung von Folie (6.3.4) ergibt sich:

I(X, Y) = ∑xi∈X

∑yj∈Y

p(xi, yj) log2

(p(xi, yj)

p(xi)p(yj)

)=

= ∑xi∈X

∑yj∈Y

p(xi, yj) log2

(p(yj) · p(xi|yj)

p(xi) · p(yj)

)=

= − ∑xi∈X

∑yj∈Y

p(xi, yj) log2(p(xi)) + ∑xi∈X

∑yj∈Y

p(xi, yj) log2(p(xi|yj)) =

= − ∑xi∈X

p(xi) log2(p(xi))−− ∑

xi∈X∑

yj∈Yp(xi, yj) log2(p(xi|yj))

=

= H(X)−H(X|Y)= H(Y)−H(Y|X) = siehe Gl. (11)

= H(X) + H(Y)−H(X, Y)

Graphische Veranschaulichungen| DT/IPLDT/IPLDT/IPL | TGIT | 7.1.7

Entropien von Infomationsmengen:

I(X,Y)

H(X,Y)

H(Y|X)H(X|Y)

H(X) H(Y)

H(X, Y) = H(X) + H(Y|X)

= H(Y) + H(X|Y)

Entropien bei Übertragungssystem:

H(Y)H(X)

H(X|Y) Verlustentropie

H(Y|X) Fehlinformation

I(X,Y)

Kanal

Äquivokation

Irrelevanz

I(X, Y) = H(X)−H(X|Y)= H(Y)−H(Y|X) =

= H(X) + H(Y)−H(X, Y)

Wiederholung| DT/IPLDT/IPLDT/IPL | TGIT | 7.1.8

(Wiederholung von Folie 6.3.5)

yj p(xi) p(yj|xi)p(xi, yj) 0 1 2 3 0 1 2 3 ∑

0 1/8 1/16 1/16 1/4 1/2 1/4 1/8 1/8 1/2 1xi 1 1/16 1/8 1/16 0 1/4 1/4 1/2 1/4 0 1

2 1/32 1/32 1/16 0 1/8 1/4 1/4 1/2 0 13 1/32 1/32 1/16 0 1/8 1/4 1/4 1/2 0 1

p(yj) 1/4 1/4 1/4 1/4 ∑ = 10 1/2 1/4 1/4 1

p(xi|yj) 1 1/4 1/2 1/4 02 1/8 1/8 1/4 03 1/8 1/8 1/4 0∑ 1 1 1 1

Beispiel: Berechnung der informationstheoretischen Größen| DT/IPLDT/IPLDT/IPL | TGIT | 7.1.9

H(X)=−4

∑i=1

p(xi) log2(p(xi)) = −12

log2

(12

)− 1

4log2

(14

)− 2

18

log2

(18

)=

74

H(Y)= −4

∑j=1

p(yj) log2(p(yj)) = −414

log2

(14

)= 2

H(X, Y)= −4

∑i=1

4

∑j=1

p(xi, yj) log2(p(xi, yj)) =

= −61

16log2

(116

)− 2

18

log2

(18

)− 4

132

log2

(132

)− 1

4log2

(14

)=

278

H(Y|X)= −4

∑i=1

p(xi)H(Y|X = xi) =

=12

H(14

,18

,18

,12) +

14

H(14

,12

,14

, 0) + 218

H(14

,14

,12

, 0) =138

H(X|Y)= −4

∑i=1

p(yj)H(X|Y = yj) =118

I(X, Y)= H(X)−H(X|Y) = 74− 11

8= H(Y)−H(Y|X) = 2− 13

8=

38


7.3 Quellencodierung

Codierung von Quellen| DT/IPLDT/IPLDT/IPL | TGIT | 7.2.1

Die N Zeichen einer Quelle definieren eine ZV X, |X| = N. Jedem xi ∈ X mitWahrscheinlichkeit p(xi) wird ein binäres Codewort C(xi) zugeordnet,wobei die jeweilige Codewortlänge `(xi) ist. Diemittlere CodewortlängeL(X) ergibt sich wie folgt:

L(X) = ∑xi∈X

p(xi)`(xi)

Beispiel: Unterschiedliche Codes für englischen Text.

ASCII-Code Morse Code Huffman Codei Zeichen xi p(xi) C(xi) C(xi) C(xi)1 A x1 0.0642 01000001 01 01002 C x2 0.0218 01000011 1010 111113 B x3 0.0127 01000010 1000 0111111...

......

......

......

z. B. für i = 2 gilt: xi ≡ C und `(xi) = 8 (ASCII) , `(xi) = 4 (Morse), `(xi) = 5(Huffman)

Eigenschaften von Quellcodes| DT/IPLDT/IPLDT/IPL | TGIT | 7.2.2

• Der Code C ist nicht-singulär, wenn xi 6= xj ⇒ C(xi) 6= C(xj)

• Die Erweiterung eines Codes C ist: C(x1)C(x2) . . . C(xk) = C(x1x2 . . . xk)z. B. C(x1) = 00; C(x2) = 11;→ C(x1x2) = 0011• Der Code C ist eindeutig decodierbar, falls seine Erweiterung nichtsingulär ist.• Der Code C ist ein Präfix-Code, falls kein Codewort den Beginn einesanderen Codewortes darstellt.

nicht-singulär, eindeutigaber nicht decodierbar,eindeutig aber

xi singulär decodierbar kein Präfix-Code Präfix-Codex1 00 0 10 0x2 01 010 00 10x3 11 01 11 110x4 00 10 110 111

Konstruktion eines Quellcodes| DT/IPLDT/IPLDT/IPL | TGIT | 7.2.3

Die xi ∈ X seien entsprechend ihrer Wahrscheinlichkeiten geordnet, d.h.p(x1) ≥ p(x2) ≥ . . . ≥ p(xN). Daraus ergeben sich die akkumulierten

Wahrscheinlichkeiten Pi =i−1

∑j=1

p(xj). Die Nachkommastellen der

Binärdarstellung von Pi liefern die Codewörter (Präfix Code), wobei dieCodewortlänge folgendermaßen gewählt wird:

12`(xi)

≤ p(xi) <1

2`(xi)−1

Beispiel: N = 5 Zeichen mit Wahrscheinlichkeiten p(xi) gegeben:

xi p(xi) Pi Pi binär `(xi) Codex1 0,33 0,00 0,000000... 2 00x2 0,24 0,33 0,010101... 3 010x3 0,19 0,57 0,100100... 3 100x4 0,15 0,76 0,110000... 3 110x5 0,09 0,91 0,111010... 4 1110

∑ = 1

H(X) =−5

∑i=1

p(xi) log2(p(xi))

= 2.2004

L(X) =5

∑i=1

p(xi)`(xi)

= 2.7600

Quellencodierungstheorem (QCT)| DT/IPLDT/IPLDT/IPL | TGIT | 7.2.4

Theorem: Sei `(xi) die optimale (minimale) Codewortlänge und

L(X) =N

∑i=1

p(xi)`(xi) die entsprechende optimale mittlere Codewortlänge,

dann giltH(X) ≤ L(X) < H(X) + 1

Bew.: 1) Wegen 12`(xi)

≤ p(xi) <1

2`(xi)−1 gilt:

log2(p(xi)) < −(`(xi)− 1) ⇒ `(xi) < 1− log2(p(xi))

Damit gilt für die mittlere Codewortlänge:

L(X) = ∑xi∈X

p(xi)`(xi) < ∑xi∈X

p(xi) (1− log2(p(xi))) =

= − ∑xi∈X

p(xi) log2(p(xi)) + ∑xi∈X

p(xi) =

= H(X) + 1

Beweis QCT: Fortsetzung| DT/IPLDT/IPLDT/IPL | TGIT | 7.2.5

2) Mit log2(s) =ln(s)ln(2) ≤ 1

ln(2) (s− 1) und 12`(xi)

≤ p(xi) ergibt sich:

H(X)− L(X) = − ∑xi∈X

p(xi) log2(p(xi))− ∑xi∈X

p(xi)`(xi) =

= − ∑xi∈X

p(xi) log2(p(xi)) + ∑xi∈X

p(xi) log2

(1

2`(xi)

)=

= ∑xi∈X

p(xi) log2

( 12`(xi)

p(xi)

)≤

≤ 1ln(2) ∑

xi∈Xp(xi)

( 12`(xi)

p(xi)− 1

)=

=1

ln(2) ∑xi∈X

(1

2`(xi)− p(xi)

)≤ 0

Binärbaum| DT/IPLDT/IPLDT/IPL | TGIT | 7.2.6

Der folgende Binärbaum gibt die Codeworte des Beispiels von Folie (7.2.3)wieder.

0 1

0 1 0 1

0 0 0 1

0

x1

x2 x3 x4

x5

Der Code erfüllt das QCT gemäß Konstruktionsvorschrift, d.h.H(X) ≤ L(X) < H(X) + 1 wird erfüllt. Da aber nicht alle Endkonten desBinärbaumes durch gültige Codeworte belegt sind, existiert ein Code mitL∗(X) < L(X).

⇒ Huffman-Code

Codierung von Zeichenketten| DT/IPLDT/IPLDT/IPL | TGIT | 7.2.7

Für Zeichenketten, die sich aus M Einzelzeichen der gleichenZeichenmenge zusammensetzen (X(i) = X ∀i) und bei denen dieEinzelzeichen statistisch unabhängig sind, gilt (vgl. Folie (7.1.4)):

H(X(1), X(2), . . . , X(M)) ≤ L(X(1), X(2), . . . , X(M)) < H(X(1), X(2), . . . , X(M)) + 1

M ·H(X) ≤ M · L(X) < M ·H(X) + 1

H(X) ≤ L(X) < H(X) + 1/M

Je mehr Zeichen zusammengefasst werden, umso näher geht die mittlereCodelänge L(X) an H(X). Dafür nimmt maxi `(xi) zu und es sind mehrCodeworte erforderlich.


7.4 Kanalkapazität und Kanalcodierungstheorem

Kanalkapazität| DT/IPLDT/IPLDT/IPL | TGIT | 7.3.1

Def.: Die Kanalkapazität K eines diskreten Kanals ohne Gedächtnis ist derTransinformationsgehalt I(X; Y), der maximal übertragen werden kann.

K = maxp(xi)

I(X, Y) = maxp(xi)

(H(X)−H(Y|X)),

wobei das Maximum über alle möglichen Verteilungen p(xi) gebildet wird.Beispiel: Fehlerfreier Kanal (0 −→ 0 1 −→ 1)

yj p(xi) p(yj|xi)p(xi, yj) 0 1 0 1xi 0 1/2 0 1/2 1 0

1 0 1/2 1/2 0 1p(yj) 1/2 1/2 ∑ = 1

p(xi|yj) 0 1 01 0 1

H(X) = − 12 log2(

12 )− 1

2 log2(12 ) = 1

H(Y) = H(X)H(Y|X) = 1

2 H(1, 0) + 12 H(0, 1)

= −1 log2(1)− 0 log2(0) = 0I(X, Y) = H(X)−H(Y|X) = 1

für p(x1) = p(x2) = 1/2

Beispiel: Binärer symmetrischer Kanal| DT/IPLDT/IPLDT/IPL | TGIT | 7.3.2

x1 = 0

1− pb

pb

pb

1− pb

x2 = 1

y1 = 0

y2 = 1

yj p(xi) p(yj|xi)p(xi, yj) 0 1 0 1xi 0 (1− pb)/2 pb/2 1/2 1− pb pb

1 pb/2 (1− pb)/2 1/2 pb 1− pb

p(yj) 1/2 1/2 ∑ = 1p(xi|yj) 0 1− pb pb

1 pb 1− pb

H(X) = H(Y) = 1

H(Y|X) =12

H(1− pb, pb) +12

H(pb, 1− pb)

= H(pb, 1− pb) = S(pb)

I(X, Y) = H(X)−H(Y|X) = H(X)− S(pb)

K = maxp(xi)

I(X, Y) = 1− S(pb)

für p(x1) = p(x2) = 1/2 0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

Kanalkapazität

pb

K(p

b)

Bitfehlerwahrscheinlichkeit bei einer Übertragung| DT/IPLDT/IPLDT/IPL | TGIT | 7.3.3

pb: Wahrscheinlichkeit, dass ein Bit falsch empfangen wird.n: Anzahl der übertragenen bits.P: Wahrscheinlichkeit, dass f Bits falsch sind (f < n; bestimmte

Fehlerposition)

P = pfb(1− pb)

(n−f )

Pf : Wahrscheinlichkeit, dass f Bits falsch sind (beliebigeFehlerpositionen)

Pf =

(nf

)· P =

(nf

)pf

b(1− pb)(n−f )

z. B. n = 7; pb = 0.01; f = 0, 1, 2

P0 = (1− pb)7 = 0.93207

P1 = 7 · pb(1− pb)6 = 0.06590

P2 = 21 · p2b(1− pb)

5 = 0.00200

Restbitfehlerwahrscheinlichkeit ohne/mit Codierung| DT/IPLDT/IPLDT/IPL | TGIT | 7.3.4

Wenn kf Fehler in einem Codewort der Länge n korrigiert werden können,dann ergibt sich als Restbitfehlerwahrscheinlichkeit prest:

prest =n

∑f=kf +1

Pf = 1−kf

∑f=0

Pf =

= 1−kf

∑f=0

(nf

)pf

b(1− pb)(n−f )

(für n · pb � 1) ≈(

nkf + 1

)p

kf +1b

Beispiel: Code kann kf Fehler korrigieren:

kf = 0 : prest = 1− P0 = 0.06793kf = 1 : prest = 1− (P0 + P1) = 0.00203kf = 2 : prest = 1− (P0 + P1 + P2) = 0.00003

Kanalcodierungstheorem| DT/IPLDT/IPLDT/IPL | TGIT | 7.3.5

Theorem: Für jede Zahl ε > 0 und jede Coderate Rc =kn kleiner als die

Kanalkapazität K (Rc < K) existiert ein binärer Code (n hinreichend groß),so dass die Restbitfehlerwahrscheinlichkeit prest nach der Decodierungkleiner als ε ist (Shannon 1948).Bew. (nur Idee): Für jede typische Eingangssequenz aus X der Länge n(Anzahl 2nH(X)) gibt es≈ 2nH(Y|X) mögliche Ausgangssequenzen aus Y, diealle gleich wahrscheinlich sind. Jede Sequenz aus X muss eine eindeutigzuordenbare Sequenz aus Y erzeugen (sonst ist keine Decodierungmöglich). Die Y-Sequenzen (Anzahl 2nH(Y)) muss in Mengen der Größe2nH(Y|X) aufgeteilt werden; entsprechend der verschiedenen X-Sequenzen.Die Gesamtzahl der unterscheidbaren Mengen ist≤ 2n(H(Y)−H(Y|X)) = 2nI(X,Y), d.h. wir können maximal 2nI(X,Y)

unterscheidbare Sequenzen der Länge n senden. Mit n hinreichend groß,gibt es hinreichend viele unterscheidbare Sequenzen, so dass prest < ε fürε→ 0 erreicht wird (z. B. Wiederholungscode: jedes bit wird n mal gesendetRc =

1n ; Decodierung nach Mehrheitsprinzip).

Kanalcodierung: Wiederholungscode| DT/IPLDT/IPLDT/IPL | TGIT | 7.3.6

Wiederholungscode: 0→ 000 . . . 0 n ungerade1→ 111 . . . 1 Rc =

1n

Decodierung: Mehrheitsentscheidung> (n− 1)/2 Nullen empfangen→ 0;> (n− 1)/2

Einsen empfangen→ 1;d.h. wenn≥ (n + 1)/2 bits falsch empfangen werden, tritt Fehler auf:

Pf =n

∑f=(n+1)/2

(nf

)pf

b(1− pb)(n−f )

Beispiel für pb = 0.1:

0 0.2 0.4 0.6 0.8 110

−8

10−7

10−6

10−5

10−4

10−3

10−2

10−1

Bitfehlerwahrscheinlichkeit und Shannon Limit

Coderate Rc

Pf

n=5

n=3

n=7

Wiederholungscodes

Shannon Limit

bessere codes

Beispiel I: pb = 0.1, Wiederholungscode Rc = 1/3| DT/IPLDT/IPLDT/IPL | TGIT | 7.3.7

Original image (repetition code) Distorted image (repetition code)

Decoded image (majority decision)

Beispiel II: pb = 0.1, Hamming Code Rc = 4/7| DT/IPLDT/IPLDT/IPL | TGIT | 7.3.8

Original image (Hamming code) Distorted image (Hamming code)

Decoded image (Hamming code)

Beispiel III: Vergleich| DT/IPLDT/IPLDT/IPL | TGIT | 7.3.9

Original image

Distorted Image (no coding) Decoded image (repetition code − majority decision) Decoded image (Hamming code)


7.1 Grundlagen des Rechens auf endlichen Körpern

Modulorechung| DT/IPLDT/IPLDT/IPL | TGIT | 7.4.1

Seien a, c ∈ Z und b ∈N, d ∈N0 und gelte a = c · b + d, so schreibt man

a ≡ d mod b bzw. a mod b = d , wobei d < b .

Beispiele: 71 ≡ 1 mod 7 , 30 ≡ 6 mod 8 , 30 mod 8 = 625 · 31 ≡ (4 mod 7) · (3 mod 7) ≡ 5 mod 7−13 = −3 · 5 + 2 ≡ 2 mod 5 , −1 = −1 · 2 + 1 ≡ 1 mod 2

Für Polynome: Für a(x) = c(x) · b(x) + d(x) gilt: a(x) ≡ d(x) mod b(x)

Vektoraddition: (a+ c) mod b ergibt sich aus (ai + ci) mod b∀i

Skalarprodukt: aTc mod b = (n

∑i=1

aici) mod b

Endliche Körper| DT/IPLDT/IPLDT/IPL | TGIT | 7.4.2

Ein Körper mit endlich vielen Elementen wird mit GF (Galois Feld)bezeichnet. Sei p ∈N eine Primzahl. Die Menge der Elemente

{0, 1, 2, . . . , p− 1}mit (+, ·) mod pgenügt den Axiomen eines Körpers und wird Primkörper genannt und mitGF(p) bezeichnet.Beweis:(I) GF(p) ist eine kommutative Gruppe bezüglich der Addition modp(II) GF(p) ist eine kommutative Gruppe bezüglich der Multiplikation modp(III) Distributivität: a · (b + c) = a · b + a · c, wobei (+, ·) mod p

Beispiel: GF(5)| DT/IPLDT/IPLDT/IPL | TGIT | 7.4.3

+ 0 1 2 3 40 0 1 2 3 41 1 2 3 4 02 2 3 4 0 13 3 4 0 1 24 4 0 1 2 3

· 0 1 2 3 40 0 0 0 0 01 0 1 2 3 42 0 2 4 1 33 0 3 1 4 24 0 4 3 2 1

• Distributivität gilt allgemein für ganze Zahlen (also auch im endlichenKörper)• Gruppeneigenschaften von (+, ·):

• (+, ·) Abgeschlossenheit und Kommutativität (Symmetrie) aus Tabelle• (+, ·) Assoziativität gilt allgemein für ganze Zahlen• neutrales Element: (+, 0) und (·, 1)• inverses Element: (+, p− a), denn a + p− a = p ≡ 0 mod p• inverses Element: (·1, 1); (·2, 3); (·3, 2); (·4, 4);

Zyklische Körper und primitives Element| DT/IPLDT/IPLDT/IPL | TGIT | 7.4.4

• Ein Körper heißt zyklisch, wenn alle Elemente von GF(p)\{0} durchPotenzen eines Elementes von GF(p) erzeugt werden können.• Primitives Element: Ein Element α ∈ GF(p), dessen p− 1 Potenzen

(αj) mod p, j = 1, 2, . . . , p− 1, genau alle Elemente a ∈ GF(p)\{0}erzeugen.• Jeder endliche Körper GF(p) besitzt mindestens ein primitivesElement.• Die Ordnung eines Elementes a ∈ GF(p)\{0} ist der kleinste Exponent

r > 0, so dass (ar) mod p = 1 gilt. Falls r = p− 1 gilt, ist a = α (primitivesElement).

Anmerkung: - Formal gilt: 0 = α−∞

- Mit a, b ∈ GF(p); α primitives Element:(a · b) mod p = (αi · αj) mod p = α(i+j) mod (p−1)

Beispiel: GF(5)| DT/IPLDT/IPLDT/IPL | TGIT | 7.4.5

Element 2 ist ein primitives Element:

• 21 = 2 ; 22 = 4 ; 23 = 8 ≡ 3 mod 5 ; 24 = 16 ≡ 1 mod 5

• 24 = 16 ≡ 1 mod 5 ⇒ r = 4 = p− 1

• (3 · 4) mod 5 = 12 mod 5 = 2 = (23 · 22) mod 5 = 25 mod 4 = 21 = 2

Element 3 ist ein primitives Element:

• 31 = 3 ; 32 ≡ 4 mod 5 ; 33 ≡ 2 mod 5 ; 34 ≡ 1 mod 5

• 34 ≡ 1 mod 5 ⇒ r = 4 = p− 1

Element 4 hat die Ordnung r = 2⇒ kein primitives Element

• 41 = 4 ; 42 ≡ 1 mod 5 ⇒ r = 2

Anmerkung: Jedes Element von GF(5) kann als Potenz der primitivenElemente 2 oder 3 dargestellt werden.⇒ GF(5) ist zyklisch.

Erweiterungskörper| DT/IPLDT/IPLDT/IPL | TGIT | 7.4.6

Endlicher Körper (Galois-Feld):

a ∈ GF(2) : a ∈ {0, 1}a ∈ GF(8) : a ∈ {0, 1, 2, 3, 4, 5, 6, 7}

Erweiterungskörper ergibt sich z. B. durch binäre Darstellung der Elementevon GF(8):

a ∈ GF(23) : a ∈ {000, 001, 010, 011, 100, 101, 110, 111}

Allgemein: Erweiterungskörper GF(pm), wobei p Primzahl und m ∈N

Nicht-reduzierbare Polynome| DT/IPLDT/IPLDT/IPL | TGIT | 7.4.7

Polynom über GF(p):

q(x) = qmxm + qm−1xm−1 + . . . + q1x + q0 mit qi ∈ GF(p)

Nicht-reduzierbares Polynom: Ein Polynom q(x) über GF(p)mitgrad(q(x)) = m ist nicht-reduzierbar bezüglich GF(p), wenn es nicht alsProdukt von Polynomen f (x)mit grad(f (x)) < m, die ebenfalls Polynomeüber GF(p) sind, dargestellt werden kann. Es existieren pm Polynome f (x)mit grad(f (x)) < m (einschließlich f (x) = 0).

Anmerkung: Seien q1(x), q2(x) nicht-reduzierbare Polynome bzgl. GF(p),dann hat q(x) = q1(x) · q2(x) keine Nullstellen aus GF(p), ist aberreduzierbar⇒ q(x) keine Nullstellen aus GF(p) ist notwendig, aber nichthinreichend.


q(x) = x4 + x + 1 ist Polynom über GF(2). Es existieren 24 = 16 Polynomef (x) in GF(2)mit grad(f (x)) < 4, nämlich:

0, 1, x, x + 1, x2, x2 + 1, x2 + x, x2 + x + 1, x3, x3 + 1, x3 + x, x3 + x + 1, . . .

. . . , x3 + x2, x3 + x2 + 1, x3 + x2 + x, x3 + x2 + x + 1

Für alle f (x) 6= 0, 1 muss überprüft werden, ob sie q(x) ohne Rest teilen⇒kein f (x) teilt q(x), so dass q(x) nicht-reduzierbar.

Anmerkung: Die Polynome f (x) ergeben sich aus der Dualdarstellung mitxi=2i (z. B. 1011=1 · x3 + 0 · x2 + 1 · x + 1).

Nullstellen eines Polynoms| DT/IPLDT/IPLDT/IPL | TGIT | 7.4.9

Sei q(x)mit grad(q(x)) = m ein nicht-reduzierbares Polynom über GF(p),d.h. q(x) hat keine Nullstellen aus GF(p).Nullstelle von q(x): Ein Element α aus dem Erweiterungskörper GF(pm)

heißt Nullstelle (Wurzel) von q(x), wenn

q(α) = 0 ,

Anmerkung: Obwohl q(x) keine Nullstelle aus GF(p) hat, existiert eineNullstelle aus GF(pm).Vergleiche: x2 + 1 = 0 hat keine Nullstelle aus R, aber x = ±j mitj =√−1 ∈ C ist Nullstelle. x ist Nullstelle im Erweiterungskörper C.

Primitives Element und primitives Polynom| DT/IPLDT/IPLDT/IPL | TGIT | 7.4.10

Sei q(x)mit grad(q(x)) = m ein nicht-reduzierbares Polynom über GF(p).

• Ein Element α ∈ GF(pm) heißt primitives Element desErweiterungskörpers, wenn alle pm − 1 Potenzen (αj) mod q(α),j = 1, 2, . . . , pm − 1 alle Elemente a ∈ GF(pm)\{0} erzeugen.]• Das Polynom q(x) heißt primitiv, wenn es ein primitives Element α alsNullstelle besitzt.

• Nicht jedes nicht-reduzierbare Polynom ist ein primitives Polynom.

• Für jeden Körper GF(p) und jede Zahl m ∈N existiert mindestens einprimitives Polynom q(x) über GF(p)mit grad(q(x)) = m.

Darstellung der Erweiterungskörper| DT/IPLDT/IPLDT/IPL | TGIT | 7.4.11

Es existieren zwei Darstellungsarten für die Elemente einesErweiterungskörpers:

Exponentendarstellung: Jedes Element a ∈ GF(pm)\{0} ist als Potenz desprimitiven Elementes α darstellbar.

Komponentendarstellung: Die Elemente a ∈ GF(pm) werden durch dieKoeffizienten der Polynome f (x) dargestellt (vgl. Beispiel:nichtreduzierbare Polynome).

Anmerkung: Die Dualdarstellung ist lediglich eine verkürzte Schreibweiseder Komponentendarstellung.

Beispiel GF(23)| DT/IPLDT/IPLDT/IPL | TGIT | 7.4.12

nicht-reduzierbares Polynom: q(x) = x3 + x + 1 , qi ∈ GF(2)primitives Element α: q(α) = 0⇔ α3 + α + 1 = 0 ⇒ α3 = α + 1

Exponent Komponenten- Dual- Exponentendarstellungj α2 α1 α0 22 21 20 (αj) mod q(α)−∞ 0 0 0 0 α−∞

0 1 0 0 1 α0

1 α 0 1 0 α1

2 α2 1 0 0 α2

3 α 1 0 1 1 α3 = α + 14 α2 α 1 1 0 α4 = α · α3 = α2 + α

5 α2 α 1 1 1 1 α5 = α2 · α3 = α3 + α2 = α2 + α + 16 α2 1 1 0 1 α6 = α · α5 = α3 + α2 + α = α2 + 17 1 0 0 1 α7 = α · α6 = α3 + α = 1

Alle 23 − 1 Elemente werden mit (αj) mod q(α)erzeugt⇒ q(x) primitives Polynom.

T


7.5 Erzeugung von Kanalcodes

HammingMetrik| DT/IPLDT/IPLDT/IPL | TGIT | 7.5.1

Hamming Gewicht des Vektors c ∈ GF(2)n ist die Anzahl der Elemente 6= 0:

wH(c) = cT · 1 mit 1 = [1, . . . , 1]T

Hamming Distanz von ci und cj ist die Anzahl unterschiedlicher Elemente:

dH(ci, cj) = wH((ci + cj) mod 2)

Mindestdistanz ist die minimale Distanz zweier Codewörter des Codes:

d = mini, j

i 6= j

(dH(ci, cj)

) Lineare Codes= min

i, ji 6= j

(wH((ci + cj) mod 2)

)

Anmerkung: c = 0muss Codewort eines linearen Codes sein (ci + ci = 0).

Fehlerkorrektur und Fehlererkennung| DT/IPLDT/IPLDT/IPL | TGIT | 7.5.2

Mit einem Code C(n, k, d) (Codelänge n, Informationslänge k,Mindestdistanz d) können

e′ = d− 1 Fehler erkannt und

e = bd− 12c Fehler korrigiert werden.

Hamming Schranke: Für einen binären Code C(n, k, d)muss gelten:

2k(

1 +(

n1

)+

(n2

)+ . . . +

(ne

))≤ 2n mit e = bd− 1

2c

Der Code C ist perfekt, falls das Gleichheitszeichen gilt.Veranschaulichung: Hamming Schranke beschreibt nicht überlappendeKorrekturkugeln mit möglichst großem Radius; Zuordnung: Mittelpunktder Kugel

Beispiel: Fehlererkennung und Fehlerkorrektur| DT/IPLDT/IPLDT/IPL | TGIT | 7.5.3

R c= R c= R c=

000

110

001

101

111

011

100

010

000

110

001

101

111

011

100

010

000

110

001

101

111

011

100

010

32

1 2/3 1/31= = =d d d

Linker Würfel: bei Einzelfehler (1 Bit falsch) wieder gültiges Codewort⇒ keine Fehler-Erkennung, keine Fehler-Korrektur

Mittlerer Würfel: bei Einzelfehler wird ungültiges Codewort empfangen⇒ 1 Fehler-Erkennung, keine Fehler-Korrektur

Rechter Würfel: bei Einzelfehler hat ungültiges Codewort geringerenAbstand zum richtigen Wort als zum ungültigen Wort⇒ 2 Fehler-Erkennung, 1 Fehler-Korrektur

Beispiel: Wiederholungscode der Länge n| DT/IPLDT/IPLDT/IPL | TGIT | 7.5.4

n ungerade

i = 0 → c0 = 0 (n× 1)i = 1 → c1 = 1 (n× 1)

Rc =kn=

1n

dH(c0, c1) = wH((c0 + c1) mod 2) = wH(c1) = cT1 · 1 = n = d

e′ = d− 1 = n− 1 , e = bd− 12c = bn− 1

2c

Decodierung von Empfangswort r (n× 1): wH(r) > e⇒ i = 1wH(r) < e⇒ i = 0

Für n = 3 gilt: e = 1

Hamming Schranke: 21(

1 + (31))= 21 · 4 = 8 = 2n

⇒ Code ist perfekt

Beispiel: Parity Check Code| DT/IPLDT/IPLDT/IPL | TGIT | 7.5.5

n = k + 1 : ci = ij für j = 0, . . . , k− 1

cn−1 +k−1

∑j=0

ij = 0Rc =

kn=

n− 1n

Für n = 3 gilt (Rc =23 ):

c0 = i0 c1 = i1 c2

0 0 00 1 11 0 11 1 0

Daraus ergibt sich d = 2, e′ = 1 und e = 0⇒ keine Fehlerkorrektur; ungerade Fehleranzahl wird erkannt.Hamming Schranke: 2n−1(1) < 2n⇒ Code ist nicht perfekt.

Prüfmatrix| DT/IPLDT/IPLDT/IPL | TGIT | 7.5.6

Der Vektor c ist genau dann ein Codewort, wenn gilt

H · c = 0

H heißt Prüfmatrix (Parity Check Matrix) und hat Dimension (n− k)× n.

• Der Code C = {c|Hc = 0} ist durch Nullraum von H definiert.

• Anzahl der Zeilen von H= Anzahl der Prüfstellen.

• Damit H einen Code mit Mindestdistanz d definiert, muss gelten:• beliebige d− 1 Spalten von H sind linear unabhängig.• es existieren d Spalten von H, deren Linearkombination= 0 ist.

Beispiel: Prüfmatrix| DT/IPLDT/IPLDT/IPL | TGIT | 7.5.7

Parity Check Code: n− k = 1,

H =[

1 1 · · · 1]

(1× n)

Wiederholungscode: k = 1, so dass n− k = n− 1

H =

1 11 1...

. . .

1 1

((n− 1)× n)

Darstellung ist systematisch (Definition, siehe nächste Folie).

Systematische Codierung| DT/IPLDT/IPLDT/IPL | TGIT | 7.5.8

Die Informationszeichen sind unverändert ein Teil des Codewortes, z. B.

i ∈ GF(2)k → c ∈ GF(2)n mit ci = ii für i = 0, . . . , k− 1

Die Prüfmatrix hat dann die Form:

H =[A

... I(n−k)×(n−k)

]Anmerkung: Durch Linearkombination der Zeilen von H kann diesystematische Form immer erreicht werden (jedoch I verteilt auf beliebigeSpalten muss zulässig sein).

Syndrom| DT/IPLDT/IPLDT/IPL | TGIT | 7.5.9

Das Syndrom s (Symptome für Fehler) wird definiert durch dieMultiplikation der Prüfmatrix mit dem empfangenen Wort r = c+ f, wobeic ∈ C und f Fehler:

s = H · r = H · (c+ f) = H · f

Anmerkung: s ist nur von f nicht von c abhängig (H · c = 0).

Generatormatrix| DT/IPLDT/IPLDT/IPL | TGIT | 7.5.10

Die Generatormatrix G der Dimension n× k (n > k) beschreibt dieAbbildung der Informationsfolge i in die Codeworte c:

c = Gi

• Alle Codeworte sind Linearkombinationen der Spalten von G.

• Spaltenraum von G bildet die Basis für den Code:

- Spaltentausch→ selber Code→ Abbildung unterschiedlich.

- Zeilentausch→ äquivalenter Code (andere Codeworte).

Bestimmung der Generatormatrix| DT/IPLDT/IPLDT/IPL | TGIT | 7.5.11

Annahme: systematische Codedarstellung: c0 = i0, c1 = i1, . . . , ck−1 = ik−1

H · c =[A

... I(n−k)×(n−k)

]· c = 0

A ·

c0...

ck−1

+ I(n−k)×(n−k) ·

ck...

cn−1

= 0

ck...

cn−1

= −A ·

c0...

ck−1

= −A ·

i0...

ik−1

c =

Ik×k

−A

· i = G · i


Parity Check Code: n− k = 1

H =[

1 1 · · · 1 1]⇒ G =

11

. . .

1−1 −1 · · · −1

=

11

. . .

11 1 · · · 1

Wiederholungscode: k = 1, so dass n− k = n− 1

H =

1 11 1...

. . .

1 1

⇒ G =

1−1−1...−1

=

111...1


7.6 Hamming Codes

Definition von Hamming Codes| DT/IPLDT/IPLDT/IPL | TGIT | 7.6.1

Die Prüfmatrix H eines Hamming Codes besteht aus den 2h − 1 Spalten, diegenau alle Vektoren aus GF(2)h - ohne den Nullvektor - sind. Damitergeben sich folgende Parameter des Hamming Codes C(n, k, d):

n = 2h − 1 , k = n− h , d = 3

Beweis: n und k aus Dimension von H ablesen. d− 1 = 2 beliebige Spaltenvon H sind linear unabhängig. Es existieren d = 3 Spalten derenLinearkombination= 0.Anmerkung: Hamming Codes sind perfekt, da mit e = b d−1

2 c = 1 gilt:

2k(

1 +(

n1

))= 2k(1 + n) = 2k(1 + 2h − 1) = 2k+h = 2n

Beispiel: Hamming Code für h = 3| DT/IPLDT/IPLDT/IPL | TGIT | 7.6.2

n = 2h − 1 = 7 , k = n− h = 4 ⇒ Prüfmatrix: H ((n− k)× n = 3× 7)

H = [h1, . . . ,h7] =

0 0 0 1 1 1 10 1 1 0 0 1 11 0 1 0 1 0 1

d = 3: - beliebige zwei Spalten linear unabhängig (keine identischen Spalten)

- h1 + h2 + h3 = 0: d = 3 Spalten, deren Linearkombination= 0

⇒ H ist Prüfmatrix von Hamming Code C(7, 4, 3)Code ist perfekt:

24(

1 +(

71

))= 24(1 + 7) = 24 · 23 = 27

c = [1 1 1 0 0 0 0]T ist ein Codewort, da Hc = 0

Beispiel: Decodierung des Hamming Codes| DT/IPLDT/IPLDT/IPL | TGIT | 7.6.3

Annahme: Fehler bei der Übertragung von c = [1 1 1 0 0 0 0]T.Es sei ein Fehler an der 6. Stelle aufgetreten, d.h. das empfangeneWort ist:

r = c+ f = [1 1 1 0 0 1 0]T

mit f = [0 0 0 0 0 1 0]T.Berechnung des Syndroms:

s = Hr = h1 + h2 + h3 + h6 = h6 =

110

⇒ Decodiervorschrift: Syndrom gibt Fehlerstelle in binärer Darstellung an.

Systematische Darstellung und Generatormatrix| DT/IPLDT/IPLDT/IPL | TGIT | 7.6.4

Durch Linearkombination der Zeilen von H lässt sich die systematischeDarstellung der Prüfmatrix bestimmen(I + II→ I , I + III→ II , I + II + III→ III):

H =

0 0 0 1 1 1 10 1 1 0 0 1 11 0 1 0 1 0 1

⇒ H =

0 1 1 1

... 1 0 0

1 0 1 1... 0 1 0

1 1 0 1... 0 0 1

=

[A... I3×3

]

Daraus ergibt sich die Generatormatrix für C(7, 4, 3):

G =

I4×4

−A

=

11

11

0 −1 −1 −1−1 0 −1 −1−1 −1 0 −1

=

11

11

0 1 1 11 0 1 11 1 0 1


7.7 BCH Codes(Bose, Ray-Chandhuri, Hocquenghem)

Generatorpolynom zyklischer Codes| DT/IPLDT/IPLDT/IPL | TGIT | 7.7.1

Für zyklische Codes (BCH Codes, auch Reed-Solomon Codes) lässt sich dieAbbildung c = Gi durch die Multiplikation zweier Polynome darstellen.

c = G · i = c(x) = g(x) · i(x)

mit

c = [c0 c1 . . . cn−1]T = c(x) = c0x0 + c1x1 + . . . + cn−1xn−1

g = [g0 g1 . . . gn−k]T = g(x) = g0x0 + g1x1 + . . . + gn−kxn−k

i = [i0 i1 . . . ik−1]T = i(x) = i0x0 + i1x1 + . . . + ik−1xk−1

wobei cj, gj, ij ∈ GF(p).G ist eine n× k Faltungsmatrix mit erster Spalteg1 = [g0 g1 . . . gn−k 0 . . . 0]T.

Kreisteilungsklassen| DT/IPLDT/IPLDT/IPL | TGIT | 7.7.2

Die Kreisteilungsklassen Ki bezüglich einer Zahl n = qm − 1 sind:

Ki = {(i · qj) mod n , j = 0, 1, . . . , m− 1} ,

wobei i das kleinste Element der Menge Ki ist (q = pl , l > 0 auch möglich).Kreisteilungsklassen haben folgende Eigenschaften:

|Ki| ≤ m

K0 = {0}Ki ∩ Kj = ∅ für i 6= j⋃

i

Ki = {0, 1, . . . , n− 1}

Wenn n eine Primzahl ist, sind alle Ki, i > 0, gleich mächtig.


Kreisteilungsklassen bezüglich der Zahl n = 15.

n = 15 = 24 − 1 , p = 2 , q = 21

K0 = {0} K1 = {1, 2, 4, 8}K3 = {3, 6, 9, 12} K5 = {5, 10}K7 = {7, 11, 13, 14}

Kreisteilungsklassen bezüglich der Zahl n = 7 (Primzahl).

n = 7 = 23 − 1 , p = 2 , q = 21

K0 = {0}K1 = {1, 2, 4}K3 = {3, 6, 5}

Nicht-reduz. Polynome aus Kreisteilungsklassen| DT/IPLDT/IPLDT/IPL | TGIT | 7.7.4

Sei Ki eine Kreisteilungsklasse bezüglich der Zahl n = pm − 1 und α einprimitives Element von GF(pm), so ist das minimale Polynom mi(x):

mi(x) = ∏j∈Ki

(x− αj)

nicht-reduzierbar über GF(p) und hat nur Koeffizienten aus GF(p).

Beweis: Es gilt (mi(x))p = mi(xp), da αipl, l = 0, 1, 2, . . . die Elemente der

Kreisteilungsklasse durchläuft. Damit gilt für die Koeffizienten:(mij)

p = mij, was nur für mij ∈ GF(p) erfüllt werden kann. Da mi(x) nurNullstellen aus GF(pm) besitzt und gemäß Definition genau aus einerKreisteilungsklasse entstanden ist, ist es auch nicht-reduzierbar.

Definition eines BCH Codes| DT/IPLDT/IPLDT/IPL | TGIT | 7.7.5

Seien Ki die Kreisteilungsklassen der Zahl n = 2m − 1, sei α ein primitivesElement von GF(2m) und seiM die Vereinigungsmenge von beliebig vielenKreisteilungsklassen. Ein primitiver BCH Code hat die Länge n = 2m − 1und das Generatorpolynom

g(x) = ∏i∈M

(x− αi)

mit gi ∈ GF(2). Die geplante Mindestdistanz ist δ, falls δ− 1aufeinanderfolgende Zahlen inM existieren. Für die tatsächlicheMindestdistanz d gilt: d ≥ δ. Ferner gilt: k = n− |M|.

Beispiel: Ein-fehlerkorrigierender BCH Code (n = 7)| DT/IPLDT/IPLDT/IPL | TGIT | 7.7.6

Kreisteilungsklassen für n = 7 = 23 − 1: K0 = {0}, K1 = {1, 2, 4},K3 = {3, 6, 5}.

e = b d−12 c = 1 ⇒ d ≥ 3 ⇒

δ− 1 = 2 aufeinanderfolgende Zahlen inM nötig.

Es genügt alsoM = K1 = {1, 2, 4} zu wählen, so dass k = 7− |M| = 4. Mitα primitives Element von GF(23) (siehe Tabelle Folie 7.4.12) gilt:

g(x) = m1(x) = ∏i∈M

(x− αi)

= (x− α)(x− α2)(x− α4) = (x2 − (α + α2)x + α3)(x− α4)

= x3 − (α + α2)x2 + α3x− α4x2 + α4(α + α2)x− α7

x2 : α + α2 + α4 = α + α2 + α + α2 = 2α + 2α2 = 0x1 : α3 + α5 + α6 = α + 1 + α2 + α + 1 + α2 + 1 = 2α2 + 2α + 3 = 1x0 : α7 = 1

g(x) = 1 + x + x3

Beispiel: BCH Codierung| DT/IPLDT/IPLDT/IPL | TGIT | 7.7.7

k = 4: Codierung von i = [1 0 0 1]T = i(x) = 1 + x3

Polynommultiplikation:

c(x) = g(x)i(x) = (1 + x + x3)(1 + x3) =

= 1 + x + 2x3 + x4 + x6 =

= 1 + x + x4 + x6 ⇒ c = [1 1 0 0 1 0 1]T

Matrixmultiplikation (Faltung) g1 = [1 1 0 1 0 0 0]T:

c = Gi =

1 0 0 01 1 0 00 1 1 01 0 1 10 1 0 10 0 1 00 0 0 1

1001

=

1100101


7.8 RS Codes(Reed, Solomon)

Grundlagen von RS Codes| DT/IPLDT/IPLDT/IPL | TGIT | 7.8.1

Fundamentalsatz der Algebra gilt auch im GF(p): Ein PolynomC(x) = C0 + C1x + C2x2 + . . . + Ck−1xk−1 vom Grad k− 1 mit KoeffizientenCi ∈ GF(p) hat höchstens k− 1 verschiedene Nullstellen αj ∈ GF(p). T

Gewicht eines Vektors c: Gegeben seien n ≤ p− 1 von Null verschiedeneunterschiedliche Elemente (a0, a1, . . . , an−1) von GF(p) und ein Polynom C(x)vom Grad k− 1 ≤ n− d mit Koeffizienten aus GF(p), dann gilt das Gewichteines Vektors c = [c0 c1 . . . cn−1]

T mit ci = C(ai) , i = 0, 1, . . . , n− 1 ist:

wH(c) ≥ d

Beweis: Gemäß Fundamentalsatz hat C(x) höchstens k− 1 Nullstellen,d.h. c hat mindestens n− k + 1 ≥ d von Null verschiedene Stellen.�

⇒ Vektoren cmit wH(c) ≥ d, d.h. mit vorgegebenemMinimalgewicht/Mindestdistanz.

Definition von RS Codes| DT/IPLDT/IPLDT/IPL | TGIT | 7.8.2

Sei α ∈ GF(p) ein Element der Ordnung n, so ist ein RS Code der Länge ndefiniert durch die Menge der Polynome C(x) vom Grad kleiner k:C(x) = C0 + C1x + C2x2 + . . . + Ck−1xk−1, Ci ∈ GF(p), k ≤ n. Die Codewörterc = [c0 c1 . . . cn−1]

T werden durch die Beziehung ci = C(αi) gebildet:

C(n, k, d) = {c | ci = C(αi) , i = 0, 1, . . . , n− 1 , grad(C(x)) < k}

Die Mindestdistanz ist d = n− k + 1.Das Generatorpolynom eines RS Codes ergibt sich aus:

g(x) =n−1

∏i=k

(x− α−i) =n−k

∏i=1

(x− αi)

Beispiel: Konstruktion eines RS Codes| DT/IPLDT/IPLDT/IPL | TGIT | 7.8.3

Konstruktion eines RS Codes C(6, 2, d) im GF(7).Mindestdistanz: d = n− k + 1 = 5Wir benötigen ein Element der Ordnung n = 6: α = 5, Überprüfung: 51 = 5,52 = (25) mod 7 = 4, 53 = 5 · 52 = 5 · 4 = (20) mod 7 = 6, 54 = (30) mod 7 = 2,55 = (10) mod 7 = 3, 56 = (15) mod 7 = 1. Die Codewörter c = [c0 . . . c5]

T

ergeben sich aus ci = C(αi), wobei C(x) = C0 + C1x (grad(C(x)) < k) mitC0, C1 ∈ GF(7), d.h. es gibt pk = 72 = 49 verschiedene C(x) und somit 49Codewörter, z. B. das Codewort zu C(x) = 5 + 3x:

c0 = C(α0) = C(1) = 5 + 3 ≡ 1 mod 7

c1 = C(α1) = C(5) = 5 + 3 · 5 ≡ 6 mod 7

c2 = C(α2) = C(4) = 5 + 3 · 4 ≡ 3 mod 7

c3 = C(α3) = C(6) = 5 + 3 · 6 ≡ 2 mod 7

c4 = C(α4) = C(2) = 5 + 3 · 2 ≡ 4 mod 7

c5 = C(α5) = C(3) = 5 + 3 · 3 ≡ 0 mod 7

Beispiel: Berechnung des Generatorpolynoms| DT/IPLDT/IPLDT/IPL | TGIT | 7.8.4

g(x) =5

∏i=2

(x− α−i) =

= (x− α−2)(x− α−3)(x− α−4)(x− α−5) = | mod 6 (für Exponent)

= (x− α4)(x− α3)(x− α2)(x− α1) =

= (x2 − (α4 + α3)x + α7)(x2 − (α2 + α)x + α3) =

= (x2 − x + 5)(x2 − 2x + 6) =

= x4 − x3 + 5x2 − 2x3 + 2x2 − 10x + 6x2 − 6x + 30| mod 7 (für Koeffizienten)

= x4 + 4x3 + 6x2 + 5x + 2

Z








8.1 Grundlagen der Vektor/Matrixrechnung

Skalar, Vektor, Matrix| DT/IPLDT/IPLDT/IPL | TGIT | 8.1.1

Skalar: c ∈ F (F steht für einen Körper, z. B. R, C )c ist eine reelle Zahl, c ∈ R

c ist eine komplexe Zahl, c ∈ C, c = cR + jcI mit cR, cI ∈ R

c∗ = cR − jcI (konjugiert komplex)

Vektor: Matrix:

x =

x1x2...

xm−1xm

x ∈ Fm , xi ∈ F

X =

x11 x12 . . . x1(n−1) x1nx21 x22 . . . x2(n−1) x2n...

.... . .

......

x(m−1)1 x(m−1)2 . . . x(m−1)(n−1) x(m−1)nxm1 xm2 . . . xm(n−1) xmn

X ∈ Fm×n , xij ∈ F

Transponierte Vektoren undMatrizen| DT/IPLDT/IPLDT/IPL | TGIT | 8.1.2

Transponierter/Konjugiert transponierter Vektor:

x ∈ Rm : xT =[

x1 x2 . . . xm−1 xm]

x ∈ Cm : xH =[

x∗1 x∗2 . . . x∗m−1 x∗m]

Transponierte/Konjugiert transponierte Matrix:

X ∈ Rm×n : C = XT ⇒ C ∈ Rn×m, wobei cij = xji

X ∈ Cm×n : C = XH ⇒ C ∈ Cn×m, wobei cij = x∗ji

Geometrische Interpretation| DT/IPLDT/IPLDT/IPL | TGIT | 8.1.3

Darstellung von Vektoren x ∈ Rm im m-dimensionalen Raum

2

2

x

x

x

[2 2 1]

[1 1 2]

1

3

2

T

T

2

2

x

x

1

2

[1 2]

[2 1]

T

T

Matrix X ∈ Fm×n:n m-dimensionale Spalten-Vektoren spannen n-dimensionalen Raum auf (m ≥ n)m n-dimensionale Zeilen-Vektoren spannen n-dimensionalen Raum auf (m ≥ n)

X =

2 12 11 2

∈ R3×2 XT =

[2 2 11 1 2

]∈ R2×3

Z

Linear unabhängige Vektoren| DT/IPLDT/IPLDT/IPL | TGIT | 8.1.4

Die Vektoren v1, v2, . . . , vn sind linear unabhängig, wenn

n

∑i=1

civi = c1v1 + c2v2 + · · ·+ cnvn = 0

nur für ci = 0 ∀ i.

Fallsn

∑i=1

civi = 0 ,

wobei ci 6= 0 , i ∈ {1, . . . , n} ⇒ linear abhängig


v1

v2

R2a)v1 =

[42

]v2 =

[ −2−1

]⇒ v1 + 2v2 = 0 , c =

[12

]

R2

v1v2

b)

v1 =

[42

]v2 =

[12

]⇒ c1v1 + c2v2 = 0[

4 12 2

]·[

c1c2

]=

[00

]

A · c = 0 ⇒ c =

[00

]


8.2 Matrixrechnung

Inneres und äußeres Produkt| DT/IPLDT/IPLDT/IPL | TGIT | 8.2.1

Gegeben seien zwei Vektoren

aH =[

a∗1 a∗2 . . . a∗n]∈ Fn

bH =[

b∗1 b∗2 . . . b∗n]∈ Fn

Das innere Produkt (Skalarprodukt) ergibt sich zu

aH · b =n

∑i=1

a∗i · bi

Für a ∈ Fm und b ∈ Fn ergibt sich das äußere Produkt zu

a · bH =

a1 · b∗1 a1 · b∗2 . . . a1 · b∗na2 · b∗1 a2 · b∗2 . . . a2 · b∗n...

.... . .

...am · b∗1 am · b∗2 . . . am · b∗n

∈ Fm×n

Skalar-Multiplikation und Addition vonMatrizen| DT/IPLDT/IPLDT/IPL | TGIT | 8.2.2

Gegeben seien zwei Skalare c, d ∈ F und zwei Matrizen A,B ∈ Fm×n.Die Matrix Cmit

C = c · A+ d · B

ergibt sich zu C = [cij] ∈ Fm×n mit

cij = c · aij + d · bij

Anmerkung: Die Skalar-Multiplikation und Addition von Vektoren stellteinen Spezialfall dar, wobei gilt: n = 1 bzw. m = 1.

Matrix Multiplikation| DT/IPLDT/IPLDT/IPL | TGIT | 8.2.3

Die Multiplikation zweier Matrizen A ∈ Fm×p und B ∈ Fp×n ergibt:

C = A · B ∈ Fm×n, wobei cij =p

∑k=1

aikbkj

Verschiedene Berechnungsformen:• Innere Produkte:[

1 23 4

]·[

5 67 8

]=

[1 · 5 + 2 · 7 1 · 6 + 2 · 83 · 5 + 4 · 7 3 · 6 + 4 · 8

]• Äußere Produkte:[

1 23 4

]·[

5 67 8

]=

[13

] [5 6

]+

[24

] [7 8

]• Spaltenkombination:[

1 23 4

]·[

5 67 8

]=

[5

[13

]+ 7

[24

]6

[13

]+ 8

[24

] ]

Anschauliche Berechnung| DT/IPLDT/IPLDT/IPL | TGIT | 8.2.4

p

p

m

n

A C

B

Achtung: Spaltenzahl A= Zeilenzahl BSpezialfälle:

• Skalarprodukt: m = 1∧ n = 1• Äußeres Produkt: p = 1• Matrix Vektor Multiplikation: n = 1∨m = 1

BlockMatrix Multiplikation| DT/IPLDT/IPLDT/IPL | TGIT | 8.2.5

A ∈ F(m1+m2)×(p1+p2), B ∈ F(p1+p2)×(n1+n2+n3)

⇒ C = A · B ∈ F(m1+m2)×(n1+n2+n3)

m1

1 2

p2

p1

n1

n2

n3

m2

p p

M N

O P Q

R T

V W

X Y

U

Z

S

LK

A =

= B

= C

Es gilt:U = KO+ LR V = KP+ LS W = KQ+ LT

X = MO+NR Y = MP+NS Z = MQ+NT


8.3 Vektorräume und Unterräume

Linearer Vektorraum I| DT/IPLDT/IPLDT/IPL | TGIT | 8.3.1

Ein linearer Vektorraum V besteht aus

1 einer Menge von Vektoren vi ∈ V i = 1, 2, . . .

2 einer Menge von Skalaren ci ∈ F

zusammen mit zwei Operationenα) Vektoraddition+

β) Skalarmultiplikation · ,so dass

Anmerkung: Die Definitionen von algebraischen Strukturen (Gruppe, Körper,Vektorraum, Algebra) ist im Anhang B zusammengefasst.

Linearer Vektorraum II| DT/IPLDT/IPLDT/IPL | TGIT | 8.3.2

1 (V,+) eine kommutative (abelsche) Gruppe ist:1 vi, vj ∈ V ⇒ vi + vj ∈ V (Abgeschlossenheit)2 vi + (vj + vk) = (vi + vj) + vk (Assoziativität)3 v0 + vi = vi (Identität)(v0 = 0)4 vi + (−vi) = v0 (Inverses Element)5 vi + vj = vj + vi (Kommutativität)

2 (V, ·) folgende Bedingungen erfüllt:1 fi ∈ F, vj ∈ V ⇒ fi · vj ∈ V (Abgeschlossenheit)2 fi · (fj · vk) = (fi · fj) · vk (Assoziativität)3 1 · vi = vi (Identität)4 fi · (vj + vk) = fi · vj + fi · vk (Bilinearität)

(fi + fj) · vk = fi · vk + fj · vk

Beispiele für Vektorräume| DT/IPLDT/IPLDT/IPL | TGIT | 8.3.3

• Eine Menge von Vektoren v ∈ Fn ist ein Vektorraum.• Die Menge der Matrizen A ∈ Fm×n ist ein Vektorraum.• Die komplexen Zahlen bilden einen Vektorraum über dem Körper derreellen Zahlen (Basis [1, j]T).• Die Funktionen f (Φ), die auf dem Einheitskreis (0 ≤ φ < 2π) definiertsind, mit

f (Φ) =∞

∑m=−∞

amejmφ

bilden einen Vektorraum.

Unterraum| DT/IPLDT/IPLDT/IPL | TGIT | 8.3.4

Eine Teilmenge V0 des Vektorraums V ist ein Unterraum von V, wenn füralle vi ∈ V0 und ci ∈ F gilt:

vi + vj ∈ V0civi ∈ V0

}⇔ civi + cjvj ∈ V0

v0 = 0 und V heißen uneigentliche Unterräume.Beispiel:

1{v = [v1 v2 v3]

T : v1 = at, v2 = bt, v3 = ct; a, b, c, t ∈ R; a, b, c = konst.}

ist Unterraum von R3. (Gerade durch den Ursprung)2 Die Menge aller rechten oberen DreiecksmatrizenR = [rij] ∈ Rn×n, rij = 0 für i > j ist Unterraum von Rn×n

3 Die Menge alle symmetrischen Matrizen A ∈ Rn×n mit A = AT istUnterraum von Rn×n

Anmerkungen| DT/IPLDT/IPLDT/IPL | TGIT | 8.3.5

• Jeder Unterraummuss immer das Nullelement enthalten (d.h. Gerade,die nicht durch den Ursprung geht ist kein Unterraum).

• Jeder Unterraum V0 von V ist selbst ein linearer Vektorraum.

• Im Folgenden F = R, da sich geometrische Betrachtungen im Körperder reellen Zahlen einfacher veranschaulichen lassen. Diedargestellten Zusammenhänge gelten aber allgemein für beliebigeKörper F.

„Aufspannen“ eines Raumes| DT/IPLDT/IPLDT/IPL | TGIT | 8.3.6

Ein Satz von n linear unabhängigen Vektoren vj ∈ Rm(n ≤ m) spannt einenn−dimensionalen Unterraum V0, des Rm auf.

V0 = span{v1v2 . . . vn} = {n

∑j=1

cjvj, cj ∈ R}

Beispiel:

1

2

3

4

1 2 3 4

12

x

y

v2

v1

z

v1 =

311

v2 =

113

⇒ v1, v2 ∈ R3 Ebene in R3

„Aufspannen“ : Jeder Punkt des Raumes kann durch Linearkombinationder vi erreicht werden.

Spaltenraum einer Matrix| DT/IPLDT/IPLDT/IPL | TGIT | 8.3.7

Spaltenraum von X = [x1 x2 . . . xn] ∈ Rm×n (xi ∈ Rm ist i-te Spalte von X):

SR(X) = {y ∈ Rm : y = X · c für c ∈ Rn}

=Menge aller Linearkombinationen der Spalten von X

SR(X) ={ n

∑i=1

ci xi : ci ∈ R}

• SR(X) ist der Raum Rm, falls n = m und xi linear unabhängig.

• SR(X) ist ein r-dimensionaler Unterraum des Rm, falls n = m und nur rVektoren xi linear unabhängig sind.

• SR(X) ist ein n-dimensionaler Unterraum des Rm, falls n < m und xi

linear unabhängig.

• SR(X) ist ein r-dimensionaler Unterraum des Rm, falls n < m und nurr < n Vektoren xi linear unabhängig sind.

Basis und Dimension| DT/IPLDT/IPLDT/IPL | TGIT | 8.3.8

Die Basis eines Vektorraumes V ist ein Satz von Vektoren vi, wobei

1 vi sind linear unabhängig

2 vi spannen den Vektorraum auf

n Vektoren vi ∈ Rm(m ≥ n) sind erforderlich, um Rn aufzuspannen.

v =n

∑i=1

ci vi ∀ v ∈ Rn, wobei die ci eindeutig bestimmt sind.

Die Dimension eines Vektorraums V ist die Anzahl der Vektoren jeder Basisvon V.

Beispiel:R3| DT/IPLDT/IPLDT/IPL | TGIT | 8.3.9

v1 =

311

v2 =

113

v3 =

010

Basis 1

e1 =

100

e2 =

010

e3 =

001

Basis 2

• Zwei Vektoren (z. B. v1, v2) spannen nur Ebene (d.h. R2) auf.• Vektor kann in verschiedenen Basen dargestellt werden.

v = 7e1 + 9e2 + 5e3 = [7 9 5]TBasis 2= 2v1 + 1v2 + 6v3 = [2 1 6]TBasis 1

• Anzahl der Basisvektoren ist für jede Basis gleich: T

dim[v1 v2 v3] = dim[e1 e2 e3] = 3







Menge| DT/IPLDT/IPLDT/IPL | TGIT | 9.0.1

Eine Menge ist eine Ansammlung von n Objekten, die keine zusätzlicheStruktur oder Eigenschaft haben.

Beispiel: Eine Ansammlung von n Bananenn Personenn Punkten

Gruppe| DT/IPLDT/IPLDT/IPL | TGIT | 9.0.2

Eine Gruppe G besteht aus1 einer Menge gi ∈ G i = 1, 2, . . . , n

Zusammen mit einer Operationα) Gruppenmultiplikation ◦,

so dass

1 (G, ◦) folgende Eigenschaften hat:1 gi, gj ∈ G⇒ gi ◦ gj ∈ G (Abgeschlossenheit)2 gi ◦ (gj ◦ gk) = (gi ◦ gj) ◦ gk (Assoziativität)3 g0 ◦ gi = gi (Identität)(g0 = 0)4 gi ◦ gk = g0 (Inverses Element gk = g−1

i )5 gi ◦ gj = gj ◦ gi (kommutative Gruppe)

Beispiel: (R,+), (C,+), (R\{0}, ·), (C\{0}, ·), die nichtsingulären MatrizenA ∈ Rn×n mit Matrixmultiplikation bilden eine Gruppe.

Körper| DT/IPLDT/IPLDT/IPL | TGIT | 9.0.3

Ein Körper K besteht aus1 einer Menge gi ∈ K i = 1, 2, . . . , n

Zusammen mit zwei Operationenα) Addition+

β) Skalarmultiplikation ·,so dass

1 (K,+) eine kommutative Gruppe mit Identität g0 ist.2 (K, ·) folgende Eigenschaften hat:

1 gi, gj ∈ G⇒ gi · gj ∈ G (Abgeschlossenheit)2 gi · (gj · gk) = (gi · gj) · gk (Assoziativität)3 g0 · gi = gi (Identität)(g0 = 1)4 gi · gk = gk · gi = g0 (Inverses Element gk = g−1

i , gi 6= g0)5 gi · (gj + gk) = gi · gj + gi · gk (Distributivität)6 gi · gj = gj · gi (kommutativer Körper)

Beispiel: R, C,

Linearer Vektorraum I| DT/IPLDT/IPLDT/IPL | TGIT | 9.0.4

Ein linearer Vektorraum V besteht aus

1 einer Menge von Vektoren vi ∈ V i = 1, 2, . . .

2 einer Menge von Skalaren ci ∈ F

zusammen mit zwei Operationenα) Vektoraddition+

β) Skalarmultiplikation ·,so dass

Linearer Vektorraum II| DT/IPLDT/IPLDT/IPL | TGIT | 9.0.5

1 (V,+) eine kommutative (abelsche) Gruppe ist:1 vi, vj ∈ V ⇒ vi + vj ∈ V (Abgeschlossenheit)2 vi + (vj + vk) = (vi + vj) + vk (Assoziativität)3 v0 + vi = vi (Identität)(v0 = 0)4 vi + (−vi) = v0 (Inverses Element)5 vi + vj = vj + vi (Kommutativität)

2 (V, ·) folgende Bedingungen erfüllt:1 fi ∈ F, vj ∈ V ⇒ fi · vj ∈ V (Abgeschlossenheit)2 fi · (fj · vk) = (fi · fj) · vk (Assoziativität)3 1 · vi = vi (Identität)4 fi · (vj + vk) = fi · vj + fi · vk (Bilinearität)

(fi + fj) · vk = fi · vk + fj · vk

Beispiele für Vektorräume| DT/IPLDT/IPLDT/IPL | TGIT | 9.0.6

• Eine Menge von Vektoren v ∈ Fn ist ein Vektorraum.• Die Menge der Matrizen A ∈ Fm×n ist ein Vektorraum.• Die komplexen Zahlen bilden einen Vektorraum über dem Körper derreellen Zahlen (Basis [1, j]T).• Die Funktionen f (Φ), die auf dem Einheitskreis (0 ≤ φ < 2π) definiertsind, mit

f (Φ) =∞

∑m=−∞

amejmφ

bilden einen Vektorraum.

Lineare Algebra I| DT/IPLDT/IPLDT/IPL | TGIT | 9.0.7

Eine Lineare Algebra A besteht aus

1 einer Menge von Vektoren vi ∈ V, i = 1, 2, . . .

2 ci ∈ F

zusammen mit drei Operatorenα) Vektoraddition+

β) Skalarmultiplikation ·

γ) Algebraische Multiplikation ∗

so dass

Lineare Algebra II| DT/IPLDT/IPLDT/IPL | TGIT | 9.0.8

1 (A1)-(A5) von V gilt2 (B1)-(B4) von V gilt

(C1) v1, v2 ∈ V ⇒ v1 ∗ v2 ∈ V (Abgeschlossenheit)(C2) v1 ∗ (v2 + v3) = v1 ∗ v2 + v1 ∗ v3 (Bilinearität)

(v1 + v2) ∗ v3 = v1 ∗ v2 + v2 ∗ v3

Es existieren verschiedene Varianten, je nachdem welche zusätzlichenPostulate erfüllt werden

(C3) v1 ∗ (v2 ∗ v3) = (v1 ∗ v2) ∗ v3 (Assoziativität)(C4) v1 ∗ 1 = v1 (Identität)(C5) v1 ∗ v2 = v2 ∗ v1 (Symmetrie)(C6) v1 ∗ v2 = −v2 ∗ v1 (Antisymmetrie)(C7) v1 ∗ (v2 ∗ v3) = (v1 ∗ v2) ∗ v3 + v2 ∗ (v1 ∗ v3) (Ableitung)

[(a · b)′ = a′b + b′a v1 ∗ = ddx ]

Beispiel I| DT/IPLDT/IPLDT/IPL | TGIT | 9.0.9

1 A ∈ Rn×n Vektorraum (s.o.); Standard Matrix-Matrix-Multiplikation

A ∗ B := AB = C : cik =n

∑j=1

aij bjk

(A1)-(A5)|(B1)-(B5) erfüllt, (C1), (C2) erfüllt⇒ lineare Algebraz.B. Identitäten 0,+ 1, · I, ∗(C3) und (C4) sind ebenfalls erfüllt⇒ A ∈ Rn×n assoziative lineareAlgebra mit Identität

2 S ∈ Rn×n, ST = S reelle symmetrische Matrizen(C1) nicht erfüllt

S1 · S2 6= (S1 · S2)T = ST

2 · ST1 = S2 · S1

MMM nicht kommutativ3 Definiere: A ∗ B :≡ AB+ BA (C1),(C2) und (C5)⇒ Lineare Algebra unterSymmetrierung

Beispiel II| DT/IPLDT/IPLDT/IPL | TGIT | 9.0.10

4 Definiere: A ∗ B :≡ AB− BA Antisymmetrie(C1),(C2) ja (C6) ja (C7) ja⇒ Lineare Algebra(C3),(C4),(C5) nein

In der Vorlesung behandeln wir ausschließlich lineare Algebra mit MMMgemäß Beispiel 1).

A ∈ Rm×n kann immer auf quadratische Form gebracht werden(Nullvektoren einfügen).

Kompakte Schreibweise (vgl. Faltung):A ∈ Rm1×n, B ∈ Rn×m2 , AB ∈ Rm1×m2

Überblick: algebraische Strukturen| DT/IPLDT/IPLDT/IPL | TGIT | 9.0.11

Anzahl/Arten Anzahl/Arten von Operationen

von Elementen 0 1 2 3

1 Menge Gruppe Körper

(G,+) oder (G, ·) (K,+, ·)

2 Vektorraum Algebra

(V,+, ·) (A,+, ·, ∗)

Anmerkung: Im Allgemeinen gilt, dass sich in strukturierteren Systemenmehr beweisen lässt. Auf der anderen Seite sind Ergebnisse, die für einweniger strukturiertes System bewiesen werden können, auch in einemhöher strukturierten System gültig.







Herleitungen aus Axiomen| DT/IPLDT/IPLDT/IPL | TGIT | 10.0.1

1 P(∅) = 0A∩∅ = ∅, A∪∅ = AP(A) = P(A∪∅)

(III)= P(A) + P(∅)⇒ P(∅) = 0 �

2 P(A) = 1− P(A) ≤ 1

A∪ A = Φ, A∩ A = ∅⇒ 1 (II)= P(Φ) = P(A∪ A) (III)

= P(A) + P(A) �

3 P(A∪ B) = P(A) + P(B)− P(A∩ B) ≤ P(A) + P(B)A∪ B = A∪ (A ∩ B) (III)⇒ P(A∪ B) = P(A) + P(A ∩ B) (1)

B = (A∩ B) ∪ (A ∩ B) (III)⇒ P(B) = P(A∩ B) + P(A ∩ B) (2)(1)− (2) : P(A∪ B)− P(B) = P(A)− P(A∩ B) �

4 Wenn B ⊂ A, dannA = B ∪ (A∩ B), B ∩ (A∩ B) = ∅(III)⇒ P(A) = P(B) + P(A∩ B) ≥ P(B)

5 A und B sind gleich, falls P(A) = P(B)︸︷︷︸genügt nicht

= P(A∩ B)

Beweis der Ergodizität desMittelwerts I| DT/IPLDT/IPLDT/IPL | TGIT | 10.0.2

E{|η − η|2} = E{| 1N

N−1

∑n=0

x(n)− η|2} = 1N2 E{|

N−1

∑n=0

(x(n)− η)|2} =

=1

N2 E{N−1

∑n=0

N−1

∑k=0

(x(n)− η)(x(k)− η)∗}

=1

N2

N−1

∑n=0

N−1

∑k=0

E{(x(n)− η)(x(k)− η)∗} = 1N2

N−1

∑n=0

N−1

∑k=0

c(n− k)

k\n 0 1 2 . . . N− 10 0 1 2 . . . N-11 -1 0 1 . . . N-22 -2 -1 0 . . . N-3...

......

.... . .

...N-1 -N+1 -N+2 -N+3 . . . 0

T

Beweis der Ergodizität desMittelwerts I| DT/IPLDT/IPLDT/IPL | TGIT | 10.0.3

Mit l = n− k lässt sich die doppelte Summe über n und k wie folgtvereinfachen:

E{|η − η|2} =1

N2

N−1

∑l=−N+1

(N− |l|)c(l)

=1N

N−1

∑l=−N+1

(1− |l|N)c(l)

Es gilt

limN→∞

1N

N−1

∑l=−N+1

(1− |l|N)c(l) = 0

falls x(n) ein asymptotisch unkorrelierter stochastischer Prozess ist. �

In ähnlicher Weise lässt sich auch die Ergodizität von Autokorrelation undAutokovarianz zeigen.







Problemstellung: Totale Minimierung| DT/IPLDT/IPLDT/IPL | TGIT | 11.0.1

Für X,E ∈ Rm×n,w ∈ Rn und b,e ∈ Rm löse

(X+ E)w = b+ e

Mit B = [X b], D = [E e] und z =

[w−1

]ergibt sich:

Xw− b+ Ew− e =([X b] + [E e]

)·[

w−1

]= 0(

B + D) · z = 0 (Nullraum)

⇒ TLS Problem: minb+e ∈SR(X+E)

||D||F , wobei ||D||F = (∑i

∑j

d2ij)

12

Lösung von TLS| DT/IPLDT/IPLDT/IPL | TGIT | 11.0.2

Lösung: z ∈ NR(B+ D)

1 Berechne NR(B)mit SVD: B = UΣVT

2 Da NR(B+ D) 6= NR(B) bestimmeM = {σi(B)|σi > σn+1 + ε} ,wobei ε > 0 klein⇒ M = |M| (Anzahl großer Singulärwerte).

3 VNR = [vM+1, . . . , vn+1]

Die letzte Zeile von VNR sei zTv .

Berechne z = zv||zv||2 und y = [y1 . . . yn yn+1]

T = VNR · zEs giltwTLS = − 1

y(n+1) [y1 . . . yn]

Anwendung: Frequenzschätzung und lineare Prädiktion:Bestimme TLS-Lösung von

(X+ E)c = xp + e

Bestimme Px(f ) aus den berechneten Lösungsvektor c (siehe Folie 6.21)







Inversion einer Diagonalmatrix:| DT/IPLDT/IPLDT/IPL | TGIT | 12.0.1

Λ ∈ Fn×n

Λ =

λ1 0 . . . 00 λ2 0...

. . ....

0 0 . . . λn

⇒ Λ−1 =

1

λ10 . . . 0

0 1λ2

0...

. . ....

0 0 . . . 1λn

Σ ∈ Fm×n

Σ =

σ1 0 . . . 00 σ2 0...

. . ....

0 0 . . . σn0 0 . . . 0...

.... . .

...0 0 . . . 0

⇒ Σ# =

1σ1

0 . . . 0 0 . . . 00 1

σ20 0 . . . 0

.... . .

......

. . ....

0 0 . . . 1σn

0 . . . 0

Σ# heißt Pseudoinverse von Σ.

InverseMatrizen| DT/IPLDT/IPLDT/IPL | TGIT | 12.0.2

Mit (M1 ·M2)−1 = M−1

2 ·M−11 ergibt sich aus den Matrixzerlegungen

1 A = YΛY−1 ⇒ A−1 = (Y−1)−1Λ−1Y−1 = YΛ−1Y−1

Bew.: A · A−1 = YΛY−1Y︸︷︷︸I

Λ−1Y−1 = YΛΛ−1︸︷︷︸I

Y−1 = YY−1 = I

2 A = QΛQT(A normal)⇒ A−1 = (QT)−1Λ−1Q−1 = QΛ−1QT

Bew.: A · A−1 = QΛQTQ︸︷︷︸I

Λ−1QT = QΛΛ−1︸︷︷︸I

QT = QQT = I

3 A = UΣVT ⇒ A−1 = (VT)−1Σ−1U−1 = VΣ−1UT

Bew.: AA−1 = UΣ VTV︸︷︷︸I

Σ−1UT = UΣΣ−1︸︷︷︸I

UT = UUT = I

4 X = UΣVT ⇒Pseudoinverse

X# = (VT)−1Σ#U−1 = VΣ#UT

Bew.: XX# = UΣ VTV︸︷︷︸I

Σ#UT = U ΣΣ#︸︷︷︸I

UT = U[In 00 0

]UT =

[In 00 0

]

Theoretische Grundlagen der Informationstechnik - Lehrstuhl · Inhalt | DT/IPL | TGIT|0.0.1 1 Einführung 2 Signale und Systeme Zeit-diskrete und digitale Signale Zeit-diskrete Systeme

Documents