Top Banner
Hubert Schwetlicks Beitr¨ age zur Numerik Helmut Kleinmichel email: [email protected] Technische Universit¨ at Dresden Institut f¨ ur Numerische Mathematik NM
35

NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

Oct 29, 2019

Download

Documents

dariahiddleston
Welcome message from author
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Page 1: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

Hubert Schwetlicks Beitrage zur Numerik

Helmut Kleinmichel

email: [email protected]

Technische Universitat DresdenInstitut fur Numerische Mathematik

NM15. Februar 2002

Ehrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick

Page 2: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

Der Student H. Schwetlick ( Oktober 1961 )

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 1

Page 3: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

Graduierungsarbeiten

1960 – 1965: Studium der Mathematik an der TH / TU Dresden

1965: Diplomarbeit:

Zur Theorie und Anwendung der Halbordnung in der Nu-merischen Mathematik.

1967: Dissertation:

Spektraleigenschaften linearer positiver Operatoren und Feh-lerabschatzungen bei Operatorgleichungen.

TU Dresden

1976: Habilitation:

Uber die numerische Losung nichtlinearer Probleme.

TU Dresden

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 2

Page 4: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

Wissenschaftliche Arbeiten (Ubersicht)

4 Mathematische Lehrbucher bzw. Monographien

46 Publikationen in mathematischen Journalen

16 Preprints

11 Beitrage zu wissenschaftlichen Konferenzen (Vortragsauszuge)

6 Beitrage zur Entwicklung von Software (Programmpakete)

7 Allgemeine Artikel (wissenschaftliche Ehrungen, Nachrufe, u.a.)

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 3

Page 5: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

Lehrbucher und Monographien

• H. Schwetlick: Numerische Losung nichtlinearer Gleichungen. Mathema-tik fur Naturwissenschaft und Technik 17. 346 Seiten, Deut. Verlag d.Wiss., Berlin, 1979. Auch: R. Oldenbourg Verlag, Munchen-Wien, 1979.

• A. Kie lbasinski und H. Schwetlick: Numerische lineare Algebra. Einecomputerorientierte Einfuhrung. Mathematik fur Naturwissenschaft undTechnik 18. 472 Seiten, Deut. Verlag d. Wiss., Berlin, 1988. Auch: HarriDeutsch Verlag, Thun-Frankfurt, 1988.Polnische Ubersetzung: Numeryczna algebra liniowa. Wprowadzeniedo obliczen zautomatyzowanych. 502 Seiten, Wydawnictwa Naukowo-Techniczne, Warszawa, 1992.

• H. Schwetlick und H. Kretzschmar: Numerische Verfahren fur Naturwis-senschaftler und Ingenieure. Eine computerorientierte Einfuhrung. Ma-thematik fur Ingenieure. 376 Seiten, Fachbuchverlag, Leipzig, 1991.

• H.-G. Roos und H. Schwetlick: Numerische Mathematik. Das Grundwis-sen fur jedermann. Mathematik fur Ingenieure und Naturwissenschaftler.220 Seiten, Teubner, Stuttgart/Leipzig, 1999.

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 4

Page 6: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

Forschungsgebiete

• Numerische Verfahren fur nichtlineare Gleichungen(Newton-Typ-Verfahren fur regulare Losungen, Blockstrukturen, Ein-bettungsverfahren, Kurvenverfolgungsalgorithmen, Berechnung von sin-gularen Punkten, insbesondere von Ruckkehrpunkten)

• Numerische Verfahren fur Minimierungs- und Quadratmittelprobleme(Abstiegsverfahren, Trust Region Verfahren, Gauß-Newton-Verfahren)

• Nichtlineare Parameterschatzung(Modelle, Schatzkriterien, Numerische Algorithmen)

• Spline-Glattung(Splines mit freien Knoten)

• Eigenwert- und Singularwertberechnung(Verallgemeinerte Rayleigh-Quotienten- und Inverse Iteration)

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 5

Page 7: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

1. Nichtlineare Gleichungen

1.1 Newton-Typ-Verfahren fur regulare Losungen

F (x) = 0 , F : Rn→ Rn

• J. W. Schmidt und H. Schwetlick: Ableitungsfreie Verfahren mit hoherer Konvergenz-

geschwindigkeit. Computing, 3:215–226, 1968.

• H. Schwetlick: Asymptotische Einschließungen beim Newton-Verfahren. Z. Angew.

Math. Mech., 50:426–427, 1970.

• H. Schwetlick: Algorithmus 12: Ein ableitungsfreies Verfahren zur Losung endlichdi-

mensionaler nichtlinearer Gleichungssysteme. Computing, 5:82–88, 1970.

• H. Schwetlick: Uber die Realisierung und Konvergenz von Mehrschrittverfahren zur

iterativen Losung nichtlinearer Gleichungen. Z. Angew. Math. Mech., 54:479–493,

1974.

• H. Schwetlick: Uber n2-Schritt-Verfahren zur Losung nichtlinearer Gleichungen. Z.

Angew. Math. Mech., 54:822–825, 1974.

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 6

Page 8: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

1.2 Blockstrukturen

• A. Hoy and H. Schwetlick: Modified matrix factorizations for solvingsystems of nonlinear equations. Z. Angew. Math. Mech., 66:257–264,1986.

• H. Schwetlick, G. Timmermann, and R. Losche: Path following for lar-ge nonlinear equations by implicit block elimination based on recursiveprojections. In J. Renegar, M. Shub, and S. Smale, editors, The Mathe-matics of Numerical Analysis. Proc. AMS-SIAM Summer Seminar ParkCity/Utah 1996, volume 32 of Lectures in Applied Mathematics, pages715–732. American Mathematical Society, Providence, RI, 1996.

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 7

Page 9: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

1.3 Parameterabhangige nichtlineare Gleichungen

F(x, p) = 0 , F: Rn×R`→ Rn `=1−−−−→ F(x, t) = 0

x

t

(x0; t0)

(x�; t�)

L

L = {(x, t) : x = x(t)} ,

∂1F (x, t) regular

x

t

R1(�x1; �t1)

R2(�x2; �t2)

L

R1, R2 : Ruckkehrpunkte,

∂1F (x, t) singular und

rang(∂1F (x, t)|∂2F (x, t)) = n

H. Schwetlick: Zur numerischen Behandlung nichtlinearer parameterabhangiger Gleichun-

gen. Nova acta Leopoldina, Neue Folge 61, Nr. 267:107–136, 1989.

Ehrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 8

Page 10: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

1.3.1 Berechnung von Ruckkehrpunkten

• G. Ponisch and H. Schwetlick: Computing turning points of curves implicitly defined by

nonlinear equations depending on a parameter. Computing, 26:107–121, 1981.

• G. Ponisch und H. Schwetlick: Ein lokal uberlinear konvergentes Verfahren zur Bestim-

mung von Ruckkehrpunkten implizit definierter Raumkurven. Numer. Math., 38:455–

466, 1982.

• H. Schwetlick: Effective methods for computing turning points of curves implicitly

defined by nonlinear equations. In A. Wakulicz, editor, Computational Mathematics,

volume 13 of Banach Center Publications, pages 623–645. Warsaw, 1984.

• H. Schwetlick: Algorithms for finite-dimensional turning point problems from viewpoint

to relationships with constrained optimization methods. In: Numerical Methods for

Bifurcation Problems, volume 70 of ISNM, pages 459–479. Birkhauser, Basel, 1984.

• G. Ponisch, U. Schnabel, H. Schwetlick: Computing multiple turning points by using

simple extended systems and computational differentiation. OMS, 10:639–668, 1999.

F (x, t) = 0 , F : Rn × R→ Rn

u := (x, t), H(u) = F(x, t) , H : Rn+1 → Rn

Ruckkehrpunkt u ist Losung des unterbestimmten Systems H(u) = 0.Charakterisierung von u durch eine zusatzliche skalare Bedingung.

Ehrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 9

Page 11: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

Parametrisierung der Losungskurve

Voraussetzungen:

H(u) = 0, rang(H ′(u)) = n,

H ′(u)v = 0, ‖v‖ = 1, eTn+1v = 0

eTn+1

(

H ′(u)vT

)−1(H ′′(u)vv

0

)

6= 0

Seien uk ≈ u, r ∈ Rn+1, ‖r‖ = 1,

vk ≈ v : H ′(uk)vk = 0 ,

rTvk = 1

r

ru

vv(uk, r)

uk

{u : H(u) = 0}{u : H(u) = H(uk)}

Definition:

B(u, r) :=

(

H ′(u)rT

)

, v(u, r) := B(u, r)−1en+1

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 10

Page 12: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

Fur den Ruckkehrpunkt u gilt:

B(u, r)v :=

(

0rTv

)

, B(u, r)v(u, r) = en+1 ⇒ v(u, r) =v

rTv(i)

eTn+1v = 0 =⇒ eT

n+1v(u, r) =eTn+1v

rTv= 0(ii)

Charakterisierung des Ruckkehrpunktes u als Losung der skalaren Gleichung

ϕ(u, r) := eTn+1v(u, r) = eT

n+1B(u, r)−1en+1 = 0 .

Ein Ruckkehrpunkt u ist also eine Losung des erweiterten Systems

[

H(u)ϕ(u, r)

]

= 0 .

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 11

Page 13: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

Losung von[

H(u)ϕ(u, r)

]

= 0 .

mittels Newton-Verfahrens:

H(uk) +H ′(uk)(uk+1 − uk) = 0

ϕ(uk, rk) + ∂1ϕ(uk, rk)(uk+1 − uk) = 0

Diskretisierung der Richtungsableitungen H ′′(u)pv in ∂1ϕ(u, r)p gemaß:

H ′′(u)pv≈ 1λ2[H(u+λp)−H(u+λp−λv)+H(u−λv)−H(u)]

Unter geeigneten Voraussetzungen (insbesondere an die Diskretisierungspa-rameter λ) ist das Verfahren lokal Q-uberlinear (Q-quadratisch) konvergent.

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 12

Page 14: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

1.3.2 Berechnung weiterer singularer Punkte

• R. Menzel und H. Schwetlick: Zur Losung parameterabhangiger nicht-linearer Gleichungen mit singularen Jacobi-Matrizen. Numer. Math.,30:65–79, 1978.

• A. Hoy and H. Schwetlick: Some superlinearly convergent methods forsolving singular nonlinear equations. In E. L. Allgower and K. Georg,editors, Computational Solution of Nonlinear Systems of Equations.Proc. SIAM-AMS Summer Seminar Ft. Collins/CO 1988, volume 26 ofLectures in Applied Mathematics, pages 285–300, 1990.

• S. Schleiff and H. Schwetlick: Characterization and computation of perioddoubling points by minimally extended systems. OMS, 8:1–24, 1997.

• G. Ponisch, U. Schnabel, and H. Schwetlick: Computing multiple pitch-fork bifurcation points. Computing, 59:209–222, 1997.

• E. L. Allgower and H. Schwetlick: A general view of minimally extendedsystems for simple bifurcation points. Z. Angew. Math. Mech., 77:83–97,1997.

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 13

Page 15: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

1.3.3 Kurvenverfolgungsalgorithmen

• H. Schwetlick: On the choice of steplength in path following methods.Z. Angew. Math. Mech., 64:391–396, 1984.

• R. Menzel and H. Schwetlick: Parametrization via secant length andapplication to path following. Numer. Math., 47:401–412, 1985.

• H. Schwetlick and J. Cleve: Higher order predictors and adaptive stepsizecontrol in path following algorithms. SIAM J. Numer. Anal., 24:1382–1393, 1987.

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 14

Page 16: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

1.3.4 Einbettungsverfahren

F (x) = 0 , F : Rn→ Rn

H(x, t) := F (x)− (1− t)F (x0) , x0 ∈ Rn

Regulare Einbettung: rang∂1H(x, t) = n ∀ (x, t) ∈ Rn × [0, 1]

=⇒ x(0) = x0, x(1) = x∗

Fortsetzungsverfahren: 0 = t0 < t1 < · · · < t` = 1

Naherungen: xk ≈ x(tk) fur x∗

• H. Schwetlick: Ein neues Prinzip zur Konstruktion implementierbarer, global konver-

genter Einbettungsalgorithmen. Beitrage Numer. Math., 4:215–228, 1975.

• H. Schwetlick: Ein neues Prinzip zur Konstruktion implementierbarer, global konvergen-

ter Einbettungsalgorithmen (Testbeispiele). Beitrage Numer. Math., 5:201–206, 1976.

• R. Menzel und H. Schwetlick: Uber einen Ordnungsbegriff bei Einbettungsalgorithmen

zur Losung nichtlinearer Gleichungen. Computing, 16:187–199, 1976.

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 15

Page 17: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

2. Minimierungs- und Quadratmittelprobleme

(a) min{f(x) : x ∈ Rn}, f : Rn→ R

(b) min{12‖F (x)‖2

2 : x ∈ Rn}, F : Rn→ Rm, n ≤ m,

also speziell f(x) = 12‖F (x)‖2

2 = 12F (x)TF (x) = 1

2

m∑

i=1[fi(x)]2

(z. B. Losung eines uberbestimmten nichtlinearen Gleichungssystems)

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 16

Page 18: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

2.1 Abstiegsverfahren

xk+1 := xk + αk dk,

dk Abstiegsrichtung: (gk)Tdk < 0, gk := ∇f(xk),

αk Schrittweite, z. B. nach Goldstein-Armijo:

f(xk + αk dk) ≤ f(xk) + αk δ (gk)Tdk, δ ∈ (0, 1)

• S. Dietze und H. Schwetlick: Uber die Schrittweitenwahl bei Abstiegsverfahren zur

Minimierung konvexer Funktionen. Z. Angew. Math. Mech., 51:451–454, 1971.

• H. Schwetlick: Zur Minimierung von Funktionen mehrerer Veranderlicher mittels ab-

leitungsfreier Verfahren vom Newton-Typ. Zh. Vychisl. Mat. i Mat. Fiz., 14:278–291,

1974. English translation: Minimization of functions of several variables by derivative-

free methods of Newton type, U.S.S.R. Comput. Math. and Math. Phys. 14 (1974),

No. 2, 3–16 (1975).

• H. Schwetlick: Minimizing nonlinear functions by descent methods. In J. Rosenfeld, edi-

tor, Information Processing 1974. Proceedings of the IFIP Congress 1974 at Stockholm,

pages 562–568. North-Holland, Amsterdam, 1974.

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 17

Page 19: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

2.2 Trust Region Verfahren

• H. Schwetlick and V. Tiller: Nonstandard scaling matrices for trust region Gauss-Newton

methods. SIAM J. Sci. Statist. Comput., 10:654–670, 1989.

• H. Schwetlick: Nonstandard scaling matrices in trust region methods. In E. L. Allgower

and K. Georg, editors, Computational Solution of Nonlinear Systems of Equations.

Proc. SIAM-AMS Summer Seminar Ft. Collins/CO 1988, volume 26 of Lectures in

Applied Mathematics, pages 587–604, 1990.

min{f(x) : x ∈ Rn}, f : Rn→ R

g := ∇f(x), B ≈ ∇2f(x), B = BT ∈ Rn×n

=⇒ m(d) := f(x) + gTd+ 12 d

TB d

Neue Naherung x+ := x+ d+, wobei d+ Losung von

min{m(d) : ‖Dd‖2 ≤ r}

mit D ∈ Rn×n nichtsingulare Skalierungsmatrix,r ∈ R Trust Region Radius

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 18

Page 20: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

Akzeptanzbedingung fur eine Losung d+ von min{m(d) : ‖Dd‖2 ≤ r} :

f(x+ d+)− f(x) ≤ δ [m(d+)−m(0)] < 0 , δ ∈ (0, 1)

(a) B positiv definit: d+ mit B d+ = −g akzeptiert, wenn

‖Dd+‖2 ≤ r und f(x+ d+)− f(x) ≤ −δ

2(d+)TB d+ .

(b) B nicht positiv definit:

1) Wahle λ mit B + λDTD positiv definit.

2) d+ mit[

B + λDTD]

d+ = −g akzeptiert, wenn ‖Dd+‖2 = r,

f(x+ d+)− f(x) ≤ −δ

2

(

(d+)T[

B + λDTD]

d+ + λ r2) .

Probleme: Numerischer Aufwand, Wahl von λ, Wahl von D

Skalierungsmatrix D:

• Standard: D = diag (d1, . . . , dn) , di > 0

• Nichtstandard:→ unvollstandige Cholesky Faktorisierung von B

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 19

Page 21: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

2.3 Gauß-Newton-Verfahren

• H. Schwetlick: Zur Konvergenz regularisierter Gauß-Newton-Verfahren.Zh. Vychisl. Mat. i Mat. Fiz., 13:1371–1382, 1973. English translation:Convergence of a regularized Gauss-Newton method, U.S.S.R. Comput.Math. and Math. Phys. 13 (1973), No. 6, 1–15 ( 1975).

• G.-P. Ehle and H. Schwetlick: Rapidly convergent methods for minimizinga sum of squares. Beitrage Numer. Math., 6:49–59, 1977.

min{f(x) : x ∈ R}

f(x) = 12 F (x)TF (x) , F : Rn→ Rm, n ≤ m

∇f(x) = F ′(x)TF (x)

∇2f(x) = F ′(x)TF ′(x) + F ′′(x)◦F (x)

=m∑

j=1

[

∇fj(x)∇fj(x)T +∇2fj(x)fj(x)]

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 20

Page 22: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

Gauß-Newton-Verfahren [ rang(F ′(xk)) = n ]:

xk+1 := xk − [F ′(xk)TF ′(xk)]−1F ′(xk)TF (xk)

Regularisiertes Gauß-Newton-Verfahren [ rang(F ′(xk)) < n ]:

xk+1 := xk − [%kI + F ′(xk)TF ′(xk)]−1F ′(xk)TF (xk) , %k > 0

Transformation: % =1− λλ

, λ ∈ (0, 1)

xk+1 := xk − λk[(1− λk)I + λkF′(xk)TF ′(xk)]−1F ′(xk)TF (xk)

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 21

Page 23: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

Schritt k des regularisierten Gauß-Newton-Verfahrens:

xk+1 := xk + λk d(λk, xk)

mit der Abstiegsrichtung d = d(λk, xk) als Losung von

[

(1− λk)I + λk F′(xk)TF (xk)

]

d = −F ′(xk)TF (xk)(

= −∇f(xk))

und dem Parameter λk z. B. nach Goldstein-Armijo gemaß

f(xk + λk d(λk, xk)) ≤ f(xk) + λk δ∇f(xk)Td(λk, xk) ,

wobei

δ ∈ (0, 1/2) , µ ∈ (0, 1) , λk = λk µj , λk = min

{

1 ,λk−1

µ

}

.

Es gilt: a) limk→∞

∇f(xk) = 0

b) Falls limxk = x∗ und F (x∗) = 0 , rang (F ′(x∗)) = n ,

dann existiert ein Index k1 : λk = 1 fur k ≥ k1 und

{xk} konvergiert quadratisch gegen x∗.

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 22

Page 24: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

3. Nichtlineare Parameterschatzung

Modellgleichung fur einen realen Prozess: f(u, c, t, p) = 0t : Zeitu : Vektor der Zustandsgroßenc : Vektor der Steuerungenp : Parametervektor, spezifisch fur den betrachteten Prozess

• A. Kirsten, H. Schwetlick, und G. Liebmann: Ein Regressionsmodell zur Beschreibung

von Sattigungskonzentrationen. Chemische Technik, 35:636–639, 1983.

• H. Schwetlick and V. Tiller: Numerical methods for estimating parameters in nonlinear

models with errors in the variables. Technometrics, 27:17–24, 1985.

• H. Schwetlick, W. Schellong, and V. Tiller: Gauss-Newton-like methods for nonlinear

least squares with equality constraints – local convergence and applications to parameter

estimation in implicit models. Statistics, 16:167–178, 1985.

• R. Wolke and H. Schwetlick: Iteratively reweighted least squares: Algorithms, conver-

gence, and numerical comparisons. SIAM J. Sci. Statist. Comput., 9:907–921, 1988.

• H. Schwetlick: Nichtlineare Parameterschatzung: Modelle, Schatzkriterien und numeri-

sche Algorithmen. Mitteil. der GAMM, 2/91:13–51, 1991.

• H. Schwetlick: Nonlinear parameter estimation: Models, criteria and algorithms. In:

Proceedings of the 14th Dundee Conference on Numerical Analysis, pages 164–193.

Longman Scientific & Technical, Harlow, Essex, 1992.

Ehrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 23

Page 25: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

Modellgleichung: f(z, p) = 0 (z :=(u, c, t) Vektor aller Prozessvariablen)

Zustandsmannigfaltigkeit: Sp := {z : f(z, p) = 0} fur festes p

Prozess-Simulation: Berechnung von Sp fur gegebenes p

(Voraussage moglicher Zustande bei bekanntem p)

Parameterschatzprobleme (Inverse Probleme):

Geg.: Naherungen zi fur die exakten Zustande z∗i zu unbekanntem p∗,

d. h. zi = z∗i + δzi mit f(z∗i, p∗) = 0 (i = 1, . . . ,m)

Ges.: Schatzungen p fur p∗ und zi fur z∗i sodass ‖zi − zi‖”klein“

und f(zi, p) = 0 (i = 1, . . . ,m)

Bezeichnungen:

Z :=

−(z1)T−···

−(zm)T−

, Z :=

−(z1)T−···

−(zm)T−

, G(Z, p) :=

f(z1, p)···

f(zm, p)

Ehrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 24

Page 26: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

min{ψ(Z) := 12‖Z − Z‖

2F : (Z, p) bei G(Z, p) = 0} (∗)

oder

min{ψ(p) := 12

m∑

i=1‖f(zi, p)‖2

2 : p}

Implizite Modelle: f(z, p) = 0 , dim z > dim f

Explizite Modelle: z=(x, y), dim y=dim f :f(z, p)=0⇔ y=r(x, p)

Wegen ‖zi − zi‖22 = ‖xi − xi‖2

2 + ‖yi − yi‖22 wird (∗) zu

min{ψ(x, p) : (x, p)}mit

ψ(x, p) := 12{‖X

i −X‖2F + ‖Y −R(x, p)‖2

F} .

Fur fehlerfrei beobachtbares x gilt das Regressionsmodell:

min{

ψ(p) := 12

∥Y −R(X, p)∥

2

F: p}

Ehrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 25

Page 27: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

4. Spline-Glattung

Geg.: Daten {xi, yi} (i = 1, . . . ,m) : a ≤ x1 < x2 < · · · < xm ≤ b

Ges.: Spline s ∈ Sk,t mitϕ(s) := 12

m∑

i=1[yi − s(xi)]2 → min (m� n)

Bezeichnung:

Sk,t = {Polynom-Splines der Ordnung k≥1 mit Knotenmenge t :={tj}}mit t1 = · · · = tk = a < tk+1 ≤ · · · ≤ tn < b = tn+1 = · · · = tn+k

• H. Schwetlick and V. Kunert: Spline smoothing under constraints onderivatives. BIT, 33:512–528, 1993.

• H. Schwetlick and T. Schutze: Least squares approximation by splineswith free knots. BIT, 35:361–384, 1995.

• T. Schutze and H. Schwetlick: Constrained approximation by splines withfree knots. BIT, 37:105–137, 1997.

• T. Schutze and H. Schwetlick: Bivariate free knot splines. Preprint MATH-

NM-13-01, Techn. Univ. Dresden, 2001.

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 26

Page 28: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

Darstellung von s ∈ Sk,t in der Form s(x) =n∑

j=1Bkj(x)αj

Bezeichnung:

{Bkj} Folge der normalisierten B-Splines der Ordnungk zur Knotenmenge t

B = (Bkj(xi)) ∈ Rm×n (i = 1, . . . ,m; j = 1, . . . , n)

α = (α1, . . . , αn)T ∈ Rn , y = (y1, . . . , ym)T ∈ Rm

Splines mit vorgegebener Knotenmenge t:

• rangB = n: min{ϕ(α) := 12‖y −Bα‖

22 : α ∈ Rn} eindeutig losbar

• rangB < n ( Regularisierung ): min{ϕ(α) + µ%(α) : α ∈ Rn}

mit z. B. %(α) :=1

2

∫ b

a

s(r)(x) dx , r ∈ {0, 1, . . . , k − 1} fest

Splines mit freier Knotenmenge t:

• min{ψ(t, α) := 12‖y−B(t)α‖2

2 : C t ≥ h, t ∈ R`, α ∈ Rn}

• min{ψ(t, α) := 12‖y−B(t)α‖2

2+µ2‖S(t)α‖2

2 : Ct≥h, t∈R`, α∈Rn}

Ehrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 27

Page 29: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

5. Eigenwertberechnung• R. Losche, H. Schwetlick, and G. Timmermann: A modified block Newton iteration

for approximating an invariant subspace of a symmetric matrix. Linear Algebra Appl.,

275/276:381–400, 1998.

• H. Schwetlick and R. Losche: A generalized Rayleigh quotient iteration for computing

simple eigenvalues of nonnormal matrices. Z. Angew. Math. Mech., 80:9–25, 2000.

• H. Schwetlick and U. Schnabel: Iterative computation of the smallest singular value

and the corresponding singular vectors of a matrix. Preprint IOKOMO-06-97, 1997.

A ∈ Rn×n symmetrisch:

Spektraldarst.: A U = U Λ , U ∈Rn×n orthogonal, Λ=diag(λ1,..., λn)

Splitting: U = [U1 |U2 ] , U1 ∈ Rn×p, U2 ∈ Rn×q, p+ q = n

Λ =(

Λ1 00 Λ2

)

=⇒ AU1 = U1 Λ1 , AU2 = U2 Λ2

Sei W ∈ Rn×q mit rang(W ) = q fest gewahlt.

Bestimme Z∗ ∈ Rn×q und M∗ ∈ Rq×q als Losung von

F (Z,M) :=(

AZ − ZMW TZ − I

)

=(

00

)

Ehrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 28

Page 30: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

Unger (1950): F (z, λ) =(

Az − λzzTz − 1

)

=(

00

)

−→ λ ∈ R , z ∈ Rn

Newton-Verfahren zur Losung von: F (Z,M) :=(

AZ − ZMW TZ − I

)

=(

00

)

Z(k+1) :=Z(k)−∆Z(k),M (k+1) :=M (k)−∆M (k) mit ∆Z(k), ∆M (k)

aus:

A∆Z(k) −∆Z(k)M (k) − Z(k) ∆M (k) = AZ(k) − Z(k)M (k)

W T ∆Z(k) = W TZk − I

Modifizierte Block Newton Methode:

M (k) = diag(m(k)1 , . . . ,m(k)

q ) , Z(k) orthogonal, W = W (k) = Z(k)

→ Gram-Schmidt Orthogonalisierung und Rayleigh-Ritz-Verfahren:

(

A−m(k)i I Z(k)

Z(k)T 0

)(

∆z(k)i

−∆m(k)i

)

=

(

AZ(k) − Z(k)M (k)

0

)

ei

(i = 1, . . . , q)

Ehrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 29

Page 31: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

Entwicklung von Software (Programmpakete)

• H. Schwetlick: Einige Folgerungen fur den Aufbau von Algorithmenim Zusammenhang mit der Herstellung von Programmpaketen. Schrif-tenreihe des WBZ Math. Kybernetik und Rechentechnik, Techn. Univ.Dresden, 8:129–133, 1974.

• D. Leder, C. Schmidt, H. Schwetlick: Programmpaket Nichtlineare Glei-chungen. Schriftenreihe des WBZ Math. Kybernetik und Rechentechnik,Techn. Univ. Dresden, 20:17–23, 1976.

• R. Menzel, G. Ponisch, H. Schwetlick: Zur numerischen Losung pa-rameterabhangiger nichtlinearer Gleichungssysteme. Nachrichtentechnik-Elektronik, 28:19–20, 1978.

• R. Menzel, G. Ponisch, H. Schwetlick: Programmpaket zur Losung nicht-linearer Probleme. rechentechnik/datenverarbeitung, 16:28–29, 1979.

• R. Menzel, G. Ponisch, H. Schwetlick: PARSYS – Programmpaket furparameterabhangige nichtlineare Gleichungssysteme großer Dimension.Anwenderdokumentation, Techn. Univ. Dresden, 1980.

• H. Schwetlick, L. Knauff, V. Tiller: Ein Programmpaket zur Parame-terschatzung in nichtlinearen Modellen. Wiss. Beitrage Martin-Luther-Univ. Halle-Wittenberg, 1982/33 (M28):102–111, 1982.

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 30

Page 32: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

Betreute Promotionen

1. Jeromin, Bernd: Glattung mittels Spline-Funktionen. 1972

2. Leder, Dieter: Zur Losung nichtlinearer Gleichungssysteme mittels dis-kreter Einbettungsmethoden. 1975

3. Schmidt, Christian: Ableitungsfreie Verfahren zur Minimierung einerFunktion mehrerer Veranderlicher ohne Nebenbedingungen. 1977

4. Ehle, Gerd-Peter: Mit zweiten Ableitungen arbeitende iterative Verfahrenzur Losung nichtlinearer Gleichungen und zur Quadratmittelapproximati-on. 1977

5. Espig, Gunter: Untersuchungen uber global konvergente Abstiegsverfah-ren zur Losung nichtlinearer Gleichungssysteme. 1977

6. Menzel, Reinhard: Uber die Losung nichtlinearer Gleichungssysteme beiregularer und schwach singularer Einbettung. 1978

7. Ponisch, Gerd: Verfahren zur numerischen Bestimmung von Ruckkehr-punkten implizit definierter Raumkurven. 1980

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 31

Page 33: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

Betreute Promotionen

8. Schellong, Wolfgang: Parameterschatzung in impliziten Modellen derchemischen Reaktionskinetik. 1983

9. Knoth, Oswald: Markquardt-ahnliche Verfahren zur Minimierung nichtli-nearer Funktionen. 1983

10. Tiller, Volker: Numerische Methoden zur Parameterschatzung in explizi-ten und impliziten nichtlinearen Modellen mit Fehlern in den Variablen.1983

11. Bockmann, Christine: Ein ableitungsfreies Verfahren vom Gauß-Newton-Typ zur Losung von nichtlinearen Quadratmittelproblemen mit separier-ten Variablen. 1984

12. Kirsten, Annegret: Modifizierte Matrixfaktorisierungen zur Losung nicht-linearer Gleichungssysteme. 1985

13. Wolke, Ralf: Iterative Verfahren zur numerischen Berechnung von M -Schatzungen. 1986

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 32

Page 34: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

Betreute Promotionen

14. Cleve, Jurgen: Pradiktoren hoherer Ordnung und Schrittweitensteuerungbei Kurvenverfolgungsalgorithmen. 1986

15. Liebert, Michael: Zur numerischen Berechnung von Parametern in parti-ellen Differentialgleichungen. 1987

16. Gersonde, Jorg: Effektiv implementierbare Modifikationen von Trust-Region-Verfahren. 1990

17. Schleiff, Stefan: Parameterabschatzung in nichtlinearen Modellen unterbesonderer Berucksichtigung kritischer Punkte. 1995

18. Schutze, Torsten: Diskrete Quadratmittelapproximation durch Splinesmit freien Knoten. 1998

19. Timmermann, Gisela: Cascadic Algorithms for Two Classes of NonlinearElliptic Boundary Value Problems. 1999

20. Schnabel, Uwe: Berechnung singularer Punkte nichtlinearer Gleichungs-systeme. 2000

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 33

Page 35: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

Rostock, Februar 1968

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 34