Wspólne posiedzenie Sekcji Optymalizacji i Sterowania Sekcji Metod Komputerowych Mechaniki Komitetu Mechaniki PAN AGH Kraków, 16 grudnia 2009 Biologicznie inspirowane metody w rozwiązywaniu zagadnień odwrotnych Tadeusz Burczyński Katedra Wytrzymalości Materialów i Metod Komputerowych Mechaniki Politechnika Śląska Instytut Modelowania Komputerowego, Politechnika Krakowska
144
Embed
Biologicznie inspirowane metody w rozwi ązywaniu zagadnie ń …l5.pk.edu.pl/~slawek/MKM/T.Burczynski.pdf · 2010-01-02 · Gregor Mendel (1822-1884) Charles Darvin (1809-1882) GENETYKA
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Wspólne posiedzenieSekcji Optymalizacji i Sterowania
Sekcji Metod Komputerowych MechanikiKomitetu Mechaniki PAN
AGH Kraków, 16 grudnia 2009
Biologicznie inspirowane metody w rozwi ązywaniu zagadnie ń
odwrotnych
Tadeusz Burczyński
Katedra Wytrzymałości Materiałów i Metod Komputerowych MechanikiPolitechnika Śląska
Instytut Modelowania Komputerowego, Politechnika Krakowska
Współpracownicy
• prof. E.Majchrzak, prof. P.Fedeliński,
prof. A.John
• dr A.Długosz, dr G.Dziatkiewicz,
dr W.Kuś, dr P.Orantek, dr A.Skrobol,
dr M.Paruch, dr A.Poteralski,
dr M.Szczepanik
IDENTIFICATION PROBLEMS
are mathematically
ill posed
• new computational methods,
• introduction of new objective functionals,
• new regularization techniques,
•• new experimental procedures.new experimental procedures.
Identification of internal defects
voids
cracks
additional masses(incusions)
– non-destructive defect identification
Knowledge about
Boundary displacementsin elastodynamic problem
Natural frequencies
Field of stresses
Field of temperature...
Boundary displacementsin elastostatic problem
Cechy systemów biologicznychBiologiczny punkt widzenia
• Pamięć
• Myślenie populacyjne
• Zdolność do uczenia się
Myślenie biologiczne:myślenie w kategoriach populacji
(myślenie populacyjne )
Myślenie populacyjnetraktuje zmienność nie jako błąd,lecz jako rzeczywiste zjawisko, które ma waŜne konsekwencje.Zmienność indywidualna w populacji stanowi źródło róŜnorodności,która jest polem do działania mechanizmu doboru naturalnego.
Myślenie populacyjne jest nieobecne w fizyce.Gerald M.Edelman
Czy istnieje moŜliwość wprowadzenia do modelumyślenia populacyjnego?
Pamięć
Pamięć jest zasadniczą własnością biologicznych systemów adaptacyjnych
Rodzaje pamięci:
• Dziedziczna → kod genetyczny (DNA)
• Immunologiczna → limfocyty
• Neuronowa → neurony
Metody inspirowane biologicznie
• Sztuczne sieci neuronowe (SSN)
• Algorytmy ewolucyjne (AE)
• Sztuczne systemy immunologiczne (SSI)
Nieprecyzyjność informacji
W zaleŜności od tego czy informacja jest nieprecyzyjna (uzyskiwana od ludzi)
czy bardziej precyzyjna (np. pochodząca z urządzeń pomiarowych) mówimy
o duŜej lub małej ziarnistości informacji – szerokości ziarna.
Im mniejsze ziarno tym bardziej precyzyjna jest informacja.
Ziarno (granule) informacji – jednostka informacji.
Informacja ziarnista – zbiór ziaren informacji zgrup owanych na podstawie
kryterium podobieństwa, spójności lub nierozróŜnialności.
Ziarnistość informacji mo Ŝe przejawiać się w:
• czasie (temporal granulation)
• przestrzeni (space granulation)
Modele ziarnistości
• Zbiory rozmyte
• Zbiory przybliŜone
• Matematyka interwałowa
• Teoria prawdopodobieństwa
Inteligencja obliczeniowa
• Sztuczne sieci neuronowe
• Algorytmy ewolucyjne
• Sztuczne systemy immunologiczne
Obliczenia ziarniste+
Podstawowe cechy metod inspirowanych biologicznie
1. Populacyjne sformułowanie (AE i SSI) i postulat liczności (SSN)
0 1 2[ , , ,..., ]i i i iNw w w w vector of weights= −w
minEw
where:
( 1) ( )ij ij ijw t w t w+ = + ∆
ij i jw xηδ∆ = −
( )( ) ( 1)ij i j ij ijw x w t w tηδ α∆ = − + − −
• the steepest descent method:
• the momentum method:
A Multi-Layer Perceptron (MLP)
Layer 0(Input Layer
Layer 1(Hidden Layer)
Layer 2(Output Layer)
N-K-M neural network
(1)
0
N
i ij jj
v f w x=
=
∑
(2) (2) (1)
0 0 0
K K N
k ki i ki ij ji i j
y f w v f w f w x= = =
= = ∑ ∑ ∑
(1)w (2)w
+ + + +
The aim of MLP learning:Evaluation of weights wij
(1) wij(2) in such a way that for the given
input vector x a difference between actual output signals yi andpatern signals di, for i = 1, 2, …, M, is minimal.
Various methods:
• The back propagation method,
• The quasi-Newton methods,
• Levenberg-Marquard algorithm,
• The global optimization methods (e.g. evolutionary algorithms).
The Back Propagation Method
• The objective function is formulated for single learning pair (x,d) as follows:
2
1
1( ) ( )
2
M
k kk
E y d=
= −∑w
( ) ( ) 2
1 1
1( ) ( )
2
p Mj j
k kj k
E y d= =
= −∑∑w
In the case of p learning pairs (x(j),d(j)), j=1,2,..,p, the objectivefunction is given:
( 1) ( ) ( ) ( )t t t tη+ = +w w p
( ) ( ( ))t E t= −∇p w
ij
EE gradient of E
w
∂ ∇ = − ∂
Adaptation of weights:
where η - learning coefficient
Generalization ability of ANN
The ANN trained on learning data generates expected results for input data set which belongs to the same group but does not participate in the learning process.
R
L
G
V
Illustration of data division satisfying a certain rule R:L - learning set, G – testing setV – validation set.
R L
R G
L V
⊃⊃⊃
Radial Basis Function Networks(RBFN)
+
+
+
+
+
1x
2x
Nx
1
1ϕ
2ϕ
3ϕ
Kϕ
y
0w
1w
2w
3w
Kw
Hidden Layer
INPUPS
OUTPUT
Radial basis functions:
2
2( ) ( ) exp
2i
i ii
x cx x cϕ ϕ
σ
− = − =
↑
+
+
+
+
+
+
Recurrent Neural Networks (RNNs)RNNs – ANN in which there is a feedback among layers.The Lapunow energetic function describes the excitement ofANN:
EGC –evolutionary computing system withgranular representation of data
The models of uncertainties
• interval sets (interval numbers)
• fuzzy sets (fuzzy numbers)
• probabilistic sets (random variables)
• ...• IFEM, IBEM
• FFEM, FFEM
• SFEM, SBEM
• ...
The Identification Problem
• Measured parameters in sensors:* displacement* temperatures* eigenfreguency* ...
• Search for* defects* boundary conditions* material properties
* ......
T.Burczyński, P.Orantek, Uncertain Identification Problems in the Context of GranularComputing. Chapter in: Human-Centric Information Processing Through GranularModelling (eds. A.Bargoela and W.Pedrycz), Stadies in Computational Intelligence, Vol. 182, Springer 2009, 329-350.
If the fuzzy set A, with the membership function:
fulfilling the conditions: the fuzzy set A normal, the fuzzy set A is convex, and theµA(x) is a continuos functionthen the fuzzy set A is a fuzzy number.
]1,0[: →RAµ
x
µA(x)
1
The fuzzy sets and fuzzy numbers
α-cut of the fuzzy setA is a real set
7 x
µA(x)
1
)(;A αµα ≥∈= xx AX ∀∈[0,1]α
));(,(A X∈= xxx Aµ
]1,0[: →XAµ
The fuzzy setA in the domain X, is a set of pairs
α
Replacing the fuzzy value using the intervals
The fuzzy numbers
The evolutionary algorithm for stochastic identification
[ ] [ ]1 2 1 1 2 2; ;... ;...; ( , );( , );...; ( , );...;( , )i n i i n nm m m mσ σ σ σ= =chr g g g g
Stochastic chromosome:
1 2( ) [ ( ), ( ),..., ( ),..., ( )]i nX X X Xγ γ γ γ γ=X
X(γ) is replaced by:
A geneXi(γ) is represented by a random variable, which is a real function
Xi= Xi(γ), γ∈Γ, defined on a sample space Γ and measurable with respect to P.
Sztuczny System Immunologiczny (SSI)
• Ojcowie immunologii Ludwik Pasteur, Robert Koch,
• Perelson A., Weisbuch G., Immunology for physicits. Reviews of Modern Physics, 69, 1219-1265, 1977,
• Irene Stadnyk – 1986, zastosowanie SSI w rozpoznawaniu wzorców.
Limfocyty B tworząwiązania bezpośrednio z komórkami patogenów.
Limfocyty T tworząwiązania z fragmentami
łańcuchówmolekularnych(MHC)
prezentowanymi napowierzchni membrany
komórkowej.
The goal of AIS
find the most dangerous pathogen<=> the global optimum of objective function
Idea of evolutionary optimisationIdea of evolutionary optimisationThe optimization methods inspired by biological mec hanismsThe optimization methods inspired by biological mec hanisms
11 4
Obj
ectiv
e fu
nctio
n va
lue pathogens
Obj
ectiv
e fu
nctio
n va
lue Individuals
EEvolutionaryvolutionary algorithmsalgorithmsAArtificialrtificial immune systemsimmune systems
The goal of AIS The goal of AIS
find the most dangerous pathogenfind the most dangerous pathogeni.ei.e. . the global optimum the global optimum of objective functionof objective function
The goal of The goal of EAEA
find the fittest find the fittest chromosomchromosomi.e. the global optimum i.e. the global optimum of objective functionof objective function
Idea of evolutionary optimisationIdea of evolutionary optimisationThe optimization methods inspired by biological mec hanismsThe optimization methods inspired by biological mec hanisms
11 5
≤ ≤min maxi i ix x x
EEvolutionaryvolutionary algorithmsalgorithmsAArtificialrtificial immune systemsimmune systems
E1 E3– cortical bone Young’s modulus ν1 ν3– cortical bone Poisson’s ratioE2 E4– trabecular bone Young’s modulus ν2 ν4– trabecular bone Poisson’s ratio
228th generation(3526 f.f. evaluations)
ˆmin ( ) *100
ˆi i
k i i
u uF
u
−≡∑∑x
x
Rozkład gęstości (modułów Younga) dla układu opisany jest za pomocą hiperpowierzchni
( ) ( ), , , , , tE x y z x y zρ → ∈Ω
( ), , ,W x y z ( ) 3, ,x y z H∈
Kształt hiperpowierzchni jest kontrolowany za pomocągenów dj, j=1,…,N, które tworzą chromosom
1 2, ,..., ,...,j Nch d d d d=
Geny chromosomu są wartościami funkcji dla węzłów interpolacyjnych ,
( ), ,W x y z( ), ,
jx y z
( ), ,j jd W x y z =
, j=1,2,…,N.
Identyfikacja parametrów materiałowych z wykorzystaniem hiperpowierzchni
Hiperpowierzchnia jest wyraŜona za pomocą:
( )1
1 1 1
27
( , , )
d
W x y z X Y Z
d
− − −
= Φ ⊗ ⊗ ÷
gdzie: Φ ⊗ ⊗2 2 2
2 2 2 2 2 2 2 2 2 2 2 2
2 2 2 2 2 2 2 2 2 2 2 2 2 2 2
=[1,x,x ] [1,y,y ] [1,z,z ]=
[1,z,z ,y,yz,yz ,y ,y z,y z ,x,xz,xz ,xy,xyz,xyz ,xy ,xy z,xy z ,
x ,x z,x z ,x y,x yz,x yz ,x y ,x y z,x y z ]
natomiast X, Y i Z są macierzami:
1 0 0
1 1 1
1 2 4
= = =
X Y Z
Identyfikacja parametrów materiałowych z wykorzystaniem hiperpowierzchni
Rozmieszczenie punktów kontrolnych (węzłów interpolacyjnych)
A=2
B=2
C=2
Na geny nałoŜone są następujące ograniczenia:
min maxj j jd d d≤ ≤
Identyfikacja parametrów materiałowych z wykorzystaniem hiperpowierzchni
Identyfikacja parametrów materiałowych z wykorzystaniem hiperpowierzchni
Identyfikacja parametrów materiałowych z wykorzystaniem hiperpowierzchni
– wynik kość korowa
Identyfikacja parametrów materiałowych z wykorzystaniem hiperpowierzchni
– wynik kość gąbczasta
I
Algorytmy ewolucyjne w termografiiAlgorytmy ewolucyjne w termografii
E.Majchrzak, M.Paruch
The body surface temperature depends on:
- metabolism
- blood perfusion
- thermophysical tissue parameters
- convection
Kamera termowizyjna B20 HS jest wyposaŜona w odłączany pulpit zdalnego sterowania z 4 calowym kolorowym monitorem LCD. Ten pulpit moŜe jest przymocowany do kamery lub po rozwinięciu spiralnego kabla wykorzystany do jej zdalnego sterowania przez zdublowane przyciski sterujące.
Termogramy kończynyMała perfuzja w palcach. Ich temperatura (ok.. 7C) jest znacznie mniejsza od temperatury tkanki zdrowej.Martwica w palcach, głownie w palcu duŜym.
Termogramy pacjentki z przewlekłym stanem zapalnym Ŝuchwy leczonej hiperbarią tlenową
I
Healthy tissue
The tumor diagnostic with use of body surface temperatures (Res Ltd. – RTM-01)
Coupling of evolutionary algorithmand artificial neural network in
defect identification
Intelligent Computational System
Introduction - the fitness function
( ) ( ) 2
1
ˆ( )S
i ii
F ch w u x u x=
= ⋅ − ∑ˆ( )iu x - the measured displacements at
sensor point xi (i = 1,2, ... ,n)( )iu x - the computed displacements at
sensor point xi (i = 1,2, ... ,n)ch - the chromosome
elastostatic problem
( ) ( ) 2
1 1
ˆ( ) , ,S L
i j i ji j
F ch w u x t u x t= =
= ⋅ − ∑∑ˆ( , )i ju x t - the measured displacements at
sensor point xi (i = 1,2, ... ,n) in time step tj( , )i ju x t - the computed displacements at sensor point xi (i = 1,2, ... ,n) in time step tj
elastodynamic problem
( )2
1
ˆ( )F
w j jj
F ch ω ω=
= ⋅ −∑ˆ ( )ixω - the measured natural frequencies
( )ixω - the computed natural frequencies
eigenvalue problem
Introduction – evolutionary algorithm + BEM
great possibility of finding a global solution
identify kind, positionand number of defects
the knowledge about gradient is not necessary
the boundary-value problem has to be solved for each chromosome
very long time of computation
the time strongly dependson the geometry of the body
COMPUTATION OF THE FITNESS FUNCTION NEEDS TO BE IMPROVED
Introduction – how to speed up
?
Introduction – evolutionary algorithm + BEM
Computational inteligence system
Gaussian functionsGaussian function
21( ; , ) exp
2
x tf x y σ
σ
− = −
t=0.0, σ=1.0;
Pseudo-gaussian function
2
2
2
2
exp
exp
1 ( )( ; , , ) ( ; , )
2
1 ( ) ( ; , )
2
L PL
P
x tf x y U x t
x tU x t
σ
σ
σ σ −
−
−= ⋅ −∞
−+ ⋅ ∞
where1 for a x<b
( ; , )0 otherwise
U x a b≤
=
t=0.0; σL=1.0, σP=2.0
Fuzzy inference system
Membership functions: – gaussian– pseudo-gaussian
Fuzzyfication:)()()()( 2211 nAnAAA xxxx µµµµ …=
µA(x) – membership function of the conclusion part of the rule A,µAi(xi) – the degree of true of each input for each rule premise.
Composition - centroid of area method:
( )
( )∑
∑
=
== M
llA
M
llAl
x
xcy
1)(
1)(
µ
µ
cl – the centre of fuzzy set of the ruleA(l),µA
(l) (x) – the membership function computed in inference step,l=1,2,…,M - the number of the rule
Fuzzy inference system
)()()()( 2211 nAnAAA xxxx µµµµ …=
( )
( )∑ ∏
∑ ∏
= =
= =
=M
l
N
iil
iA
M
l
N
iil
iAl
x
xcxf
1 1)(
1 1)(
)(µ
µ
( )
( )∑
∑
=
== M
llA
M
llAl
x
xcy
1)(
1)(
µ
µ
( )
1 1
( )
1 1
( )
NMl
l il i
NMl
il i
W
f x
µ
µ
= =
= =
=∑ ∏
∑∏
2( )( )
( )( ) exp
ll i i
ii li
x cxµ
σ
− = −
( )2( )
( )( )
2( )
( )
exp
exp
( ; , )
+ ( ; , )
ll i i
i liL
li i
liP
x tx U x t
x tU x t
µσ
σ
−
−
− = ⋅ −∞
− ⋅ ∞
Membership functions:
Fuzzy inference system
Radial basis function neural network
( ) ( )2
21
1exp
2
Nij
ij ij=
− Ψ = −
∑jx t
xσσσσ
( )01
( )K
i ii
f x W W x=
= + Ψ∑
Identification problem - chromosome
max max max1 1 1, , ,, , , , , , , ,i i i D D Dch X Y R X Y R X Y R = … …
Position and size of defect
( ) ⇒<∀= min0 RRR ii genes Xi, Yi, Ri are inactive
max max max1 1 1, , ,, , , ,0, , , ,i i D D Dch X Y R X Y X Y R = … …
this defect does not exist
the number of active sets is the number of defects
Numerical example- results
Numerical example
Horizontal and vertical displacements in elastodynamic
D = 1 or D = 2
Kind: void or crack
D,
unknown:
Xi,
Yi
kind
Dmax = 2
Ri,
Identification problem - chromosome
[ ]1 1 11 12 1 2 2 21 22 2, , , , , , , , ,ch X Y R R X Y R Rα α=
first defect
If R11>R1_min and R21>R1_min then there are two circular voids
second defect
If R11>R1_min and R21<R1_minor R11<R1_min and R21>R1_min then there is one circular void
If R11<R1_min and R21<R1_minand R12>R2_min or R22>R2_min then there is a crack
Numerical example- results
Identification time- example
Identification time of the EA connected with BEM:• 11 min. 40 sec. for the plate with one defect (Dmax= 2, D = 1) – Fig. a)• 22 min. 25 sec. for the plate with two defects (Dmax= 2, D = 1) – Fig. b)
Identification time of the EA connected with FIS:• 18 sec. in both cases
Idetifying on the basis of three eigenfrequencies and three boundary displacements
Inteligencja obliczeniowa• nowe techniki obliczeniowe w nauce i technice, za pomocą których moŜna modelować, analizowaćlub optymalizować złoŜone zjawiska i układy, dla których bardziej precyzyjne narzędzia naukowe stosowane w przeszłości były niezdolne dać tanie i pełne (zupełne) rozwiązanie,
• tym róŜnią od konwencjonalnych obliczeń ostrych (hard computing), Ŝe są odporne na brak precyzji, nieokresloność, częsciową (niepełną) prawdę i przybliŜenie.
• w rezultacie rolę modelu w obliczeniach inteligentnych spełnia w jakimś sensie system biologiczny.
• przypominają bardziej ludzkie rozumienie niŜ tradycyjne techniki, które są w znacznym stopniu oparte na konwencjonalnych systemachlogicznych.
Wnioski
• Sztuczne sieci neuronowe• Algorytmy ewolucyjne• Sztuczne systemy immunologicznewykorzystują metafory biologiczne w ”inteligencji obliczeniowej”.
Tradycyjne inŜynierskie podejście w rozwiązywaniu problemów:(i) Analiza konkretnego problemu,(ii) Sformułowanie rygorystycznych załoŜeń,(iii)Sukcesywne ich realizowanie
Charakterystyka „inteligencji obliczeniowej”:(i) Elastyczność,(ii) Wysoka odporność na niewielkie zaburzenia występujące
w realizacji bądź własnościach róŜnych komponentów konstruowanego systemu.