Zasada największej entropii
Problemy:
1. Jak dopasować model matematyczny do danych doświadczalnych gdy liczba punktów pomiarowych jest mniejsza niż liczba wyznaczanych parametrów?
a) Wyznaczanie rozkładu czasów zaniku fluorescencji.
b) Wyznaczanie rozkładu odległości donor-akceptor w badaniach zaniku fluorescencji.
c) Wyznaczanie czasów życia rozkładu czasów życia w badaniach kinetyki reakcji enzymatycznych.
d) Wyznaczanie hiperpowierzchnii energii w reakcjach chemicznych poprzez badania kinetyczne.
e) Określanie zespołu statystycznego konformacji peptydu na podstawie danych NMR.
f) Analiza widmowa “zaszumionych” szeregów czasowych.
2. Rekonstrukcja “zamazanego” obrazu (astronomia, archeologia, itp.)
Ogólna zasada
Przypuśćmy, że “obraz” powstaje poprzez rozłożenie z powtórzeniami N identycznych kul w M pudełkach tak, że w pudełku o numerze j znajduje się nj=fjN kul. Liczba takich ułożeń jest równa
M
jjn
Ng
1
!
!
Definiujemy entropię S obrazu
Jeżeli nie wszystkie pudełka są równocenne i czynnik preferencji j-tego pudełka wynosi Fj to entropię definiujemy następująco:
M
jjj ffNgS
1
lnln
M
ijjjjj FffFfFfS
1
ln),(
Sformułowanie zasady największej entropii
Zmaksymalizować S wzlędem parametrów modelu pod następującymi warunkami:
(1)Obliczona wariancja różnic wielkości zmierzonych i obliczonych jest równa wariancji odpowiadającej błędom pomiarowym (poziomowi szumu) co oznacza 2=1.
(2)Parametry są znormalizowane (np. rozkład czasów życia znormalizowany do jedności).
DN
i i
ii
D
M
jj
fyy
N
fSQ
12
22
1
2
;1
max
x
ND: liczba punktów pomiarowych
x: zmienne objaśniające
y: zmienne zależne
i są formalnie mnożnikami Lagrange’a i powinny być również traktowane jako wyznaczane parametry ale można je potraktować jako stałe parametry metody.
Mjf
Ff
fFf
f
Q
fFffFfQ
jjj
jjj
j
M
i
M
jjjjjjj
,,2,1,exp
0ln
ln
2
2
1 1
2
Równania na fj można rozwiązywać metodą iteracji prostej ale jest to procedura wolno zbieżna. Lepiej zastosować którykolwiek z algorytmów quasi-newtonowskich bezpośrednio do minimalizacji -Q.
Schemat postępowania:
1. Jako przybliżenie początkowe założyć fj=Fj dla każdego j.
2. Wybrać początkową wartość .
3. Zminimalizować -Q.
4. Jeżeli 2 zakończyć proces.
5. Jeżeli 2 jest znacznie większe od 1 zmniejszyć a jeżeli dużo mniejsze od 1 zwiększyć i przejść do punktu 3.
Metoda największej entropii daje wartości parametrów najbardziej zbliżone do ich “apriorycznego” rozkładu danego przez wektor/funkcję F.
Metoda największej entropii należy do bardziej ogólnych metod estymacji Bayesa, tj. estymacji parametrów modelu (dokładniej: wyznaczania aposteriorycznego rozkładu parametrów) przy założeniu, że jeżeli nie ma żadnych dodatkowych informacji to spełniają one pewien rozkład aprioryczny.
Przykład 1: rozkład czasów życia w kinetyce wiązania ligandu z receptorem.
logexplog
)(
max
dtfA
tA
A: różnica pomiędzy absorbancją kompleksu ligand-receptor a absorbancją wolnego ligandu.
Steinbach, P.J., K. Chu, H. Frauenfelder, J.B. Johnson, D.C. Lamb, G.U. Nienhaus, T.B. Sauke, and R.D.. Biophys. J. 61:235-245 (1992).
Przykład 2: Analiza widmowa zaszumionego sygnału.
dtiftI exp)(
Przykład 3: Określanie udziałów konformacji peptydów na podstawie teoretyczej analizy konformacyjnej i danych NMR
ki
M
iik YwY
1
Yk: średnia wartość k-tej obserwabli (np. sygnału NOE, stałej sprzężenia).
Yki wartość k-tej obserwabli wyliczona dla i-tej konformacji.
wi: waga statystyczna i-tej konformacji.
M. Groth, J. Malicka, C. Czaplewski, S. Ołdziej, L. Łankiewicz, W. Wiczk, A. Liwo, J. Biomol. NMR, 15: 315–330, 1999.
ii
ik ki
kiMki
iii
w
YwwYww
1
,,ln
,2
2exp1
Zadanie o kangurach.
Wiadomo, że 1/3 kangurów w danej grupie ma niebieskie oczy a 1/3 jest leworęczna. Ile jest w tej grupie kangurów, które są niebieskookie i leworęczne?
niebieskookie
leworęczne
tak nie
tak x 1/3-x
nie 1/3-x 1/3+x
1-(1/3-x)-(1/3-x)
9/10
3/1ln3/13/1ln3/12ln
ln1
xx
S
xxxxxx
ffSn
iii
x korelacja
1/9 0
1/12 -
0.13013 +
0.12176 +
ff ln
2f
fln
2/1f
1. Steinbach, P.J. 2002. Inferring lifetime distributions from kinetics by maximizing entropy using a bootstrapped model. J. Chem. Inf. Comput. Sci. 42: 1476-1478.
2. Skilling, J. 1989. Classic maximum entropy. In: Maximum Entropy and Bayesian Methods. J. Skilling, editor. Kluwer Academic, Norwell, MA. 45-52.
3. Skilling, J., and R.K. Bryan. 1984. Maximum entropy image reconstruction: general algorithm. Mon. Notices R. Astron. Soc. 211:111-124.
http://cmm.info.nih.gov/maxent/letsgo.html
