Porównywanie wielowymiarowych ±rednich. Analiza wariancji · Porównywanie wielowymiarowych ±rednich. Analiza wariancji Paulina Grabowska Magdalena Kloc Emilia Kozdemba Adam Pierko

Porównywanie wielowymiarowych ±rednich.

Analiza wariancji

Paulina Grabowska Magdalena KlocEmilia Kozdemba Adam Pierko

FTiMS, Matematyka Finansowa, 8 semestr

23 marca 2014

Paulina Grabowska Magdalena Kloc Emilia Kozdemba Adam Pierko (FTiMS, Matematyka Finansowa, 8 semestr)Porównywanie wielowymiarowych ±rednich. Analiza wariancji23 marca 2014 1 / 110

Wprowadzenie

Przypu±¢my, »e chcieliby±my odpowiedzie¢ na nast¦puj¡ce pytania:

Czy nowy lek przeciwbólowy dostarcza ulgi w ci¡gu 100 minut, czy jestinaczej?Czy weekendowy trening przygotowawczy ma wpªyw na wyniki egzaminu?Czy nowy lek przeciwko bólowi gªowy ma szybsze dziaªanie ni» tradycyjny?


Wprowadzenie

Przy pomocy testu t−Studenta mo»emy udzieli¢ odpowiedzi na te pytania.

Wyró»niamy test:- dla jednej próby,- dla prób zale»nych- dla prób niezale»nych.


Model prób zale»nych dla p = 1

Rozpatrujemy n ró»nic:

Dj = Xj1 − Xj2, j = 1, 2, . . . , n

gdzie:Xj1 - j-ty wynik pomiaru pierwszej cechyXj2 - j-ty wynik pomiaru drugiej cechy.

Je»eli D ∼ N(δ, σd2), to

t = D̄−δsd√n∼ tn−1, gdzie

D̄ = 1n

∑nj=1Dj oraz sd

2 = 1n−1

∑nj=1 (Dj − D̄)

2


Model prób zale»nych dla p = 1

Przeprowadzamy t-test na poziomie istotno±ci α.Stawiana hipoteza zerowa przeciwko alternatywnej:

H0 : δ = 0H1 : δ 6= 0

Porównujemy warto±¢ |t| z α2górnym kwantylem rozkªadu t-Studenta z

n − 1 stopniami swobody.

100(1− α)% przedziaª ufno±ci dla δ = E(X1j − X2j) jest dany przeznierówno±ci:

d̄ − tn−1(α/2) sd√n≤ δ ≤ d̄ + tn−1(α/2) sd√

n


Testowanie dla jednej próby - SAS

Powró¢my do pierwszego pytania z pocz¡tku naszej prezentacji. Chcemysprawdzi¢, czy nowy lek dostarczy ulgi w czasie równym lub ró»nym od 100minut.

H0 : µ = 100H1 : µ 6= 100

Przebadamy 10 obserwacji zmiennej relief. Przed testowaniem hipotezysprawdzimy normalno±¢.







Na podstawie histogramu i formalnych testów mo»emy zaªo»y¢ normalno±¢rozkªadu i zastosowa¢ procedur¦ t-test.

Procedura t−test na zmiennej relief − ±rednia warto±¢ zmiennej reliefb¦dzie porównana ze warto±ci¡ 100.





�rednia zmiennej relief wynosi 98, 1 minut. Wyliczona statystykat = −1, 28. Warto±¢ p = 0, 23 > 0, 05 zatem nie mamy podstaw doodrzucenia H0, czyli nasz model nie dostarcza innego czasu ulgi ni» 100minut.


Podczas porównywania wektorów ±rednich przy pomocy p− zmiennych,dwóch bada« i n−obserwacjach, wyliczon¡ ró»nic¦ mo»emy przedstawi¢ wpostaci wektora:

Dj =

Dj1

Dj2...

Djp

=

X1j1

X1j2...

X1jp

−

X2j1

X2j2...

X2jp

dla j = 1, 2, . . . , n.


Model prób zale»nych dla p > 1

gdzie:X1j1- j−ty wynik pomiaru pierwszej cechy dla zmiennej 1,X1j2- j−ty wynik pomiaru pierwszej cechy dla zmiennej 2,. . .X1jp- j−ty wynik pomiaru pierwszej cechy dla zmiennej p,X2j1- j−ty wynik pomiaru drugiej cechy dla zmiennej 1,X2j2- j−ty wynik pomiaru drugiej cechy dla zmiennej 2,. . .X2jp- j−ty wynik pomiaru drugiej cechy dla zmiennej p



Niech DjT = [Dj1,Dj2, . . . ,Djp] zaªó»my, »e dla j = 1, 2, . . . , n mamy

E(Dj) = δ =

δ1δ2...δp

oraz Cov(Dj) = Σd

Dla Dj ∼ N(δ,Σd) mamy statystyk¦:

T 2 = n(D̄ − δ)TSd−1(D̄ − δ) ∼ p(n−1)

n−p Fp,n−p, gdzie

D̄ = 1n

∑nj=1Dj oraz Sd = 1

n−1∑n

j=1(Dj − D̄)(Dj − D̄)T



W szczególno±ci, test o H0 : δ = 0 przeciwko H1 : δ 6= 0 odrzuca H0 napoziomie istotno±ci α, je»eli

T 2 = nD̄TSd−1D̄ ≥ p(n−1)

n−p Fp,n−p(α)

Je»eli nie udaªo nam si¦ odrzuci¢ H0, to wnioskujemy, »e nie byªoznacz¡cego wpªywu danej okoliczno±ci na badan¡ cech¦.Obszar ufno±ci: dla δ:

(D̄TSd−1) ≤ p(n−1)

n(n−p)Fp,n−p(α).

Dla du»ych n − p zachodzi:

p(n−1)n−p Fp,n−p(α)χp

2(α).


Przykªad

Dokonano 11−u pomiarów wód ±ciekowych w miejskiej oczyszczalni.Badania przeprowadzone byªy pod k¡tem chemicznego zapotrzebowaniatlenu (BOD) oraz zawiesiny (SS) przez laboratorium komercyjne (1) istanowe (2).Stawian¡ H0 jest zgodno±¢ analiz obu laboratoriów.


Przykªad cd

Statystyk¦ T 2 konstruujemy przy pomocy ró»nic: dj1 = x1j1 − x2j1 orazdj2 = x1j2 − x2j2. Nast¦pnie obliczamy ±rednie, macierz kowariancji orazwarto±¢ statystyki T 2:

Odrzucamy H0, gdy» przy α = 0, 05 T 2 = 13.6 > 9.47. Wnioskujemy, »ewyst¦puj¡ ró»nice mi¦dzy analizami z tych laboratoriów.



d̄ i Sd mog¡ by¢ przedstawione przez równania macierzowe.Formujemy wektor obserwacji oraz macierz wariancji-kowariancji:

x̄(2p×1) =

x̄11x̄12...

x̄1px̄21x̄22...

x̄2p

S(2p×2p) =

[S11 S12S21 S22

]



De�niujemy macierz kontrastu:

C(p×2p) =

1 0 . . . 0 | −1 0 . . . 00 1 . . . 0 | 0 −1 0...

... . . .... |

...... . . .

...0 0 . . . 1 | 0 0 . . . −1

,mamy:

dj = Cxj j = 1, 2, . . . , nd̄ = Cx̄ i Sd = CSCT

T 2 = nx̄TCT (CSCT )−1Cx̄ .

Ka»dy wektor kontrastu ciT jest prostopadªy do wektora 1T = [1, 1, . . . , 1],

gdy» ciT1 = 0


Testowanie dla prób zale»nych - SAS

Sprawdzimy, czy nauka w weekend poprawia wyniki na te±cie.Przeprowadzono badania na 6 studentach: przed nauk¡ w weekend napisalitest oraz po nauce jeszcze raz.

H0 : µbefore = µafterH1 : µbefore 6= µafter

Ponownie, zanim b¦dziemy analizowa¢ dane, sprawdzimy normalno±¢.





Po sprawdzeniu normalno±ci mo»emy przej±¢ do testowania hipotezy.

�rednia wyniosªa −7, 33, statystyka t = −4, 35, p-value p = 0, 0074.Otrzymali±my p-value mniejsze od zadanego poziomu istotno±ci α = 0, 05,zatem odrzucamy H0 i przyjmujemy H1. Nauka w weekend sprawia, »ewyniki studentów s¡ lepsze.




Model prób niezale»nych

Inna metoda badania pomiarów wynika z sytuacji, gdy porównujemy qczynników dla ka»dej pojedynczej zmiennej. Przedstawmy j-t¡ obserwacj¦:

Xj =

Xj1

Xj2...

Xjq

, j = 1, 2, . . . , n, gdzie

Xji - j-ty wynik pomiaru dla i-tego czynnika.



Dla wymiernego wyniku rozwa»amy ró»nic¦ skªadników µ = E(Xj).µ1 − µ2µ1 − µ3

...µ1 − µq

=

1 −1 0 . . . 01 0 −1 . . . 0...

...... . . .

...1 0 0 . . . −1

µ1µ2...µq

= C1µ

µ2 − µ1µ3 − µ2

...µq − µq−1

=

−1 1 0 . . . 0 00 −1 1 . . . 0 0...

...... . . .

......

0 0 0 . . . −1 1

µ1µ2...µq

= C2µ



Zarówno C1, jak i C2 nazwane s¡ macierz¡ kontrastu, poniewa» jej q-1rz¦dów jest linowo niezale»nych dla ka»dego wektora.Kiedy badane zmienne s¡ równe, C1µ = C2µ = 0 Stawiana hipoteza, »e niewyst¦puj¡ ró»nice w próbach, staje si¦ Cµ = 0 dla ka»dego wyborumacierzy C .

W konsekwencji, opieraj¡c si¦ na zmianie CXjw obserwacjach, otrzymujemy

±redni¡ Cx̄ oraz kowariancj¦ CSCT , testujemy Cµ = 0 u»ywaj¡c statystyki:

T 2 = n(Cx)T (CSCT )−1Cx̄ .


Testowanie prób niezale»nych - SAS

Chcemy sprawdzi¢, czy nowy lek na ból gªowy dostarcza ulgi w innym czasieni» standardowy lek. Przebadano dwie grupy, ka»da skªadaªa si¦ z 5 osób.

H0 : µ1 = µ2H1 : µ1 6= µ2







Po sprawdzeniu normalno±ci badamy hipotez¦ zerow¡.

Analizuj¡c raport SASowy najpierw sprawdzamy test na równo±¢ wariancji.Warto±¢ p wyniosªa 0, 0318, czyli p < α. Wariancje ró»ni¡ si¦ od siebie,zatem sprawdzaj¡c p-value patrzymy na tabelk¦, gdy wariancje s¡ nierówne.Poziom p wyniósª p = 0, 0141 < α, odrzucamy H0. Przyjmujemy H1 oró»nym czasie dziaªania leku nowego i standardowego.






Porównywanie dwóch populacji

Statystyka T 2 jest odpowiednia do porównywania zebranych wynikówjednej populacji z niezale»nymi wynikami z innej populacji. Rozwa»mylosow¡ próbk¦ o wielko±ci n1 z populacji 1 oraz wielko±ci n2 z populacji 2.

Obserwacje dla p zmiennych:dla populacji 1. {x11, x12, . . . , x1n1}

x̄1 = 1n1

∑n1j=1 x1j S1 = 1

n1−1∑n1

j=1(X1j − x̄1)(X1j − x̄1)T

dla populacji 2. {x21, x22, . . . , x2n2}

x̄2 = 1n2

∑n2j=1 x2j S2 = 1

n2−1∑n2

j=1(X2j − x̄2)(X2j − x̄2)T


Porównywanie dwóch populacji

Testowanie hipotezy zerowej o równo±ci wektorów ±rednich, przeciwkoalternatywnej:

H0 : µ1 = µ2 ⇐⇒ µ1 − µ1 = δ0H1 : µ1 6= µ2 ⇐⇒ µ1 − µ2 6= δ0.


Zaªo»enia testu dotycz¡ce struktury danych

1 Próbka X11,X12, . . . ,X1n1 jest losow¡ próbk¡ o wielko±ci n1 zpopulacji p z wektorem ±rednich µ1 oraz macierz¡ kowariancji Σ1.

2 Próbka X21,X22, . . . ,X2n2 jest losow¡ próbk¡ o wielko±ci n2 zpopulacji p z wektorem ±rednich µ2 oraz macierz¡ kowariancji Σ2.

3 Próbka X11,X12, . . . ,X1n1 jest niezale»na od X21,X22, . . . ,X2n1 .4 Je»eli n1 i n2 s¡ maªe, to obie populacje maj¡ wielowymiarowy rozkªad

normalny.5 Je»eli n1 i n2 s¡ maªe, to Σ1 = Σ2.


Zaªo»enia testu dotycz¡ce struktury danych

Dla maªych próbek, speªniaj¡cych zaªo»enia 1− 5 istnieje nast¦puj¡castatystyka testowa:

T 2 = (x̄1 − x̄2 − δ0)T [( 1n1

+ 1n2

)Sp]−1(x̄1 − x̄2 − δ0), gdzie

Sp = n1−1n1+n2−2S1 + n2−1

n1+n2−2S2

Warto±¢ krytyczna dla odrzucenia H0 o równo±ci ±rednich populacjipochodzi z:

(n1+n2−2)pn1+n2−1−pFp,n1+n2−1−p(α).


Dwie próby - sytuacja kiedyΣ1 6= Σ2

Kiedy Σ1 6= Σ2 nie jeste±my w stanie znale¹¢ "odlegªo±ci" pomiarupodobnie jak T 2, którego rozkªad nie zale»y od niewiadomych Σ1 i Σ2.Test Bartletta sªu»y do sprawdzania równo±ci Σ1 i Σ2 w kategoriachogólnych ró»nic.


Przykªad 1: Procedura du»ej próbki dla wnioskowania o

ró»nicach w ±rednich

Wykonano pomiar zu»ycia energii:

x̄1 =

[µ11µ12

], x̄2 =

[µ21µ22

],

gdzie:µ11 - ±rednie zu»ycie energii w godzinach szczytu w domach z klimatyzacj¡,µ12 - ±rednie zu»ycie energii poza godzinami szczytu w domach zklimatyzacj¡,µ21 - ±rednie zu»ycie energii w godzinach szczytu w domach bezklimatyzacji,µ22 - ±rednie zu»ycie energii poza godzinami szczytu w domach bezklimatyzacji,


Przykªad 1 cd

Przeanalizujmy dane o zu»yciu energii. Najpierw obliczamy:


Przykªad 1 cd

95% jednoczesno±¢ przedziaªów ufno±ci dla kombinacji liniowych


Przykªad 1 cd

wynosi:


Przykªad 1 cd

Statystyka T 2 dla testu H0 : µ1 − µ2 = 0:

Dla α = 0.05, warto±¢ krytyczna wynosi: χ22(0.05) = 5.99 i skoroT 2 = 15.66 ≥ χ22(0.05) odrzucamy H0.


Aproksymacja dla rozkªadu T 2 dla normalnych populacji

Mo»na testowa¢ H0 : µ1 − µ2 = 0 kiedy macierze kowariancji s¡ nierówne,nawet gdy rozmiary dwóch próbek nie s¡ du»e, zakªadaj¡c, »e te dwiepopulacje s¡ wielowymiarowo normalne.

Taka sytuacja cz¦sto nazywana jest problemem wielowymiarowym (lub owielu zmiennych losowych) Behrensa-Fishera. Wynik (rezultat) wymaga,aby rozmiary n1 i n2 obydwu próbek byªy wi¦ksze ni» p, gdzie p � ilo±¢zmiennych.



Podej±cie zale»y od aproksymacji rozkªadu statystyki

która jest identyczna jak w statystyce du»ej próbki.



Jednak»e, zamiast u»ywa¢ aproksymacji rozkªadem χ2 do uzyskaniawarto±ci krytycznej dla testu H0, zalecana aproksymacja dla mniejszychpróbek dana przez

T 2 = vpv−p+1

Fp,v−p+1



gdzie stopie« swobody v jest estymowany z próbki macierzy kowariancjiu»ywaj¡c relacji

gdzie min(n1, n2) ≤ v ≤ n1 + n2



Dla próbek o umiarkowanych rozmiarach i dwóch normalnych populacjach,test aproksymuj¡cy o poziomie α dla równo±ci ±rednichodrzucaH0 : µ1 − µ2 = 0 je»eli



Podobnie, aproksymowany 100(1− α)% obszar ufno±ci jest dany przezµ1 − µ2 takie, »e


Przykªad 2: Aproksymowany rozkªad T 2 gdy Σ1 6= Σ2

Pomimo, »e rozmiar próbek jest do±¢ du»y dla danych o zu»yciu energiielektrycznej, u»ywamy tych danych oraz oblicze« w poprzednim przykªadzieaby pokaza¢ obliczenia prowadz¡ce do aproksymacji rozkªadu T 2 kiedymacierze kowariancji populacji nie s¡ równe. Najpierw obliczamy


Przykªad 2 cd

I u»ywaj¡c wyniku z poprzedniego przykªadu,


Przykªad 2 cd

konsekwentnie


Przykªad 2 cd


Przykªad 2 cd

Dalej


Przykªad 2 cd

Wtedy

gdzie v = 2+22

0.0678+0.0095 = 77.6 dla α = 0.05Warto±¢ krytyczna wynosi

vpv−p+1

Fp,v−p+1(0.05) = 77.6×277.6−2+1

F2,776−2+1(0.05) = 155.276.6 3.12 = 6.32


Wnioski do Przykªadu 2

Z poprzedniego przykªadu, zaobserwowana warto±¢ testu statystycznegowynosi T 2 = 15.66, wi¦c hipoteza H0 : µ1 − µ2 = 0 jest odrzucana napoziomie 5%. To jest ten sam wniosek/ konkluzja osi¡gni¦ty z procedurydu»ej próbki opisanej w tym przykªadzie.Podobnie rozkªad mo»e by¢ de�niowany w niecaªkowitych stopniachswobody.


Jednokierunkowa MANOVA

Cz¦sto, wi¦cej ni» dwie populacje musz¡ zosta¢ porównane. Losowe próbki,zebrane z ka»dej populacji s¡ uªo»one jako:

MANOVA jest u»yta jako pierwsza w celu zbadania czy wektory ±rednichpopulacji s¡ takie same i je±li nie, które czynniki ±rednich znacz¡co si¦ró»ni¡.


Zaªo»enia dotycz¡ce Struktury Danych w Jednokierunkowej

MANOVIE

1 Xl1,Xl2, . . . ,Xlnl , jest losow¡ próbk¡ o rozmiarze nl z populacji ze±redni¡ µl , gdzie l = 1, 2, . . . , g . Losowe próbki z ró»nych populacji s¡niezale»ne.

2 Wszystkie populacje posiadaj¡ wspóln¡ macierz kowariancji Σ.3 Ka»da populacja jest wielowymiarowo normalna.


Podsumowanie jednoczynnikowej analizy wariancji

W tej jednowymiarowej sytuacji, zaªo»enia s¡, »e Xl1,Xl2, . . . ,Xlnl jestdowoln¡ próbk¡ pobran¡ z N(µl , σ

2) populacji l = 1, 2, . . . , g i »e losowepróbki s¡ niezale»ne.

Chocia» hipoteza zerowa równa ±redniej mo»e by¢ formuªowana jakoµ1 = µ2 = · · · = µg , w odniesieniu do µl , jako suma caªkowitej ±redniejskªadnika, takiego jak µ. Dla przykªaduµl = µ+ (µl − µ) lub µl = µ+ τl , gdzie τl = µl − µ.Populacje zwykle odpowiadaj¡ ró»nym zestawieniom warunkówdo±wiadczalnych, dlatego dogodne jest zbadanie odchylenia τl zwi¡zane zl−t¡ populacj¡.


Przeksztaªcenie µl = µ+ τl prowadzi do przeksztaªcenia hipotezy orówno±ci ±rednich. Hipoteza zerowa jest postaci:H0 : τ1 = τ2 = · · · = τg = 0.Wynik Xlj rozkªadu N(µ+ τl , σ

2) mo»e by¢ wyra»ony w postaci:Xlj = µ+ τl + elj , gdzieelj s¡ niezale»nymi zmiennymi losowymi o rozkªadzie N(0, σ2). Abyzde�nowa¢ wyj¡tkowe parametry modelu i ich najmniejsze oszacowaniawadratów, zwyczajowo nakªadamy ograniczenie

∑gl=1 nlτl = 0.


Przykªad Suma kwadratów rozkªadu dla jednoczynnikowej

Anovy

Bierzemy pod uwag¦ nast¦puj¡ce niezale»ne próbki:

Populacja 1 : {9, 6, 9}Populacja 2 : {0, 2}Populacja 3 : {3, 1, 2}

Poniewa»: x̄3 = (3 + 1 + 2)/3 = 2 orazx̄ = (9 + 6 + 9 + 0 + 2 + 3 + 1 + 2)/8 = 4 mamy:3 = x31 = x̄ + (x̄3 − x̄) + (x31 − x̄3) = 4 + (2− 4) + (3− 2).Na pytanie o równo±¢ ±rednich, odpowiemy, oceniaj¡c czy tablica wkªaduleczenia jest wystarczaj¡co du»a w stosunku do reszty. Je»eli wkªad leczeniejest du»y, H0 powinna by¢ odrzucona.


Obliczanie sum kwadratów i zwi¡zane z tym stopnie

swobody w tabeli ANOVA


Zazwyczaj F − test odrzuca H0 : τ1 = τ2 = · · · = τg = 0 na poziomie α,je»eliF = SStr/(g−1)

SSres/(∑g

l=1 nl−g)≥ Fg−1,l−g (α), gdzie

Fg−1,Σnl−g (α) jest górnym (100α)−krotnym kwantylem F−rozkªadu zg − 1 i Σnl − g stopniami swobody.Jest to równoznaczne z odrzuceniem H0 dla du»ych warto±ciSS(tr)/SS(res) lub du»ych warto±ci 1 + SS(tr)/SS(res).

11+SStr/SSres

= SSresSSres+SStr

.


Przykªad Tabela jednoczynnikowej Anovy i F−test dlaefektów bada«


W rezultacieF = SStr/(g−1)

SSres/(Σnl−g) = 78/210/5 = 19.5

Poniewa» F = 19.5 > F2.5(0.01) = 13.27 odrzucamy H0 : τ1 = τ2 = τ3 = 0na poziomie 1% istotno±ci.


Wieloczynnikowa analiza wariancji − MANOVA

Równolegle do jednowymiarowego przeksztaªcenia, okre±limy modelManova:Model Manova dla porównania ±rednich wektorów g populacjiXlj = µ+ τl + elj , j = 1, 2, . . . , nl oraz l = 1, 2, . . . , g , gdzieelj - niezale»na zmienna N(0,Σ)µ- wektor parametrów na ogólnym poziomie ±redniej,τl - oznacza l−ty efekt z Σg

l=1nlτl = 0.


Obliczenia prowadz¡ce do statystyki badania w tabeli

Manova


Testowanie równo±ci macierzy kowariancji

Podczas porównywania wielowymiarowych wektorów ±rednich zakªadamy,»e macierze kowariancji poszczególnych populacji s¡ sobie równe. Gdydanych mamy g populacji jako hipotez¦ zerow¡ przyjmujemy:

H0 : Σ1 = Σ2 = ... = Σg = Σ

gdzie Σl jest macierz¡ kowariancji l-tej populacji l = 1, 2, ..., g , a Σ jestprzypuszczaln¡ wspóln¡ (dla wszystkich g populacji) macierz¡ kowariancji.

Hipoteza alternatywna H1 mówi, »e co najmniej dwie sposród macierzykowariancji ró»ni¡ si¦.



Zakªadaj¡c wielowymiarowy rozkªad normalny populacji, statystykawska¹nika wiarygodno±ci dana jest wzorem:

Λ =∏

l

(|Sl ||Spooled |

)(nl−1)/2

gdzie nl jest liczebno±ci¡ próbki dla l-tej grupy, Sl macierz¡ kowariancjil-tej grupy a Spooled sumaryczn¡ macierz¡ kowariancji dan¡ wzorem:

Spooled = 1∑l (nl−1) {(n1 − 1)S1 + (n2 − 1)S2 + ...+ (ng − 1)Sg}

Test Box'a oparty jest na aproksymacji rozkªadem χ2 rozkªadu z próby-2lnΛ = M (statystyla M Box'a) daje:

M = [∑

l(nl − 1)] ln|Spooled | −∑

l [(nl − 1)ln|Sl |]



Je±li hipoteza zerowa jest prawdziwa, nie oczekuje si¦ du»ych ró»nicpomi¦dzy macierzami kowariancji poszczególnych próbek. Nie powinny si¦one zatem znacznie ró»ni¢ od sumarycznej macierzy kowariancji Σ. W tymprzypadku stosunek wyznaczników we wzorze na Λ powinien by¢ bliski 1, Λpowinna by¢ bliska 1 a statystyka M Box'a maªa. Je±li hipoteza zerowa jestfaªszywa, macierze kowariancji mog¡ si¦ bardziej ró»ni¢ a ró»nice w ichwyznacznikach b¦d¡ bardziej wyra¹ne. W tym przypadku Λ b¦dzie maªa aM relatywnie du»e.



Test Box'a na równo±¢ macierzy kowariancji

u =[∑

l1

(nl−1) −1∑

l (nl−1)

] [2p2+3p−1

6(p+1)(g−1)

]gdzie p jest liczb¡ zmiennych a g numerem grupy. St¡d:C = (1− u)M = (1− u) {[

∑l(nl − 1)] ln|Spooled | −

∑l [(nl − 1)ln|Sl |}

ma przybli»ony rozkªad χ2 z:

v = g 12p(p + 1)− 1

2p(p + 1) = 1

2p(p + 1)(g − 1) stopniami swobody.

Na poziomie istotno±ci α odrzucamy H0 je±li C > χ2p(p+1)(g−1)/2(α)

Aproksymacja χ2 Box'a dziaªa dobrze je±li ka»de nl przekracza 20 oraz p i gnie przekraczaj¡ 5. W sytuacjach, gdy warunki te nie s¡ speªnione, test Boxzapewniª bardziej precyzyjn¡ F aproksymacj¦ dla rozkª¡du próbkowego M.


Dwukierunkowa wieloczynnikowa analiza wariancji

Wielowymiarowy dwukierunkowy model o staªych efektach zinterakcj¡

Niech dwa zbiory warunków eksperymentalnych b¦d¡ poziomami czynnika 1i czynnika 2.

Przypu±¢my, »e mamy g poziomów czynnika 1 oraz b poziomów czynnika 2oraz »e n niezale»nych obserwacji mo»e by¢ obserwowanych na ka»dychg · b kombinacji poziomów.

Ka»dy element próby 1, 2, ..., n tworzy wektor p zmiennych.



Wielowymiarowy dwukierunkowy model o staªych efektach zinterakcj¡

Dwukierunkowy wielowymiarowy model specy�kujemy w sposóbnast¦puj¡cy:

Xlkr = µ+ τl + βk + γlk + elkr

l = 1, 2, ..., g - poziom czynnika 1k = 1, 2, ..., b - poziom czynnika 2r = 1, 2, ..., n - indeks obserwacji

oraz ∑gl=1 τl =

∑bk=1 βk =

∑gl=1 γlk =

∑gk=1 γlk = 0



Wszystkie wektory s¡ wymiaru p × 1, oraz elkr s¡ niezale»nymi wektoramilosowymi o rozkªadzie Np(0,Σ). Tak wi¦c, obserwacje skªadaj¡ si¦ z ppomiarów powielonych n razy w ka»dej mo»liwej kombinacji poziomówczynnika 1 i 2.

Zgodnie z poprzednimi informacjami, wektory obserwacji mo»emy rozpisa¢w sposób nast¦puj¡cy:

xlkr = x + (x l · − x) + (x ·k − x) + (x lk − x l · − x ·k + x) + (xlkr − x lk)

gdzie x jest ogóln¡ ±redni¡ wektorów obserwacji, x l · ±redni¡ wektorówobserwacji dla l-tego poziomu czynnika 1, x ·k jest ±redni¡ wektorówobserwacji dla k-tego poziomu czynnika 2 a x lk jest ±redni¡ wektorówobserwacji dla l-tego poziomu czynnika 1 oraz k-tego poziomu czynnika 2.



Tablica MANOVA dla wprowadzonego modelu



Test interakcji czynników

Sprawdzamy, czy czynniki modelu oddziaªuj¡ na siebie, sprawdzaj¡chipotez¦:

H0 : γ11 = γ12 = ... = γgb = 0 (brak interakcji)

przeciw

H1 : przynajmniej jedna γlk 6= 0

H0 odrzucana jest dla maªych warto±ci wspóªczynnika (lambda Wilks'a):

Λ∗ = |SSPres ||SSPint+SSPres |



Dla du»ych próbek, lambda Wilks'a Λ∗ mo»e by¢ przyrównana do rozkªaduχ2.

Stosuj¡c mno»nik Barlett'a dla polepszenia aproksymacji rozkªadem χ2

odrzucamy H0 : γ11 = γ12 = ... = γgb = 0 na poziomie istotno±ci je±lizachodzi:

−[gb(n − 1)− p+1−(g−1)(b−1)

2

]lnΛ∗ > χ2(g−1)(b−1)p(α)



Przejd¹my do badania wpªywu czynnika 1 oraz czynnika 2. Najpierw, dlaczynnika 1, porównajmy hipotezy:

H0 : τ1 = τ2 = ... = τg = 0 (brak wpªywu czynnika 1)

przeciw

H1 : przynajmniej jedno τl 6= 0 (pewien wpªyw czynnika 1)

Podobnie jak dla interakcji, dla czynnika 1 wprowad¹my statystyk¦ Λ∗:

Λ∗ = |SSPres ||SSPfac1+SSPres |

Jej maªe warto±ci zgodne s¡ z hipotez¡ alternatywn¡ H1



W przypadku du»ych próbek stosuj¡c mno»nik Barlett'a test przyjmujeposta¢:

odrzucamy H0 : τ1 = τ2 = ... = τg = 0 (brak wpªywu czynnika 1) napoziomie istotno±ci je±li zachodzi:

−[gb(n − 1)− p+1−(g−1)

2

]lnΛ∗ > χ2(g−1)p(α)



Badaj¡c wpªyw czynnika 2 postepujemy analogicznie jak w przypadkuczynnika 1. Porównujemy hipotezy:

H0 : β1 = β2 = ... = βb = 0 (brak wpªywu czynnika 2)

przeciw

H1 : przynajmniej jedna βk 6= 0 (pewien wpªyw czynnika 2)

Wprowad¹my statystyk¦ Λ∗:

Λ∗ = |SSPres ||SSPfac2+SSPres |

Jej maªe warto±ci zgodne s¡ z hipotez¡ alternatywn¡ H1



Znów, dla du»ych próbek, test przyjmuje posta¢:

odrzucamy H0 : β1 = β2 = ... = βb = 0 (brak wpªywu czynnika 2) napoziomie istotno±ci α je±li zachodzi:

−[gb(n − 1)− p+1−(b−1)2

]lnΛ∗ > χ2(b−1)p(α)



MANOVA - przykªad

Badacze ro±lin przeprowadzili eksperyment aby przebada¢ trzy cechyorzeszków ziemnych.Czynnikami branymi pod uwag¦ podczas do±wiadczenia byªy: odmiana (trzypoziomy - rodzaje) oraz lokalizacja (dwa poziomy - miejsca), tworz¡c3 · 2 = 6 ró»nych kombinacji czynników.Dla ka»dych z 6 kombinacji pomiarów dokonano n = 2 razy.Naukowcy rozpatrywali trzy zmienne:

X1 = produkcja

X2 = waga

X3 = rozmiar ziarna



MANOVA - przykªad c.d.

Dane u»yte do przykªadu:




Kod ¹ródªowy z programu w ±rodowisku SAS :




Postepuj¡c zgodnie z wprowadzon¡ wcze±niej teori¡ sprawdzamy najpierwinterakcj¦ pomi¦dzy czynnikami, którymi w naszym przypadku s¡lokalizacja oraz odmiana:

Poniewa» p = 0.0508 > 0.05 = α, st¡d nie odrzucamy hipotezy zerowejmówi¡cej o braku wpªywu czynnika interakcji lokalizacji i odmiany.




W kolejnym kroku sprawdzamy oddziaªywanie wyª¡cznie czynnikapierwszego, jakim jest lokalizacja:

Poniewa» p = 0.0205 < 0.05 = α, st¡d odrzucamy hipotez¦ zerow¡ narzecz hipotezy alternatywnej, mówi¡cej o wpªywie lokalizacji naobserwowane zmienne.




Na ko«cu, sprawdzamy oddziaªywanie wyª¡cznie czynnika drugiego, jakimjest odmiana:

Poniewa» p = 0.0019 < 0.05 = α, st¡d odrzucamy hipotez¦ zerow¡ narzecz hipotezy alternatywnej, mówi¡cej o wpªywie odmiany naobserwowane zmienne.




Wnioski:

interakcja lokalizacji i odmiany orzeszków nie ma wpªywu naobserwowane zmienne

lokalizacja orzeszków ma wpªyw a obserwowane zmienne

odmiana orzeszków ma wpªyw na obserwowane zmienne


Analiza pro�lowa

Rozwa»my wektor: µ′1 = [µ11, µ12, µ13, µ14] prezentuj¡cy ±rednie wyniki dla4 zmiennych dla pierwszej grupy. Wykres tych ±rednich, poª¡czonychliniami, pokazany jest na poni»szym rysunku. �amana jest pro�lem dlapierwszej grupy.


Analiza pro�lowa

Skoncentrujemy si¦ na dwóch grupach. Niech µ′1 = [µ11, µ12, . . . , µ1p] iµ′2 = [µ21, µ22, . . . , µ2p] b¦d¡ wektorami ±rednich dla p zmiennych,odpowiednio dla 1 i 2 grupy.


Analiza pro�lowa

1 Czy pro�le s¡ równolegªe?Równowa»nie: H01 : µ1i − µ1i−1 = µ2i − µ2i−1, i = 2, 3, . . . , p

2 Zakªadaj¡c, »e pro�le s¡ równolegªe, czy si¦ pokrywaj¡?Równowa»nie: H02 : µ1i = µ2i , i = 1, 2, . . . , p

3 Zakªadaj¡c, »e pro�le si¦ pokrywaj¡, czy s¡ poziome? Czyli czywszystkie ±rednie s¡ równe tej samej staªej?Równowa»nie: H03 : µ11 = µ12 = . . . = µ1p = µ21 = µ22 = . . . = µ2p


Analiza pro�lowa

Hipoteza zerowa w (1) mo»e by¢ zapisana jako:

H01 = Cµ1 = Cµ2,

gdzie C jest [p − 1× p] wymiarow¡ macierz¡ kontrastu:

C =

−1 1 0 0 · · · 0 00 −1 1 0 · · · 0 0

. . .

0 0 0 0 · · · −1 1


Analiza pro�lowa

Dla n1 i n2 niezale»nych prób, pochodz¡cych odpowiednio z 1 i 2 populacji,hipotez¦ zerow¡ mo»emy testowa¢ za pomoc¡ obserwacji:

Cx1j , j = 1, 2, . . . , n1Cx2j , j = 1, 2, . . . , n2

Maj¡ one wektory ±rednich Cx̄1 i Cx̄2 oraz macierz kowariancji: CSC ′.

Zakªadaj¡c, »e dwie populacje maj¡ wielowymiarowe rozkªady normalne:Np−1 (Cµ1,CΣC ′) ,Np−1 (Cµ2,CΣC ′), testujemy równolegªo±¢ pro�li:


Analiza pro�lowa

TEST NA RÓWNOLEG�O�� PROFILI O ROZK�ADACHNORMALNYCHOdrzucamy H01 : Cµ1 = Cµ2 na poziomie α je»eli:

T 2 = (x̄1 − x̄2)′C ′[(

1n1

+ 1n2

)CSC ′

]−1C (x̄1 − x̄2) > c2

gdzie:

c2 = (n1+n2−2)(p−1)n1+n2−p Fp−1,n1+n2−p(α)

Gdy pro�le s¡ równolegªe, to pierwszy jest ponad drugim (µ1i > µ2i , dlaka»dego i) lub na odwrót.


Analiza pro�lowa

Zakªadj¡c, »e pro�le s¡ równolegªe, to b¦d¡ si¦ pokrywaªy, gdy nast¦puj¡cesumy:

µ11 + µ12 + . . .+ µ1p = 1′µ1µ21 + µ22 + . . .+ µ2p = 1′µ2

b¦d¡ sobie równe.Zatem H0 w (2) mo»na zapisa¢ jako:

H02 : 1′µ1 = 1′µ2


Analiza pro�lowa

TEST NA POKRYWANIE SI� PROFILI, POD WARUNKIEM �E S�RÓWNOLEG�EDla dwóch populacji o rozkªadach normalnych odrzucamyH02 : 1′µ1 = 1′µ2 na poziomie α je»eli:

T 2 = 1′(x̄1 − x̄2)[(

1n1

+ 1n2

)1′S1

]−11′(x̄1 − x̄2) =

=

1′(x̄1−x̄2)√(1n1

+ 1n2

)1′S1

2

> t2n1+n2−2(α2

) = F1,n1+n2−2(α)


Analiza pro�lowa

Je»eli hipotezy H01 i H02 s¡ prawdziwe, wtedy wspólny wektor µestymujemy za pomoc¡:

x̄ = 1n1+n2

(∑n1j=1 x1j +

∑n2j=1 x2j

)= n1

n1+n2x̄1 + n2

n1+n2x̄2

Je»eli wspólny pro�l jest poziomy, wtedy µ1 = µ2 = . . . = µp oraz hipotezazerowa w (3) mo»e by¢ zapisane jako:

H03 : Cµ = 0

gdzie C jest [p − 1× p] wymiarow¡ macierz¡ kontrastu:

C =

−1 1 0 0 · · · 0 00 −1 1 0 · · · 0 0

. . .

0 0 0 0 · · · −1 1


Analiza pro�lowa

TEST SPRAWDZAJ�CY CZY PROFILE S� POZIOME PODWARUNKIEM, �E SI� POKRYWAJ�

Dla dwóch populacji o rozkªadach normalnych, odrzucamy H03 : Cµ = 0 napoziomie α je»eli:

(n1 + n2)x̄ ′C ′[CSC ′]−1Cx̄ > c2

Gdzie S jest macierz¡ kowariancji opart¡ na n1 + n2 obserwacjach i:

c2 = (n1+n2−1)(p−1)(n1+n2−p+1) Fp−1,n1+n2−p+1(α)


Analiza pro�lowa

Przykªad

Socjolog przebadaª grup¦ dorosªych, jak oceniaj¡ swoje maª»e«stwa. Branebyªy pod uwag¦: wkªad w maª»e«swto, uzyskane rezultaty oraz ocenamaª»onków dotycz¡ca "poziomu" miªo±ci: gor¡ca czy harmonijna.M¦»czy¹ni i kobiety zostali poproszeni o udzielenie odpowiedzi na poni»szepytania:

1 Jak by± opisaª/a swój �wkªad� w maª»e«stwo?2 Jak by± opisaª/a �rezultaty� z maª»e«stwa?3 Jaki jest poziom �gor¡cej� miªo±ci jaki czujesz do partnera/ki?4 Jaki jest poziom �harmonijnej� miªo±ci jaki czujesz do partnera/ki?

x1 = 8-stopniowa skala odpowiedzi na Pyt.1x2 = 8-stopniowa skala odpowiedzi na Pyt.2x3 = 5-stopniowa skala odpowiedzi na Pyt.3x4 = 5-stopniowa skala odpowiedzi na Pyt.4


Analiza pro�lowa

Przykªad cd.

Dwie populacje s¡ de�niowane nast¦puj¡co:

Populacja 1- m¦»czy¹niPopulacja 2- kobiety

Zakªadaj¡c wspóln¡ macierz wariancji- kowariancji Σ interesuje nas to, czypro�le m¦»czyzn i kobiet s¡ takie same. Z próbki n1 = 30 m¦»czyzn in2 = 30 kobiet otrzymujemy wektory warto±ci oczekiwanych:

x̄1 =

6.8337.0333.9674.700

x̄2 =

6.6337.0004.0004.533


Analiza pro�lowa

Przykªad cd.

Oraz macierz wariancji - kowariancji:

S =

0.606 0.262 0.066 0.1610.262 0.637 0.173 0.1430.066 0.173 0.810 0.0290.161 0.143 0.029 0.306


Analiza pro�lowa

Przykªad cd.

Przedstawienie gra�czne pro�li:


Analiza pro�lowa

Przykªad cd.

Obliczamy:

CSC ′ =

−1 1 0 00 −1 1 00 0 −1 1

S

−1 0 01 −1 00 1 −10 0 1

=

0.719 −0.268 −0.125−0.268 1.101 −0.751−0.125 −0.751 1.058

C (x̄1 − x̄2) =

−1 1 0 00 −1 1 00 0 −1 1

0.2000.033−0.0330.167

=

−0.167−0.0660.200


Analiza pro�lowa

Przykªad cd.

T 2 =[−0.167 −0.066 0.200

]( 130

+ 130

)−1 0.719 −0.268 −0.125−0.268 1.101 −0.751−0.125 −0.751 1.058

−1 −0.167−0.0660.200

= 15 · 0.067 = 1.005

Przyjmuj¡c α = 0.05:

c2 = [(30 + 30− 2)(4− 1)/(30 + 30− 4)]F3,56(0.05) = 3.11 · 2.8 = 8.7T 2 = 1.005 < 8.7

Przyjmujemy hipotez¦ o równolegªo±ci pro�li dla m¦»czyzn i kobiet.(Przypominaj¡c sobie wykres nie powinni±my by¢ zdziwieni otrzymanymwynikiem.)


Analiza pro�lowa

Przykªad cd.

Zakªadaj¡c równolegªo±¢ pro�li testujemy pokrywanie si¦ pro�li. Abysprawdzi¢ H02 : 1′µ1 = 1′µ2 potrzebujemy:

(x̄1 − x̄2) = 1′(x̄1 − x̄2) = 0.367

S = 1′S1 = 4.207

Korzystaj¡c macierzy kontrastu otrzymujemy:

T 2 =

(−0.367√

( 130

+ 130

)4.027

)2

= 0.501

Na poziomie α = 0.05:

F1,58 = 4.0 oraz T 2 = 0.501 < F1,58(0.05) = 4.0

Nie mo»emy odrzuci¢ hipotezy, »e pro�le si¦ pokrywaj¡. Czyli odpowiedzina 4 pytania m¦»czyzn i kobiet s¡ takie same.


Analiza pro�lowa

Przykªad cd.

Teraz mogliby±my testowa¢ pokrywanie si¦ pro�li, jednak»e w naszymprzypadku to nie ma sensu, poniewa» Pyt. 1 i Pyt. 2 s¡ mierzone w8-stopniowej skali, a Pyt.3 i Pyt.4 s¡ mierzone w 5-stopniowej skali.Niezgodno±¢ skali sprawia, »e test na pokrywanie si¦ pro�li jest pozbawionysensu. Przykªad ten ukazuje jednocze±nie potrzeb¦ jednolito±ci jednostekdla przeprowadzenia kompletnej analizy pro�lowej.


Analiza pro�lowa

ZadanieSocjolog przebadaª grup¦ dorosªych, jak oceniaj¡ swoje maª»e«stwa. Branebyªy pod uwag¦: wkªad w maª»e«swto, uzyskane rezultaty oraz ocenamaª»onków dotycz¡ca "poziomu" miªo±ci: gor¡ca czy harmonijna.M¦»czy¹ni i kobiety zostali poproszeni o udzielenie odpowiedzi na poni»szepytania:

1 Jak by± opisaª/a swój �wkªad� w maª»e«stwo?2 Jak by± opisaª/a �rezultaty� z maª»e«stwa?3 Jaki jest poziom �gor¡cej� miªo±ci jaki czujesz do partnera/ki?4 Jaki jest poziom �harmonijnej� miªo±ci jaki czujesz do partnera/ki?

x1 = 8-stopniowa skala odpowiedzi na Pyt.1x2 = 8-stopniowa skala odpowiedzi na Pyt.2x3 = 8-stopniowa skala odpowiedzi na Pyt.3x4 = 8-stopniowa skala odpowiedzi na Pyt.4


Analiza pro�lowa

Przyjmujemy α = 0.05. Na pocz¡tek sprawdzamy równolegªo±¢ pro�li:


Analiza pro�lowa

Poniewa» p = 0.9963 > α przyjmujemy hipotez¦ zerow¡, zatem mo»emybada¢, czy pro�le si¦ pokrywaj¡:


Analiza pro�lowa

Poniewa» p = 0.3295 > α przyjmujemy hipotez¦ mówi¡c¡ o tym, »e pro�lesi¦ pokrywaj¡. Nast¦pnie zbadamy czy pro�le s¡ poziome:


Analiza pro�lowa

Poniewa» p = 0.0241 < α, wi¦c odrzucamy hipotez¦ mówi¡c¡ o tym, »epro�le s¡ poziome.


Porównywanie wielowymiarowych ±rednich. Analiza wariancji · Porównywanie wielowymiarowych ±rednich. Analiza wariancji Paulina Grabowska Magdalena Kloc Emilia Kozdemba Adam Pierko

Documents