Kvantitative metoder 2

KM2: F13 1

Kvantitative metoder 2

Inferens i den lineære regressionsmodel

19. marts 2007

KM2: F13 2

Program for i dag:

Opsamling vedr. inferens i en lineær regressionsmodel under Gauss-Markov antagelser (W.4-5)

• Eksempel med flere restriktioner (F-test)• Lagrange multiplikator (LM) test

Inferens uden MLR.5:

• Betydning for OLS af, hvis MLR.5 ikke er opfyldt (W8.1)• Beregning af robuste standardfejl og kovarians under

heteroskedasticitet (W8.2)

KM2: F13 3

Oversigt over OLS estimatorens egenskaber

Antagelser Eksakt Asymptotisk

MLR1-MLR4 Middelret

(Theorem 3.1)

Konsistent

(Theorem 5.1)

MLR1-MLR5 BLUE

(efficiens)

(Theorem 3.4)

Asymptotisk efficiens

(Theorem 5.3)

MLR1-MLR5 +MLR6

Normal fordelt

(Theorem 4.1)

Asymptotisk Normalfordelt

(Theorem 5.2)

KM2: F13 4

Inferens i den multiple regressionsmodel med Gauss-Markov antagelser (MLR.1-5): Opsamling

• Resultater om OLS med endeligt antal observationer: Normalitetsantagelse eksakte t- og F-test.

• Asymptotiske resultater for OLS:

– Konsistens under MLR.1-4.

– Asymptotisk normalfordelt under MLR.1-5: • t- og F-test begrundes approximativt i endeligt

datasæt uden at antage normalfordelte fejlled.• Andre typer af test: Lagrange multiplikator testet

– Asymptotisk efficiens af OLS under MLR.1-5.

n

KM2: F13 5

Eksempel: U-landsbistand (Økonometri 1 eksamen 2005I)

Virker u-landsbistanden? (SAS program aid_ext.sas)• Model med mål for omfanget af bistand til en række

udviklingslande og en lang række af kontrolvariabler• Multipel lineær regressionsmodel:

• Hovedspørgsmål: Har variablerne aid og a_policy nogen signifikant effekt på væksten? Relevante hypoteser:

1. (effekten af bistand afhænger ikke af politik)

2. (ingen effekt af bistand)

0 1 2 3 4 5 6

10 11

0 _ 2

.... _ ...

growth y ethnf assassin eth ass icrge m gdp

aid a policy u

0 10 11: 0 og 0H 0 11: 0H

KM2: F13 6

Alternativt test i store datasæt: LM testet

• Lagrange multiplikator testet (eller score testet).• Generelt format:

– Estimation af modellen under H0

– Residualer fra restrikteret model, – Hjælperegression (“auxiliary regression”) af – På hvad: afhænger af den specifikke hypotese.

• Kræver ikke estimation af den generelle (dvs.urestrikterede model): Oftest den i praksis sværeste.

• LM testet kan anvendes når Gauss-Markov antagelserne (MLR1-MLR5) er opfyldt.

u

u

KM2: F13 7

LM testet: Udelukkelsesrestriktioner

• Specifikt eksempel: Udelukkelsesrestriktion

• Restrikteret model:

• Under H0 vil være ukorreleret med de udeladte variabler:

0 1 1 2 2 1 1... ....k q k q k q k q k ky x x x x x u

0 1: .... 0k q kH

0 1 1 2 2 ... k q k qy x x x u

u

1,...,k q kx x

KM2: F13 8

LM testet: Hjælperegressionen

• Regression af på ekskluderede og inkluderede variabler: og

• Registrer R2 fra hjælperegressionen: Ikke andet.

• Beregn teststørrelsen

• LM-teststørrelsen vil almindeligvis (og uanset om der antages normalfordelte fejlled eller ej) være asymptotisk fordelt som , hvor q er antallet af restriktioner.

u

1,...,k q kx x 1,..., k qx x

2LM nR

2( )q

KM2: F13 9

LM testet: I praksis

• Regression af y på det restrikterede sæt af regressorer. Gem residualerne,

• Regression af på alle forklarende variabler. Gem R2

• Beregn LM=n R2

• Sammenlign beregnede testværdi med relevant fraktil i fordelingen. Eller beregn p-værdien for testet.

• Afvis H0 hvis testet falder i den kritiske region.

u

u

2( )q

KM2: F13 10

Inferens uden MLR.5: Heteroskedasticitet (W.8.1-2)

• OLS estimation under heteroskedasticitet:– Konsekvenser af heteroskedasticitet for OLS – Hvordan kan man udføre gyldige test på grundlag af

OLS-estimation, selvom der er heteroskedasticitet? – Korrektion af variansen af OLS estimatoren– Generelle hypotesetest under heteroskedasticitet

• Senere (efter påske): – Test for heteroskedasticitet– Bedre (mere efficiente) estimatorer end OLS, når der er

heteroskedasticitet: Vægtning af observationerne:

KM2: F13 11

Heteroskedasticitet

• I kapitel 2 og 3 blev antagelsen om homoskedasticitet introduceret: Samme varians på fejlleddet for alle i

• Antagelsen kan være temmelig restriktiv i praksis. Derfor vil vi se på tilfælde med heteroskedasticitet

• MLR.5 er antagelsen om homoskedasticitet:

• Alternativ: Modellen lider af heteroskedasticitet af ukendt form:

• Vi tillader altså, at fejlleddet til hver enhed (individ, firma, land) har sin egen varians (meget generel form)

• Homoskedasticitet kan ses som det specialtilfælde, hvor

21( | , , )kV u x x

2( | ) i iV u x

2 2 for allei i

KM2: F13 12

Konsekvenser af heteroskedasticitet for OLS

• Se på simpel lineær regressionsmodel

• Antagelserne MLR.1- MLR.4 sikrer at OLS middelret og konsistent: Vedrører ikke variansen på fejlleddet.

• Under MLR.1-5 er OLS efficient og dens varians er givet ved det simple udtryk fra kapitel 2.

2 1 22 2

11 0

2 2

1 1

ˆ ˆar( | ) ar( | )( ) ( )

n

ii

n nx

i ii i

n xV x V x

SSTx x x x

0 1i i iy x u

KM2: F13 13


• Udregn variansen af OLS estimatoren, når MLR.1- MLR.4 er opfyldt, men MLR.5 ikke holder.

• Variansen af OLS estimatoren er i det generelle tilfælde givet ved

• Leddene i tælleren gives forskellig vægte, afhængig af • SST led forkorter ikke ud som det er tilfældet under

homoskedasticitet

2 2 2 2

1 11 2 2

2

1

( ) ( )ˆ( | )

( )

n n

i i i ii i

nx

ii

x x x xV x

SSTx x

2i

KM2: F13 14


• Hvis MLR.5 ikke er opfyldt, siger vi at fejlleddene er heteroskedastiske

• OLS estimatorens egenskaber ved heteroskedasticitet: + OLS stadig middelret og konsistent (givet MLR.1-4)- Variansen af OLS estimaterne estimeres ikke middelret

eller konsistent af de sædvanlige OLS-udtryk- Konfidensintervallet er ikke rigtigt konstrueret- t og F-test er ikke nødvendigvis t og F-fordelt, LM test er

ikke nødvendigvis fordelt (og er derfor ikke pålidelige)– OLS er ikke længere den bedste lineære middelrette

estimator (BLUE): Der findes andre lineære middelrette estimatorer med mindre varians

– OLS er ikke længere asymptotisk efficient

2

KM2: F13 15

Hvordan kan man teste i modeller med heteroskedasticitet?

• Heteroskedasticitet i fejlleddet betyder, at test der er baseret på OLS estimation kun er gyldige, hvis man korrigerer standardfejlene for heteroskedasticitet.

• Til det formål er der udviklet såkaldt heteroskedasticitets-konsistente eller -robuste test.

• Antag: Modellen lider af heteroskedasticitet af ukendt form:

• Ideen er at opnå en estimator for variansen af OLS estimatoren, som er konsistent selvom om der er heteroskedasticitet i fejlleddet.

2( | ) i iV u x

KM2: F13 16

Korrektion af variansen i en simpel lineær regressionsmodel

White (1980) har vist, at under svage betingelser vil en konsistent estimator af OLS variansen være givet ved

• Heteroskedasticitets-robust varians og heterosk. robuste standardfejl (White’s standard errors, HCSE).

• Beregnes fx i Proc Reg med optionen ACOV i SAS.

2 2

11 2

ˆ( )ˆˆ ˆ( | ) , er OLS residualet.

n

i ii

i

x

x x uV x u

SST

KM2: F13 17

Korrektion af variansen i en multipel lineær regressionsmodel:

Forelæsningsnoten

1 1 1

1 1

2

1

Varians af OLS estimatoren i det generelle tilfælde:

ˆ( | ) [( ' ) ' | ] ( ' ) ' ( | ) ( ' )

( ' ) ' ( ' )

' 1Behøver et konsistent estimat af: '

Whites res

n

i i ii

V X V X X X u X X X X V u X X X X

X X X X X X

X Xx x

n n

2

1

1 1

ultat: Estimeres konsistent af:

1ˆ ˆ '

Den robuste OLS variansmatrix kan derfor generelt estimeres som:

ˆˆ( | ) ( ' ) ( ' )

n

i i ii

S u x xn

V X n X X S X X

KM2: F13 18

Test i modeller med heteroskedasticitet:Enkelt restriktion

• Heteroskedasticitets-robust t-test af hypotesen:• t-teststørrelse:

hvor HCSE er heterosk. robust standardfejl på • t-teststørrelsen er asymptotisk standard normalfordelt• For små datasæt er t-teststørrelserne ikke

nødvendigvis tæt på en t-fordeling• Brug af ACOV optionen i SAS giver robust

kovariansmatrix. HCSE beregnes som kvadratroden af diagonalelementer

0 : kH ˆkt

HCSE

ˆj

KM2: F13 19

Test i modeller med heteroskedasticitet: Flere restriktioner

• Hypotese:

hvor er en (k+1)x1 vektor af parametre, R er en q x(k+1) matrix og r er en q x1 vektor

• Heterosk. robust F-test kan beregnes ud fra robust kovariansmatrix

• Heterosk. robust Wald test: Wald-teststørrelsen

• Det er dette test som udføres ved brug af TEST efter Proc Reg med ACOV optionen i SAS

0 :H R r

1 2ˆ ˆ ˆˆ( ) '( ( ) ') ( ) ~ ( )W R r RV R R r q

KM2: F13 20

NB’er fra denne forelæsning

• Antagelse om homoskedasticitet giver et simpelt udtryk for variansen af OLS estimatorerne og sikrer at OLS er efficient

• Vi har set en variansestimator, der virker uden MLR.5: Muligt at lave inferens ved hjælp af OLS estimatoren (men den ikke er efficient).

KM2: F13 21

Næste gang

• Onsdag: – Start på W.6: Flere emner i den multiple lineære

regressionsmodel

– Kort om Obligatorisk opgave 1

Kvantitative metoder 2

Documents