Econometria - Pós 1 Introdução a Regressão Linear Duas pedras fundamentais em econometria: 1) Modelo de Regressão Linear 2) OLS método de estimação: Mínimos Quadrados Ordinários técnica algébrica / estatística
Econometria - Pós
1Introdução a Regressão Linear
Duas pedras fundamentais em econometria:
1) Modelo de Regressão Linear
2) OLS método de estimação: Mínimos Quadrados Ordinários
técnica algébrica / estatística
Modelo de Regressão Linear
Econometria - Pós
2
Exemplo:
N observações de indivíduos: como os salários dos indivíduos nesta amostra estão relacionados com outras variáveis observadas.
i = 1...N
y: salário
k -1: variáveis : x2 … xk
yi: salário do indivíduo i
xik: variável k do indivíduo i
Modelo de Regressão Linear
Econometria - Pós
3
Qual combinação linear de x2 … xk e uma constante é a melhor aproximação de y?
1 ... k parâmetros constantes∴
1 2 x2 ... k xk
Para o indivíduo i :1 2 xi2 ... k xik
yi− [ 1 2 xi2 ... k xik ] ⇒ diferença entre o valor observado yi e
sua aproximação linear
Modelo de Regressão Linear
Econometria - Pós
4
Forma Matricial
→ valores de x para o indivíduo i no vetor xi :
→ coeficientes em um vetor de dimensão k:
x i= 1 xi2 xi3 … xik '
= 1, 2, ... , k '
Modelo de Regressão Linear
Econometria - Pós
5
→ (pode ser escrito desta forma)yi−xi'
y i− 1 x i2 x i3 ... x ik 1
2
⋮k= y i− [ 1 2 x i2 ... k x ik ]
Forma Matricial
Econometria - Pós
6O Método de Estimação - MQO
O Modelo de RL:
Devemos escolher que torne (1) o menor possível.
Método MQO: Escolho de tal forma que a soma do quadrado das diferenças de (1) seja a menor possível.
Min S ≡∑i=1
N
yi−xi' 2
yi − xi' (1)
Método MQO
Econometria - Pós
7O Método de Estimação - MQO
Problema de Minimização
k condições de 1ª ordem:
−2∑i=1
N
x i y i−x i' = 0
−2∑i=1
N
x i y i − x i x i' = 0
∑i=1
N
x i x i'= ∑
i=1
N
x i y i
= ∑i=1
N
x i y i ∑i=1
N
x i x i'
−1
Sistema com k parâmetros desconhecidos
equações normais
CPO : ∂S ∂
= 0
Econometria - Pós
8O Método de Estimação - MQO
Melhor aproximação linear
Solução
A solução será única se é uma matriz simétrica invertível (inexistência de
multicolinearidade).
Solução para o problema de minimização:
Logo, a combinação linear de xi que minimiza a distância de yi é:
∑i=1
N
xi xi'
b = ∑i=1
N
xi xi'−1
∑i=1
N
xi yi
yi = xi' b valor predito de yi
Econometria - Pós
9O Método de Estimação - MQO
Decomposição de yi
yi = yi ei , onde ei é o resíduo (valor observado menos valor predito)
S b =∑i=1
N
ei2 valor mínimo da função objetivo S
soma do quadrado dos resíduos
Econometria - Pós
10O Método de Estimação - MQO
Propriedades Algébricas
1) ∑i=1
N
xi ei = 0
e = e1 ... eN ' vetor de resíduos ortogonal a cada vetor das observações de x
Se xi contém uma constante, ∑i=1
N
ei = 0
2) y = x' b
Econometria - Pós
11O Método de Estimação - MQO
Reta da regressão: resíduos e valores preditos
Econometria - Pós
12Introdução a Regressão Linear
Resolução do Problema de Minimização na Forma Matricial
...Relembrando o Modelo de RL:
y = yi
⋮
yN
y
yy
y
x x xx x x
x x xn
K
K
n n nK K n
=
=
×
+
1
2
11 12 1
21 22 2
1 2
1
2
1
2
ββ
β
εε
ε
Econometria - Pós
13Introdução a Regressão Linear
S = y−X ' y−X =
y ' y − X ' y − X ' −X y ' −X =
y ' y − ' X ' y ' X ' X − y ' X
Solução OLS
b = X ' X −1 X ' y
X ' X =∑i=1
N
x i x i'
Econometria - Pós
14Introdução a Regressão Linear
S = y' y − y ' X − ' X ' y ' X ' X
∂S ∂
= − ∂ y ' X ∂ −x ' y
− ∂ ' X ' y∂ −x' y
∂ ' X ' X ∂
=−X ' y .2 X ' Xb X ' X b = 0
=− 2 X ' y 2 X ' X b = 0
X ' y = X ' X b
b = X ' X −1 X ' y
Econometria - Pós
15Introdução a Regressão Linear
CPO ⇒ X ' e = 0
X ' y − Xb =0
y = Xb e
y = X X ' X −1 X 'P X
yy=Xb
e
Econometria - Pós
16Introdução a Regressão Linear
Decomposição de y:
y = Xb e
e = I − X X ' X −1 X 'M X
y
e = y − X X ' X −1 X ' y
Econometria - Pós
17Introdução a Regressão Linear
P X ≡ X X ' X −1 X ' → matriz projetora, projeta o vetor y no espaço coluna de X.
MX → complemento ortogonal, tudo do vetor y que não é projetado no espaço da coluna X.
Econometria - Pós
18Introdução a Regressão Linear
Projeção Ortogonal
Econometria - Pós
19Introdução a Regressão Linear
Propriedades de Px e Mx
1) Px = Px '
[X X ' X −1 X ' ]= X X ' X −1 X '
2) Px⋅Px = Px
3) Px⋅Mx = 0Px [ I − Px] = 0Px − Px⋅Px = 0
4) Posto Mx = n− kPosto Px = k
Econometria - Pós
20O Método de Estimação - MQO
Teorema 1
(Única solução)
y ∈ℝn , S ⊂ ℝn é um subespaço linear, então é solução de Min ∥y−∥2 sss
y− ⊥S e existe (único).
∈ S
Econometria - Pós
21O Método de Estimação - MQO
→ não necessariamente b é único (pode haver multicolinearidade)
Min ∥y−∥2
∈ col X
ortogonal a S (espaço gerado pelas colunas de X )
X ' y− =0 ⇒ b = arg min ∥y−X ∥2
= Xb
Econometria - Pós
22O Método de Estimação - MQO
X ' y−Xb= 0X ' y − X ' Xb= 0X ' y = X ' Xb
Se X ' X é não singular
= X⋅ X ' X −1 X 'P X
y'
Obs: Posto X = Posto X ' X = k
X ' X −1 X ' y =X ' X −1 X ' X b
b= X ' X −1 X ' y
Teorema Frisch-Waugh-Lovell (FWL)
Econometria - Pós
23
Na regressão linear múltipla do vetor y em dois conjuntos de variáveis,
X1 e X2, o subvetor b2 é o conjunto de coeficientes obtidos quando os
resíduos da regressão de y em X1 são regredidos no conjunto de resíduos
obtidos quando cada coluna de X2 é regredida em X1 .
Teorema Frisch-Waugh-Lovell (FWL)
Econometria - Pós
24
Regressão em 2 passos
Tudo de y que não
foi explicado por X1
mas pode ser
explicado por X2.
Tudo de X2 que
não está sendo
explicado por X1.
1) Regrido y em X 1: M X1 y são os resíduos
2) Regrido X 2 em X 1: M X1⋅X 2 são os resíduos
M X1⋅ y = M X1⋅ X 22
O Teorema FWL diz que será igual a b2.
Teorema Frisch-Waugh-Lovell (FWL)
Econometria - Pós
25
Regressão Particionada
X β
y=X =X 11X 22
Teorema Frisch-Waugh-Lovell (FWL)
Econometria - Pós
26
Temos que calcular a inversa
de uma matriz particionada
Teorema Frisch-Waugh-Lovell (FWL)
Econometria - Pós
27
É um conjunto de coeficientes da regressão de Y
em X1 menos um fator de correção
Regressão de y em X1
Teorema Frisch-Waugh-Lovell (FWL)
Econometria - Pós
28
Para achar o b2:
Teorema Frisch-Waugh-Lovell (FWL)
Econometria - Pós
29
Idéia por trás do Teorema1) Quando X1 é ortogonal a X2 :
2) Quando X1 não é ortogonal a X2 :
Se X1⊥X2: regrido y em X1 e X2;
acho PX y;
Projeto PX y em X1 e acho
que é igual a b1.
Quando X1 não é ortogonal a X2, a
projeção PX y em X1 determina
um coeficiente menor que b1.
1
1
X 1b1−X 11
X 1b1
X 2b2
X 2b2
PX y
PX yX 1
1