Tema 2.- Regresión lineal múltiple (I). 2.1. Introducción 2.2. Especificación del modelo de regresión lineal múltiple. 2.3. Estimación de los parámetros del modelo por mínimos cuadrados. 2.4. Interpretación de la ecuación de regresión. 2.5. Contraste de la regresión 2.5.1. Componentes de variación. 2.5.2. Bondad de ajuste. 2.5.3. Validación del modelo. 2.5.4. Significación de parámetros. 2.6. Predicción. 2.7. Estimación paso a paso: Correlación semiparcial. 2.8. Términos de interacción en el modelo de regresión.
47
Embed
Tema 2.- Regresión lineal múltiple (I). 2.4 ... · Tema 2.- Regresión lineal múltiple (I). 2.1. Introducción 2.2. Especificación del modelo de regresión lineal múltiple. 2.3.
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Tema 2.- Regresión lineal múltiple (I). 2.1. Introducción2.2. Especificación del modelo de regresión lineal múltiple. 2.3. Estimación de los parámetros del modelo por mínimos cuadrados. 2.4. Interpretación de la ecuación de regresión. 2.5. Contraste de la regresión
2.5.1. Componentes de variación.2.5.2. Bondad de ajuste.2.5.3. Validación del modelo.2.5.4. Significación de parámetros.
2.6. Predicción. 2.7. Estimación paso a paso: Correlación semiparcial.2.8. Términos de interacción en el modelo de regresión.
2.1. Introducción
La necesidad de ampliar el modelo de regresión simple incluyendo nuevas variables predictoras obedece a dos razones fundamentales:
Dar cuenta de la complejidad de la conductaAumentar la potencia de los contrastes de la regresión
2.2.Especificación del modelo de RLM2.2.1.Estructura básica del modelo
X1
Y εX2
X3
Xk
Como en la regresión simple las variables predictoras o independientes pueden ser cuantitativas o cualitativas
2.2.Especificación del modelo de RLM
Deseamos estudiar la relación entre síntomas de estrés, años trabajados y salario. En este caso las variables predictoras son cuantitativas. Deseamos estudiar la relación entre cansancio emocional, el sexo y el tipo de contrato laboral distinguiéndose entre contrato indefinido y temporal.Deseamos estudiar la relación entre sobrecarga en el trabajo, falta de recursos, sexo y tipo de contrato distinguiéndose para la variable tipo de contrato los siguientes funcionario, laboral indefinido y temporal.
Expresión matemática del modelo en la población
( )Y f X X X X Y
Y X X X
Y Y
i ij i i i k ik i i i
i i i k ik
i i i
= + = + + + + = +
= + + +
= −
ε β β β β ε ε
β β β β
ε
0 1 1 2 2
0 1 1 2 2
... $
$ ...$
YYYY
X X XX X XX X XX X XN
K
K
K
N N NK K N
1
2
3
11 12 1
21 22 2
31 32 3
1 2
0
1
3
1
2
3
1111
⎛
⎝
⎜⎜⎜⎜
⎞
⎠
⎟⎟⎟⎟=
⎛
⎝
⎜⎜⎜⎜
⎞
⎠
⎟⎟⎟⎟
⎛
⎝
⎜⎜⎜⎜
⎞
⎠
⎟⎟⎟⎟+
⎛
⎝
⎜⎜⎜⎜
⎞
⎠
⎟⎟⎟⎟
ββββ
εεεε
Y XB e= +
Hipótesis básicas del modelo de RLM
1. El término de Error es una variable aleatoria con media cero
2. Homocedasticidad: la varianza del término de error es constante
3. Los errores son independientes entre sí.
4. Los errores se distribuyen normalmente
5. Las variables predictoras no pueden correlacionar de manera perfecta
Resumen gráfico de las hipótesis básicas formuladas en términos de la variable criterio
Criterio de mínimos cuadrados:
2.3.1. La ecuación de regresión de mínimos cuadrados en puntuaciones directas y principales propiedades
2.3. Estimación de los parámetros del modelo de RLM
Y b b X b X b X e Y e
Y b b X b X b X
e Y Y
i i i k ik i i i
i i i k ik
i i i
= + + + + = +
= + + +
= −
0 1 1 2 2
0 1 1 2 2
... $
$ ...$
( ) ( )( )
( ) ( )
e Y Y Y b b X b X b Xii
N
i i i i i k iki
N
i
N2
1
2
0 1 1 2 22
11
= − = − + + + + =
=
= ==
−
∑ ∑∑ $ ... min
b X' X X' Y1
Propiedades de la ecuación de regresión de mínimos cuadrados
1) La media de las puntuaciones predichas es igual a la media de Y2) Los errores tienen media cero3) La ecuación de regresión de mínimos cuadrados para por el centro de la nube de puntos:
4) Los errores no correlacionan ni con las variable predictorasni con las puntuaciones predichas
( )X X X YK1 2, ,... ,
( )b Y b X b X b XK K0 1 1 2 2= − + + +...
2.4. Interpretación de la ecuación de regresión.
Ejemplo:
Nivel de desarrollo a los 6 años
Estimulación paterna
Nivel de desarrollo a los 3 años
Estimulación materna 0,48
0,01
0,62
$ , , , ,Y X X Xi = + + +20 80 0 48 0 01 0 621 2 3
En el cuadro de coeficientes observamos que los coeficientes de regresión parcial de las variables monoparentalidad de hecho y sexo no son estadísticamente distintos de cero en consecuencia dichas variables deben eliminarse del modelo y volver a estimar la ecuación de regresión con las variables harter total y competencia escolar.
Este procedimiento de incluir todas las variables que el investigador considera relevantes en la explicación de la variable dependiente en SPSS se conoce como método “Introducir”. Es el investigador, una vez analizados estadísticamente los coeficientes estimados, el que debe depurar la ecuación eliminando las variables no significativas. Deben eliminarse una a una. Es decir en primer lugar eliminamos sexo y volvemos a estimar con las que quedan y si todas son significativas esa sería la ecuación válida. En cualquier otro caso habría que eliminar la siguiente no significativa. Este proceso acaba cuando todas las variables son estadísticamente significativas.
Para seleccionar las variables relevantes en un modelo de regresión se puede proceder como hemos comentado en el párrafo anterior o se pueden utilizar otros procedimientos. De los procedimientos disponibles para construir un modelo de regresión e implementados en SPSS comentaremos el de estimación “paso a paso” o “pasos sucesivos” porque junto al anterior es de los que más se utilizan en investigación.
2.7. Estimación paso a paso: correlación semiparcial al cuadrado(más información en:http://www.personal.us.es/vararey/adatos2/semiparcial.pdf)
Paso 1. Se estima una ecuación de regresión simple con la variable independiente tenga la mayor correlación con la variable dependiente:Paso 2. Se busca la variable independiente que disminuya más la proporción de variabilidad residual de la primera ecuación. Paso 3. Se recalcula la ecuación de regresión utilizando las dos variables independientes que mejor explican a la variable dependiente, y se examina el valor parcial F de la variable original del modelo para ver si todavía realiza una contribución significativa. Si no lo hace, se elimina. Si lo hace, la ecuación queda: Paso 4. Continua este procedimiento con todas las variables independientes restantes para ver si deberían incluirse en la ecuación. Si se incluye alguna, hay que examinar las variables previamente incluidas para juzgar si deben mantenerse.Vamos a utilizar el procedimiento de estimación “paso a paso” o “pasos sucesivos” para estimar la ecuación de regresión de la variable estrés total (emes_total) utilizando como variables independientes sexo, personal y competencia. Para utilizar este procedimiento en el cuadro de regresión lineal seleccionamos “pasos suc” en método.
22110ˆ XbXbbY ++=
110ˆ XbbY +=
2.7. Estimación paso a paso: correlación semiparcial al cuadrado
2.7. Estimación paso a paso: correlación semiparcial al cuadrado
De los resultados obtenidos con el procedimiento de estimación “paso a paso” comentaremos aquellos de la tabla Resumen del modelo que son nuevos con respecto a los obtenidos con el método “Introducir”. Como en el método anterior la primera tabla es:
En esta tabla en la columna Modelo los valores 1 y 2 corresponden a las ecuaciones estimadas en los dos pasos de la aplicación del método. En el paso 1 se estima la ecuación de regresión simple (modelo 1) con la variable competencia como predictora por que es la que tiene una correlación (R=0,310) mayor con la variable dependiente.En el paso 2 se ha estimado la ecuación de regresión múltiple con las variables competencia y sexo. De las dos variables independientes restantes: personal y sexo la que incrementa más la proporción de variabilidad explicada de Y es sexo por tanto esta se incluye y se excluye personal. La variable personal se ha excluido por no resultar significativa. En la Columna R cuadrado disponemos de la bondad de ajuste del modelo de regresión simple estimado en el paso 1
y que puede ser representada en un diagrama de Venn por el siguiente gráfico:
096,021 =yR Y
0,096
096,021 =yR
2.7. Estimación paso a paso: correlación semiparcial al cuadrado(más información en:http://www.personal.us.es/vararey/adatos2/semiparcial.pdf)
El segundo valor de la columna de R cuadrado es la bondad de ajuste del modelo de regresión múltiple final:
Como ocurre siempre la bondad de ajuste de la ecuación de regresión múltiple es mayor que la de la ecuación de regresión simple (0,144>0,096). La diferencia es el incremento en proporción de variabilidad explicada debido a la inclusión en el segundopaso de la variable sexo. Luego la variable sexo aporta a la variabilidad explicada de la variable dependiente:
a este incremento se le denomina coeficiente de correlación semiparcial al cuadrado y se le denota como
El diagrama de Venn correspondiente a la bondad de ajuste anterior sería:
144,0212. =yR
21
212.
2)1.2( yyy rRR −=
048,0096,0144,021
212. =−=− yy rR
096,021 =yR
048,02)1.2( =yR
Y
X1 X2
2.7. Estimación paso a paso: correlación semiparcial al cuadrado
La segunda parte de la tabla Resumen del modelo concretamente en la columna Cambio en R cuadrado de nuevo obtenemos la bondad de ajuste de la regresión simple
y el incremento en variabilidad explicada debida a la Inclusión de la variable sexo . Además, como para que una variable se incluya en la ecuación la variabilidad explicada tiene que ser estadísticamente significativa en la columna Cambio en F se calculan dichos valores para el modelo de regresión Simple y para el incremento debido a la variable sexo. La última columna corresponde a la significación de la F para la validación del modelo de regresión simple y para el incremento en variabilidad explicada debida a la variable sexo respectivamente. La siguiente tabla resume la información más importante que en la tabla Resumen del modelo nos proporciona el procedimiento de estimación paso a paso.
096,021 =yR
048,02)1.2( =yR
Paso Ecuación Bondad de ajuste F
1
2
Proporción de variabilidad explicada por:
X1
X1
X2
110ˆ XbbY +=
11 2
1
21
−−−
KNR
R
y
y21yR 2
1yR
21yR
11 2
12.
2)1.2(
−−−
KNR
R
y
y22110
ˆ XbXbbY ++= 212.yR
2)1.2(yR
2.7. Otro ejemplo de Regresión lineal múltiple con SPSS y estimación paso a paso
(Constante)conflrol Conflicto de rol(Constante)conflrol Conflicto de rolsobrecar Sobrecarga(Constante)conflrol Conflicto de rolsobrecar Sobrecargasuperesp Superespecialización
Modelo1
2
3
B Error típ.
Coeficientes noestandarizados
Beta
Coeficientesestandarizad
ost Sig.
Variable dependiente: emesttot emest_totala.
203,021 =yR
055,02)1.2( =yR
Y
X1
X2
X3
015,02)12.3( =yR
2.8. Términos de interacción en el modelo de regresión(más información en http://www.personal.us.es/vararey/adatos2/interaccion.pdf).
Interacción entre variables cualitativas
Interacción entre una variable cualitativa y una cuantitativa
Interacción entre variables cuantitativas
2.8. Interacción entre variables cualitativas: ausencia de interacción
Uno de los problemas más graves que podemos encontrarnos a la hora de construir un modelo de regresión es el de la multicolinealidad que tiene que ver con la elección de variables independientes o predictoras altamente correlacionadas. Cuando esto ocurre podemos tener un modelo válido y ningún coeficiente de regresión significativo. Esto se debe a que, en presencia de colinealidad, los errores estándar son muy grandes y los coeficientes inestables. Para detectar multicolinealidad podemos utilizar diferentes índices dos de los más frecuentes e implementados en los paquetes estadísticos son el factor de inflación de varianza (FIV) y el índice de condición (IC). Respecto al factor de inflación de la varianza (FIV) se sugiere como regla que ningún FIV sea mayor que 4 (otros autores sitúan el valor de FIV en 10). En cuanto al índice de condición se considera que valores mayores que 30 indican multicolinealidadalta, entre 10 y 30 moderada y menos de 10 baja.