Regresión Ridge
Penalización L2: encoge los coeficientes para estabilizarlos con colinealidad.
¿Cómo obtener coeficientes estables cuando las variables están muy correlacionadas?
y depende sólo de las tres primeras variables (efectos 3, −2 y 1,5); el resto son ruido. Las variables comparten una correlación común.
Controles
Ficha del modelo
Las siete preguntas que todo modelo de la biblioteca debe responder antes de publicarse.
- ¿Cómo obtener coeficientes estables cuando las variables están muy correlacionadas?
- Variable respuesta y muchas explicativas, posiblemente correlacionadas.
- Relación lineal.
- Todas las variables aportan algo, en magnitudes pequeñas.
- Variables estandarizadas antes de penalizar.
- Trayectoria de los coeficientes según λ.
- λ elegido por validación cruzada.
- Coeficientes contraídos.
- Los coeficientes penalizados están sesgados a propósito; no tienen errores estándar clásicos ni p-valores válidos.
- Validación cruzada en 5 bloques sobre una malla de 30 valores de λ.
- No selecciona variables: todas quedan distintas de cero.
- Interpretar los coeficientes penalizados como efectos causales.
- Hoerl, A. E. y Kennard, R. W. (1970). Technometrics 12(1).