Regresión Lasso
Penalización L1: encoge los coeficientes y anula los irrelevantes.
¿Cuáles de muchas variables candidatas aportan realmente a la predicción?
y depende sólo de las tres primeras variables (efectos 3, −2 y 1,5); el resto son ruido. Las variables comparten una correlación común.
Controles
Ficha del modelo
Las siete preguntas que todo modelo de la biblioteca debe responder antes de publicarse.
- ¿Cuáles de muchas variables candidatas aportan realmente a la predicción?
- Variable respuesta y muchas explicativas, posiblemente correlacionadas.
- Relación lineal.
- Sólo unas pocas variables tienen efecto (esparsidad).
- Variables estandarizadas antes de penalizar.
- Trayectoria de los coeficientes según λ.
- λ elegido por validación cruzada.
- Variables seleccionadas.
- Los coeficientes penalizados están sesgados a propósito; no tienen errores estándar clásicos ni p-valores válidos.
- Validación cruzada en 5 bloques sobre una malla de 30 valores de λ.
- Entre variables muy correlacionadas elige una casi al azar.
- Interpretar los coeficientes penalizados como efectos causales.
- Tibshirani, R. (1996). JRSS B 58(1). Friedman, Hastie y Tibshirani (2010). J. Statistical Software 33(1).