Regresión Ridge

La regresión Ridge (también llamada regresión cresta) es un método de estimación de los coeficientes de modelos de regresión múltiple en escenarios en los que las variables independientes están muy correlacionadas.​ Se ha utilizado en muchos campos, como la econometría, la química y la ingeniería.​ También conocido como regularización de Tíjonov, en honor a Andrey Tikhonov, es un método de regularización de problemas mal planteados.​ Es particularmente útil para mitigar el problema de la multicolinealidad en la regresión lineal, que se produce comúnmente en modelos con un gran número de parámetros.​ En general, el método proporciona una mayor eficiencia en los problemas de estimación de parámetros a cambio de una cantidad tolerable de sesgo (ver compensación sesgo-varianza).​

La teoría fue introducida por primera vez por Hoerl y Kennard en 1970 en sus artículos de Technometrics "Ridge regressions: biased estimation of nonorthogonal problems" y "Ridge regressions: applications in nonorthogonal problems",​​​ resultado de diez años de investigación en el campo del análisis de crestas.​

La regresión Ridge se desarrolló como una posible solución a la imprecisión de los estimadores de mínimos cuadrados cuando los modelos de regresión lineal tienen algunas variables independientes multicolineales (altamente correlacionadas) mediante la creación de un estimador de regresión de cresta (RR). Esto proporciona una estimación más precisa de los parámetros de la cresta, ya que su varianza y estimador cuadrático medio son a menudo más pequeños que los estimadores mínimos cuadrados derivados anteriormente.​​

Descripción general

En el caso más sencillo, el problema de una matriz de momentos casi sinular $\mathbf {X} ^{\mathsf {T}}\mathbf {X}$ se alivia añadiendo elementos positivos a las diagonales, con lo que disminuye su número de condición. De forma análoga al estimador de mínimos cuadrados ordinarios, el estimador de cresta simple viene dado por:

${\hat {\beta }}_{R}=\left(\mathbf {X} ^{\mathsf {T}}\mathbf {X} +\lambda \mathbf {I} \right)^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {y}$

Donde $\mathbf {y}$ es la regresión, $\mathbf {X}$ es la matriz de diseño, $\mathbf {I}$ es la matriz de identidad, y el parámetro ridge $\lambda \geq 0$ sirve como constante que desplaza las diagonales de la matriz de momentos.​ Puede demostrarse que este estimador es la solución al problema de mínimos cuadrados sujeto a la restricción $\beta ^{\mathsf {T}}\beta =c$, que puede expresarse como un Lagrangiano:

$\min _{\beta }\,\left(\mathbf {y} -\mathbf {X} \beta \right)^{\mathsf {T}}\left(\mathbf {y} -\mathbf {X} \beta \right)+\lambda \left(\beta ^{\mathsf {T}}\beta -c\right)$

que muestra que $\lambda$ no es más que el multiplicador de Lagrange de la restricción.​ Típicamente, $\lambda$ se elige según un criterio heurístico, de modo que la restricción no se satisfará exactamente. Concretamente en el caso de $\lambda =0$, en el que la restricción no es vinculante, el estimador de cresta se reduce a mínimos cuadrados ordinarios. A continuación se analiza un enfoque más general de la regularización de Tíjonov.

Historia

La regularización de Tíjonov se inventó de forma independiente en muchos contextos diferentes. Se dio a conocer ampliamente a través de su aplicación a ecuaciones integrales en los trabajos de Andrey Tikhonov​​​​​ y David L. Phillips.​ Algunos autores utilizan el término regularización Tíjonov-Phillips. El caso de dimensión finita fue expuesto por Arthur E. Hoerl, que adoptó un enfoque estadístico,​ y por Manus Foster, que interpretó este método como un filtro de Wiener-Kolmogorov (Kriging).​ Siguiendo a Hoerl, se conoce en la literatura estadística como regresión ridge,​ llamada así por el análisis ridge ("ridge" se refiere a la trayectoria desde el máximo restringido).​

Regularización de Tíjonov

Supongamos que para una matriz conocida $A$ y el vector $\mathbf {b}$, queremos encontrar un vector $\mathbf {x}$ de forma que:

$A\mathbf {x} =\mathbf {b} ,$

donde $\mathbf {x}$ y $\mathbf {b}$ pueden ser de diferentes tamaños y $A$ puede no ser cuadrado.

El enfoque estándar es la regresión lineal por mínimos cuadrados ordinarios. Sin embargo, si ninguna $\mathbf {x}$ satisface la ecuación o más de una $\mathbf {x}$ lo satisface, es decir, la solución no es única, se dice que el problema está mal planteado. En tales casos, la estimación por mínimos cuadrados ordinarios conduce a un sistema de ecuaciones sobredeterminado o, más a menudo, subdeterminado. La mayoría de los fenómenos del mundo real tienen el efecto de filtros de paso bajo en la dirección de avance, donde $A$ mapea $\mathbf {x}$ hacia $\mathbf {b}$. Por lo tanto, al resolver el problema inverso, la cartografía inversa funciona como un filtro de paso alto que tiene la tendencia indeseable de amplificar el ruido (los valores propios / valores singulares son mayores en la cartografía inversa donde eran menores en la cartografía directa). Además, los mínimos cuadrados ordinarios anulan implícitamente cada elemento de la versión reconstruida de $\mathbf {x}$ que está en el espacio nulo de $A$, en lugar de permitir que un modelo se utilice como prior para $\mathbf {x}$. Los mínimos cuadrados ordinarios buscan minimizar la suma de los residuos al cuadrado, que puede escribirse de forma compacta como:

$\left\|A\mathbf {x} -\mathbf {b} \right\|_{2}^{2},$

donde $\|\cdot \|_{2}$ es la norma euclidiana.

Para dar preferencia a una solución particular con propiedades deseables, se puede incluir un término de regularización en esta minimización:

$\left\|A\mathbf {x} -\mathbf {b} \right\|_{2}^{2}+\left\|\Gamma \mathbf {x} \right\|_{2}^{2}$

para una matriz de Tíjonov convenientemente elegida $\Gamma$. En muchos casos, esta matriz se elige como múltiplo escalar de la matriz identidad $\Gamma =\alpha I$, dando preferencia a las soluciones con normas más pequeñas; esto se conoce como regularización L₂ .​ En otros casos, pueden utilizarse operadores de paso alto (por ejemplo, un operador de diferencia o un operador de Fourier ponderado) para imponer la suavidad si se cree que el vector subyacente es mayoritariamente continuo. Esta regularización mejora el condicionamiento del problema, permitiendo así una solución numérica directa. Una solución explícita, denotada por ${\hat {x}}$ es dado por

${\hat {x}}=\left(A^{\mathsf {T}}A+\Gamma ^{\mathsf {T}}\Gamma \right)^{-1}A^{\mathsf {T}}\mathbf {b} .$

El efecto de la regularización puede variar en función de la escala de la matriz $\Gamma$. Para $\Gamma =0$ se reduce a la solución por mínimos cuadrados no regularizada, siempre que (A^TA)^-1 exista.

La regularización de L₂ se utiliza en muchos contextos aparte de la regresión lineal, como la clasificación con regresión logística o máquinas de vectores de soporte,​ y la factorización de matrices.​

Aplicación a los resultados de ajuste existentes

Dado que la Regularización de Tíjonov simplemente añade un término cuadrático a la función objetivo en los problemas de optimización, es posible hacerlo después de que se haya producido la optimización no regularizada. Por ejemplo, si el problema anterior con $\Gamma =0$ se obtiene la solución ${\hat {x}}_{0}$ la solución en presencia de $\Gamma \neq 0$ puede expresarse como sigue:

${\hat {x}}=B{\hat {x}}_{0},$

con la "matriz de regularización" $B=\left(A^{\mathsf {T}}A+\Gamma ^{\mathsf {T}}\Gamma \right)^{-1}A^{\mathsf {T}}A$

Si el ajuste de parámetros viene acompañado de una matriz de covarianza de las incertidumbres estimadas de los parámetros $V_{0}$ entonces la matriz de regularización será

$B=(V_{0}^{-1}+\Gamma ^{\mathsf {T}}\Gamma )^{-1}V_{0}^{-1},$

y el resultado regularizado tendrá una nueva covarianza

$V=BV_{0}B^{\mathsf {T}}.$

En el contexto de ajustes de verosimilitud arbitrarios, esto es válido, siempre que la aproximación cuadrática de la función de verosimilitud sea válida. Esto significa que, siempre que la perturbación del resultado no regularizado sea pequeña, se puede regularizar cualquier resultado que se presente como un punto de mejor ajuste con una matriz de covarianza. No se necesita un conocimiento detallado de la función de verosimilitud subyacente.​

Regularización de Tikhonov generalizada

Para distribuciones normales multivariantes generales para $\mathbf {x}$ y el error de los datos, se puede aplicar una transformación de las variables para reducir al caso anterior. De forma equivalente, se puede buscar un $\mathbf {x}$ para minimizar:

$\left\|A\mathbf {x} -\mathbf {b} \right\|_{P}^{2}+\left\|\mathbf {x} -\mathbf {x} _{0}\right\|_{Q}^{2},$

donde se usó $\left\|\mathbf {x} \right\|_{Q}^{2}$ para representar la norma ponderada al cuadrado $\mathbf {x} ^{\mathsf {T}}Q\mathbf {x}$ (compárese con la distancia de Mahalanobis). En la interpretación bayesiana $P$ es la matriz de covarianza inversa de $\mathbf {b}$, $\mathbf {x} _{0}$ es el valor esperado de $\mathbf {x}$, y $Q$ es la matriz de covarianza inversa de $\mathbf {x}$. La matriz de Tíjonov viene dada entonces como una factorización de la matriz $Q=\Gamma ^{\mathsf {T}}\Gamma$ (por ejemplo, la factorización de Cholesky) y se considera un filtro de blanqueamiento.

Este problema generalizado tiene una solución óptima $\mathbf {x} ^{*}$ que puede escribirse explícitamente mediante la fórmula

$\mathbf {x} ^{*}=\left(A^{\mathsf {T}}PA+Q\right)^{-1}\left(A^{\mathsf {T}}P\mathbf {b} +Q\mathbf {x} _{0}\right),$

o equivalentemente, cuando Q no es una matriz nula:

$\mathbf {x} ^{*}=\mathbf {x} _{0}+\left(A^{\mathsf {T}}PA+Q\right)^{-1}\left(A^{\mathsf {T}}P\left(\mathbf {b} -A\mathbf {x} _{0}\right)\right).$

Regularización de Lavrentyev

En algunas situaciones, se puede evitar el uso de la transposición $A^{\mathsf {T}}$ a propuesta de Mikhail Lavrentyev.​ Por ejemplo, si $A$ es simétrica positiva definida, es decir $A=A^{\mathsf {T}}>0$, también lo es su inversa $A^{-1}$, que puede utilizarse para establecer la norma ponderada al cuadrado $\left\|\mathbf {x} \right\|_{P}^{2}=\mathbf {x} ^{\mathsf {T}}A^{-1}\mathbf {x}$ en la regularización generalizada de Tikhonov, lo que lleva a minimizar:

$\left\|A\mathbf {x} -\mathbf {b} \right\|_{A^{-1}}^{2}+\left\|\mathbf {x} -\mathbf {x} _{0}\right\|_{Q}^{2}$

o, lo que es lo mismo, hasta un término constante,

$\mathbf {x} ^{\mathsf {T}}\left(A+Q\right)\mathbf {x} -2\mathbf {x} ^{\mathsf {T}}\left(\mathbf {b} +Q\mathbf {x} _{0}\right).$

Este problema de minimización tiene una solución óptima $\mathbf {x} ^{*}$ que puede escribirse explícitamente mediante la fórmula

$\mathbf {x} ^{*}=\left(A+Q\right)^{-1}\left(\mathbf {b} +Q\mathbf {x} _{0}\right),$

que no es sino la solución del problema generalizado de Tikhonov donde $A=A^{\mathsf {T}}=P^{-1}.$

La regularización de Lavrentyev, si procede, es ventajosa respecto a la regularización original de Tikhonov, ya que la matriz de Lavrentyev $A+Q$ puede estar mejor condicionada, es decir, tener un número de condición menor, en comparación con la matriz de Tikhonov $A^{\mathsf {T}}A+\Gamma ^{\mathsf {T}}\Gamma .$

Regularización en el espacio de Hilbert

Normalmente, los problemas lineales discretos mal condicionados son el resultado de la discretización de ecuaciones integrales, y se puede formular una regularización de Tíjonov en el contexto original de dimensión infinita. En lo anterior podemos interpretar $A$ como operador compacto en espacios de Hilbert, y $x$ y $b$ como elementos del dominio y rango de $A$. El operador $A^{*}A+\Gamma ^{\mathsf {T}}\Gamma$ es entonces un operador autoadjunto acotado invertible.

Relación con la descomposición de valores singulares y el filtro de Wiener

Con $\Gamma =\alpha I$ esta solución de mínimos cuadrados puede analizarse de forma especial mediante la descomposición de valores singulares. Dada la descomposición del valor singular:

$A=U\Sigma V^{\mathsf {T}}$

con valores singulares $\sigma _{i}$, la solución regularizada de Tikhonov puede expresarse como

${\hat {x}}=VDU^{\mathsf {T}}b,$

donde $D$ tiene valores diagonales

$D_{ii}={\frac {\sigma _{i}}{\sigma _{i}^{2}+\alpha ^{2}}}$

y es cero en el resto. Esto demuestra el efecto del parámetro de Tikhonov en el número de condición del problema regularizado. Para el caso generalizado, puede obtenerse una representación similar utilizando una descomposición generalizada de valores singulares.​

Por último, está relacionado con el filtro de Wiener:

${\hat {x}}=\sum _{i=1}^{q}f_{i}{\frac {u_{i}^{\mathsf {T}}b}{\sigma _{i}}}v_{i},$

donde los pesos Wiener son $f_{i}={\frac {\sigma _{i}^{2}}{\sigma _{i}^{2}+\alpha ^{2}}}$ y $q$ es el rango de $A$.

Determinación del factor de Tijonov

El parámetro óptimo de regularización $\alpha$ suele ser desconocida y, a menudo, en los problemas prácticos se determina mediante un método ad hoc. Un posible enfoque se basa en la interpretación bayesiana que se describe a continuación. Otros enfoques son el principio de discrepancia, la validación cruzada, el método de la curva en L,​ la máxima verosimilitud restringida y el estimador insesgado del riesgo predictivo. Grace Wahba demostró que el parámetro óptimo, en el sentido de la validación cruzada dejando uno fuera minimiza.​​

$G={\frac {\operatorname {RSS} }{\tau ^{2}}}={\frac {\left\|X{\hat {\beta }}-y\right\|^{2}}{\left[\operatorname {Tr} \left(I-X\left(X^{\mathsf {T}}X+\alpha ^{2}I\right)^{-1}X^{\mathsf {T}}\right)\right]^{2}}},$

donde $\operatorname {RSS}$ es la suma residual de cuadrados, y $\tau$ es el número efectivo de grados de libertad.

Utilizando la descomposición SVD anterior, podemos simplificar la expresión anterior:

$\operatorname {RSS} =\left\|y-\sum _{i=1}^{q}(u_{i}'b)u_{i}\right\|^{2}+\left\|\sum _{i=1}^{q}{\frac {\alpha ^{2}}{\sigma _{i}^{2}+\alpha ^{2}}}(u_{i}'b)u_{i}\right\|^{2},$

$\operatorname {RSS} =\operatorname {RSS} _{0}+\left\|\sum _{i=1}^{q}{\frac {\alpha ^{2}}{\sigma _{i}^{2}+\alpha ^{2}}}(u_{i}'b)u_{i}\right\|^{2},$

y

$\tau =m-\sum _{i=1}^{q}{\frac {\sigma _{i}^{2}}{\sigma _{i}^{2}+\alpha ^{2}}}=m-q+\sum _{i=1}^{q}{\frac {\alpha ^{2}}{\sigma _{i}^{2}+\alpha ^{2}}}.$

Relación con la formulación probabilística

La formulación probabilística de un problema inverso introduce (cuando todas las incertidumbres son gaussianas) una matriz de covarianza $C_{M}$ que representa las incertidumbres a priori sobre los parámetros del modelo, y una matriz de covarianza $C_{D}$ que representan las incertidumbres sobre los parámetros observados.​ En el caso especial de que estas dos matrices sean diagonales e isótropas, $C_{M}=\sigma _{M}^{2}I$ y $C_{D}=\sigma _{D}^{2}I$ y, en este caso, las ecuaciones de la teoría inversa se reducen a las ecuaciones anteriores, con $\alpha ={\sigma _{D}}/{\sigma _{M}}$.

Interpretación bayesiana

Véase también: Error cuadrático medio

Aunque a primera vista la elección de la solución de este problema regularizado pueda parecer artificial, y de hecho la matriz $\Gamma$ parece bastante arbitrario, el proceso puede justificarse desde un punto de vista bayesiano.​ Obsérvese que para un problema mal planteado hay que introducir necesariamente algunos supuestos adicionales para obtener una solución única. Estadísticamente, la distribución de probabilidad ''a priori'' de $x$ a veces se considera una distribución normal multivariante. En aras de la simplicidad, se parte de los siguientes supuestos: las medias son cero; sus componentes son independientes; los componentes tienen la misma desviación típica $\sigma _{x}$. Los datos también están sujetos a errores, y los errores en $b$ también se suponen independientes con media y desviación típica nulas $\sigma _{b}$. Bajo estos supuestos, la solución regularizada por Tikhonov es la solución más probable dados los datos y la distribución a priori de $x$ según el teorema de Bayes.​

Si el supuesto de normalidad se sustituye por los supuestos de homocedasticidad e incorrelación de errores, y si se sigue suponiendo que la media es cero, el teorema de Gauss-Markov implica que la solución es el estimador lineal insesgado mínimo.

Véase también

• El estimador LASSO es otro método de regularización en estadística

Lectura adicional

• Gruber, Marvin (1998). Improving Efficiency by Shrinkage: The James–Stein and Ridge Regression Estimators. Boca Raton: CRC Press. ISBN 0-8247-0156-9. 
• Kress, Rainer (1998). «Tikhonov Regularization». Numerical Analysis. New York: Springer. pp. 86-90. ISBN 0-387-98408-9. 
• Press, W. H.; Teukolsky, S. A.; Vetterling, W. T.; Flannery, B. P. (2007). «Section 19.5. Linear Regularization Methods». Numerical Recipes: The Art of Scientific Computing (3rd edición). New York: Cambridge University Press. ISBN 978-0-521-88068-8. 
• Saleh, A. K. Md. Ehsanes; Arashi, Mohammad; Kibria, B. M. Golam (2019). Theory of Ridge Regression Estimation with Applications. New York: John Wiley & Sons. ISBN 978-1-118-64461-4. 
• Taddy, Matt (2019). «Regularization». Business Data Science: Combining Machine Learning and Economics to Optimize, Automate, and Accelerate Business Decisions. New York: McGraw-Hill. pp. 69-104. ISBN 978-1-260-45277-8.