Estimador insesgado de varianza mínima

En estadística un estimador insesgado de varianza mínima es aquel que tiene menor varianza que cualquier otro estimador insesgado para todos los posibles valores del parámetro.

Para los problemas estadísticos prácticos, es importante determinar si es que existe dicho estimador, ya que, naturalmente, se evitarían procedimientos sub-óptimos, manteniendo constante el resto de las condiciones. Esto ha llevado al desarrollo sustancial de la teoría estadística relacionada con el problema de la estimación óptima. Aunque la memoria particular de "óptimo" aquí - que requiere insesgamiento y medir la "bondad" con la varianza - puede no ser siempre lo que se quiere para cualquier situación práctica dada, es una donde se encuentran los resultados útiles y de aplicación general.

Definición

Considere la estimación $g(\theta )$ basada en los datos $X_{1},X_{2},\ldots ,X_{n}$ IID de algún miembro de la familia de las densidades $p_{\theta },\theta \in \Omega$, en donde $\Omega$ es el espacio de parámetros. Un estimador $\delta (X_{1},X_{2},\ldots ,X_{n})$ de $g(\theta )$ es insesgado de varianza mínima si $\forall \theta \in \Omega$,

$\mathrm {var} (\delta (X_{1},X_{2},\ldots ,X_{n}))\leq \mathrm {var} ({\tilde {\delta }}(X_{1},X_{2},\ldots ,X_{n}))$

para cualquier otro estimador insesgado ${\tilde {\delta }}.$

Si un estimador insesgado de $g(\theta )$ existe, entonces se puede probar que hay una Estimador insesgado de varianza mínima esencialmente único. Usando el Teorema de Rao-Blackwell también se puede probar que la determinación de la Estimador insesgado de varianza mínima es simplemente una cuestión de encontrar un estadístico completo y suficiente para la familia $p_{\theta },\theta \in \Omega$ y acondicionamiento cualquier estimador imparcial sobre el mismo.

Además, por el teorema de Lehmann-Scheffé, un estimador insesgado es una función de una completa, estadístico suficiente es el estimador UMVUE.

Ponga formalmente, supongamos $\delta (X_{1},X_{2},\ldots ,X_{n})$ es imparcial para $g(\theta )$, y que $T$ es una estadística suficiente completa para la familia de densidades. Entonces

$\eta (X_{1},X_{2},\ldots ,X_{n})=\mathrm {E} (\delta (X_{1},X_{2},\ldots ,X_{n})|T)\,$

es el MVUE para $g(\theta ).$

Un caso análogo bayesiano es un estimador de Bayes, en particular con error cuadrático medio mínimo (MMSE).

Selección del estimador

Un estimador eficiente no tiene por qué existir, pero si lo hace y si es imparcial, es la MVUE. Puesto que el error cuadrático medio (MSE) de un estimador es δ

$\operatorname {MSE} (\delta )=\mathrm {var} (\delta )+[\mathrm {bias} (\delta )]^{2}\$

la MVUE minimiza MSE entre los estimadores no sesgados. En algunos casos estimadores sesgados tener menor MSE porque tienen una varianza más pequeña que lo hace cualquier estimador insesgado; ver sesgo estimador.

Ejemplo

Considere la posibilidad de que los datos son una sola observación de una distribución absolutamente continua en $\mathbb {R}$ con la densidad:

$p_{\theta }(x)={\frac {\theta e^{-x}}{(1+e^{-x})^{\theta +1}}}$

y deseamos encontrar el estimador de UMVU

$g(\theta )={\frac {1}{\theta ^{2}}}$

En primer lugar, reconocemos que la densidad se puede escribir como

${\frac {e^{-x}}{1+e^{-x}}}\exp(-\theta \log(1+e^{-x})+\log(\theta ))$

Qué es una familia exponencial con suficiente estadística $T=\mathrm {log} (1+e^{-x})$. De hecho, esta es una familia exponencial de rango completo, y por lo tanto T es completa suficiente. Ver familia exponencial para una derivación que muestra

$\mathrm {E} (T)=-{\frac {1}{\theta }},\quad \mathrm {var} (T)={\frac {1}{\theta ^{2}}}$

Por lo tanto

$\mathrm {E} (T^{2})={\frac {2}{\theta ^{2}}}$

Claramente $\delta (X)={\frac {T^{2}}{2}}$ es insesgado, por lo que el estimador es UMVU

$\eta (X)=\mathrm {E} (\delta (X)|T)=\mathrm {E} \left(\left.{\frac {T^{2}}{2}}\,\right|\,T\right)={\frac {T^{2}}{2}}={\frac {\log(1+e^{-X})^{2}}{2}}$

Este ejemplo ilustra que una función imparcial de la estadística suficiente completa será UMVU.

Otros ejemplos

• Para una distribución normal de media y varianza desconocidas, la media de la muestra y (imparcial) varianza de la muestra son los MVUEs para la media poblacional y la varianza de la población.

Sin embargo, la desviación estándar de la muestra no es imparcial para la desviación estándar de la población - ver estimación no sesgada de la desviación estándar. Además, para otras distribuciones de la media muestral y la varianza de la muestra no se encuentran en MVUEs generales - para una distribución uniforme con límites superior e inferior desconocidas, el rango medio es la MVUE para la media poblacional.

• Si k ejemplares se eligen (sin reemplazo) de una distribución uniforme discreta sobre el conjunto {1, 2, ..., N} con desconocido límite superior N, el MVUE para N es

${\frac {k+1}{k}}m-1,$

donde m es el máximo de la muestra. Este es un escalados y desplazados (de manera imparcial) transformar del máximo de la muestra, que es una estadística suficiente y completa. Vea problema tanque alemán para más detalles.

Referencias

• Keener, Robert W. (2006). Statistical Theory: Notes for a Course in Theoretical Statistics. Springer. pp. 47-48, 57-58. 
• Voinov V. G.,, Nikulin M.S. (1993). Unbiased estimators and their applications, Vol.1: Univariate case. Kluwer Academic Publishers. pp. 521p. 

• Datos: Q3755281