Información de Fisher

En estadística matemática, la información de Fisher (a veces llamada simplemente información​) es una forma de medir la cantidad de información que una variable aleatoria observable X contiene sobre un parámetro desconocido θ de una distribución que modela X. Formalmente, es la varianza del score (o puntuación), o el valor esperado de la información observada.

El papel de la información de Fisher en la teoría asintótica de la estimación de máxima verosimilitud fue destacado por el estadístico Sir Ronald Fisher (siguiendo algunos resultados iniciales de Francis Ysidro Edgeworth). La matriz de información de Fisher se utiliza para calcular las matrices de covarianza asociadas a las estimaciones de máxima verosimilitud. También puede utilizarse en la formulación de pruebas estadísticas, como la prueba de Wald.

En la estadística bayesiana, la información de Fisher interviene en la derivación de distribuciones a priori no informativas según la regla de Jeffreys.​ También aparece como la covarianza de grandes muestras de la distribución posterior, siempre que la distribución a priori sea suficientemente suave (un resultado conocido como el teorema de Bernstein-von Mises, que fue anticipado por Laplace para las familias exponenciales).​ El mismo resultado se utiliza al aproximar la posterior con la aproximación de Laplace, donde la información de Fisher aparece como la covarianza de la gaussiana ajustada.​

Se ha demostrado que los sistemas estadísticos de carácter científico (físicos, biológicos, etc.) cuyas funciones de verosimilitud obedecen a la invariancia de desplazamiento obedecen al máximo de información de Fisher.​ El nivel del máximo depende de la naturaleza de las restricciones del sistema.

Definición

La información de Fisher es una forma de medir la cantidad de información que una variable aleatoria observable $X$ contiene respecto a un parámetro desconocido $\theta$ sobre el que se basa la probabilidad de $X$. Sea $f(X;\theta )$ la función de densidad de probabilidad (o función de masa de probabilidad) para $X$, condicionada al valor de $\theta$. Describe la probabilidad de que observemos un resultado dado de $X$, dado un valor conocido de $\theta$. Si $f$ tiene un pico pronunciado con respecto a los cambios en $\theta$, es fácil indicar el valor «correcto» de $\theta$ a partir de los datos, o equivalentemente, que los datos $X$ proporcionan mucha información sobre el parámetro $\theta$. Si $f$ es plano y disperso, se necesitarían muchas muestras de $X$ para estimar el valor real «verdadero» de $\theta$ que se podría obtener utilizando toda la población muestreada. Esto sugiere estudiar algún tipo de varianza con respecto a $\theta$.

Formalmente, la derivada parcial con respecto a $\theta$ del logaritmo natural de la función de verosimilitud se denomina score. Bajo ciertas condiciones de regularidad, si $\theta$ es el parámetro verdadero (es decir $X$ se distribuye realmente como $f(X;\theta )$, puede demostrarse que el valor esperado (el primer momento) de la puntuación, evaluado en el valor verdadero del parámetro $\theta$ es 0:​

${\begin{aligned}\operatorname {E} \left[\left.{\frac {\partial }{\partial \theta }}\log f(X;\theta )\,\,\right|\,\,\theta \right]={}&\int _{\mathbb {R} }{\frac {{\frac {\partial }{\partial \theta }}f(x;\theta )}{f(x;\theta )}}f(x;\theta )\,dx\\[6pt]={}&{\frac {\partial }{\partial \theta }}\int _{\mathbb {R} }f(x;\theta )\,dx\\[6pt]={}&{\frac {\partial }{\partial \theta }}1\\[6pt]={}&0.\end{aligned}}$

La información de Fisher es definida por la varianza del score:​

${\mathcal {I}}(\theta )=\operatorname {E} \left[\left.\left({\frac {\partial }{\partial \theta }}\log f(X;\theta )\right)^{2}\,\,\right|\,\,\theta \right]=\int _{\mathbb {R} }\left({\frac {\partial }{\partial \theta }}\log f(x;\theta )\right)^{2}f(x;\theta )\,dx,$

Nótese que ${\mathcal {I}}(\theta )\geq 0$. Una variable aleatoria con información de Fisher elevada implica que el valor absoluto del score suele ser alto. La información de Fisher no es función de una observación concreta, ya que se promedia la variable aleatoria $X$.

Si log f(x; θ) es dos veces diferenciable con respecto a $\theta$, y bajo ciertas condiciones de regularidad, entonces la información de Fisher también se puede escribir de la siguiente manera:​

${\mathcal {I}}(\theta )=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log f(X;\theta )\,\,\right|\,\,\theta \right],$

ya que

${\frac {\partial ^{2}}{\partial \theta ^{2}}}\log f(X;\theta )={\frac {{\frac {\partial ^{2}}{\partial \theta ^{2}}}f(X;\theta )}{f(X;\theta )}}-\left({\frac {{\frac {\partial }{\partial \theta }}f(X;\theta )}{f(X;\theta )}}\right)^{2}={\frac {{\frac {\partial ^{2}}{\partial \theta ^{2}}}f(X;\theta )}{f(X;\theta )}}-\left({\frac {\partial }{\partial \theta }}\log f(X;\theta )\right)^{2}$

y

$\operatorname {E} \left[\left.{\frac {{\frac {\partial ^{2}}{\partial \theta ^{2}}}f(X;\theta )}{f(X;\theta )}}\,\,\right|\,\,\theta \right]={\frac {\partial ^{2}}{\partial \theta ^{2}}}\int _{\mathbb {R} }f(x;\theta )\,dx=0.$

En ese sentido, la información de Fisher puede verse como la curvatura de la curva de soporte (el gráfico de la log-verosimilitud). Cerca de la estimación de máxima verosimilitud, una información de Fisher baja indica que el máximo parece blunt, es decir, que el máximo es poco profundo y hay muchos valores cercanos con una log-verosimilitud similar. Por el contrario, una información de Fisher alta indica que el máximo es agudo.

Condiciones de regularidad

Las condiciones de regularidad son las siguientes:​

1. La derivada parcial de $f(X;\theta )$ con respecto a $\theta$ existe en casi todas partes. Puede fallar en existir en un conjunto nulo, siempre que este conjunto no dependa de $\theta$.
2. La integral de $f(X;\theta )$ puede ser diferenciada bajo el signo integral con respecto a $\theta$.
3. El soporte de $f(X;\theta )$ no depende de $\theta$.

Si $\theta$ es un vector entonces las condiciones de regularidad deben cumplirse para cada componente de $\theta$. Es fácil encontrar un ejemplo de una densidad que no satisface las condiciones de regularidad: La densidad de una variable Uniforme(0, $\theta$) no satisface las condiciones 1 y 3. En este caso, aunque la información de Fisher pueda calcularse a partir de la definición, no tendrá las propiedades que se le suponen típicamente.

En términos de probabilidad

Dado que la probabilidad de $\theta$ dado $X$ es siempre proporcional a la probabilidad $f(X;\theta )$, sus logaritmos difieren necesariamente en una constante que es independiente de $\theta$, y las derivadas de estos logaritmos con respecto a $\theta$ son necesariamente iguales. Por lo tanto, se puede sustituir log-verosimilitud l(θ; X) en lugar de log $f(X;\theta )$ en las definiciones de la información de Fisher.

Muestras de cualquier tamaño

El valor $X$ puede representar una única muestra extraída de una única distribución o puede representar una colección de muestras extraídas de una colección de distribuciones. Si hay $n$ muestras y las $n$ distribuciones correspondientes son estadísticamente independientes, la información de Fisher será necesariamente la suma de los valores de información de Fisher de una sola muestra, uno por cada muestra de su distribución. En particular, si las $n$ distribuciones son independientes e idénticamente distribuidas, entonces la información de Fisher será necesariamente $n$ veces la información de Fisher de una sola muestra de la distribución común. Dicho de otro modo, la información de Fisher de observaciones i.i.d. de una muestra de tamaño $n$ de una población es igual al producto de $n$ y la información de Fisher de una única observación de la misma población.

Derivación informal del límite de Cramér-Rao

La cota de Cramér-Rao​​ establece que la inversa de la información de Fisher es un límite inferior de la varianza de cualquier estimador insesgado de $\theta$. H.L. Van Trees (1968) y B. Roy Frieden (2004) proporcionan el siguiente método para derivar la cota de Cramér-Rao, un resultado que describe el uso de la información de Fisher.

Informalmente, empezamos considerando un estimador insesgado ${\hat {\theta }}(X)$. Matemáticamente, «insesgado» significa que:

$\operatorname {E} \left[\left.{\hat {\theta }}(X)-\theta \,\,\right|\,\,\theta \right]=\int \left({\hat {\theta }}(x)-\theta \right)\,f(x;\theta )\,dx=0{\text{ independiente del valor de }}\theta .$

Esta expresión es cero independiente de $\theta$, por lo que su derivada parcial con respecto a $\theta$ también debe ser cero. Por la regla del producto, esta derivada parcial también es igual a:

$0={\frac {\partial }{\partial \theta }}\int \left({\hat {\theta }}(x)-\theta \right)\,f(x;\theta )\,dx=\int \left({\hat {\theta }}(x)-\theta \right){\frac {\partial f}{\partial \theta }}\,dx-\int f\,dx.$

Para cada $\theta$, la función de verosimilitud es una función de densidad de probabilidad, y por tanto $\int f\,dx=1$. Utilizando la regla de la cadena sobre la derivada parcial de $\log f$ y luego dividiendo y multiplicando por $f(x;\theta )$, se puede comprobar que ${\frac {\partial f}{\partial \theta }}=f\,{\frac {\partial \log f}{\partial \theta }}.$

Utilizando ambos en lo anterior, obtenemos

$\int \left({\hat {\theta }}-\theta \right)f\,{\frac {\partial \log f}{\partial \theta }}\,dx=1.$

Factorizando el integrando se obtiene

$\int \left(\left({\hat {\theta }}-\theta \right){\sqrt {f}}\right)\left({\sqrt {f}}\,{\frac {\partial \log f}{\partial \theta }}\right)\,dx=1.$

Elevando al cuadrado la expresión de la integral, la desigualdad de Cauchy-Schwarz da como resultado

$1={\biggl (}\int \left[\left({\hat {\theta }}-\theta \right){\sqrt {f}}\right]\cdot \left[{\sqrt {f}}\,{\frac {\partial \log f}{\partial \theta }}\right]\,dx{\biggr )}^{2}\leq \left[\int \left({\hat {\theta }}-\theta \right)^{2}f\,dx\right]\cdot \left[\int \left({\frac {\partial \log f}{\partial \theta }}\right)^{2}f\,dx\right].$

El segundo factor entre corchetes se define como la información de Fisher, mientras que el primer factor entre corchetes es el error cuadrático medio esperado del estimador ${\hat {\theta }}$. Reordenando, la desigualdad da como resultado

$\operatorname {Var} \left({\hat {\theta }}\right)\geq {\frac {1}{{\mathcal {I}}\left(\theta \right)}}.$

En otras palabras, la precisión con la que podemos estimar $\theta$ está limitada fundamentalmente por la información de Fisher de la función de verosimilitud.

Alternativamente, la misma conclusión puede obtenerse directamente de la desigualdad de Cauchy-Schwarz para variables aleatorias, $|\operatorname {Cov} (A,B)|^{2}\leq \operatorname {Var} (A)\operatorname {Var} (B)$, aplicado a las variables aleatorias ${\hat {\theta }}(X)$ y $\partial _{\theta }\log f(X;\theta )$, y observando que para estimadores insesgados tenemos

$$\operatorname {Cov} [{\hat {\theta }}(X),\partial _{\theta }\log f(X;\theta )]=\int {\hat {\theta }}(x)\,\partial _{\theta }f(x;\theta )\,dx=\partial _{\theta }\operatorname {E} [{\hat {\theta }}]=1.$$

Ejemplo: Experimento Bernoulli de un solo parámetro

Un ensayo de Bernoulli es una variable aleatoria con dos resultados posibles, 0 y 1, donde 1 tiene una probabilidad de $\theta$. El resultado se puede considerar como determinado por el lanzamiento de una moneda sesgada, siendo la probabilidad de cara (1) es $\theta$ y la probabilidad de cruz (0) es 1 - $\theta$.

Sea $X$ un ensayo de Bernoulli de una muestra de la distribución, se puede calcular que la información de Fisher contenida en $X$ es:

${\begin{aligned}{\mathcal {I}}(\theta )&=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log \left(\theta ^{X}(1-\theta )^{1-X}\right)\right|\theta \right]\\[5pt]&=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\left(X\log \theta +(1-X)\log(1-\theta )\right)\,\,\right|\,\,\theta \right]\\[5pt]&=\operatorname {E} \left[\left.{\frac {X}{\theta ^{2}}}+{\frac {1-X}{(1-\theta )^{2}}}\,\,\right|\,\,\theta \right]\\[5pt]&={\frac {\theta }{\theta ^{2}}}+{\frac {1-\theta }{(1-\theta )^{2}}}\\[5pt]&={\frac {1}{\theta (1-\theta )}}.\end{aligned}}$

Dado que la información de Fisher es aditiva, la información de Fisher contenida en $n$ ensayos Bernoulli independientes es

${\mathcal {I}}(\theta )={\frac {n}{\theta (1-\theta )}}.$

Si $x_{i}$ es uno de los $2^{n}$ posibles resultados de $n$ ensayos Bernoulli independientes y $x_{ij}$ es el $j$-ésimo resultado del $i$-ésimo ensayo, entonces la probabilidad de $x_{i}$ viene dada por:

$p(x_{i},\theta )=\prod _{j=0}^{n}\theta ^{x_{ij}}(1-\theta )^{x_{ij}}$La media del $i$-ésimo ensayo es $\mu _{i}=(1/n)\sum _{j=1}^{n}x_{ij}$

El valor esperado de la media de un ensayo es $E(\mu )=\sum _{x_{i}}\mu _{i}\,p(x_{i},\theta )=\theta$

donde la suma es sobre todos los $2^{n}$ posibles resultados del ensayo. El valor esperado del cuadrado de las medias es:

$E(\mu ^{2})=\sum _{x_{i}}\mu _{i}^{2}\,p(x_{i},\theta )={\frac {(1+(n-1)\theta )\theta }{n}}$

por lo que la varianza en el valor de la media es:

$E(\mu ^{2})-E(\mu )^{2}=(1/n)\theta (1-\theta )$

Se ve que la información de Fisher es el recíproco de la varianza del número medio de aciertos en $n$ ensayos Bernoulli. En general, esto es cierto. En este caso, el límite de Cramér-Rao es una igualdad.

Forma matricial

Cuando hay $N$ parámetros, de modo que $\theta$ es un $N$ × 1 vector $\theta ={\begin{bmatrix}\theta _{1}&\theta _{2}&\dots &\theta _{N}\end{bmatrix}}^{\textsf {T}},$ entonces la información de Fisher adopta la forma de una matriz $N$ × $N$. Esta matriz se denomina matriz de información de Fisher (MIF o Fisher information matrix) y tiene el elemento típico

${\bigl [}{\mathcal {I}}(\theta ){\bigr ]}_{i,j}=\operatorname {E} \left[\left.\left({\frac {\partial }{\partial \theta _{i}}}\log f(X;\theta )\right)\left({\frac {\partial }{\partial \theta _{j}}}\log f(X;\theta )\right)\,\,\right|\,\,\theta \right].$

La MIF es una matriz $N$ × $N$ semidefinida positiva. Si es definida positiva, define una métrica riemanniana en el espacio de parámetros $N$-dimensional. La geometría de la información utiliza esto para conectar la información de Fisher con la geometría diferencial, y en ese contexto, esta métrica se conoce como métrica de la información de Fisher.

Bajo ciertas condiciones de regularidad, la matriz de información de Fisher también puede escribirse como

${\bigl [}{\mathcal {I}}(\theta ){\bigr ]}_{i,j}=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta _{i}\,\partial \theta _{j}}}\log f(X;\theta )\,\,\right|\,\,\theta \right]\,.$

El resultado se puede interpretar de las siguientes formas:

• Puede derivarse como el hessiano de la entropía relativa.
• Puede utilizarse como métrica riemanniana para definir la geometría de Fisher-Rao cuando es definida positivamente.​
• Puede entenderse como una métrica inducida a partir de la métrica euclidiana, tras un cambio de variable apropiado.
• En su forma de valor complejo, es la métrica de Fubini-Study.
• Es la pieza clave de la demostración del teorema de Wilks, que permite estimar la región de confianza para la estimación de máxima verosimilitud (para aquellas condiciones en las que se aplica) sin necesidad del principio de verosimilitud.
• En los casos en que los cálculos analíticos de la MIF anteriores son difíciles, es posible formar un promedio de estimaciones fáciles de Monte Carlo del hessiano de la función de log-verosimilitud negativa como estimación del MIF.​​​ Las estimaciones pueden basarse en los valores de la función de verosimilitud logarítmica negativa o en el gradiente de la función de verosimilitud logarítmica negativa; no es necesario un cálculo analítico del hessiano de la función de log-verosimilitud negativa.

Parámetros ortogonales de información

Se considera que dos vectores de componentes de parámetros $\theta$₁ y $\theta$₂ son ortogonales desde el punto de vista de la información si la matriz de información de Fisher es diagonal de bloques, con estos componentes en bloques separados.​ Los parámetros ortogonales son fáciles de tratar en el sentido de que sus estimaciones de máxima verosimilitud no están asintóticamente correlacionadas. Al considerar cómo analizar un modelo estadístico, se aconseja al modelizador que invierta algún tiempo en buscar una parametrización ortogonal del modelo, en particular cuando el parámetro de interés es unidimensional, pero el parámetro perturbador puede tener cualquier dimensión.​

Modelo estadístico singular

Si la matriz de información de Fisher es definida positiva para todo $\theta$, se dice que el modelo estadístico correspondiente es regular; en caso contrario, se dice que el modelo estadístico es singular.​ Ejemplos de modelos estadísticos singulares son los siguientes: mezclas normales, mezclas binomiales, mezclas multinomiales, redes bayesianas, redes neuronales, funciones de base radial, modelos de Markov ocultos, gramáticas estocásticas libres de contexto, regresiones de rango reducido, máquinas de Boltzmann.

En el aprendizaje automático, si un modelo estadístico se diseña de forma que extraiga la estructura oculta de un fenómeno aleatorio, se convierte naturalmente en singular.​

Distribución normal multivariante

La MIF para una distribución normal multivariante de $N$ variables, $\,X\sim N\left(\mu (\theta ),\,\Sigma (\theta )\right)$ tiene una forma especial. Sea el vector $K$-dimensional de parámetros $\theta ={\begin{bmatrix}\theta _{1}&\dots &\theta _{K}\end{bmatrix}}^{\textsf {T}}$y el vector de variables aleatorias normales sea $X={\begin{bmatrix}X_{1}&\dots &X_{N}\end{bmatrix}}^{\textsf {T}}$. Suponiendo que los valores medios de estas variables aleatorias son $\,\mu (\theta )={\begin{bmatrix}\mu _{1}(\theta )&\dots &\mu _{N}(\theta )\end{bmatrix}}^{\textsf {T}}$, y sea $\,\Sigma (\theta )$ la matriz de covarianza. Entonces, para $1\leq m,\,n\leq K$, la entrada (m, n) de la MIF es:​

${\mathcal {I}}_{m,n}={\frac {\partial \mu ^{\textsf {T}}}{\partial \theta _{m}}}\Sigma ^{-1}{\frac {\partial \mu }{\partial \theta _{n}}}+{\frac {1}{2}}\operatorname {tr} \left(\Sigma ^{-1}{\frac {\partial \Sigma }{\partial \theta _{m}}}\Sigma ^{-1}{\frac {\partial \Sigma }{\partial \theta _{n}}}\right),$

donde $(\cdot )^{\textsf {T}}$ denota la transposición de un vector, $\operatorname {tr} (\cdot )$ denota la traza de una matriz cuadrada, y:

${\begin{aligned}{\frac {\partial \mu }{\partial \theta _{m}}}&={\begin{bmatrix}{\dfrac {\partial \mu _{1}}{\partial \theta _{m}}}&{\dfrac {\partial \mu _{2}}{\partial \theta _{m}}}&\cdots &{\dfrac {\partial \mu _{N}}{\partial \theta _{m}}}\end{bmatrix}}^{\textsf {T}};\\[8pt]{\dfrac {\partial \Sigma }{\partial \theta _{m}}}&={\begin{bmatrix}{\dfrac {\partial \Sigma _{1,1}}{\partial \theta _{m}}}&{\dfrac {\partial \Sigma _{1,2}}{\partial \theta _{m}}}&\cdots &{\dfrac {\partial \Sigma _{1,N}}{\partial \theta _{m}}}\\[5pt]{\dfrac {\partial \Sigma _{2,1}}{\partial \theta _{m}}}&{\dfrac {\partial \Sigma _{2,2}}{\partial \theta _{m}}}&\cdots &{\dfrac {\partial \Sigma _{2,N}}{\partial \theta _{m}}}\\\vdots &\vdots &\ddots &\vdots \\{\dfrac {\partial \Sigma _{N,1}}{\partial \theta _{m}}}&{\dfrac {\partial \Sigma _{N,2}}{\partial \theta _{m}}}&\cdots &{\dfrac {\partial \Sigma _{N,N}}{\partial \theta _{m}}}\end{bmatrix}}.\end{aligned}}$

Nótese que un caso especial, pero muy común, es aquel en el que $\Sigma (\theta )=\Sigma$, una constante. Entonces

${\mathcal {I}}_{m,n}={\frac {\partial \mu ^{\textsf {T}}}{\partial \theta _{m}}}\Sigma ^{-1}{\frac {\partial \mu }{\partial \theta _{n}}}.\$

En este caso, la matriz de información de Fisher puede identificarse con la matriz de coeficientes de las ecuaciones normales de la teoría de estimación por mínimos cuadrados.

Otro caso especial ocurre cuando la media y la covarianza dependen de dos parámetros vectoriales diferentes, dígase, β y θ. Esto es especialmente popular en el análisis de datos espaciales, que a menudo utiliza un modelo lineal con residuos correlacionados. En este caso:​

${\mathcal {I}}(\beta ,\theta )=\operatorname {diag} \left({\mathcal {I}}(\beta ),{\mathcal {I}}(\theta )\right)$,

donde

${\begin{aligned}{\mathcal {I}}{(\beta )_{m,n}}&={\frac {\partial \mu ^{\textsf {T}}}{\partial \beta _{m}}}\Sigma ^{-1}{\frac {\partial \mu }{\partial \beta _{n}}},\\[5pt]{\mathcal {I}}{(\theta )_{m,n}}&={\frac {1}{2}}\operatorname {tr} \left(\Sigma ^{-1}{\frac {\partial \Sigma }{\partial \theta _{m}}}{\Sigma ^{-1}}{\frac {\partial \Sigma }{\partial \theta _{n}}}\right)\end{aligned}}$

Propiedades

Regla de la cadena

Al igual que la entropía o la información mutua, la información de Fisher también posee una regla de descomposición en cadena. En particular, si $X$ e $Y$ son variables aleatorias distribuidas conjuntamente, se deduce que:​

${\mathcal {I}}_{X,Y}(\theta )={\mathcal {I}}_{X}(\theta )+{\mathcal {I}}_{Y\mid X}(\theta ),$

donde ${\mathcal {I}}_{Y\mid X}(\theta )=\operatorname {E} _{X}\left[{\mathcal {I}}_{Y\mid X=x}(\theta )\right]$ y también ${\mathcal {I}}_{Y\mid X=x}(\theta )$ es la información de Fisher de $Y$ relativa a 𝜃, calculada con respecto a la densidad condicional de $Y$ dado un valor específico $X$ = $x$.

Como caso especial, si las dos variables aleatorias son independientes, la información proporcionada por las dos variables aleatorias es la suma de la información de cada variable aleatoria por separado:

${\mathcal {I}}_{X,Y}(\theta )={\mathcal {I}}_{X}(\theta )+{\mathcal {I}}_{Y}(\theta ).$

Por consiguiente, la información de una muestra aleatoria de $n$ observaciones independientes e idénticamente distribuidas es $n$ veces la información de una muestra de tamaño 1.

Divergencia f

Dada una función convexa $f:[0,\infty )\to (-\infty ,\infty ]$ que $f(x)$ es finito para todo $x>0$, $f(1)=0$, y $f(0)=\lim _{t\to 0^{+}}f(t)$, (que podría ser infinita), define una divergencia f ($D_{f}$). Entonces, si $f$ es estrictamente convexo en $1$, entonces localmente en $\theta \in \Theta$, la matriz de información de Fisher es una métrica, en el sentido de que​

$(\delta \theta )^{T}I(\theta )(\delta \theta )={\frac {1}{f''(1)}}D_{f}(P_{\theta +\delta \theta }\parallel P_{\theta })$

donde $P_{\theta }$ es la distribución parametrizada por $\theta$. Es decir, es la distribución con pdf $f(x;\theta )$.

En esta forma, está claro que la matriz de información de Fisher es una métrica riemanniana, y varía correctamente bajo un cambio de variables.

Estadístico suficiente

La información proporcionada por una estadística suficiente es la misma que la de la muestra $X$. Esto puede verse utilizando el criterio de factorización de Neyman para un estadístico suficiente. Si $T(X)$ es suficiente para $\theta$, entonces

$f(X;\theta )=g(T(X),\theta )h(X)$

para algunas funciones g y h. La independencia de $h(X)$ de $\theta$ implica

${\frac {\partial }{\partial \theta }}\log \left[f(X;\theta )\right]={\frac {\partial }{\partial \theta }}\log \left[g(T(X);\theta )\right],$

y la igualdad de información se deduce entonces de la definición de información de Fisher. En términos más generales, si $T=t(X)$ es una estadística, entonces

${\mathcal {I}}_{T}(\theta )\leq {\mathcal {I}}_{X}(\theta )$

con igualdad si y sólo si $T$ es una estadística suficiente.​

Reparametrización

La información de Fisher depende de la parametrización del problema. Si ${\boldsymbol {\theta }}$ y ${\boldsymbol {\eta }}$ son dos parametrizaciones escalares de un problema de estimación, y ${\boldsymbol {\theta }}$ es una función continuamente diferenciable de ${\boldsymbol {\eta }}$, entonces

${\mathcal {I}}_{\eta }(\eta )={\mathcal {I}}_{\theta }(\theta (\eta ))\left({\frac {d\theta }{d\eta }}\right)^{2}$

donde ${\mathcal {I}}_{\eta }$ y ${\mathcal {I}}_{\theta }$ son las medidas de información de Fisher de ${\boldsymbol {\eta }}$ y ${\boldsymbol {\theta }}$, respectivamente.​

En el caso vectorial, supongamos que ${\boldsymbol {\theta }}$ y ${\boldsymbol {\eta }}$ son k-vectores que parametrizan un problema de estimación, y supongamos que ${\boldsymbol {\theta }}$ es una función continuamente diferenciable de ${\boldsymbol {\eta }}$, entonces,​

${\mathcal {I}}_{\boldsymbol {\eta }}({\boldsymbol {\eta }})={\boldsymbol {J}}^{\textsf {T}}{\mathcal {I}}_{\boldsymbol {\theta }}({\boldsymbol {\theta }}({\boldsymbol {\eta }})){\boldsymbol {J}}$

donde el elemento $(i,j)$ de la k × k matriz jacobiana ${\boldsymbol {J}}$ se define como

$J_{ij}={\frac {\partial \theta _{i}}{\partial \eta _{j}}},$

y donde ${\boldsymbol {J}}^{\textsf {T}}$ es la matriz transpuesta de ${\boldsymbol {J}}$.

En la geometría de la información, esto se ve como un cambio de coordenadas en una variedad riemanniana, y las propiedades intrínsecas de la curvatura no cambian bajo diferentes parametrizaciones. En general, la matriz de información de Fisher proporciona una métrica riemanniana (más concretamente, la métrica de Fisher-Rao) para la variedad de estados termodinámicos, y puede utilizarse como medida de complejidad geométrica de la información para una clasificación de transiciones de fase, por ejemplo, la curvatura escalar del tensor métrico termodinámico diverge en (y sólo en) un punto de transición de fase.​

En el contexto termodinámico, la matriz de información de Fisher está directamente relacionada con la tasa de cambio de los parámetros de orden correspondientes.​ En particular, tales relaciones identifican transiciones de fase de segundo orden a través de divergencias de elementos individuales de la matriz de información de Fisher.

Desigualdad isoperimétrica

La matriz de información de Fisher desempeña un papel en una desigualdad como la desigualdad isoperimétrica.​ De todas las distribuciones de probabilidad con una entropía dada, aquella cuya matriz de información de Fisher tiene la traza más pequeña es la distribución gaussiana. Es como si, de todos los conjuntos acotados con un volumen dado, la esfera tuviera la superficie más pequeña.

La prueba consiste en tomar una variable aleatoria multivariante $X$ con función de densidad $f$ y añadir un parámetro de localización para formar una familia de densidades $\{f(x-\theta )\mid \theta \in \mathbb {R} ^{n}\}$. Entonces, por analogía con la fórmula de Minkowski-Steiner, la «superficie» de $X$ se define como

$S(X)=\lim _{\varepsilon \to 0}{\frac {e^{H(X+Z_{\varepsilon })}-e^{H(X)}}{\varepsilon }}$

donde $Z_{\varepsilon }$ es una variable gaussiana con matriz de covarianza $\varepsilon I$. El nombre de «superficie» es adecuado porque la potencia de entropía $e^{H(X)}$ es el volumen del «conjunto de apoyo efectivo»,​ por lo que $S(X)$ es la «derivada» del volumen del conjunto de soporte efectivo, muy parecida a la fórmula de Minkowski-Steiner. El resto de la prueba utiliza la desigualdad de potencia de entropía, que es como la desigualdad de Brunn-Minkowski. La traza de la matriz de información de Fisher es un factor de $S(X)$.

Aplicaciones

Diseño óptimo de experimentos

La información de Fisher se utiliza ampliamente en el diseño óptimo de experimentos. Debido a la reciprocidad entre estimador-varianza e información de Fisher, la minimización de la varianza corresponde a la maximización de la información.

Cuando el modelo estadístico lineal (o linealizado) tiene varios parámetros, la media del estimador del parámetro es un vector y su varianza es una matriz. La inversa de la matriz de varianza se denomina «matriz de información». Dado que la varianza del estimador de un vector de parámetros es una matriz, el problema de «minimizar la varianza» es complicado. Mediante la teoría estadística, los estadísticos comprimen la matriz de información utilizando síntesis estadística de valor real; al ser funciones de valor real, estos «criterios de información» pueden maximizarse.

Tradicionalmente, los estadísticos han evaluado estimadores y diseños considerando alguna síntesis estadística de la matriz de covarianza (de un estimador insesgado), normalmente con valores reales positivos (como el determinante o la traza de la matriz). Trabajar con números reales positivos aporta varias ventajas: Si el estimador de un único parámetro tiene una varianza positiva, entonces la varianza y la información de Fisher son números reales positivos; por lo tanto, son miembros del cono convexo de números reales no negativos (cuyos miembros no nulos tienen recíprocos en este mismo cono).

Para varios parámetros, las matrices de covarianza y las matrices de información son elementos del cono convexo de matrices simétricas no negativas-definidas en un espacio vectorial parcialmente ordenado, bajo el orden de Loewner (Löwner). Este cono es cerrado bajo la adición e inversión de matrices, así como bajo la multiplicación de números reales positivos y matrices. Una exposición de la teoría de matrices y del orden de Loewner aparece en Pukelsheim.​

Los criterios de optimalidad tradicionales son los invariantes de la matriz de información, en el sentido de la teoría de invariantes; algebraicamente, los criterios de optimalidad tradicionales son funcionales de los valores propios de la matriz de información (de Fisher).

Prioridad de Jeffreys en estadística bayesiana

En estadística bayesiana, la información de Fisher se utiliza para calcular la prioridad de Jeffreys, que es una prioridad estándar no informativa para parámetros de distribución continua.​

Neurociencia computacional

La información de Fisher se ha utilizado para encontrar límites a la precisión de los códigos neuronales. En ese caso, $X$ suele ser la respuesta conjunta de muchas neuronas que representan una variable de baja dimensión $\theta$ (como un parámetro de estímulo). En particular, se ha estudiado el papel de las correlaciones en el ruido de las respuestas neuronales.​

Epidemiología

Se utilizó la información de Fisher para estudiar el grado de información de distintas fuentes de datos para estimar el número de reproducción del SARS-CoV-2.​

Derivación de leyes físicas

La información de Fisher desempeña un papel central en un controvertido principio propuesto por Frieden como base de las leyes físicas, afirmación que ha sido puesta en duda.​

Aprendizaje automático

La información de Fisher se utiliza en técnicas de aprendizaje automático como la consolidación del peso elástico,​ que reduce el olvido catastrófico en las redes neuronales artificiales.

La información de Fisher puede utilizarse como alternativa al hessiano de la función de pérdida en el entrenamiento de redes de descenso de gradiente de segundo orden.​

Discriminación de colores

Utilizando una métrica de información de Fisher, da Fonseca et. al​ investigaron el grado en que las elipses de MacAdam (elipses de discriminación del color) pueden derivarse de las funciones de respuesta de los fotorreceptores de la retina.

Relación con la entropía relativa

La información de Fisher está relacionada con la entropía relativa.​ La entropía relativa, o divergencia de Kullback-Leibler, entre dos distribuciones $p$ y $q$ puede escribirse como

$KL(p:q)=\int p(x)\log {\frac {p(x)}{q(x)}}\,dx.$

Considérese ahora una familia de distribuciones de probabilidad $f(x;\theta )$ parametrizado por $\theta \in \Theta$. Entonces, la divergencia de Kullback-Leibler, entre dos distribuciones de la familia se puede escribir como

$D(\theta ,\theta ')=KL(p({}\cdot {};\theta ):p({}\cdot {};\theta '))=\int f(x;\theta )\log {\frac {f(x;\theta )}{f(x;\theta ')}}\,dx.$

Si $\theta$ es fija, entonces la entropía relativa entre dos distribuciones de la misma familia se minimiza en $\theta '=\theta$. Para $\theta '$ cercano a $\theta$, se puede expandir la expresión anterior en una serie de segundo orden:

$D(\theta ,\theta ')={\frac {1}{2}}(\theta '-\theta )^{\textsf {T}}\left({\frac {\partial ^{2}}{\partial \theta '_{i}\,\partial \theta '_{j}}}D(\theta ,\theta ')\right)_{\theta '=\theta }(\theta '-\theta )+o\left((\theta '-\theta )^{2}\right)$

Pero la derivada de segundo orden puede escribirse como

$\left({\frac {\partial ^{2}}{\partial \theta '_{i}\,\partial \theta '_{j}}}D(\theta ,\theta ')\right)_{\theta '=\theta }=-\int f(x;\theta )\left({\frac {\partial ^{2}}{\partial \theta '_{i}\,\partial \theta '_{j}}}\log(f(x;\theta '))\right)_{\theta '=\theta }\,dx=[{\mathcal {I}}(\theta )]_{i,j}.$

Así, la información de Fisher representa la curvatura de la entropía relativa de una distribución condicional con respecto a sus parámetros.

Historia

La información de Fisher fue discutida por varios de los primeros estadísticos, especialmente F. Y. Edgeworth.​ Por ejemplo, Savage​ dice: «En ella [la información de Fisher], él [Fisher] se anticipó hasta cierto punto (Edgeworth 1908-9 esp. 502, 507-8, 662, 677-8, 82-5 y referencia citas de él [Edgeworth], incluyendo a Pearson y Filon 1898 [. . .])». Existen varias fuentes históricas tempranas​ y varias reseñas de esta obra temprana.​​​

Véase también

• Cota de Cramér-Rao
• Eficiencia (estadística)
• Geometría de la información

Otras medidas empleadas en la teoría de la información:

• Divergencia de Kullback-Leibler
• Entropía (información)

Bibliografía

• Cramér, Harald (1946). Mathematical methods of statistics. Princeton mathematical series (en inglés). Princeton: Princeton University Press. ISBN 0691080046. 
• Edgeworth, F. Y. (Junio de 1908). «On the Probable Errors of Frequency-Constants». Journal of the Royal Statistical Society (en inglés) 71 (2): 381-397. doi:10.2307/2339461. 
• Edgeworth, F. Y. (Setiembre de 1908). «On the Probable Errors of Frequency-Constants (Contd.)». Journal of the Royal Statistical Society (en inglés) 71 (3): 499-512. doi:10.2307/2339293. 
• Edgeworth, F. Y. (Diciembre de 1908). «On the Probable Errors of Frequency-Constants (Contd.)». Journal of the Royal Statistical Society (en inglés) 71 (4): 651-678. doi:10.2307/2339378. 
• Fisher, R. A. (1 de enero de 1922). «On the mathematical foundations of theoretical statistics». Philosophical Transactions of the Royal Society of London, Series A (en inglés) 222 (594–604): 309-368. Bibcode:1922RSPTA.222..309F. doi:10.1098/rsta.1922.0009. 
• Frieden, B. Roy (2004). Science from Fisher Information: A Unification (en inglés). Cambridge Univ. Press. ISBN 0-521-00911-1. 
• Frieden, B. Roy; Gatenby, Robert A. (2013). «Principle of maximum Fisher information from Hardy's axioms applied to statistical systems». Physical Review E (en inglés) 88 (4): 042144. Bibcode:2013PhRvE..88d2144F. PMC 4010149. PMID 24229152. doi:10.1103/PhysRevE.88.042144. 
• Hald, A. (Mayo de 1999). «On the History of Maximum Likelihood in Relation to Inverse Probability and Least Squares». Statistical Science (en inglés) 14 (2): 214-222. doi:10.1214/ss/1009212248. 
• Hald, A. (1998). A History of Mathematical Statistics from 1750 to 1930 (en inglés). Nueva York: Wiley. ISBN 978-0-471-17912-2. 
• Lehmann, E. L.; Casella, G. (1998). Theory of Point Estimation (en inglés) (2da edición). Springer. ISBN 978-0-387-98502-2. 
• Le Cam, Lucien (1986). Asymptotic Methods in Statistical Decision Theory (en inglés). Springer-Verlag. ISBN 978-0-387-96307-5. 
• Pratt, John W. (Mayo de 1976). «F. Y. Edgeworth and R. A. Fisher on the Efficiency of Maximum Likelihood Estimation». Annals of Statistics (en inglés) 4 (3): 501-514. doi:10.1214/aos/1176343457. 
• Rao, C. Radhakrishna (1945). «Information and the Accuracy Attainable in the Estimation of Statistical Parameters en Breakthroughs in Statistics». Bulletin of the Calcutta Mathematical Society. Springer Series in Statistics (en inglés) 37: 81-91. ISBN 978-0-387-94037-3. doi:10.1007/978-1-4612-0919-5_16. 
• Savage, L. J. (Mayo de 1976). «On Rereading R. A. Fisher». Annals of Statistics (en inglés) 4 (3): 441-500. doi:10.1214/aos/1176343456. 
• Schervish, Mark J. (1995). Theory of Statistics (en inglés). Nueva York: Springer. ISBN 978-0-387-94546-0. 
• Stigler, S. M. (1986). The History of Statistics: The Measurement of Uncertainty before 1900 (en inglés). Harvard University Press. ISBN 978-0-674-40340-6. 
• Stigler, S. M. (1978). «Francis Ysidro Edgeworth, Statistician». Journal of the Royal Statistical Society, Series A (en inglés) 141 (3): 287-322. doi:10.2307/2344804. 
• Stigler, S. M. (1999). Statistics on the Table: The History of Statistical Concepts and Methods (en inglés). Harvard University Press. ISBN 978-0-674-83601-3. 
• Van Trees, H. L. (1968). Detection, Estimation, and Modulation Theory, Part I (en inglés). Nueva York: Wiley. ISBN 978-0-471-09517-0. 

• Datos: Q1420659