Varianza agrupada

En estadística, la varianza agrupada (también conocida como combinada, compuesta, o varianza general) es un método para estimar la varianza de varias poblaciones diferentes cuando la media de cada población puede ser diferente, pero se puede suponer que la varianza de cada población es la misma.

Bajo el supuesto de varianzas poblacionales iguales, la varianza muestral agrupada proporciona una estimación de la varianza con precisión más alta que las varianzas muestrales individuales. Esta mayor precisión puede llevar a un aumento de la potencia estadística cuando se usa en el contraste de hipótesis que comparan las poblaciones, como la prueba t de Student.

La raíz cuadrada de un estimador de varianza agrupada se conoce como desviación estándar agrupada (o también como combinada, compuesta o desviación estándar general).

Motivación

En estadística, muchas veces, los datos se recopilan para una variable dependiente y, en un rango de valores para la variable independiente x. Por ejemplo, la observación del consumo de combustible podría estudiarse en función de la velocidad del motor mientras la carga del motor se mantiene constante. Si, para lograr una varianza pequeña en y, se requieren numerosas pruebas repetidas para cada valor de x, el costo de la prueba puede volverse prohibitivo. Las estimaciones razonables de varianza se pueden determinar utilizando el principio de varianza agrupada después de repetir cada prueba en una x particular solo unas pocas veces.

Definición y cálculo

Definición

La varianza agrupada es una estimación de la varianza común fija $\sigma ^{2}$ que subyace a varias poblaciones que poseen diferentes medias aritméticas.

Cálculo

Si las poblaciones están indexadas de acuerdo con $i=1,\ldots ,k$, entonces la varianza $s_{p}^{2}$ agrupada puede ser calculada por la media ponderada

$s_{p}^{2}={\frac {\sum _{i=1}^{k}(n_{i}-1)s_{i}^{2}}{\sum _{i=1}^{k}(n_{i}-1)}}={\frac {(n_{1}-1)s_{1}^{2}+(n_{2}-1)s_{2}^{2}+\cdots +(n_{k}-1)s_{k}^{2}}{n_{1}+n_{2}+\cdots +n_{k}-k}},$

donde $n_{i}$ es el tamaño de la muestra de la población $i$ y la varianza es

$s_{i}^{2}$ = ${\frac {1}{n_{i}-1}}\sum _{j=1}^{n_{i}}\left(y_{j}-{\overline {y_{i}}}\right)^{2}$.

El uso de los factores de ponderación $(n_{i}-1)$ en lugar de $n_{i}$ proviene de la corrección de Bessel.

Variantes

La estimación de mínimos cuadrados no sesgada de $\sigma ^{2},$

$s_{p}^{2}={\frac {\sum _{i=1}^{k}(n_{i}-1)s_{i}^{2}}{\sum _{i=1}^{k}(n_{i}-1)}},$

y la estimación de probabilidad máxima sesgada

$s_{p}^{2}={\frac {\sum _{i=1}^{k}(n_{i}-1)s_{i}^{2}}{\sum _{i=1}^{k}n_{i}}},$

se utilizan en diferentes contextos. El primer indicador puede dar un $s_{p}^{2}$ no sesgado para estimar $\sigma ^{2}$ cuando los dos grupos comparten una variación de población igual. El último puede dar una $s_{p}^{2}$ más estadísticamente eficiente para estimar $\sigma ^{2}$ de forma parcial. Téngase en cuenta que las cantidades $s_{i}^{2}$ en el lado derecho de ambas ecuaciones son las estimaciones no sesgadas.

Ejemplo

Considérese el siguiente conjunto de datos para y, obtenidos en varios niveles de la variable independiente x.

x	y
1	31, 30, 29
2	42, 41, 40, 39
3	31, 28
4	23, 22, 21, 19, 18
5	21, 20, 19, 18,17

El número de ensayos, la media, la varianza y la desviación estándar se presentan en la siguiente tabla.

x	n	ymedia	si2	si
1	3	30.0	1.0	1.0
2	4	40.5	1.67	1.29
3	2	29.5	4.5	2.12
4	5	20.6	4.3	2.07
5	5	19.0	2.5	1.58

Estas estadísticas representan la varianza y la desviación típica para cada subconjunto de datos en los diversos niveles de x. Si se puede asumir que los mismos fenómenos están generando errores experimentales en cada nivel de x, los datos anteriores se pueden "agrupar" para expresar una estimación única de varianza y desviación estándar. En cierto sentido, esto sugiere encontrar una varianza media o una desviación estándar entre los cinco resultados anteriores. Esta variación media se calcula ponderando los valores individuales con el tamaño del subconjunto para cada nivel de x. Así, la varianza agrupada se define por

$s_{P}^{2}={\frac {(n_{1}-1)s_{1}^{2}+(n_{2}-1)s_{2}^{2}+\cdots +(n_{k}-1)s_{k}^{2}}{(n_{1}-1)+(n_{2}-1)+\cdots +(n_{k}-1)}}$

donde n₁, n₂,. . ., n_k son los tamaños de los subconjuntos de datos en cada nivel de la variable x, y s₁², s₂²,. . ., s_k² son sus respectivas variaciones.

La varianza agrupada de los datos mostrados arriba es por lo tanto:

$s_{p}^{2}=2.764\,$

Efecto sobre la precisión

La varianza agrupada es una estimación cuando existe una correlación entre los conjuntos de datos agrupados o el promedio de los conjuntos de datos no es idéntico. Es menos precisa cuanto más distinta de cero sea la correlación o distante de los promedios entre los conjuntos de datos.

La variación de los datos para los conjuntos de datos que no se superponen es:

${\begin{aligned}\sigma _{X}^{2}&={\frac {\left(\sum _{i}{\left[(N_{X_{i}}-1)\sigma _{X_{i}}^{2}+N_{X_{i}}\mu _{X_{i}}^{2}\right]}-\left[\sum _{i}{N_{X_{i}}}\right]\mu _{X}^{2}\right)}{\sum _{i}{N_{X_{i}}-1}}}\end{aligned}}$

Donde la media se define como:

${\begin{aligned}\mu _{X}&={\frac {\left(\sum _{i}{N_{X_{i}}\mu _{X_{i}}}\right)}{\sum _{i}{N_{X_{i}}}}}\end{aligned}}$

Dada una probabilidad máxima sesgada definida como:

$s_{p}^{2}={\frac {\sum _{i=1}^{k}(n_{i}-1)s_{i}^{2}}{\sum _{i=1}^{k}n_{i}}},$

Entonces, el error en la estimación de probabilidad máxima sesgada es:

${\begin{aligned}Error=s_{p}^{2}-\sigma _{X}^{2}\\[3pt]={\frac {\sum _{i}(N_{X_{i}}-1)s_{i}^{2}}{\sum _{i}N_{X_{i}}}}-{\frac {1}{\sum _{i}{N_{X_{i}}-1}}}\left(\sum _{i}{\left[(N_{X_{i}}-1)\sigma _{X_{i}}^{2}+N_{X_{i}}\mu _{X_{i}}^{2}\right]}-\left[\sum _{i}{N_{X_{i}}}\right]\mu _{X}^{2}\right)\end{aligned}}$

Asumiendo que N es grande y tal que:

${\begin{aligned}\sum _{i}N_{X_{i}}\approx \sum _{i}{N_{X_{i}}-1}\end{aligned}}$

entonces el error en la estimación se reduce a:

${\begin{aligned}E=-{\frac {\left(\sum _{i}{\left[N_{X_{i}}\mu _{X_{i}}^{2}\right]}-\left[\sum _{i}{N_{X_{i}}}\right]\mu _{X}^{2}\right)}{\sum _{i}N_{X_{i}}}}\\[3pt]=\mu _{X}^{2}-{\frac {\sum _{i}{\left[N_{X_{i}}\mu _{X_{i}}^{2}\right]}}{\sum _{i}N_{X_{i}}}}\\[3pt]\end{aligned}}$

O alternativamente:

${\begin{aligned}E=\left[{\frac {\sum _{i}{N_{X_{i}}\mu _{X_{i}}}}{\sum _{i}{N_{X_{i}}}}}\right]^{2}-{\frac {\sum _{i}{\left[N_{X_{i}}\mu _{X_{i}}^{2}\right]}}{\sum _{i}N_{X_{i}}}}\\[3pt]={\frac {\left[\sum _{i}{N_{X_{i}}\mu _{X_{i}}}\right]^{2}-\sum _{i}N_{X_{i}}\sum _{i}{\left[N_{X_{i}}\mu _{X_{i}}^{2}\right]}}{\left[\sum _{i}N_{X_{i}}\right]^{2}}}\end{aligned}}$

Agregación de datos de desviación estándar

En lugar de estimar la desviación estándar agrupada, a continuación se describe la forma de agregar de forma exacta la desviación estándar cuando hay más información estadística disponible.

Estadísticas poblacionales

Las poblaciones de una serie de conjuntos, que pueden superponerse, se calculan simplemente de la siguiente manera:

${\begin{aligned}&&N_{X\cup Y}&=N_{X}+N_{Y}-N_{X\cap Y}\\\end{aligned}}$

Las poblaciones de conjuntos, que no se superponen, pueden calcularse de la siguiente manera:

${\begin{aligned}X\cap Y=\varnothing &\Rightarrow &N_{X\cap Y}&=0\\&\Rightarrow &N_{X\cup Y}&=N_{X}+N_{Y}\end{aligned}}$

Las desviaciones estándar de las subpoblaciones no superpuestas (X ∩ Y = ∅) se pueden agregar de la siguiente manera si se conoce el tamaño (real o relativo entre sí) y las medias de cada una:

${\begin{aligned}\mu _{X\cup Y}&={\frac {N_{X}\mu _{X}+N_{Y}\mu _{Y}}{N_{X}+N_{Y}}}\\[3pt]\sigma _{X\cup Y}&={\sqrt {{\frac {N_{X}\sigma _{X}^{2}+N_{Y}\sigma _{Y}^{2}}{N_{X}+N_{Y}}}+{\frac {N_{X}N_{Y}}{(N_{X}+N_{Y})^{2}}}(\mu _{X}-\mu _{Y})^{2}}}\end{aligned}}$

Por ejemplo, supóngase que se sabe que el hombre estadounidense promedio tiene una altura media de 70 pulgadas con una desviación estándar de tres pulgadas y que la mujer estadounidense promedio tiene una altura media de 65 pulgadas con una desviación estándar de dos pulgadas. También se asume que el número de hombres, N, es igual al número de mujeres. Entonces, la media y la desviación estándar de las alturas de los adultos estadounidenses podrían calcularse como

${\begin{aligned}\mu &={\frac {N\cdot 70+N\cdot 65}{N+N}}={\frac {70+65}{2}}=67.5\\[3pt]\sigma &={\sqrt {{\frac {3^{2}+2^{2}}{2}}+{\frac {(70-65)^{2}}{2^{2}}}}}={\sqrt {12.75}}\approx 3.57\end{aligned}}$

Para el caso más general de poblaciones no superpuestas M, X₁ hasta X_M, y población agregada $\scriptstyle X\,=\,\bigcup _{i}X_{i}$,

${\begin{aligned}\mu _{X}&={\frac {\sum _{i}N_{X_{i}}\mu _{X_{i}}}{\sum _{i}N_{X_{i}}}}\\[3pt]\sigma _{X}&={\sqrt {{\frac {\sum _{i}N_{X_{i}}\sigma _{X_{i}}^{2}}{\sum _{i}N_{X_{i}}}}+{\frac {\sum _{i<j}N_{X_{i}}N_{X_{j}}(\mu _{X_{i}}-\mu _{X_{j}})^{2}}{{\big (}\sum _{i}N_{X_{i}}{\big )}^{2}}}}}\end{aligned}}$,

donde

$X_{i}\cap X_{j}=\varnothing ,\quad \forall \ i<j.$

Si se conoce el tamaño (real o relativo entre sí), la media y la desviación estándar de dos poblaciones superpuestas para las poblaciones, así como su intersección, entonces la desviación estándar de la población general aún se puede calcular de la siguiente manera:

${\begin{aligned}\mu _{X\cup Y}&={\frac {1}{N_{X\cup Y}}}\left(N_{X}\mu _{X}+N_{Y}\mu _{Y}-N_{X\cap Y}\mu _{X\cap Y}\right)\\[3pt]\sigma _{X\cup Y}&={\sqrt {{\frac {1}{N_{X\cup Y}}}\left(N_{X}[\sigma _{X}^{2}+\mu _{X}^{2}]+N_{Y}[\sigma _{Y}^{2}+\mu _{Y}^{2}]-N_{X\cap Y}[\sigma _{X\cap Y}^{2}+\mu _{X\cap Y}^{2}]\right)-\mu _{X\cup Y}^{2}}}\end{aligned}}$

Si se agregan dos o más conjuntos de datos uno a uno, la desviación estándar del resultado se puede calcular si se conoce la desviación estándar de cada conjunto de datos y la covarianza entre cada par de conjuntos de datos:

$\sigma _{X}={\sqrt {\sum _{i}{\sigma _{X_{i}}^{2}}+2\sum _{i,j}\operatorname {cov} (X_{i},X_{j})}}$

Para el caso especial donde no existe una correlación entre ningún par de conjuntos de datos, entonces la relación se reduce a la raíz de la suma de cuadrados:

${\begin{aligned}&\operatorname {cov} (X_{i},X_{j})=0,\quad \forall i<j\\\Rightarrow &\;\sigma _{X}={\sqrt {\sum _{i}{\sigma _{X_{i}}^{2}}}}.\end{aligned}}$

Estadísticas basadas en muestras

Las desviaciones estándar de submuestras no superpuestas (X ∩ Y = ∅) se pueden agregar de la siguiente manera si se conocen el tamaño real y las medias de cada una de ellas:

${\begin{aligned}\mu _{X\cup Y}&={\frac {1}{N_{X\cup Y}}}\left(N_{X}\mu _{X}+N_{Y}\mu _{Y}\right)\\[3pt]\sigma _{X\cup Y}&={\sqrt {{\frac {1}{N_{X\cup Y}-1}}\left([N_{X}-1]\sigma _{X}^{2}+N_{X}\mu _{X}^{2}+[N_{Y}-1]\sigma _{Y}^{2}+N_{Y}\mu _{Y}^{2}-[N_{X}+N_{Y}]\mu _{X\cup Y}^{2}\right)}}\end{aligned}}$

Para el caso más general de los conjuntos de datos no superpuestos M, X₁ hasta X_M, y el conjunto de datos agregados $\scriptstyle X\,=\,\bigcup _{i}X_{i}$,

${\begin{aligned}\mu _{X}&={\frac {1}{\sum _{i}{N_{X_{i}}}}}\left(\sum _{i}{N_{X_{i}}\mu _{X_{i}}}\right)\\[3pt]\sigma _{X}&={\sqrt {{\frac {1}{\sum _{i}{N_{X_{i}}-1}}}\left(\sum _{i}{\left[(N_{X_{i}}-1)\sigma _{X_{i}}^{2}+N_{X_{i}}\mu _{X_{i}}^{2}\right]}-\left[\sum _{i}{N_{X_{i}}}\right]\mu _{X}^{2}\right)}}\end{aligned}}$

donde

$X_{i}\cap X_{j}=\varnothing ,\quad \forall i<j.$

Si se conoce el tamaño, la media y la desviación estándar de dos muestras superpuestas para cada muestra, así como su intersección, la desviación estándar de la muestra agregada aún se puede calcular. En general,

${\begin{aligned}\mu _{X\cup Y}&={\frac {1}{N_{X\cup Y}}}\left(N_{X}\mu _{X}+N_{Y}\mu _{Y}-N_{X\cap Y}\mu _{X\cap Y}\right)\\[3pt]\sigma _{X\cup Y}&={\sqrt {\frac {[N_{X}-1]\sigma _{X}^{2}+N_{X}\mu _{X}^{2}+[N_{Y}-1]\sigma _{Y}^{2}+N_{Y}\mu _{Y}^{2}-[N_{X\cap Y}-1]\sigma _{X\cap Y}^{2}-N_{X\cap Y}\mu _{X\cap Y}^{2}-[N_{X}+N_{Y}-N_{X\cap Y}]\mu _{X\cup Y}^{2}}{N_{X\cup Y}-1}}}\end{aligned}}$

Véase también

• d de Cohen (tamaño del efecto).
• Distribución T² de Hotelling
• Grado de libertad agregado
• Gran media

Referencias

• Killeen PR (May 2005). «An alternative to null-hypothesis significance tests». Psychol Sci 16 (5): 345-53. PMC 1473027. PMID 15869691. doi:10.1111/j.0956-7976.2005.01538.x. 

Enlaces externos

• IUPAC Gold Book - desviación estándar agrupada
• Pooled Standard Deviation
• También se refiere a la d de Cohen (en la página 6) (enlace roto disponible en Internet Archive; véase el historial, la primera versión y la última).

• Datos: Q7228635