Eficiencia (estadística)

En estadística, la eficiencia es una medida de la calidad de un estimador , de un diseño experimental ^{[ 1 ]} o de un procedimiento de prueba de hipótesis ^{[ 2 ]} . En esencia, un estimador más eficiente necesita menos datos de entrada u observaciones que uno menos eficiente para alcanzar la cota de Cramér-Rao . Un estimador eficiente se caracteriza por tener la menor varianza posible , lo que indica que existe una pequeña desviación entre el valor estimado y el valor "verdadero" en el sentido de la norma L2 ^[¹^] .

La eficiencia relativa de dos procedimientos es la razón entre sus eficiencias, aunque este concepto se suele utilizar para comparar un procedimiento con un procedimiento hipotético considerado como el "mejor posible". Teóricamente, tanto la eficiencia como la eficiencia relativa de dos procedimientos dependen del tamaño de la muestra disponible para cada procedimiento, pero a menudo es posible utilizar la eficiencia relativa asintótica (definida como el límite de las eficiencias relativas a medida que aumenta el tamaño de la muestra) como principal medida de comparación.

Estimadores

La eficiencia de un estimador insesgado , T , de un parámetro θ se define como ^[³^]

e(T)={\frac {1/{\mathcal {I}}(\theta )}{\operatorname {var} (T)}}

dónde ${\mathcal {I}}(\theta)$ es la información de Fisher de la muestra. Por lo tanto, e ( T ) es la varianza mínima posible para un estimador insesgado dividida por su varianza real. La cota de Cramér-Rao se puede usar para demostrar que e ( T ) ≤ 1.

Estimadores eficientes

Un estimador eficiente es aquel que estima la cantidad de interés de la mejor manera posible. La noción de "mejor manera posible" se basa en la elección de una función de pérdida específica , la cual cuantifica el grado relativo de indeseabilidad de los errores de estimación de diferentes magnitudes. La función de pérdida más común es la cuadrática , lo que resulta en el criterio de optimalidad del error cuadrático medio . ^[⁴^]

En general, la dispersión de un estimador alrededor del parámetro θ es una medida de la eficiencia y el rendimiento del estimador. Este rendimiento se puede calcular hallando el error cuadrático medio. Más formalmente, sea T un estimador para el parámetro θ . El error cuadrático medio de T es el valor $\operatorname {MSE} (T)=E[(T-\theta )^{2}]$ , que puede descomponerse como la suma de su varianza y su sesgo:

{\begin{aligned}\operatorname {MSE} (T)&=\operatorname {E} [(T-\theta )^{2}]=\operatorname {E} [(T-\operatorname {E} [T]+\operatorname {E} [T]-\theta )^{2}]\\[5pt]&=\operatorname {E} [(T-\operatorname {E} [T])^{2}]+2E[TE[T]](\operatorname {E} [T]-\theta )+(\operatorname {E} [T]-\theta )^{2}\\[5pt]&=\operatorname {var} (T)+(\operatorname {E} [T]-\theta )^{2}\end{aligned}}

Un estimador T ₁ funciona mejor que un estimador T ₂ si $\operatorname {MSE} (T_{1})<\operatorname {MSE} (T_{2})$ . ^{[ 5 ]} Para un caso más específico, si T ₁ y T ₂ son dos estimadores insesgados para el mismo parámetro θ, entonces se puede comparar la varianza para determinar el rendimiento. En este caso, T ₂ es más eficiente que T ₁ si la varianza de T ₂ es menor que la varianza de T ₁ , es decir $\operatorname {var} (T_{1})>\operatorname {var} (T_{2})$ para todos los valores de θ . Esta relación se puede determinar simplificando el caso más general anterior para el error cuadrático medio; dado que el valor esperado de un estimador insesgado es igual al valor del parámetro, $\operatorname {E} [T]=\theta$ Por lo tanto, para un estimador insesgado, $\operatorname {MSE} (T)=\operatorname {var} (T)$ , como el $(\operatorname {E} [T]-\theta )^{2}$ El término desaparece al ser igual a 0. ^{[ 5 ]}

Si un estimador insesgado de un parámetro θ alcanza $e(T)=1$ Para todos los valores del parámetro, entonces el estimador se denomina eficiente. ^{[ 3 ]}

De forma equivalente, el estimador alcanza la igualdad en la desigualdad de Cramér-Rao para todo θ . La cota inferior de Cramér-Rao es una cota inferior de la varianza de un estimador insesgado, que representa el "mejor" estimador insesgado que puede ser.

Un estimador eficiente es también el estimador insesgado de mínima varianza (MVUE). Esto se debe a que un estimador eficiente mantiene la igualdad en la desigualdad de Cramér-Rao para todos los valores de los parámetros, lo que significa que alcanza la mínima varianza para todos ellos (la definición del MVUE). El estimador MVUE, incluso si existe, no es necesariamente eficiente, ya que "mínimo" no implica que se cumpla la igualdad en la desigualdad de Cramér-Rao.

Por lo tanto, no es necesario que exista un estimador eficiente, pero si existe, es el MVUE.

Eficiencia de muestra finita

Supongamos que { P _θ | θ ∈ Θ } es un modelo paramétrico y X = ( X ₁ , …, X _n ) son los datos muestreados de este modelo. Sea T = T ( X ) un estimador para el parámetro θ . Si este estimador es insesgado (es decir, E[ T ] = θ ), entonces la desigualdad de Cramér-Rao establece que la varianza de este estimador está acotada inferiormente:

\operatorname {var} [\,T\,]\ \geq \ {\mathcal {I}}_{\theta }^{-1},

dónde $\scriptstyle {\mathcal {I}}_{\theta }$ es la matriz de información de Fisher del modelo en el punto θ . Generalmente, la varianza mide el grado de dispersión de una variable aleatoria alrededor de su media. Por lo tanto, los estimadores con varianzas pequeñas están más concentrados y estiman los parámetros con mayor precisión. Decimos que el estimador es un estimador eficiente de muestra finita (en la clase de estimadores insesgados) si alcanza el límite inferior en la desigualdad de Cramér-Rao anterior, para todo θ ∈ Θ . Los estimadores eficientes son siempre estimadores insesgados de varianza mínima . Sin embargo, lo contrario es falso: existen problemas de estimación puntual para los cuales el estimador insesgado de media de varianza mínima es ineficiente. ^{[ 6 ]}

Históricamente, la eficiencia en muestras finitas fue uno de los primeros criterios de optimalidad. Sin embargo, este criterio tiene algunas limitaciones:

Los estimadores eficientes para muestras finitas son extremadamente raros. De hecho, se ha demostrado que la estimación eficiente solo es posible en una familia exponencial y solo para los parámetros naturales de esa familia. ^{[ 7 ]}
Esta noción de eficiencia a veces se restringe a la clase de estimadores insesgados . (A menudo no es así. ^{[ 8 ]} ) Dado que no hay buenas razones teóricas para exigir que los estimadores sean insesgados, esta restricción es inconveniente. De hecho, si usamos el error cuadrático medio como criterio de selección, muchos estimadores sesgados superarán ligeramente a los “mejores” insesgados. Por ejemplo, en estadística multivariante para dimensión tres o más, el estimador insesgado de la media, media muestral , es inadmisible : independientemente del resultado, su rendimiento es peor que, por ejemplo, el estimador de James-Stein .
La eficiencia en muestras finitas se basa en la varianza, como criterio para evaluar los estimadores. Un enfoque más general consiste en utilizar funciones de pérdida distintas de las cuadráticas, en cuyo caso la eficiencia en muestras finitas ya no puede formularse.

Como ejemplo, entre los modelos que se encuentran en la práctica, existen estimadores eficientes para: la media μ de la distribución normal (pero no la varianza σ ² ), el parámetro λ de la distribución de Poisson , la probabilidad p en la distribución binomial o multinomial .

Consideremos el modelo de una distribución normal con media desconocida pero varianza conocida: { P _θ = N ( θ , σ ² ) | θ ∈ R }. Los datos consisten en n observaciones independientes e idénticamente distribuidas de este modelo: X = ( x ₁ , …, x _n ) . Estimamos el parámetro θ utilizando la media muestral de todas las observaciones:

T(X)={\frac {1}{n}}\sum _{i=1}^{n}x_{i}\ .

Este estimador tiene una media θ y una varianza de σ² ^/n , que es igual al recíproco de la información de Fisher de la muestra. Por lo tanto, la media muestral es un estimador eficiente para muestras finitas de la media de la distribución normal.

Eficiencia asintótica

La eficiencia asintótica requiere consistencia (estadística) , una distribución asintóticamente normal del estimador y una matriz de varianza-covarianza asintótica no peor que la de cualquier otro estimador. ^{[ 9 ]}

Ejemplo: Mediana

Consideremos una muestra de tamaño $N$ extraído de una distribución normal de media $\mu$ y varianza unitaria , es decir, $X_{n}\sim {\mathcal {N}}(\mu,1).$

La media de la muestra , ${\overline {X}}$ , de la muestra $X_{1},X_{2},\ldots ,X_{N}$ , definido como

{\overline {X}}={\frac {1}{N}}\sum _{n=1}^{N}X_{n}\sim {\mathcal {N}}\left(\mu ,{\frac {1}{N}}\right).

La varianza de la media, 1/ N (el cuadrado del error estándar ), es igual al recíproco de la información de Fisher de la muestra y, por lo tanto, según la desigualdad de Cramér-Rao , la media muestral es eficiente en el sentido de que su eficiencia es unitaria (100%).

Ahora consideremos la mediana de la muestra , ${\widetilde {X}}$ Este es un estimador insesgado y consistente para $\mu$ Para grandes $N$ La mediana de la muestra se distribuye aproximadamente de forma normal con media $\mu$ y varianza ${\pi }/{2N},$ ^{[ 10 ]}

{\widetilde {X}}\sim {\mathcal {N}}\left(\mu ,{\frac {\pi }{2N}}\right).

La eficiencia de la mediana para grandes $N$ es así

e\left({\widetilde {X}}\right)=\left({\frac {1}{N}}\right)\left({\frac {\pi }{2N}}\right)^{-1}=2/\pi \approx 0.64.

En otras palabras, la varianza relativa de la mediana será $\pi /2\approx 1.57$ , o un 57% mayor que la varianza de la media, el error estándar de la mediana será un 25% mayor que el de la media. ^{[ 11 ]}

Nótese que esta es la eficiencia asintótica , es decir, la eficiencia en el límite cuando el tamaño de la muestra tiende a infinito. $N$ tiende a infinito. Para valores finitos de $N,$ La eficiencia es mayor que esta (por ejemplo, un tamaño de muestra de 3 da una eficiencia de aproximadamente el 74%).

En este ejemplo, la media muestral es más eficiente que la mediana muestral. Sin embargo, existen medidas en las que la mediana ofrece mejores resultados. Por ejemplo, la mediana es mucho más robusta frente a valores atípicos , por lo que, si el modelo gaussiano es cuestionable o aproximado, puede resultar ventajoso utilizar la mediana (véase Estadísticas robustas ).

Estimadores dominantes

Si $T_{1}$ y $T_{2}$ son estimadores para el parámetro $\theta$ , entonces $T_{1}$ Se dice que domina $T_{2}$ si:

su error cuadrático medio (ECM) es menor para al menos algún valor de $\theta$
El MSE no excede el de $T_{2}$ para cualquier valor de θ.

Formalmente, $T_{1}$ domina $T_{2}$ si

\operatorname {E} [(T_{1}-\theta )^{2}]\leq \operatorname {E} [(T_{2}-\theta )^{2}]

se aplica a todos $\theta$ , con una estricta desigualdad que se mantiene en algún lugar.

Eficiencia relativa

La eficiencia relativa de dos estimadores insesgados se define como ^{[ 12 ].}

e(T_{1},T_{2})={\frac {\operatorname {E} [(T_{2}-\theta )^{2}]}{\operatorname {E} [(T_{1}-\theta )^{2}]}}={\frac {\operatorname {var} (T_{2})}{\operatorname {var} (T_{1})}}

A pesar de $e$ es en general una función de $\theta$ , en muchos casos la dependencia desaparece; si esto es así, $e$ ser mayor que uno indicaría que $T_{1}$ es preferible, independientemente del verdadero valor de $\theta$ .

Una alternativa a la eficiencia relativa para comparar estimadores es el criterio de proximidad de Pitman . Este criterio reemplaza la comparación de errores cuadráticos medios por la comparación de la frecuencia con la que un estimador produce estimaciones más cercanas al valor real que otro estimador.

Estimadores de la media de variables uid

Al estimar la media de variables no correlacionadas e idénticamente distribuidas podemos aprovechar el hecho de que la varianza de la suma es la suma de las varianzas . En este caso, la eficiencia se puede definir como el cuadrado del coeficiente de variación , es decir, ^{[ 13 ].}

e\equiv \left({\frac {\sigma }{\mu }}\right)^{2}

La eficiencia relativa de dos estimadores de este tipo puede interpretarse, por lo tanto, como el tamaño de muestra relativo de uno requerido para lograr la certeza del otro. Prueba:

{\frac {e_{1}}{e_{2}}}={\frac {s_{1}^{2}}{s_{2}^{2}}}.

Ahora porque $s_{1}^{2}=n_{1}\sigma ^{2},\,s_{2}^{2}=n_{2}\sigma ^{2}$ tenemos ${\frac {e_{1}}{e_{2}}}={\frac {n_{1}}{n_{2}}}$ , por lo que la eficiencia relativa expresa el tamaño de muestra relativo del primer estimador necesario para igualar la varianza del segundo.

Robustez

La eficiencia de un estimador puede variar significativamente si la distribución cambia, disminuyendo a menudo. Esta es una de las motivaciones de la estadística robusta : un estimador como la media muestral es eficiente para la media poblacional de una distribución normal, por ejemplo, pero puede ser ineficiente para una distribución mixta de dos distribuciones normales con la misma media y varianzas diferentes. Por ejemplo, si una distribución es una combinación de 98 % N ( μ, σ ) y 2 % N ( μ, 10σ ), la presencia de valores extremos de esta última distribución (a menudo "valores atípicos contaminantes") reduce significativamente la eficiencia de la media muestral como estimador de μ. Por el contrario, la media recortada es menos eficiente para una distribución normal, pero es más robusta (es decir, menos afectada) por los cambios en la distribución y, por lo tanto, puede ser más eficiente para una distribución mixta. De manera similar, la forma de una distribución , como la asimetría o las colas pesadas , puede reducir significativamente la eficiencia de los estimadores que asumen una distribución simétrica o colas delgadas.

Eficiencia en estadística

La eficiencia en estadística es importante porque permite comparar el rendimiento de distintos estimadores. Si bien un estimador insesgado suele preferirse a uno sesgado, un estimador sesgado más eficiente puede, en ocasiones, ser más valioso que un estimador insesgado menos eficiente. Por ejemplo, esto puede ocurrir cuando los valores del estimador sesgado se agrupan alrededor de un número más cercano al valor verdadero. De este modo, el rendimiento de los estimadores puede predecirse fácilmente comparando sus errores cuadráticos medios o sus varianzas.

Usos de estimadores ineficientes

Si bien la eficiencia es una cualidad deseable en un estimador, debe sopesarse con otras consideraciones, y un estimador eficiente para ciertas distribuciones bien podría ser ineficiente para otras. Lo más importante es que los estimadores eficientes para datos limpios de una distribución simple, como la distribución normal (que es simétrica, unimodal y tiene colas delgadas), pueden no ser robustos ante la contaminación por valores atípicos y pueden ser ineficientes para distribuciones más complejas. En estadística robusta , se da mayor importancia a la robustez y la aplicabilidad a una amplia variedad de distribuciones, en lugar de la eficiencia en una sola distribución. Los estimadores M son una clase general de estimadores motivados por estas preocupaciones. Pueden diseñarse para ofrecer tanto robustez como una alta eficiencia relativa, aunque posiblemente menor que la de los estimadores tradicionales en algunos casos. Sin embargo, pueden ser computacionalmente muy complejos.

A more traditional alternative are L-estimators, which are very simple statistics that are easy to compute and interpret, in many cases robust, and often sufficiently efficient for initial estimates. See applications of L-estimators for further discussion. Inefficient statistics in this sense are discussed in detail in The Atomic Nucleus by R. D. Evans, written before the advent of computers, when efficiently estimating even the arithmetic mean of a sorted series of measurements was laborious.^[14]

Hypothesis tests

For comparing significance tests, a meaningful measure of efficiency can be defined based on the sample size required for the test to achieve a given task power.^[15]

Pitman efficiency^[16] and Bahadur efficiency (or Hodges–Lehmann efficiency)^[17]^[18]^[19] relate to the comparison of the performance of statistical hypothesis testing procedures.

Experimental design

For experimental designs, efficiency relates to the ability of a design to achieve the objective of the study with minimal expenditure of resources such as time and money. In simple cases, the relative efficiency of designs can be expressed as the ratio of the sample sizes required to achieve a given objective.^[20]

Notes

1 2Everitt 2002, p. 128.
↑Nikulin, M.S. (2001) [1994], "Efficiency of a statistical procedure", Encyclopedia of Mathematics, EMS Press
12Fisher, R (1921). "On the Mathematical Foundations of Theoretical Statistics". Philosophical Transactions of the Royal Society of London A. 222: 309–368. JSTOR 91208.
↑Everitt 2002, p. 128.
12Dekking, F.M. (2007). A Modern Introduction to Probability and Statistics: Understanding Why and How. Springer. pp. 303–305. ISBN 978-1852338961.
↑Romano, Joseph P.; Siegel, Andrew F. (1986). Counterexamples in Probability and Statistics. Chapman and Hall. p. 194.
↑ Van Trees, Harry L. (2013). Detección, estimación y teoría de la modulación . Kristine L. Bell, Zhi Tian (Segunda edición). Hoboken, NJ ISBN 978-1-299-66515-6OCLC 851161356 {{cite book}}: CS1 mantenimiento: falta el editor de ubicación ( enlace )
↑ DeGroot; Schervish (2002). Probabilidad y estadística (3.ª ed.). págs. 440–441 .
↑ Greene, William H. (2012). Análisis econométrico (7.ª ed., edición internacional). Boston: Pearson. ISBN 978-0-273-75356-8OCLC 726074601
↑ Williams, D. (2001). Weighing the Odds . Cambridge University Press. pág . 165. ISBN 052100618X.
↑ Maindonald, John; Braun, W. John (2010-05-06). Análisis de datos y gráficos con R: un enfoque basado en ejemplos . Cambridge University Press. pág. 104. ISBN 978-1-139-48667-5.
↑ Wackerly, Dennis D.; Mendenhall, William; Scheaffer, Richard L. (2008). Estadística matemática con aplicaciones (Séptima ed.). Belmont, CA: Thomson Brooks/Cole. pág. 445. ISBN 9780495110811OCLC 183886598 .
↑ Grubbs, Frank (1965). Medidas estadísticas de precisión para fusileros e ingenieros de misiles . págs. 26–27 .
↑ Evans, Robley D. (1955). El núcleo atómico (PDF) . McGraw Hill. pp. 746, Apéndice G, p902 - Algunas estadísticas ineficientes útiles.
↑ Everitt 2002 , pág. 321.
↑ Nikitin, Ya.Yu. (2001) [1994], "Eficiencia asintótica" , Enciclopedia de Matemáticas , EMS Press
↑ "Eficiencia de Bahadur - Enciclopedia de Matemáticas" .
↑ Arcones MA "Bahadur eficiencia de la prueba de razón de verosimilitud" preimpresión
↑ Canay IA y Otsu, T. "Optimalidad de Hodges-Lehmann para la prueba de modelos de condición de momento"
↑ Dodge, Y. (2006). The Oxford Dictionary of Statistical Terms . Oxford University Press. ISBN 0-19-920613-9.

Referencias

Everitt, Brian S. (2002). The Cambridge Dictionary of Statistics . Cambridge University Press. ISBN 0-521-81099-X.
Lehmann, Erich L. (1998). Elementos de la teoría de muestras grandes . Nueva York: Springer Verlag. ISBN 978-0-387-98595-4.

Lecturas adicionales

Lehmann, EL ; Casella, G. (1998). Teoría de la estimación puntual (2.ª ed.). Springer. ISBN 0-387-98502-6.
Pfanzagl, Johann ; con la ayuda de R. Hamböker (1994). Teoría estadística paramétrica . Berlín: Walter de Gruyter. ISBN 3-11-013863-8. MR 1291393 .

[FOOTNOTEEveritt2002128-1] 1 2Everitt 2002, p. 128.

[2] Nikulin, M.S. (2001) [1994], "Efficiency of a statistical procedure", Encyclopedia of Mathematics, EMS Press

[:1-3] 12Fisher, R (1921). "On the Mathematical Foundations of Theoretical Statistics". Philosophical Transactions of the Royal Society of London A. 222: 309–368. JSTOR 91208.

[FOOTNOTEEveritt2002[httpsarchiveorgdetailscambridgediction00everpagen135_128]-4] Everitt 2002, p. 128.

[:0-5] 12Dekking, F.M. (2007). A Modern Introduction to Probability and Statistics: Understanding Why and How. Springer. pp. 303–305. ISBN 978-1852338961.

[6] Romano, Joseph P.; Siegel, Andrew F. (1986). Counterexamples in Probability and Statistics. Chapman and Hall. p. 194.

[7] Van Trees, Harry L. (2013). Detección, estimación y teoría de la modulación . Kristine L. Bell, Zhi Tian (Segunda edición). Hoboken, NJ ISBN 978-1-299-66515-6OCLC 851161356 {{cite book}}: CS1 mantenimiento: falta el editor de ubicación ( enlace )

[8] DeGroot; Schervish (2002). Probabilidad y estadística (3.ª ed.). págs. 440–441 .

[9] Greene, William H. (2012). Análisis econométrico (7.ª ed., edición internacional). Boston: Pearson. ISBN 978-0-273-75356-8OCLC 726074601

[10] Williams, D. (2001). Weighing the Odds . Cambridge University Press. pág . 165. ISBN 052100618X.

[11] Maindonald, John; Braun, W. John (2010-05-06). Análisis de datos y gráficos con R: un enfoque basado en ejemplos . Cambridge University Press. pág. 104. ISBN 978-1-139-48667-5.

[12] Wackerly, Dennis D.; Mendenhall, William; Scheaffer, Richard L. (2008). Estadística matemática con aplicaciones (Séptima ed.). Belmont, CA: Thomson Brooks/Cole. pág. 445. ISBN 9780495110811OCLC 183886598 .

[13] Grubbs, Frank (1965). Medidas estadísticas de precisión para fusileros e ingenieros de misiles . págs. 26–27 .

[14] Evans, Robley D. (1955). El núcleo atómico (PDF) . McGraw Hill. pp. 746, Apéndice G, p902 - Algunas estadísticas ineficientes útiles.

[FOOTNOTEEveritt2002321-15] Everitt 2002 , pág. 321.

[16] Nikitin, Ya.Yu. (2001) [1994], "Eficiencia asintótica" , Enciclopedia de Matemáticas , EMS Press

[17] "Eficiencia de Bahadur - Enciclopedia de Matemáticas" .

[18] Arcones MA "Bahadur eficiencia de la prueba de razón de verosimilitud" preimpresión

[19] Canay IA y Otsu, T. "Optimalidad de Hodges-Lehmann para la prueba de modelos de condición de momento"

[20] Dodge, Y. (2006). The Oxford Dictionary of Statistical Terms . Oxford University Press. ISBN 0-19-920613-9.

[ 1 ]

[ 2 ]

[

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ].

[ 13 ].

[14]

[15]

[16]

[17]

[18]

[19]

[20]