Estimador invariante

En inferencia estadística , existen varios enfoques de la teoría de la estimación que permiten determinar de inmediato qué estimadores deben utilizarse. Por ejemplo, las ideas de la inferencia bayesiana conducen directamente a los estimadores bayesianos . De manera similar, la teoría de la inferencia estadística clásica a veces permite llegar a conclusiones sólidas sobre qué estimador debe utilizarse. Sin embargo, la utilidad de estas teorías depende de contar con un modelo estadístico completamente definido y también puede depender de tener una función de pérdida relevante para determinar el estimador. Así, se podría realizar un análisis bayesiano , que dé lugar a una distribución posterior para los parámetros relevantes, pero el uso de una función de utilidad o pérdida específica puede resultar poco claro. En ese caso, se pueden aplicar ideas de invariancia para resumir la distribución posterior. En otros casos, se realizan análisis estadísticos sin un modelo estadístico completamente definido o la teoría clásica de la inferencia estadística no se puede aplicar fácilmente porque la familia de modelos que se está considerando no se presta a tal tratamiento. Además de estos casos en los que la teoría general no prescribe un estimador, el concepto de invariancia de un estimador puede aplicarse al buscar estimadores de formas alternativas, ya sea por el bien de la simplicidad de la aplicación del estimador o para que el estimador sea robusto .

El concepto de invarianza se utiliza a veces de forma aislada para elegir entre estimadores, pero esto no es necesariamente definitivo. Por ejemplo, el requisito de invarianza puede ser incompatible con el requisito de que el estimador sea insesgado respecto a la media ; por otro lado, el criterio de insesgadez respecto a la mediana se define en términos de la distribución muestral del estimador y, por lo tanto, es invariante ante muchas transformaciones.

Una aplicación del concepto de invariancia se da cuando se propone una clase o familia de estimadores y se debe seleccionar una formulación específica entre ellos. Un procedimiento consiste en imponer las propiedades de invariancia pertinentes y, a continuación, encontrar la formulación dentro de esta clase que posea las mejores propiedades, lo que da lugar a lo que se denomina el estimador invariante óptimo.

Existen varios tipos de transformaciones que resultan útiles al trabajar con estimadores invariantes. Cada una da lugar a una clase de estimadores que son invariantes a esos tipos particulares de transformación.

• Invariancia ante cambios: En teoría, las estimaciones de un parámetro de localización deberían ser invariantes ante cambios simples en los valores de los datos. Si todos los valores de los datos aumentan en una cantidad determinada, la estimación debería cambiar en la misma cantidad. Al considerar la estimación mediante un promedio ponderado , este requisito de invariancia implica inmediatamente que la suma de los pesos debe ser igual a uno. Si bien a menudo se obtiene el mismo resultado a partir de un requisito de insesgadez, el uso de "invariancia" no requiere la existencia de un valor medio ni utiliza ninguna distribución de probabilidad.
• Invariancia de escala: Cabe señalar que este tema sobre la invariancia del parámetro de escala del estimador no debe confundirse con la invariancia de escala más general sobre el comportamiento de los sistemas bajo propiedades agregadas (en física).
• Invariancia de transformación de parámetros: Aquí, la transformación se aplica solo a los parámetros. El concepto es que esencialmente se debe realizar la misma inferencia a partir de datos y un modelo que involucre un parámetro θ que a partir de los mismos datos si el modelo utilizara un parámetro φ, donde φ es una transformación biyectiva de θ, φ = h (θ). Según este tipo de invariancia, los resultados de los estimadores invariantes a la transformación también deben estar relacionados por φ = h (θ). Los estimadores de máxima verosimilitud tienen esta propiedad cuando la transformación es monótona . Aunque las propiedades asintóticas del estimador pueden ser invariantes, las propiedades para muestras pequeñas pueden ser diferentes, y es necesario derivar una distribución específica. ^{[ 2 ]}
• Invariancia de permutación: Cuando un conjunto de valores de datos puede representarse mediante un modelo estadístico que los representa como resultados de variables aleatorias independientes e idénticamente distribuidas , es razonable imponer el requisito de que cualquier estimador de cualquier propiedad de la distribución común sea invariante a la permutación: específicamente, que el estimador, considerado como una función del conjunto de valores de datos, no cambie si se intercambian elementos de datos dentro del conjunto de datos.

La combinación de invariancia de permutación e invariancia de localización para estimar un parámetro de localización a partir de un conjunto de datos independiente e idénticamente distribuido mediante un promedio ponderado implica que los pesos deben ser idénticos y sumar uno. Por supuesto, otros estimadores distintos al promedio ponderado pueden ser preferibles.

En este contexto, se nos proporciona un conjunto de medidas.${\displaystyle x}$que contiene información sobre un parámetro desconocido${\displaystyle \theta }$Las medidas${\displaystyle x}$se modelan como una variable aleatoria vectorial que tiene una función de densidad de probabilidad${\displaystyle f(x|\theta )}$que depende de un vector de parámetros${\displaystyle \theta }$.

El problema es estimar${\displaystyle \theta }$dado${\displaystyle x}$. La estimación, denotada por${\displaystyle a}$es una función de las mediciones y pertenece a un conjunto${\displaystyle A}$La calidad del resultado se define mediante una función de pérdida .${\displaystyle L=L(a,\theta )}$que determina una función de riesgo${\displaystyle R=R(a,\theta )=E[L(a,\theta )|\theta ]}$. Los conjuntos de valores posibles de${\displaystyle x}$,${\displaystyle \theta }$, y${\displaystyle a}$se denotan por${\displaystyle X}$,${\displaystyle \Theta }$, y${\displaystyle A}$, respectivamente.

En la clasificación estadística , la regla que asigna una clase a un nuevo elemento de datos puede considerarse un tipo especial de estimador. Se pueden aplicar diversas consideraciones de invariancia al formular el conocimiento previo para el reconocimiento de patrones .

Un estimador invariante es un estimador que obedece las dos reglas siguientes:

1. Principio de invariancia racional: La acción tomada en un problema de decisión no debe depender de la transformación de la medida utilizada.
2. Principio de invariancia: Si dos problemas de decisión tienen la misma estructura formal (en términos de${\displaystyle X}$,${\displaystyle \Theta }$,${\displaystyle f(x|\theta )}$y${\displaystyle L}$), entonces se debe utilizar la misma regla de decisión en cada problema.

Para definir formalmente un estimador invariante o equivariante, primero se necesitan algunas definiciones relacionadas con grupos de transformaciones. Sea${\displaystyle X}$denota el conjunto de posibles muestras de datos. Un grupo de transformaciones de${\displaystyle X}$, que se denotará por${\displaystyle G}$, es un conjunto de transformaciones (medibles) 1:1 y sobreyectivas de${\displaystyle X}$en sí mismo, que satisface las siguientes condiciones:

1. Si${\displaystyle g_{1}\in G}$ y${\displaystyle g_{2}\in G}$entonces${\displaystyle g_{1}g_{2}\in G\,}$
2. Si${\displaystyle g\in G}$entonces${\displaystyle g^{-1}\in G}$, dónde${\displaystyle g^{-1}(g(x))=x\,.}$(Es decir, cada transformación tiene una inversa dentro del grupo).
3. ${\displaystyle e\in G}$(es decir, hay una transformación de identidad)${\displaystyle e(x)=x\,}$)

conjuntos de datos${\displaystyle x_{1}}$y${\displaystyle x_{2}}$en${\displaystyle X}$son equivalentes si${\displaystyle x_{1}=g(x_{2})}$para algunos${\displaystyle g\in G}$. Todos los puntos equivalentes forman una clase de equivalencia . Dicha clase de equivalencia se llama órbita (en${\displaystyle X}$). El${\displaystyle x_{0}}$órbita,${\displaystyle X(x_{0})}$, es el conjunto${\displaystyle X(x_{0})=\{g(x_{0}):g\in G\}}$. Si${\displaystyle X}$consta de una sola órbita entonces${\displaystyle g}$Se dice que es transitivo.

Una familia de densidades${\displaystyle F}$Se dice que es invariante bajo el grupo${\displaystyle G}$si, por cada${\displaystyle g\in G}$y${\displaystyle \theta \in \Theta }$existe un único${\displaystyle \theta ^{*}\in \Theta }$de tal manera que${\displaystyle Y=g(x)}$tiene densidad${\displaystyle f(y|\theta ^{*})}$.${\displaystyle \theta ^{*}}$se denotará${\displaystyle {\bar {g}}(\theta )}$.

Si${\displaystyle F}$es invariante bajo el grupo${\displaystyle G}$luego la función de pérdida${\displaystyle L(\theta ,a)}$Se dice que es invariante bajo${\displaystyle G}$si por cada${\displaystyle g\in G}$y${\displaystyle a\in A}$existe un${\displaystyle a^{*}\in A}$de tal manera que${\displaystyle L(\theta ,a)=L({\bar {g}}(\theta ),a^{*})}$a pesar de${\displaystyle \theta \in \Theta }$. El valor transformado${\displaystyle a^{*}}$se denotará por${\displaystyle {\tilde {g}}(a)}$.

En lo anterior,${\displaystyle {\bar {G}}=\{{\bar {g}}:g\in G\}}$es un grupo de transformaciones de${\displaystyle \Theta }$a sí mismo y${\displaystyle {\tilde {G}}=\{{\tilde {g}}:g\in G\}}$es un grupo de transformaciones de${\displaystyle A}$a sí mismo.

Un problema de estimación es invariante (equivariante) bajo${\displaystyle G}$si existen tres grupos${\displaystyle G,{\bar {G}},{\tilde {G}}}$como se definió anteriormente.

Para un problema de estimación que es invariante bajo${\displaystyle G}$estimador${\displaystyle \delta (x)}$es un estimador invariante bajo${\displaystyle G}$si, para todos${\displaystyle x\in X}$y${\displaystyle g\in G}$,

${\displaystyle \delta (g(x))={\tilde {g}}(\delta (x)).}$

1. La función de riesgo de un estimador invariante,${\displaystyle \delta }$, es constante en las órbitas de${\displaystyle \Theta }$. Equivalentemente${\displaystyle R(\theta ,\delta )=R({\bar {g}}(\theta ),\delta )}$a pesar de${\displaystyle \theta \in \Theta }$y${\displaystyle {\bar {g}}\in {\bar {G}}}$.
2. La función de riesgo de un estimador invariante con transitividad${\displaystyle {\bar {g}}}$es constante.

Para un problema dado, el estimador invariante con el menor riesgo se denomina "mejor estimador invariante". El mejor estimador invariante no siempre se puede lograr. Un caso especial para el cual se puede lograr es el caso en el que${\displaystyle {\bar {g}}}$es transitivo.

Suponer${\displaystyle \theta }$es un parámetro de ubicación si la densidad de${\displaystyle X}$es de la forma${\displaystyle f(x-\theta )}$. Para${\displaystyle \Theta =A=\mathbb {R} ^{1}}$y${\displaystyle L=L(a-\theta )}$, el problema es invariante bajo${\displaystyle g={\bar {g}}={\tilde {g}}=\{g_{c}:g_{c}(x)=x+c,c\in \mathbb {R} \}}$El estimador invariante en este caso debe satisfacer

${\displaystyle \delta (x+c)=\delta (x)+c,{\text{ for all }}c\in \mathbb {R} ,}$

así es de la forma${\displaystyle \delta (x)=x+K}$(${\displaystyle K\in \mathbb {R} }$).${\displaystyle {\bar {g}}}$es transitivo en${\displaystyle \Theta }$por lo que el riesgo no varía con${\displaystyle \theta }$: eso es,${\displaystyle R(\theta ,\delta )=R(0,\delta )=\operatorname {E} [L(X+K)|\theta =0]}$El mejor estimador invariante es el que trae el riesgo${\displaystyle R(\theta ,\delta )}$al mínimo.

En el caso de que L sea el error al cuadrado${\displaystyle \delta (x)=x-\operatorname {E} [X|\theta =0].}$

El problema de estimación es que${\displaystyle X=(X_{1},\dots ,X_{n})}$tiene densidad${\displaystyle f(x_{1}-\theta ,\dots ,x_{n}-\theta )}$, donde θ es un parámetro a estimar y donde la función de pérdida es${\displaystyle L(|a-\theta |)}$Este problema es invariante con los siguientes grupos de transformaciones (aditivas):

${\displaystyle G=\{g_{c}:g_{c}(x)=(x_{1}+c,\dots ,x_{n}+c),c\in \mathbb {R} ^{1}\},}$

${\displaystyle {\bar {G}}=\{g_{c}:g_{c}(\theta )=\theta +c,c\in \mathbb {R} ^{1}\},}$

${\displaystyle {\tilde {G}}=\{g_{c}:g_{c}(a)=a+c,c\in \mathbb {R} ^{1}\}.}$

El mejor estimador invariante${\displaystyle \delta (x)}$es el que minimiza

${\displaystyle {\frac {\int _{-\infty }^{\infty }L(\delta (x)-\theta )f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }{\int _{-\infty }^{\infty }f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }},}$

y este es el estimador de Pitman (1939).

Para el caso de pérdida de error cuadrático, el resultado es

${\displaystyle \delta (x)={\frac {\int _{-\infty }^{\infty }\theta f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }{\int _{-\infty }^{\infty }f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }}.}$

Si${\displaystyle x\sim N(\theta 1_{n},I)\,\!}$(es decir, una distribución normal multivariada con componentes independientes de varianza unitaria) entonces

${\displaystyle \delta _{\text{Pitman}}=\delta _{ML}={\frac {\sum {x_{i}}}{n}}.}$

Si${\displaystyle x\sim C(\theta 1_{n},I\sigma ^{2})\,\!}$(componentes independientes que tienen una distribución de Cauchy con parámetro de escala σ ) entonces ${\displaystyle \delta _{\text{Pitman}}\neq \delta _{ML}}$,. Sin embargo, el resultado es

${\displaystyle \delta _{\text{Pitman}}=\sum _{k=1}^{n}{x_{k}\left[{\frac {{\text{Re}}\{w_{k}\}}{\sum _{m=1}^{n}{{\text{Re}}\{w_{k}\}}}}\right]},\qquad n>1,}$

con

${\displaystyle w_{k}=\prod _{j\neq k}\left[{\frac {1}{(x_{k}-x_{j})^{2}+4\sigma ^{2}}}\right]\left[1-{\frac {2\sigma }{(x_{k}-x_{j})}}i\right].}$