O grande en notación de probabilidad

El orden en la notación de probabilidad se utiliza en la teoría de probabilidad y en la teoría estadística en paralelo directo a la notación big-O que es estándar en matemáticas . Mientras que la notación big-O se ocupa de la convergencia de secuencias o conjuntos de números ordinarios, el orden en la notación de probabilidad se ocupa de la convergencia de conjuntos de variables aleatorias , donde convergencia se entiende en el sentido de convergencia en probabilidad . ^[1]

Para un conjunto de variables aleatorias X _n y un conjunto correspondiente de constantes a _n (ambas indexadas por n , que no necesitan ser discretas), la notación

${\displaystyle X_{n}=o_{p}(a_{n})}$

significa que el conjunto de valores X _n / a _n converge a cero en probabilidad cuando n se acerca a un límite apropiado. De manera equivalente, X _n = o _p ( a _n ) se puede escribir como X _n / a _n  = o _p (1), es decir

${\displaystyle \lim _{n\to \infty }P\left[\left|{\frac {X_{n}}{a_{n}}}\right|\geq \varepsilon \right]=0,}$

para cada ε positivo. ^[2]

La notación

${\displaystyle X_{n}=O_{p}(a_{n}){\text{ como }}n\to \infty }$

significa que el conjunto de valores X _n / a _n está acotado estocásticamente. Es decir, para cualquier ε > 0, existe un M > 0 finito y un N > 0 finito tales que

${\displaystyle P\left(|{\frac {X_{n}}{a_{n}}}|>M\right)<\varepsilon ,\;\forall \;n>N.}$

La diferencia entre las definiciones es sutil. Si se utiliza la definición del límite, se obtiene:

• Grande :$Estilo de visualización O_{p}(1)}$${\displaystyle \forall \varepsilon \quad \existe N_{\varepsilon },\delta _{\varepsilon }\quad {\text{ tal que }}P(|X_{n}|\geq \delta _{\varepsilon })\leq \varepsilon \quad \forall n>N_{\varepsilon }}$
• Pequeño :${\displaystyle o_{p}(1)}$${\displaystyle \forall \varepsilon ,\delta \quad \existe N_{\varepsilon ,\delta }\quad {\text{ tal que }}P(|X_{n}|\geq \delta )\leq \varepsilon \quad \forall n>N_{\varepsilon ,\delta }}$

La diferencia radica en que para la acotación estocástica, basta con que exista un valor (arbitrariamente grande) para satisfacer la desigualdad, y se permite que sea dependiente de (de ahí el ). Por otro lado, para la convergencia, la afirmación tiene que ser válida no solo para un valor, sino para cualquier valor (arbitrariamente pequeño) . En cierto sentido, esto significa que la secuencia debe estar acotada, con un límite que se hace más pequeño a medida que aumenta el tamaño de la muestra. ${\estilo de visualización \delta}$${\estilo de visualización \delta}$${\estilo de visualización \delta}$${\estilo de visualización \varepsilon}$${\displaystyle \delta _{\varepsilon }}$${\estilo de visualización \delta}$

Esto sugiere que si una secuencia es , entonces es , es decir, la convergencia en probabilidad implica acotación estocástica. Pero lo inverso no se cumple. ${\displaystyle o_{p}(1)}$$Estilo de visualización O_{p}(1)}$

Si es una secuencia estocástica tal que cada elemento tiene varianza finita, entonces ${\displaystyle (X_{n})}$

${\displaystyle X_{n}-E(X_{n})=O_{p}\left({\sqrt {\operatorname {var} (X_{n})}}\right)}$

(véase el Teorema 14.4-1 en Bishop et al.)

Si, además, es una secuencia nula para una secuencia de números reales, entonces converge a cero en probabilidad por la desigualdad de Chebyshev , por lo que ${\displaystyle a_{n}^{-2}\nombre del operador {var} (X_{n})=\nombre del operador {var} (a_{n}^{-1}X_{n})}$${\displaystyle (a_{n})}$${\displaystyle a_{n}^{-1}(X_{n}-E(X_{n}))}$

${\displaystyle X_{n}-E(X_{n})=o_{p}(a_{n}).}$