Independencia (teoría de la probabilidad)

Dos vectores aleatorios${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{m})^{\mathrm {T} }}$y${\displaystyle \mathbf {Y} =(Y_{1},\ldots ,Y_{n})^{\mathrm {T} }}$se denominan independientes si ^{[ 5 ] : pág. 187}

dónde${\displaystyle F_{\mathbf {X} }(\mathbf {x} )}$y${\displaystyle F_{\mathbf {Y} }(\mathbf {y} )}$denotan las funciones de distribución acumulativa de${\displaystyle \mathbf {X} }$y${\displaystyle \mathbf {Y} }$y${\displaystyle F_{\mathbf {X,Y} }(\mathbf {x,y} )}$denota su función de distribución acumulativa conjunta. Independencia de${\displaystyle \mathbf {X} }$y${\displaystyle \mathbf {Y} }$a menudo se denota por${\displaystyle \mathbf {X} \perp \!\!\!\perp \mathbf {Y} }$. Escrito por componentes,${\displaystyle \mathbf {X} }$y${\displaystyle \mathbf {Y} }$se denominan independientes si

${\displaystyle F_{X_{1},\ldots ,X_{m},Y_{1},\ldots ,Y_{n}}(x_{1},\ldots ,x_{m},y_{1},\ldots ,y_{n})=F_{X_{1},\ldots ,X_{m}}(x_{1},\ldots ,x_{m})\cdot F_{Y_{1},\ldots ,Y_{n}}(y_{1},\ldots ,y_{n})\quad {\text{for all }}x_{1},\ldots ,x_{m},y_{1},\ldots ,y_{n}.}$

Las definiciones anteriores ( ecuación 1 y ecuación 2 ) se generalizan mediante la siguiente definición de independencia para σ-álgebras . Sea${\displaystyle (\Omega ,\Sigma ,\mathrm {P} )}$Sea un espacio de probabilidad y sea${\displaystyle {\mathcal {A}}}$y${\displaystyle {\mathcal {B}}}$sean dos sub-σ-álgebras de${\displaystyle \Sigma }$.${\displaystyle {\mathcal {A}}}$y${\displaystyle {\mathcal {B}}}$Se dice que son independientes si, siempre que${\displaystyle A\in {\mathcal {A}}}$y${\displaystyle B\in {\mathcal {B}}}$,

${\displaystyle \mathrm {P} (A\cap B)=\mathrm {P} (A)\mathrm {P} (B).}$

Asimismo, una familia finita de σ-álgebras${\displaystyle (\tau _{i})_{i\in I}}$, dónde${\displaystyle I}$es un conjunto de índices , se dice que es independiente si y solo si

${\displaystyle \forall \left(A_{i}\right)_{i\in I}\in \prod \nolimits _{i\in I}\tau _{i}\$ :\ \mathrm {P} \left(\bigcap \nolimits _{i\in I}A_{i}\right)=\prod \nolimits _{i\in I}\mathrm {P} \left(A_{i}\right)}

y se dice que una familia infinita de σ-álgebras es independiente si todas sus subfamilias finitas son independientes.

La nueva definición se relaciona de forma muy directa con las anteriores:

• Dos eventos son independientes (en el sentido antiguo) si y solo si las σ-álgebras que generan son independientes (en el sentido nuevo). La σ-álgebra generada por un evento${\displaystyle E\in \Sigma }$es, por definición,

${\displaystyle \sigma (\{E\})=\{\emptyset ,E,\Omega \setminus E,\Omega \}.}$

• Dos variables aleatorias${\displaystyle X}$y${\displaystyle Y}$definido sobre${\displaystyle \Omega }$son independientes (en el sentido antiguo) si y solo si las σ-álgebras que generan son independientes (en el sentido nuevo). El σ-álgebra generada por una variable aleatoria${\displaystyle X}$tomando valores en algún espacio medible${\displaystyle S}$consiste, por definición, en todos los subconjuntos de${\displaystyle \Omega }$de la forma${\displaystyle X^{-1}(U)}$, dónde${\displaystyle U}$es cualquier subconjunto medible de${\displaystyle S}$.

Utilizando esta definición, es fácil demostrar que si${\displaystyle X}$y${\displaystyle Y}$son variables aleatorias y${\displaystyle Y}$es constante, entonces${\displaystyle X}$y${\displaystyle Y}$son independientes, puesto que el álgebra σ generada por una variable aleatoria constante es el álgebra σ trivial.${\displaystyle \{\varnothing ,\Omega \}}$Los eventos de probabilidad cero no pueden afectar la independencia, por lo que la independencia también se cumple si${\displaystyle Y}$es solo Pr- casi seguramente constante.

Tenga en cuenta que un evento es independiente de sí mismo si y solo si

${\displaystyle \mathrm {P} (A)=\mathrm {P} (A\cap A)=\mathrm {P} (A)\cdot \mathrm {P} (A)\iff \mathrm {P} (A)=0{\text{ or }}\mathrm {P} (A)=1.}$

Así, un evento es independiente de sí mismo si y solo si ocurre casi con seguridad o su complemento ocurre casi con seguridad; este hecho es útil al probar leyes cero-uno . ^{[ 8 ]}

De manera similar, una variable aleatoria es independiente de sí misma si y solo si es casi seguramente constante .

Si${\displaystyle X}$y${\displaystyle Y}$Si son variables aleatorias estadísticamente independientes, entonces:

- El valor esperado del producto es el producto de los valores esperados ^{[ 9 ] : p. 10} :

${\displaystyle \operatorname {E} [X^{n}Y^{m}]=\operatorname {E} [X^{n}]\operatorname {E} [Y^{m}]}$

- La covarianza${\displaystyle \operatorname {Cov} [X,Y]}$es cero:

${\displaystyle \operatorname {Cov} [X,Y]=\operatorname {E} [XY]-\operatorname {E} [X]\operatorname {E} [Y]=0}$

- La varianza de la suma es la suma de las varianzas:

${\displaystyle \operatorname {V} [X+Y]=\operatorname {V} [X]+\operatorname {V} [Y]+2\operatorname {Cov} [X,Y]=\operatorname {V} [X]+\operatorname {V} [Y]}$

- La correlación es cero:

${\displaystyle \rho _{X,Y}={\dfrac {\operatorname {Cov} [X,Y]}{\sigma _{X}\sigma _{Y}}}=0}$

Lo contrario no es cierto: ninguna de estas propiedades implica independencia. Por ejemplo, si dos variables aleatorias tienen una covarianza de 0, aún así pueden no ser independientes.

De forma similar para dos procesos estocásticos${\displaystyle \left\{X_{t}\right\}_{t\in {\mathcal {T}}}}$y${\displaystyle \left\{Y_{t}\right\}_{t\in {\mathcal {T}}}}$: Si son independientes, entonces no están correlacionadas . ^{[ 10 ] : pág. 151}

Dos variables aleatorias${\displaystyle X}$y${\displaystyle Y}$son independientes si y solo si la función característica del vector aleatorio${\displaystyle (X,Y)}$Satisface

${\displaystyle \varphi _{(X,Y)}(t,s)=\varphi _{X}(t)\cdot \varphi _{Y}(s).}$

En particular, la función característica de su suma es el producto de sus funciones características marginales:

${\displaystyle \varphi _{X+Y}(t)=\varphi _{X}(t)\cdot \varphi _{Y}(t),}$

aunque la implicación inversa no es cierta. Las variables aleatorias que satisfacen esta última condición se denominan subindependientes .

El hecho de obtener un 6 la primera vez que se lanza un dado y el hecho de obtener un 6 la segunda vez son eventos independientes . Por el contrario, el hecho de obtener un 6 la primera vez que se lanza un dado y el hecho de que la suma de los números obtenidos en el primer y segundo lanzamiento sea 8 no son eventos independientes.

Si se extraen dos cartas con reemplazo de una baraja, el hecho de extraer una carta roja en el primer intento y el de extraer una carta roja en el segundo intento son independientes . Por el contrario, si se extraen dos cartas sin reemplazo de una baraja, el hecho de extraer una carta roja en el primer intento y el de extraer una carta roja en el segundo intento no son independientes, porque una baraja a la que se le ha quitado una carta roja tiene proporcionalmente menos cartas rojas.

Consideremos los dos espacios de probabilidad mostrados. En ambos casos,${\displaystyle \mathrm {P} (A)=\mathrm {P} (B)=1/2}$y${\displaystyle \mathrm {P} (C)=1/4}$. Los eventos en el primer espacio son independientes por pares porque${\displaystyle \mathrm {P} (A|B)=\mathrm {P} (A|C)=1/2=\mathrm {P} (A)}$,${\displaystyle \mathrm {P} (B|A)=\mathrm {P} (B|C)=1/2=\mathrm {P} (B)}$, y${\displaystyle \mathrm {P} (C|A)=\mathrm {P} (C|B)=1/4=\mathrm {P} (C)}$; pero los tres eventos no son mutuamente independientes. Los eventos en el segundo espacio son independientes por pares y mutuamente independientes. Para ilustrar la diferencia, consideremos el condicionamiento a dos eventos. En el caso de independencia por pares, aunque cualquier evento es independiente de cada uno de los otros dos individualmente, no es independiente de la intersección de los otros dos:

${\displaystyle \mathrm {P} (A|BC)={\frac {\frac {4}{40}}{{\frac {4}{40}}+{\frac {1}{40}}}}={\tfrac {4}{5}}\neq \mathrm {P} (A)}$

${\displaystyle \mathrm {P} (B|AC)={\frac {\frac {4}{40}}{{\frac {4}{40}}+{\frac {1}{40}}}}={\tfrac {4}{5}}\neq \mathrm {P} (B)}$

${\displaystyle \mathrm {P} (C|AB)={\frac {\frac {4}{40}}{{\frac {4}{40}}+{\frac {6}{40}}}}={\tfrac {2}{5}}\neq \mathrm {P} (C)}$

Sin embargo, en el caso mutuamente independiente,

${\displaystyle \mathrm {P} (A|BC)={\frac {\frac {1}{16}}{{\frac {1}{16}}+{\frac {1}{16}}}}={\tfrac {1}{2}}=\mathrm {P} (A)}$

${\displaystyle \mathrm {P} (B|AC)={\frac {\frac {1}{16}}{{\frac {1}{16}}+{\frac {1}{16}}}}={\tfrac {1}{2}}=\mathrm {P} (B)}$

${\displaystyle \mathrm {P} (C|AB)={\frac {\frac {1}{16}}{{\frac {1}{16}}+{\frac {3}{16}}}}={\tfrac {1}{4}}=\mathrm {P} (C)}$

Es posible crear un ejemplo de tres eventos en el que

${\displaystyle \mathrm {P} (A\cap B\cap C)=\mathrm {P} (A)\mathrm {P} (B)\mathrm {P} (C),}$

y, sin embargo, ninguno de los tres eventos es independiente por pares (y, por lo tanto, el conjunto de eventos no es mutuamente independiente). ^{[ 11 ]} Este ejemplo muestra que la independencia mutua implica requisitos sobre los productos de las probabilidades de todas las combinaciones de eventos, no solo de los eventos individuales como en este ejemplo.

Los eventos${\displaystyle A}$y${\displaystyle B}$son condicionalmente independientes dado un evento${\displaystyle C}$cuando

${\displaystyle \mathrm {P} (A\cap B\mid C)=\mathrm {P} (A\mid C)\cdot \mathrm {P} (B\mid C)}$.

Intuitivamente, dos variables aleatorias${\displaystyle X}$y${\displaystyle Y}$son condicionalmente independientes dado${\displaystyle Z}$si, una vez${\displaystyle Z}$es conocido, el valor de${\displaystyle Y}$no añade ninguna información adicional sobre${\displaystyle X}$Por ejemplo, dos mediciones${\displaystyle X}$y${\displaystyle Y}$de la misma cantidad subyacente${\displaystyle Z}$no son independientes, pero son condicionalmente independientes dado${\displaystyle Z}$(a menos que los errores en las dos mediciones estén relacionados de alguna manera).

La definición formal de independencia condicional se basa en la idea de distribuciones condicionales . Si${\displaystyle X}$,${\displaystyle Y}$, y${\displaystyle Z}$son variables aleatorias discretas , entonces definimos${\displaystyle X}$y${\displaystyle Y}$ser condicionalmente independiente dado${\displaystyle Z}$si

${\displaystyle \mathrm {P} (X\leq x,Y\leq y\;|\;Z=z)=\mathrm {P} (X\leq x\;|\;Z=z)\cdot \mathrm {P} (Y\leq y\;|\;Z=z)}$

a pesar de${\displaystyle x}$,${\displaystyle y}$y${\displaystyle z}$de tal manera que${\displaystyle \mathrm {P} (Z=z)>0}$Por otro lado, si las variables aleatorias son continuas y tienen una función de densidad de probabilidad conjunta${\displaystyle f_{XYZ}(x,y,z)}$, entonces${\displaystyle X}$y${\displaystyle Y}$son condicionalmente independientes dado${\displaystyle Z}$si

${\displaystyle f_{XY|Z}(x,y|z)=f_{X|Z}(x|z)\cdot f_{Y|Z}(y|z)}$

para todos los números reales${\displaystyle x}$,${\displaystyle y}$y${\displaystyle z}$de tal manera que${\displaystyle f_{Z}(z)>0}$.

Si discreto${\displaystyle X}$y${\displaystyle Y}$son condicionalmente independientes dado${\displaystyle Z}$, entonces

${\displaystyle \mathrm {P} (X=x|Y=y,Z=z)=\mathrm {P} (X=x|Z=z)}$

para cualquier${\displaystyle x}$,${\displaystyle y}$y${\displaystyle z}$con${\displaystyle \mathrm {P} (Z=z)>0}$. Es decir, la distribución condicional para${\displaystyle X}$dado${\displaystyle Y}$y${\displaystyle Z}$es lo mismo que lo dado${\displaystyle Z}$sola. Una ecuación similar es válida para las funciones de densidad de probabilidad condicionales en el caso continuo.

La independencia puede considerarse un tipo especial de independencia condicional, ya que la probabilidad puede verse como un tipo de probabilidad condicional en ausencia de eventos.