Muestreo de rebanadas

El muestreo por secciones es un tipo de algoritmo de Monte Carlo de cadena de Markov para el muestreo de números pseudoaleatorios , es decir, para extraer muestras aleatorias de una distribución estadística. El método se basa en el hecho de que para muestrear una variable aleatoria se puede muestrear uniformemente de la región bajo la gráfica de su función de densidad. ^{[ 1 ] [ 2 ] [ 3 ]}

Muestreo de una variable aleatoria${\displaystyle x}$a partir de una función de densidad de probabilidad dada${\displaystyle f(x)}$es una tarea común en estadística. La figura (abajo a la izquierda) esboza la gráfica de${\displaystyle f(x)}$, donde la altura en${\displaystyle x}$corresponde a la probabilidad en ese punto. En el caso de una distribución uniforme, cada valor de${\displaystyle x}$tendrían la misma probabilidad de ser muestreados, y la función correspondiente sería${\displaystyle f(x)=y}$ por alguna constante${\displaystyle y}$En lugar de la línea negra original, en la segunda figura (abajo a la derecha) se muestra una distribución uniforme representada por la línea azul. Para tomar muestras${\displaystyle x}$de una manera que mantenga la distribución${\displaystyle f(x)}$, una técnica de muestreo que tiene en cuenta las diferentes probabilidades para cada rango de${\displaystyle f(x)}$debe utilizarse.

El muestreo por secciones, en su forma más simple, toma muestras de manera uniforme desde debajo de la curva.${\displaystyle f(x)}$sin necesidad de rechazar ningún punto, como sigue:

1. Elige un valor inicial${\displaystyle x_{0}}$para qué${\displaystyle f(x_{0})>0}$
2. Muestra a${\displaystyle y}$valor uniformemente entre${\displaystyle 0}$y${\displaystyle f(x_{0})}$.
3. Dibuja una línea horizontal a través de la curva en este punto.${\displaystyle y}$posición.
4. Muestra un punto${\displaystyle (x,y)}$a partir de los segmentos de línea dentro de la curva.
5. Repita desde el paso 2 usando el nuevo${\displaystyle x}$valor.

La motivación aquí es que una forma de muestrear un punto uniformemente dentro de una curva arbitraria es primero dibujar rebanadas horizontales delgadas de altura uniforme a lo largo de toda la curva. Luego, podemos muestrear un punto dentro de la curva seleccionando aleatoriamente una rebanada que caiga en o por debajo de la curva en el punto donde${\displaystyle x}$-posición de la iteración anterior, luego eligiendo aleatoriamente una${\displaystyle x}$-posición en algún punto a lo largo de la sección. Al usar el${\displaystyle x}$-posición de la iteración anterior del algoritmo, a largo plazo seleccionamos rebanadas con probabilidades proporcionales a las longitudes de sus segmentos dentro de la curva. La parte más difícil de este algoritmo es encontrar los límites de la rebanada horizontal, lo que implica invertir la función que describe la distribución de la que se está muestreando. Esto es especialmente problemático para distribuciones multimodales, donde la rebanada puede constar de múltiples partes discontinuas. A menudo es posible utilizar una forma de muestreo por rechazo para superar esto, donde muestreamos de una rebanada más grande que se sabe que incluye la rebanada deseada en cuestión, y luego descartamos los puntos fuera de la rebanada deseada. Este algoritmo se puede utilizar para muestrear del área bajo cualquier curva, independientemente de si la función integra a 1. De hecho, escalar una función por una constante no tiene efecto en el muestreo.${\displaystyle x}$-posiciones. Esto significa que el algoritmo se puede utilizar para muestrear de una distribución cuya función de densidad de probabilidad solo se conoce hasta una constante (es decir, cuya constante de normalización es desconocida), lo cual es común en estadística computacional .

El muestreo por segmentos recibe su nombre del primer paso: definir un segmento mediante el muestreo de una variable auxiliar.${\displaystyle Y}$Esta variable se muestrea a partir de${\displaystyle [0,f(x)]}$, dónde${\displaystyle f(x)}$es la función de densidad de probabilidad (PDF) de${\displaystyle x}$o es al menos proporcional a su PDF. Esto define una porción de${\displaystyle x}$dónde${\displaystyle f(x)\geq Y}$En otras palabras, ahora estamos viendo una región de${\displaystyle x}$donde la densidad de probabilidad es al menos${\displaystyle Y}$. Luego el siguiente valor de${\displaystyle x}$se muestrea uniformemente de esta porción. Un nuevo valor de${\displaystyle Y}$se toma una muestra, luego${\displaystyle x}$y así sucesivamente. Esto se puede visualizar como un muestreo alternativo de la posición y y luego la${\displaystyle x}$-posición de los puntos bajo la PDF, por lo tanto el${\displaystyle x}$Las s provienen de la distribución deseada.${\displaystyle Y}$Los valores no tienen consecuencias ni interpretaciones particulares más allá de su utilidad para el procedimiento.

Si se dispone tanto de la función de densidad de probabilidad (PDF) como de su inversa, y la distribución es unimodal, entonces encontrar la sección transversal y muestrear a partir de ella es sencillo. De lo contrario, se puede utilizar un procedimiento de selección para encontrar una región cuyos extremos queden fuera de la sección transversal. Luego, se puede extraer una muestra de la sección transversal mediante muestreo por rechazo . Radford M. Neal describe en detalle varios procedimientos para esto . ^{[ 2 ]}

Tenga en cuenta que, a diferencia de muchos métodos disponibles para generar números aleatorios a partir de distribuciones no uniformes, las variables aleatorias generadas directamente por este enfoque exhibirán dependencia estadística serial. Esto se debe a que para extraer la siguiente muestra, definimos la porción en función del valor de${\displaystyle f(x)}$para la muestra actual.

El muestreo por secciones es un método de cadena de Markov y, como tal, cumple la misma función que el muestreo de Gibbs y el de Metropolis. A diferencia de Metropolis, no es necesario ajustar manualmente la función candidata ni la desviación estándar candidata .

Recordemos que el algoritmo de Metrópolis es sensible al tamaño del paso. Si el tamaño del paso es demasiado pequeño, el paseo aleatorio provoca una descorrelación lenta . Si el tamaño del paso es demasiado grande, se produce una gran ineficiencia debido a una alta tasa de rechazo.

A diferencia del algoritmo de Metropolis, el muestreo por secciones ajusta automáticamente el tamaño del paso para que coincida con la forma local de la función de densidad. Su implementación es, sin duda, más sencilla y eficiente que la del muestreo de Gibbs o las actualizaciones simples de Metropolis.

Nótese que, a diferencia de muchos métodos disponibles para generar números aleatorios a partir de distribuciones no uniformes, las variables aleatorias generadas directamente por este enfoque exhibirán dependencia estadística serial. En otras palabras, no todos los puntos tienen la misma probabilidad independiente de selección. Esto se debe a que, para extraer la siguiente muestra, definimos la porción en función del valor de${\displaystyle f(x)}$para la muestra actual. Sin embargo, las muestras generadas son markovianas y, por lo tanto, se espera que converjan a la distribución correcta a largo plazo.

El muestreo por secciones requiere que la distribución que se va a muestrear sea evaluable. Una forma de flexibilizar este requisito es sustituirla por una distribución evaluable que sea proporcional a la distribución real no evaluable.

Para muestrear una variable aleatoria${\displaystyle x}$con densidad${\displaystyle f(x)}$Introducimos una variable auxiliar Y e iteramos de la siguiente manera:

• Dado un ejemplo${\displaystyle x}$elegimos y uniformemente al azar del intervalo${\displaystyle [0,f(x)]}$;
• dado${\displaystyle y}$elegimos${\displaystyle x}$uniformemente al azar del conjunto${\displaystyle f^{-1}[y,+\infty)}$.
• La muestra de${\displaystyle x}$se obtiene ignorando los valores de y .

Nuestra variable auxiliar${\displaystyle y}$representa una "rebanada" horizontal de la distribución. El resto de cada iteración se dedica a muestrear una${\displaystyle x}$valor de la sección que es representativa de la densidad de la región que se está considerando.

En la práctica, el muestreo de una sección horizontal de una distribución multimodal es complejo. Existe una tensión entre obtener una región de muestreo amplia, lo que permitiría grandes desplazamientos en el espacio de distribución, y obtener una región de muestreo más sencilla para aumentar la eficiencia. Una opción para simplificar este proceso es la expansión y contracción regional.

• Primero, un parámetro de ancho${\displaystyle w}$se utiliza para definir el área que contiene el valor x dado . Cada extremo de esta área se comprueba para ver si se encuentra fuera de la sección dada. Si no, la región se extiende en la(s) dirección(es) apropiada(s) mediante${\displaystyle w}$Hasta el final, ambos extremos quedan fuera de la porción.
• Se selecciona una muestra candidata de forma uniforme dentro de esta región. Si la muestra candidata se encuentra dentro del segmento, se acepta como la nueva muestra. Si se encuentra fuera del segmento, el punto candidato se convierte en el nuevo límite de la región. Se toma una nueva muestra candidata de forma uniforme. El proceso se repite hasta que la muestra candidata se encuentre dentro del segmento. (Véase el diagrama para un ejemplo visual).

→

En un muestreador de Gibbs , es necesario extraer datos de manera eficiente de todas las distribuciones condicionales completas. Cuando el muestreo de una densidad condicional completa no es sencillo, se puede utilizar una sola iteración de muestreo por secciones o el algoritmo de Metropolis-Hastings dentro de Gibbs para muestrear la variable en cuestión. Si la densidad condicional completa es logarítmicamente cóncava, una alternativa más eficiente es la aplicación de métodos de muestreo de rechazo adaptativo (ARS). ^{[ 4 ] [ 5 ]} Cuando no se pueden aplicar las técnicas ARS (ya que la densidad condicional completa no es logarítmicamente cóncava), se suelen emplear los algoritmos de muestreo de Metropolis de rechazo adaptativo . ^{[ 6 ] [ 7 ]}

Consideremos un ejemplo de una sola variable. Supongamos que nuestra distribución verdadera es una distribución normal con media 0 y desviación estándar 3,${\displaystyle g(x)\sim N(0,3^{2})}$. Entonces: ${\displaystyle f(x)={\frac {1}{\sqrt {2\pi \cdot 3^{2}}}}\ e^{-{\frac {(x-0)^{2}}{2\cdot 3^{2}}}}}$El pico de la distribución se encuentra obviamente en${\displaystyle x=0}$, en ese momento${\displaystyle f(x)\approx 0.1330}$.

1. Primero extraemos un valor aleatorio uniforme.${\displaystyle y}$de la gama de${\displaystyle f(x)}$para definir nuestra(s) porción(es).${\displaystyle f(x)}$varía de 0 a ~0,1330, por lo que cualquier valor entre estos dos extremos es suficiente. Supongamos que tomamos${\displaystyle y=0.1}$El problema radica en cómo muestrear puntos que tengan valores${\displaystyle y>0.1}$.
2. A continuación, establecemos nuestro parámetro de ancho.${\displaystyle w}$que utilizaremos para ampliar nuestra región de consideración. Este valor es arbitrario. Supongamos${\displaystyle w=2}$.
3. A continuación, necesitamos un valor inicial para${\displaystyle x}$Dibujamos.${\displaystyle x}$de la distribución uniforme dentro del dominio de${\displaystyle f(x)}$lo cual satisface${\displaystyle f(x)>0.1}$(nuestro${\displaystyle y}$parámetro). Supongamos${\displaystyle x=2}$Esto funciona porque${\displaystyle f(2)=0,1065...>0,1}$. ^{[ 8 ]}
4. Porque${\displaystyle x=2}$y${\displaystyle w=2}$, nuestra región de interés actual está delimitada por${\displaystyle (1,3)}$.
5. Ahora, cada extremo de esta área se prueba para ver si se encuentra fuera de la porción dada. Nuestro límite derecho se encuentra fuera de nuestra porción (${\displaystyle f(3)=0,0807...<0,1}$), pero el valor de la izquierda no (${\displaystyle f(1)=0,1258...>0,1}$). Ampliamos el límite izquierdo añadiendo${\displaystyle w}$hasta que se extiende más allá del límite de la sección. Después de este proceso, los nuevos límites de nuestra región de interés son:${\displaystyle (-3,3)}$.
6. A continuación, tomamos una muestra uniforme dentro de${\displaystyle (-3,3)}$. Supongamos que esta muestra produce${\displaystyle x=-2.9}$. Aunque esta muestra se encuentra dentro de nuestra región de interés, no se encuentra dentro de nuestra sección (${\displaystyle f(2.9)=0.08334...<0.1}$), por lo que modificamos el límite izquierdo de nuestra región de interés hasta este punto. Ahora tomamos una muestra uniforme de${\displaystyle (-2.9,3)}$. Supongamos que esta vez nuestra muestra arroja${\displaystyle x=1}$, que está dentro de nuestra porción, y por lo tanto es la salida de muestra aceptada por el muestreo de porción. Teníamos nuestro nuevo${\displaystyle x}$Si no se encuentra dentro de nuestro segmento, continuaremos el proceso de reducción/remuestreo hasta que se encuentre uno válido.${\displaystyle x}$dentro de los límites se encuentra.

Si nos interesa el pico de la distribución, podemos seguir repitiendo este proceso ya que el nuevo punto corresponde a un valor más alto.${\displaystyle f(x)}$que el punto original.

Para muestrear de la distribución normal${\displaystyle N(0,1)}$Primero elegimos un inicial${\displaystyle x}$—digamos 0. Después de cada muestra de${\displaystyle x}$elegimos${\displaystyle y}$uniformemente al azar de${\displaystyle (0,e^{-x^{2}/2}/{\sqrt {2\pi }}]}$, que está delimitado por la pdf de${\displaystyle N(0,1)}$Después de cada${\displaystyle y}$muestra que elegimos${\displaystyle x}$uniformemente al azar de${\displaystyle [-\alpha ,\alpha ]}$dónde${\displaystyle \alpha ={\sqrt {-2\ln(y{\sqrt {2\pi }})}}}$. Esta es la porción donde${\displaystyle f(x)>y}$.

Una implementación en el lenguaje Macsyma es:

slice ( x ) := block ([ y , alpha ] , y: random ( exp ( - x ^ 2 / 2.0 ) / sqrt ( 2.0 * dfloat ( % pi ))) , alpha: sqrt ( -2.0 * ln ( y * sqrt ( 2.0 * dfloat ( % pi )))) , x: signum ( random ()) * random ( alpha ) ) ;

• Cadena de Markov Monte Carlo

• http://www.probability.ca/jeff/java/slice.html