En teoría de la probabilidad , la regla de sucesión es una fórmula introducida en el siglo XVIII por Pierre-Simon Laplace al abordar el problema del amanecer . [ 1 ] La fórmula todavía se utiliza, particularmente para estimar probabilidades subyacentes cuando hay pocas observaciones o eventos que no se han observado en absoluto en datos de muestra (finitos).
Declaración de la regla de sucesión
Si repetimos un experimento que sabemos que puede tener éxito o fracasar, n veces de forma independiente, y obtenemos s éxitos y n − s fracasos, ¿cuál es la probabilidad de que la siguiente repetición tenga éxito?
De forma más abstracta: Si X 1 , ..., X n +1 son variables aleatorias condicionalmente independientes que pueden tomar el valor 0 o 1, entonces, si no sabemos nada más sobre ellas,
Interpretación
Dado que sabemos de antemano que estamos analizando un experimento en el que tanto el éxito como el fracaso son posibles, nuestra estimación es como si hubiéramos observado un éxito y un fracaso con certeza antes incluso de comenzar los experimentos. En cierto modo, realizamos n + 2 observaciones (conocidas como pseudocuentas ) con s + 1 éxitos. Si bien esta puede parecer la suposición más simple y razonable, que además resulta ser cierta, aún requiere una demostración. De hecho, asumir una pseudocuenta de uno por posibilidad es una forma de generalizar el resultado binario, pero tiene consecuencias inesperadas; véase Generalización a cualquier número de posibilidades , más adelante.
Sin embargo, si no hubiéramos sabido desde el principio que tanto el éxito como el fracaso son posibles, entonces habríamos tenido que asignar
Pero consulte los detalles matemáticos , a continuación, para un análisis de su validez. En particular, no es válido cuando, o.
Si aumenta el número de observaciones,ySe vuelven cada vez más similares, lo cual es intuitivamente claro: cuantos más datos tengamos, menos importancia deberíamos darle a nuestra información previa.
Aplicación histórica al problema del amanecer
Laplace utilizó la regla de sucesión para calcular la probabilidad de que el Sol salga mañana, dado que ha salido todos los días durante los últimos 5000 años. Se obtiene un factor muy grande, aproximadamente 5000 × 365,25, lo que da una probabilidad de aproximadamente 1.826.200 a 1 a favor de que el Sol salga mañana.
Sin embargo, como demuestran los detalles matemáticos a continuación, la suposición básica para utilizar la regla de sucesión sería que no tenemos conocimiento previo sobre si el Sol saldrá o no mañana, salvo que puede hacerlo. Esto no se aplica a los amaneceres.
Laplace lo sabía bien, y escribió para concluir el ejemplo del amanecer: «Pero este número es mucho mayor para aquel que, viendo en la totalidad de los fenómenos el principio que regula los días y las estaciones, se da cuenta de que nada en el momento presente puede detener su curso». [ 2 ] Sin embargo, Laplace fue ridiculizado por este cálculo; sus oponentes no prestaron atención a esa frase, o no comprendieron su importancia. [ 2 ]
En la década de 1940, Rudolf Carnap investigó una teoría del razonamiento inductivo basada en la probabilidad y desarrolló medidas del grado de confirmación, que consideró como alternativas a la regla de sucesión de Laplace. [ 3 ] [ 4 ] Véase también Nuevo enigma de la inducción#Carnap .
Intuición

La regla de sucesión puede interpretarse de manera intuitiva considerando puntos distribuidos aleatoriamente en un círculo en lugar de contar el número de "éxitos" o "fracasos" en un experimento. [ 5 ] Para imitar el comportamiento de la proporción p en el círculo, lo colorearemos con dos colores y la fracción del círculo coloreada con el color de "éxito" será igual a p . Para expresar la incertidumbre sobre el valor de p , necesitamos seleccionar una fracción del círculo.
Se elige una fracción seleccionando dos puntos aleatorios uniformes en el círculo. El primer punto Z corresponde al cero en el intervalo [0, 1] y el segundo punto P corresponde a p dentro de [0, 1]. En términos del círculo, la fracción del círculo desde Z hasta P en sentido horario será igual a p . Los n ensayos pueden interpretarse como n puntos distribuidos uniformemente en el círculo; cualquier punto en la fracción de "éxito" es un éxito y cualquier otro es un fracaso. Esto proporciona una correspondencia exacta entre los experimentos de éxito/fracaso con probabilidad de éxito p y los puntos aleatorios uniformes en el círculo. En la figura, la fracción de éxito está coloreada de azul para diferenciarla del resto del círculo y los puntos P y Z están resaltados en rojo.
Dado este círculo, la estimación de p es la fracción coloreada de azul. Dividamos el círculo en n+2 arcos correspondientes a los n+2 puntos, de modo que la porción desde un punto del círculo hasta el siguiente (moviéndose en sentido horario) sea un arco asociado al primer punto. Así, Z define el primer arco azul, mientras que P define el primer arco no azul/de fracaso. Dado que el siguiente punto es un punto aleatorio uniforme, si cae en cualquiera de los arcos azules, el ensayo tiene éxito, mientras que si cae en cualquiera de los otros arcos, fracasa. Por lo tanto, la probabilidad de éxito p esdonde b es el número de arcos azules y t es el número total de arcos. Nótese que hay un arco azul más (el de Z ) que puntos de éxito y dos arcos más (los de P y Z ) que puntos n . Sustituyendo los valores por el número de éxitos se obtiene la regla de sucesión.
Nota: La probabilidad real debe calcularse dividiendo la longitud de los arcos azules entre la longitud total de todos los arcos. Sin embargo, cuando k puntos se distribuyen aleatoriamente de forma uniforme en un círculo, la distancia entre un punto y el siguiente es 1/k. Por lo tanto, en promedio, cada arco tiene la misma longitud y la razón entre las longitudes se convierte en la razón entre las frecuencias.
Detalles matemáticos
A la proporción p se le asigna una distribución uniforme para describir la incertidumbre sobre su valor real. (Esta proporción no es aleatoria, sino incierta. Le asignamos una distribución de probabilidad a p para expresar nuestra incertidumbre, no para atribuirle aleatoriedad . Pero, matemáticamente, esto equivale a tratar a p como si fuera aleatoria).
Sea X i igual a 1 si observamos un "éxito" en el i- ésimo ensayo , 0 en caso contrario, con probabilidad p de éxito en cada ensayo. Por lo tanto, cada X es 0 o 1; cada X tiene una distribución de Bernoulli . Supongamos que estas X son condicionalmente independientes dado p .
Podemos usar el teorema de Bayes para encontrar la distribución de probabilidad condicional de p dados los datos X i , i = 1, ..., n. Para la medida de probabilidad " a priori " (es decir, marginal) de p asignamos una distribución uniforme sobre el intervalo abierto (0,1).
Para la probabilidad de nuestras observaciones bajo un p dado , utilizamos la función de verosimilitud.
donde s = x 1 + ... + x n es el número de "éxitos" y n es el número de ensayos (usamos la X mayúscula para denotar una variable aleatoria y la x minúscula para los datos observados). Al juntarlo todo, podemos calcular la distribución posterior:
Para obtener la constante de normalización , encontramos
( Para más información sobre integrales de esta forma, consulte la función beta ).
Por lo tanto, la función de densidad de probabilidad posterior es
Esta es una distribución beta con valor esperado
Dado que p nos indica la probabilidad de éxito en cualquier experimento, y cada experimento es condicionalmente independiente , la probabilidad condicional de éxito en el siguiente experimento es simplemente p . Como p se trata como si fuera una variable aleatoria , la ley de la probabilidad total nos dice que la probabilidad esperada de éxito en el siguiente experimento es simplemente el valor esperado de p . Dado que p está condicionada a los datos observados X i para i = 1, ..., n , tenemos
El mismo cálculo puede realizarse con la distribución a priori (impropia) que expresa ignorancia total de p , incluyendo ignorancia con respecto a la cuestión de si el experimento puede tener éxito o fracasar. Esta distribución a priori impropia es 1/( p (1 − p )) para 0 ≤ p ≤ 1 y 0 en caso contrario. [ 6 ] Si se repite el cálculo anterior con esta distribución a priori, obtenemos
Así, con la distribución a priori que especifica la ignorancia total, la probabilidad de éxito está regida por la frecuencia observada de éxito. Sin embargo, la distribución a posteriori que condujo a este resultado es la distribución Beta( s , n − s ), que no es propia cuando s = n o s = 0 (es decir, la constante de normalización es infinita cuando s = 0 o s = n ). Esto significa que no podemos usar esta forma de la distribución a posteriori para calcular la probabilidad de que la siguiente observación tenga éxito cuando s = 0 o s = n . Esto pone de relieve la información contenida en la regla de sucesión: puede pensarse como la expresión del supuesto a priori de que si el muestreo se continuara indefinidamente, eventualmente observaríamos al menos un éxito y al menos un fracaso en la muestra. La distribución a priori que expresa la ignorancia total no presupone este conocimiento.
Para evaluar el caso de "ignorancia total" cuando se puede tratar con s = 0 o s = n , primero volvemos a la distribución hipergeométrica , denotada por Este es el enfoque adoptado en Jaynes (2003). El binomialpuede derivarse como una forma límite, dondede tal manera que su proporciónpermanece fijo. Uno puede pensar encomo el número de éxitos en la población total, de tamaño.
El equivalente anterior aes, con un dominio de. Funcionamiento condicional asignifica que estimares equivalente a estimary luego dividiendo esta estimación por. La posterior parase puede dar como:
Y se puede observar que, si s = n o s = 0, entonces uno de los factoriales del numerador se cancela exactamente con uno del denominador. Tomando el caso s = 0, tenemos:
Si se añade la constante de normalización, que siempre es finita (porque no hay singularidades en el rango de la distribución posterior y hay un número finito de términos), se obtiene:
Entonces, la expectativa posterior paraes:
Una expresión analítica aproximada para N grande se obtiene haciendo primero la aproximación al término del producto :
y luego reemplazando la suma en el numerador con una integral.
Se sigue el mismo procedimiento para el denominador, pero el proceso es un poco más complicado, ya que la integral es más difícil de evaluar.
donde ln es el logaritmo natural, al sustituir estas aproximaciones en la esperanza se obtiene
donde se ha utilizado el logaritmo en base 10 en la respuesta final para facilitar el cálculo. Por ejemplo, si la población tiene un tamaño de 10 k , la probabilidad de éxito en la siguiente muestra viene dada por:
Por ejemplo, si la población es del orden de decenas de miles de millones, de modo que k = 10, y observamos n = 10 resultados sin éxito, entonces la proporción esperada en la población es aproximadamente del 0,43 %. Si la población es menor, de modo que n = 10, k = 5 (decenas de miles), la proporción esperada aumenta a aproximadamente el 0,86 %, y así sucesivamente. De manera similar, si el número de observaciones es menor, de modo que n = 5, k = 10, la proporción vuelve a aumentar a aproximadamente el 0,86 %.
Esta probabilidad no tiene límite inferior positivo y puede hacerse arbitrariamente pequeña para valores de N o k cada vez mayores . Esto significa que la probabilidad depende del tamaño de la población de la que se toma la muestra. Al llegar al límite de N infinito (para las propiedades analíticas más simples), estamos "desechando" una información muy importante. Cabe señalar que esta relación de ignorancia solo se cumple mientras no se observen éxitos. En consecuencia, se vuelve a la regla de frecuencia observada.tan pronto como se observa un éxito. Los resultados correspondientes se obtienen para el caso s=n intercambiando las etiquetas y luego restando la probabilidad de 1.
Generalización a cualquier número de posibilidades
Esta sección ofrece una derivación heurística similar a la de Teoría de la Probabilidad: La Lógica de la Ciencia . [ 7 ]
La regla de sucesión tiene muchas interpretaciones intuitivas diferentes, y dependiendo de la intuición que se utilice, la generalización puede variar. Por lo tanto, la forma de proceder a partir de aquí es muy cuidadosa, y volver a derivar los resultados a partir de los principios fundamentales, en lugar de introducir una generalización intuitivamente sensata. La derivación completa se puede encontrar en el libro de Jaynes, pero admite una derivación alternativa más fácil de entender una vez que se conoce la solución. Otro punto a destacar es que el estado previo del conocimiento descrito por la regla de sucesión se da como una enumeración de las posibilidades, con la información adicional de que es posible observar cada categoría. Esto puede expresarse de forma equivalente como observar cada categoría una vez antes de recopilar los datos. Para indicar que este es el conocimiento utilizado, se coloca un I m como parte de las condiciones en las asignaciones de probabilidad.
La regla de sucesión proviene de establecer una función de verosimilitud binomial y una distribución a priori uniforme. Por lo tanto, una generalización directa consiste simplemente en las extensiones multivariadas de estas dos distribuciones: 1) Establecer una distribución a priori uniforme sobre las m categorías iniciales, y 2) usar la distribución multinomial como función de verosimilitud (que es la generalización multivariada de la distribución binomial ). Se puede demostrar que la distribución uniforme es un caso especial de la distribución de Dirichlet con todos sus parámetros iguales a 1 (al igual que la uniforme es Beta(1,1) en el caso binario). La distribución de Dirichlet es la distribución a priori conjugada para la distribución multinomial, lo que significa que la distribución a posteriori también es una distribución de Dirichlet con parámetros diferentes. Sea p i la probabilidad de que se observe la categoría i , y sea n i el número de veces que se observó realmente la categoría i ( i = 1, ..., m ). Entonces, la distribución a posteriori conjunta de las probabilidades p 1 , ..., p m viene dada por:
Para obtener la regla de sucesión generalizada, observe que la probabilidad de observar la categoría i en la siguiente observación, condicionada a p i , es simplemente p i ; solo necesitamos su esperanza. Sea A i el evento de que la siguiente observación esté en la categoría i ( i = 1, ..., m ), y sea n = n 1 + ... + n m el número total de observaciones realizadas. El resultado, utilizando las propiedades de la distribución de Dirichlet, es:
Esta solución se reduce a la probabilidad que se asignaría utilizando el principio de indiferencia antes de realizar cualquier observación (es decir, n = 0), de acuerdo con la regla de sucesión original. También incluye la regla de sucesión como un caso especial, cuando m = 2, como corresponde a una generalización.
Dado que las proposiciones o eventos A i son mutuamente excluyentes, es posible reducir las m categorías a 2. Simplemente se suman las probabilidades de A i que corresponden a "éxito" para obtener la probabilidad de éxito. Suponiendo que esto agrupa c categorías como "éxito" y mc categorías como "fracaso". Sea s la suma de los n i valores relevantes que se han denominado "éxito". La probabilidad de "éxito" en el siguiente intento es entonces:
lo cual difiere de la regla de sucesión original. Cabe señalar que la regla de sucesión original se basa en I₂ , mientras que la generalización se basa en Iₘ . Esto significa que la información contenida en Iₘ es diferente de la contenida en I₂ . Esto indica que el mero conocimiento de más de dos resultados posibles constituye información relevante al reducir estas categorías a solo dos. Esto ilustra la sutileza al describir la información previa y la importancia de especificar qué información previa se está utilizando.
Análisis adicional
Un buen modelo es esencial (es decir, un buen equilibrio entre precisión y practicidad). Parafraseando a Laplace sobre el problema del amanecer : aunque tenemos una gran cantidad de muestras del amanecer, existen modelos mucho mejores que suponer que tiene una cierta probabilidad de salir cada día, por ejemplo, simplemente tener una vida media.
Contar con un buen modelo lo ideal es realizar tantas observaciones como sea posible, dependiendo de la fiabilidad esperada del conocimiento previo, el coste de las observaciones, el tiempo y los recursos disponibles, y la precisión requerida.
Uno de los aspectos más difíciles de la regla de sucesión no son las fórmulas matemáticas, sino responder a la pregunta: ¿Cuándo se aplica la regla de sucesión? En la sección de generalización, se indicó explícitamente al incorporar la información previa I m en los cálculos. Así, cuando lo único que se sabe sobre un fenómeno es que existen m resultados posibles conocidos antes de observar cualquier dato, solo entonces se aplica la regla de sucesión. Si la regla de sucesión se aplica a problemas donde esto no describe con precisión el estado de conocimiento previo, entonces puede dar resultados contraintuitivos. Esto no se debe a que la regla de sucesión sea defectuosa, sino a que, en la práctica, responde a una pregunta diferente, basada en información previa distinta.
En principio (véase la regla de Cromwell ), ninguna posibilidad debería tener su probabilidad (o su pseudoconteo) establecida en cero, ya que nada en el mundo físico debería asumirse estrictamente imposible (aunque pueda serlo), incluso si es contrario a todas las observaciones y teorías actuales. De hecho, la regla de Bayes no tiene en cuenta en absoluto una observación que previamente se creía que tenía probabilidad cero; sigue declarándose imposible. Sin embargo, considerar solo un conjunto fijo de posibilidades es una vía aceptable; solo hay que recordar que los resultados son condicionales (o restringidos) al conjunto que se está considerando, y no a un conjunto "universal". De hecho, Larry Bretthorst demuestra que incluir la posibilidad de "algo más" en el espacio de hipótesis no cambia las probabilidades relativas de la otra hipótesis; simplemente las renormaliza para que sumen un valor menor que 1. [ 8 ] Hasta que se especifique "algo más", la función de verosimilitud condicionada a este "algo más" es indeterminada, pues ¿cómo se determina?Por lo tanto, no se puede actualizar la probabilidad previa de "algo más" hasta que se defina con mayor precisión.
Sin embargo, a veces se debate si el conocimiento previo debería afectar las probabilidades relativas, o también el peso total del conocimiento previo en comparación con las observaciones reales. Esto no tiene una respuesta clara, ya que depende del conocimiento previo que se esté considerando. De hecho, un estado de conocimiento previo alternativo podría ser de la forma "He especificado m categorías potenciales, pero estoy seguro de que solo una de ellas es posible antes de observar los datos. Sin embargo, no sé cuál es esta categoría en particular". Una forma matemática de describir este conocimiento previo es la distribución de Dirichlet con todos los parámetros iguales a m − 1 , lo que entonces da un pseudoconteo de 1 al denominador en lugar de m , y agrega un pseudoconteo de m − 1 a cada categoría. Esto da una probabilidad ligeramente diferente en el caso binario de.
Las probabilidades previas solo merecen un esfuerzo significativo al estimarlas cuando es probable que tengan un efecto importante. Pueden ser relevantes cuando hay pocas observaciones, especialmente cuando son tan escasas que se han registrado pocas o ninguna observación de ciertas posibilidades, como la de un animal raro en una región determinada. También son importantes cuando hay muchas observaciones, donde se cree que la expectativa debe estar fuertemente sesgada hacia las estimaciones previas, a pesar de las numerosas observaciones que indican lo contrario, como en el caso de una ruleta en un casino de renombre. En este último caso, al menos algunos de los pseudocuentos pueden necesitar ser muy grandes. No siempre son pequeños, y por lo tanto, pronto quedan eclipsados por las observaciones reales, como suele suponerse. Sin embargo, aunque se trate de un último recurso, para fines cotidianos, el conocimiento previo suele ser vital. Por lo tanto, la mayoría de las decisiones deben ser subjetivas hasta cierto punto (dependiendo del analista y del análisis utilizado).
Véase también
Referencias
- ^ Laplace, Pierre-Simon (1814). Ensayo filosófico sobre las probabilidades. París: Courcier.
- 1 2 Parte II Sección 18.6 de Jaynes, ET y Bretthorst, GL (2003). Teoría de la probabilidad: La lógica de la ciencia. Cambridge University Press. ISBN 978-0-521-59271-0
- ↑ Rudolf Carnap (1945). "Sobre la lógica inductiva" (PDF) . Filosofía de la ciencia . 12 (2): 72– 97. doi : 10.1086/286851 . S2CID 14481246. Archivado del original (PDF) el 7 de abril de 2014. Consultado el 29 de marzo de 2014 . ; aquí: pág. 86, 97
- ↑ Rudolf Carnap (1947). "Sobre la aplicación de la lógica inductiva" (PDF) . Philosophy and Phenomenological Research . 8 (1): 133– 148. doi : 10.2307/2102920 . JSTOR 2102920. Archivado del original (PDF) el 20 de septiembre de 2006. Consultado el 29 de marzo de 2014 . ; aquí: pág. 145
- ↑ Neyman, Eric (29 de noviembre de 2020). "Una elegante demostración de la regla de sucesión de Laplace" . Valores inesperados . Eric Neyman. Archivado del original el 12 de abril de 2023. Recuperado el 13 de abril de 2023 .
- ↑ George P. Smith; Tucker Hall. "Expresando la ignorancia previa de un parámetro de probabilidad" (PDF) . Archivado del original (PDF) el 24 de julio de 2011.
- ↑ Jaynes, ET (2003), Teoría de la probabilidad: La lógica de la ciencia , Cambridge, Reino Unido, Cambridge University Press.
- ↑ Bretthost, G. Larry (1988). Análisis espectral bayesiano y estimación de parámetros (PDF) (tesis doctoral). pág. 55. Archivado (PDF) del original el 13 de febrero de 2022. Recuperado el 13 de febrero de 2022 .
- Evaluación de probabilidad
- razonamiento inductivo