Ley de Heaps

En lingüística , la ley de Heaps (a veces escrita como ley de Heaps ), también llamada ley de Herdan , es una ley empírica que describe el número de palabras distintas en un documento (o conjunto de documentos) en función de la longitud del documento (la llamada relación tipo-token). Se puede formular como

${\displaystyle V_{R}(n)=Kn^{\beta }}$

donde V _R es el número de palabras distintas en un texto de instancia de tamaño n . K y β son parámetros libres determinados empíricamente. Con los corpus de texto en inglés , normalmente K está entre 10 y 100, y β está entre 0,4 y 0,6. ^{[ 1 ]}

La ley se atribuye frecuentemente a Harold Stanley Heaps , pero fue descubierta originalmente por Gustav Herdan ( 1960 ) . ^{[ 2 ]} Bajo supuestos moderados, la ley de Herdan-Heaps es asintóticamente equivalente a la ley de Zipf con respecto a las frecuencias de palabras individuales dentro de un texto. ^{[ 3 ]} Esto es consecuencia del hecho de que la relación tipo-token (en general) de un texto homogéneo puede derivarse de la distribución de sus tipos. ^{[ 4 ]} 

Empíricamente, la ley de Heaps se conserva incluso cuando el documento se baraja aleatoriamente, ^{[ 5 ]} lo que significa que no depende del orden de las palabras, sino solo de su frecuencia. ^{[ 6 ]} Esto se utiliza como evidencia para derivar la ley de Heaps de la ley de Zipf. ^{[ 5 ]}

La ley de Heaps implica que, a medida que se recopila más texto de ejemplo, habrá rendimientos decrecientes en términos de descubrimiento del vocabulario completo del que se extraen los términos distintos.

Se han identificado desviaciones de la ley de Heaps, como se observa típicamente en los corpus de texto en inglés, en corpus generados con grandes modelos de lenguaje. ^{[ 7 ]}

La ley de Heaps también se aplica a situaciones en las que el "vocabulario" es simplemente un conjunto de tipos distintos que son atributos de una colección de objetos. Por ejemplo, los objetos podrían ser personas y los tipos podrían ser el país de origen de la persona. Si las personas se seleccionan al azar (es decir, no se seleccionan en función del país de origen), entonces la ley de Heaps indica que rápidamente tendremos representantes de la mayoría de los países (en proporción a su población), pero será cada vez más difícil cubrir el conjunto completo de países si continuamos con este método de muestreo. La ley de Heaps también se ha observado en transcriptomas de células individuales ^{[ 8 ]} considerando los genes como los objetos distintos en el "vocabulario".

• Contenido multimedia relacionado con la ley de Heaps en Wikimedia Commons.