Problema de especies invisibles

El estimador de Good-Toulmin (GT) fue desarrollado por Good y Toulmin en 1953. ^{[ 4 ]} La estimación de las especies no vistas basada en el estimador de Good-Toulmin viene dada por $${\displaystyle U^{\text{GT}}\triangleq U^{\text{GT}}(X^{n},t)\triangleq -\sum _{i=1}^{\infty }(-t)^{i}\varphi _{i}.}$$ Se ha demostrado que el estimador de Good-Toulmin es una buena estimación para valores de${\displaystyle t\leq 1.}$El estimador de Good-Toulmin también satisface aproximadamente $${\displaystyle \operatorname {\mathbb {E} } (U^{\text{GT}}-U)^{2}\lesssim nt^{2}.}$$ Esto significa que${\displaystyle U^{\text{GT}}}$estimaciones${\displaystyle U}$a dentro${\displaystyle {\sqrt {n}}\cdot t,}$mientras${\displaystyle t\leq 1.}$

Sin embargo, para${\displaystyle t>1,}$, el estimador de Good-Toulmin no logra capturar resultados precisos. Esto se debe a que, si${\displaystyle t>1,}$${\displaystyle U^{\text{GT}}}$aumenta por${\displaystyle (-t)^{i}\varphi _{i}}$para${\displaystyle i}$con${\displaystyle \varphi _ {i}>0,}$lo que significa que si${\displaystyle \varphi _ {i}>0,}$${\displaystyle U^{\text{GT}}}$crece de forma superlineal en${\displaystyle t,}$pero${\displaystyle U}$puede crecer como máximo linealmente con${\displaystyle t.}$Por lo tanto, cuando${\displaystyle t>1,}$${\displaystyle U^{\text{GT}}}$crece más rápido que${\displaystyle U}$y no se aproxima al valor verdadero. ^{[ 3 ]}

Para compensar esto, Efron y Thisted en 1976 ^{[ 1 ]} demostraron que una transformada de Euler truncada también puede ser una estimación utilizable (la estimación "ET"): $${\displaystyle U^{\text{ET}}\triangleq \sum _{i=1}^{n}h_{h}^{\text{ET}}\cdot \varphi _{i},}$$ con $${\displaystyle h_{i}^{\text{ET}}\triangleq (-t)^{i+1}\cdot \mathbb {P} (X\geq i),}$$ dónde${\displaystyle X\sim \operatorname {Bin} \left(k,{\frac {1}{1+t}}\right),}$y $${\displaystyle \mathbb {P} (X\geq i)={\begin{cases}\displaystyle \sum _{j=i}^{k}{\binom {k}{j}}{\frac {t^{kj}}{(1+t)^{k}}}&{\text{ para }}i\leq k,\\0&{\text{ para }}i>k,\end{cases}}}$$ dónde${\displaystyle k}$es la ubicación elegida para truncar la transformada de Euler.

De forma similar al enfoque de Efron y Thisted, Alon Orlitsky , Ananda Theertha Suresh y Yihong Wu desarrollaron el estimador suave de Good-Toulmin. Se dieron cuenta de que el estimador de Good-Toulmin fallaba debido al crecimiento exponencial, y no a su sesgo. ^{[ 3 ]} Por lo tanto, estimaron el número de especies no vistas truncando la serie $${\displaystyle U^{l}\triangleq -\sum _{i=1}^{l}(-t)^{i}\varphi _{i}.}$$ Orlitsky, Suresh y Wu también señalaron que para las distribuciones con${\displaystyle t>1}$, el término impulsor en la estimación de sumatoria es el${\displaystyle l-{\text{o}}}$término, independientemente de qué valor de${\displaystyle l}$se elige. ^{[ 2 ]} Para resolver esto, seleccionaron un número entero no negativo aleatorio.${\displaystyle L}$, truncó la serie en${\displaystyle L}$y luego tomó el promedio sobre una distribución de aproximadamente${\displaystyle L}$. ^{[ 3 ]} El estimador resultante es $${\displaystyle U^{L}=\operatorname {E} _{L}\left[-\sum _{i=1}^{L}(-t)^{i}\varphi _{i}\right].}$$ Este método fue elegido debido al sesgo de${\displaystyle U^{l}}$cambia las señales debido a la${\displaystyle (-t)^{i}}$coeficiente. Promediando sobre una distribución de${\displaystyle L}$por lo tanto reduce el sesgo. Esto significa que el estimador puede escribirse como la combinación lineal de la prevalencia: ^{[ 2 ]}$${\displaystyle U^{L}=\operatorname {E} _{L}\left[-\sum _{i\geq 1}(-t)^{i}\varphi _{i}\mathbf {1} _{i\leq L}\right]=-\sum _{i\geq 1}(-t)^{i}\Pr(L\geq i)\varphi _{i}.}$$ Dependiendo de la distribución de${\displaystyle L}$elegido, los resultados variarán. Con este método, se pueden hacer estimaciones para${\displaystyle t\propto \ln n}$y esto es lo mejor posible. ^{[ 3 ]}

También se puede utilizar la curva de descubrimiento de especies . Esta curva relaciona el número de especies encontradas en un área en función del tiempo. Estas curvas también se pueden crear utilizando estimadores (como el estimador de Good-Toulmin) y graficando el número de especies no vistas en cada valor de${\displaystyle t}$. ^{[ 5 ]}

Una curva de descubrimiento de especies siempre es creciente, ya que nunca hay una muestra que pueda disminuir el número de especies descubiertas. Además, la curva de descubrimiento de especies también se desacelera : cuantas más muestras se toman, menos especies no vistas se espera descubrir. La curva de descubrimiento de especies tampoco se estabilizará, ya que se supone que, aunque la tasa de descubrimiento podría volverse infinitamente lenta, nunca se detendrá por completo. ^{[ 5 ]} Dos modelos comunes para una curva de descubrimiento de especies son la función logarítmica y la exponencial . 

Como ejemplo, consideremos los datos que Corbet proporcionó a Fisher en la década de 1940. ^{[ 3 ]} Utilizando el modelo de Good-Toulmin, se encuentra el número de especies no vistas utilizando $${\displaystyle U=-\sum _{i=1}^{\infty }(-t)^{i}\varphi _{i}.}$$ Esto puede utilizarse entonces para crear una relación entre${\displaystyle t}$y${\displaystyle U}$.

Esta relación se muestra en el gráfico a continuación.

Del gráfico se observa que en${\displaystyle t=1}$, que era el valor de${\displaystyle t}$que Corbet llevó a Fisher, la estimación resultante de${\displaystyle U}$es 75, coincidiendo con lo que encontró Fisher. Este gráfico también actúa como una curva de descubrimiento de especies para este ecosistema y define cuántas especies nuevas se descubrirán como${\displaystyle t}$aumenta (y se toman más muestras).

Según la investigación de las obras conocidas de Shakespeare realizada por Thisted y Efron, hay un total de 884.647 palabras. ^{[ 1 ]} La investigación también encontró que hay un total de${\displaystyle N=864}$palabras diferentes que aparecen más de 100 veces. Por lo tanto, se encontró que el número total de palabras únicas era 31.534. ^{[ 1 ]} Aplicando el modelo Good-Toulmin, si se descubriera un número igual de obras de Shakespeare, entonces se estima que${\displaystyle U^{\text{palabras}}\approx 11{,}460}$Se encontrarían palabras únicas. El objetivo sería derivar${\displaystyle U^{\text{palabras}}}$para${\displaystyle t=\infty }$Thisted y Efron estiman que${\displaystyle U^{\text{palabras}}(t\to \infty )\approx 35{}000}$, lo que significa que Shakespeare probablemente conocía más del doble de palabras de las que realmente usó en todos sus escritos. ^{[ 1 ]}