Índice de diversidad

Un índice de diversidad es un método para medir la cantidad de tipos diferentes (por ejemplo, especies ) que existen en un conjunto de datos (por ejemplo, una comunidad). Los índices de diversidad son representaciones estadísticas de diferentes aspectos de la biodiversidad (por ejemplo, riqueza , uniformidad y dominancia ), que resultan simplificaciones útiles para comparar diferentes comunidades o sitios.

En ecología , cuando se utilizan índices de diversidad , los tipos de interés suelen ser las especies, pero también pueden ser otras categorías, como géneros , familias , tipos funcionales o haplotipos . Las entidades de interés suelen ser organismos individuales (por ejemplo, plantas o animales), y la medida de abundancia puede ser, por ejemplo, el número de individuos, la biomasa o la cobertura. En demografía , las entidades de interés pueden ser personas, y los tipos de interés diversos grupos demográficos. En ciencias de la información , las entidades pueden ser caracteres y los tipos de las diferentes letras del alfabeto. Los índices de diversidad más utilizados son transformaciones simples del número efectivo de tipos (también conocido como «diversidad verdadera»), pero cada índice de diversidad también puede interpretarse por sí mismo como una medida correspondiente a algún fenómeno real (pero diferente para cada índice de diversidad). ^{[ 1 ] [ 2 ] [ 3 ] [ 4 ]}

Muchos índices solo consideran la diversidad categórica entre sujetos o entidades. Sin embargo, estos índices no tienen en cuenta la variación total (diversidad) que puede existir entre sujetos o entidades, la cual solo se manifiesta cuando se calcula tanto la diversidad categórica como la cualitativa.

Los índices de diversidad descritos en este artículo incluyen:

• La riqueza es simplemente el recuento del número de tipos en un conjunto de datos.
• Índice de Shannon, que también tiene en cuenta la abundancia proporcional de cada clase bajo una media geométrica ponderada.
  • La entropía de Rényi, que añade la posibilidad de variar libremente el tipo de media ponderada utilizada.
• El índice de Simpson, que también tiene en cuenta la abundancia proporcional de cada clase bajo una media aritmética ponderada.
• Índice de Berger-Parker, que proporciona la abundancia proporcional del tipo más abundante.
• Número efectivo de especies (diversidad verdadera), que permite variar libremente el tipo de media ponderada utilizada y tiene un significado intuitivo. ^{[ 4 ]}

Algunos índices más sofisticados también tienen en cuenta el parentesco filogenético entre los tipos. Estos se denominan índices de filodivergencia y aún no se describen en este artículo. ^{[ 5 ]}

La diversidad verdadera, o el número efectivo de tipos, se refiere al número de tipos igualmente abundantes necesarios para que la abundancia proporcional promedio de los tipos sea igual a la observada en el conjunto de datos de interés (donde no todos los tipos pueden ser igualmente abundantes). La diversidad verdadera en un conjunto de datos se calcula tomando primero la media generalizada ponderada M _{q −1} de las abundancias proporcionales de los tipos en el conjunto de datos, y luego tomando el recíproco de esta. La ecuación es: ^{[ 3 ] [ 4 ]}

$${\displaystyle {}^{q}\!D={1 \over M_{q-1}}={1 \over {\sqrt[{q-1}]{\sum _{i=1}^{R}p_{i}p_{i}^{q-1}}}}=\left({\sum _{i=1}^{R}p_{i}^{q}}\right)^{1/(1-q)}}$$

El denominador M _{q −1} es igual a la abundancia proporcional promedio de los tipos en el conjunto de datos, calculada con la media generalizada ponderada con exponente q  −  1. En la ecuación, R es la riqueza (el número total de tipos en el conjunto de datos) y la abundancia proporcional del i- ésimo tipo es p _i . Las abundancias proporcionales mismas se utilizan como ponderaciones nominales. Los números${\displaystyle ^{q}D}$se denominan números de Hill de orden q o número efectivo de especies . ^{[ 6 ]}

Cuando q = 1 , la ecuación anterior no está definida. Sin embargo, el límite matemático cuando q se aproxima a 1 está bien definido y la diversidad correspondiente se calcula con la siguiente ecuación:

$${\displaystyle {}^{1}\!D={1 \over {\prod _{i=1}^{R}p_{i}^{p_{i}}}}=\exp \left(-\sum _{i=1}^{R}p_{i}\ln(p_{i})\right)}$$

que es la exponencial de la entropía de Shannon calculada con logaritmos naturales (ver más arriba). En otros ámbitos, esta estadística también se conoce como perplejidad .

La ecuación general de diversidad se escribe a menudo en la forma ^{[ 1 ] [ 2 ]}

$${\displaystyle {}^{q}\!D=\left({\sum _{i=1}^{R}p_{i}^{q}}\right)^{1/(1-q)}}$$

y el término dentro de los paréntesis se llama suma básica. Algunos índices de diversidad populares corresponden a la suma básica calculada con diferentes valores de q . ^{[ 2 ]}

El valor de q se suele denominar orden de diversidad. Define la sensibilidad de la diversidad real a las especies raras frente a las abundantes modificando cómo se calcula la media ponderada de las abundancias proporcionales de las especies. Con algunos valores del parámetro q , el valor de la media generalizada M _{q −1} asume tipos familiares de medias ponderadas como casos especiales. En particular,

• q = 0 corresponde a la media armónica ponderada ,
• q = 1 a la media geométrica ponderada y
• q = 2 a la media aritmética ponderada . ^{[ 7 ]}
• A medida que q tiende a infinito , la media generalizada ponderada con exponente q  −  1 se aproxima al valor máximo de p _i , que es la abundancia proporcional de la especie más abundante en el conjunto de datos.

En general, aumentar el valor de q aumenta el peso efectivo dado a la especie más abundante. Esto lleva a obtener un valor M _{q −1 mayor y un valor de diversidad verdadera (} ^q D ) menor con el aumento de q .

Cuando q = 1 , se utiliza la media geométrica ponderada de los valores p _i , y cada especie se pondera exactamente por su abundancia proporcional (en la media geométrica ponderada, las ponderaciones son los exponentes). Cuando q > 1 , la ponderación dada a las especies abundantes se exagera, y cuando q < 1 , la ponderación dada a las especies raras se exagera. En q = 0 , las ponderaciones de las especies cancelan exactamente las abundancias proporcionales de las especies, de modo que la media ponderada de los valores p _i es igual a 1 / R incluso cuando no todas las especies son igualmente abundantes. En q = 0 , el número efectivo de especies, ⁰ D , es igual al número real de especies R. En el contexto de la diversidad, q generalmente se limita a valores no negativos. Esto se debe a que los valores negativos de q darían a las especies raras mucho más peso que a las abundantes, de modo que q ^D excedería a R. ^{[ 3 ] [ 4 ]}

La riqueza R simplemente cuantifica cuántos tipos diferentes contiene el conjunto de datos de interés. Por ejemplo, la riqueza de especies (generalmente denotada como S ) es simplemente el número de especies, por ejemplo, en un sitio particular. La riqueza es una medida simple, por lo que ha sido un índice de diversidad popular en ecología, donde a menudo no se dispone de datos de abundancia. ^{[ 8 ]} Si la diversidad verdadera se calcula con q = 0 , el número efectivo de tipos ( ⁰ D ) es igual al número real de tipos, que es idéntico a la riqueza ( R ). ^{[ 2 ] [ 4 ]}

El índice de Shannon ha sido un índice de diversidad popular en la literatura ecológica, donde también se le conoce como índice de diversidad de Shannon , índice de Shannon- Wiener y (erróneamente) índice de Shannon- Weaver . ^{[ 9 ]} La medida fue propuesta originalmente por Claude Shannon en 1948 para cuantificar la entropía (de ahí la entropía de Shannon , relacionada con el contenido de información de Shannon ) en cadenas de texto. ^{[ 10 ]} La idea es que cuantas más letras haya y más cercanas sean sus abundancias proporcionales en la cadena de interés, más difícil será predecir correctamente cuál será la siguiente letra en la cadena. La entropía de Shannon cuantifica la incertidumbre (entropía o grado de sorpresa) asociada con esta predicción. Generalmente se calcula de la siguiente manera:

$${\displaystyle H'=-\sum _{i=1}^{R}p_{i}\ln(p_{i})}$$

donde p _i es la proporción de caracteres que pertenecen al i -ésimo tipo de letra en la cadena de interés. En ecología, p _i suele ser la proporción de individuos que pertenecen a la i -ésima especie en el conjunto de datos de interés. Entonces, la entropía de Shannon cuantifica la incertidumbre al predecir la identidad de especie de un individuo tomado al azar del conjunto de datos.

Aunque la ecuación se escribe aquí con logaritmos naturales , la base del logaritmo utilizada al calcular la entropía de Shannon puede elegirse libremente. El propio Shannon analizó las bases logarítmicas 2, 10 y e , que desde entonces se han convertido en las más populares en las aplicaciones que utilizan la entropía de Shannon. Cada base logarítmica corresponde a una unidad de medida diferente, denominada dígitos binarios (bits), dígitos decimales (decits) y dígitos naturales (nats) para las bases 2, 10 y e , respectivamente. Comparar valores de entropía de Shannon calculados originalmente con diferentes bases logarítmicas requiere convertirlos a la misma base: el cambio de la base a a la base b se obtiene mediante la multiplicación por log _b (a) . ^{[ 10 ]}

El índice de Shannon ( H' ) está relacionado con la media geométrica ponderada de las abundancias proporcionales de los tipos. Específicamente, es igual al logaritmo de la diversidad verdadera calculada con q = 1 : ^{[ 3 ]}

$${\displaystyle H'=-\sum _{i=1}^{R}p_{i}\ln(p_{i})=-\sum _{i=1}^{R}\ln \left(p_{i}^{p_{i}}\right)}$$

Esto también se puede escribir

$${\displaystyle {\begin{aligned}H'&=-\left[\ln \left(p_{1}^{p_{1}}\right)+\ln \left(p_{2}^{p_{2}}\right)+\ln \left(p_{3}^{p_{3}}\right)+\cdots +\ln \left(p_{R}^{p_{R}}\right)\right]\\[1ex]&=-\ln \left(p_{1}^{p_{1}}p_{2}^{p_{2}}p_{3}^{p_{3}}\cdots p_{R}^{p_{R}}\right)=\ln \left({1 \over p_{1}^{p_{1}}p_{2}^{p_{2}}p_{3}^{p_{3}}\cdots p_{R}^{p_{R}}}\right)\\&=\ln \left({1 \over {\prod _{i=1}^{R}p_{i}^{p_{i}}}}\right)\end{aligned}}}$$

Dado que la suma de los valores p _i es igual a 1 por definición, el denominador es igual a la media geométrica ponderada de los valores p _i , donde los propios valores p _i se utilizan como ponderaciones (exponentes en la ecuación). Por lo tanto, el término entre paréntesis es igual a la diversidad verdadera ¹ D , y H' es igual a ln( ¹ D ) . ^{[ 1 ] [ 3 ] [ 4 ]}

Cuando todos los tipos en el conjunto de datos de interés son igualmente comunes, todos los valores p _i son iguales a 1 / R , y el índice de Shannon toma, por lo tanto, el valor ln( R ) . Cuanto más desiguales sean las abundancias de los tipos, mayor será la media geométrica ponderada de los valores p _i , y menor la entropía de Shannon correspondiente. Si prácticamente toda la abundancia se concentra en un solo tipo, y los demás tipos son muy raros (incluso si hay muchos de ellos), la entropía de Shannon tiende a cero. Cuando solo hay un tipo en el conjunto de datos, la entropía de Shannon es exactamente igual a cero (no hay incertidumbre al predecir el tipo de la siguiente entidad elegida al azar).

En el aprendizaje automático, el índice de Shannon también se denomina ganancia de información .

El índice de Simpson fue introducido en 1949 por Edward H. Simpson para medir el grado de concentración cuando los individuos se clasifican en tipos. ^{[ 11 ]} El mismo índice fue redescubierto por Orris C. Herfindahl en 1950. ^{[ 12 ]} La raíz cuadrada del índice ya había sido introducida en 1945 por el economista Albert O. Hirschman . ^{[ 13 ]} Como resultado, la misma medida se conoce generalmente como el índice de Simpson en ecología, y como el índice de Herfindahl o el índice de Herfindahl-Hirschman (HHI) en economía.

La medida equivale a la probabilidad de que dos entidades tomadas al azar del conjunto de datos de interés representen el mismo tipo. ^{[ 11 ]} Es igual a:

$${\displaystyle \lambda =\sum _{i=1}^{R}p_{i}^{2},}$$

donde R es la riqueza (el número total de tipos en el conjunto de datos). Esta ecuación también es igual a la media aritmética ponderada de las abundancias proporcionales p _i de los tipos de interés, utilizando las propias abundancias proporcionales como ponderaciones. ^{[ 1 ]} Las abundancias proporcionales están, por definición, restringidas a valores entre cero y uno, pero se trata de una media aritmética ponderada, por lo tanto λ ≥ 1/ R , que se alcanza cuando todos los tipos son igualmente abundantes.

Al comparar la ecuación utilizada para calcular λ con las ecuaciones utilizadas para calcular la diversidad verdadera, se puede observar que 1/λ es igual a ² D , es decir, la diversidad verdadera calculada con q = 2. Por lo tanto, el índice de Simpson original es igual a la suma básica correspondiente. ^{[ 2 ]}

La interpretación de λ como la probabilidad de que dos entidades tomadas al azar del conjunto de datos de interés representen el mismo tipo supone que las entidades se muestrean con reemplazo. Si el conjunto de datos es muy grande, el muestreo sin reemplazo da aproximadamente el mismo resultado, pero en conjuntos de datos pequeños, la diferencia puede ser sustancial. Si el conjunto de datos es pequeño y se supone el muestreo sin reemplazo, la probabilidad de obtener el mismo tipo con ambas extracciones aleatorias es:

$${\displaystyle \ell ={\frac {\sum _{i=1}^{R}n_{i}(n_{i}-1)}{N(N-1)}}}$$

donde n _i es el número de entidades pertenecientes al i -ésimo tipo y N es el número total de entidades en el conjunto de datos. ^{[ 11 ]} Esta forma del índice de Simpson también se conoce como índice de Hunter-Gaston en microbiología. ^{[ 14 ]}

Dado que la abundancia proporcional media de los tipos aumenta al disminuir el número de tipos y aumentar la abundancia del tipo más abundante, λ obtiene valores pequeños en conjuntos de datos de alta diversidad y valores grandes en conjuntos de datos de baja diversidad. Este comportamiento es contraintuitivo para un índice de diversidad, por lo que a menudo se han utilizado transformaciones de λ que aumentan con la diversidad. Los índices más populares han sido el índice de Simpson inverso (1/λ) y el índice de Gini  -Simpson (1 −  λ). ^{[ 1 ] [ 2 ]} Ambos también se han denominado índice de Simpson en la literatura ecológica, por lo que se debe tener cuidado para evitar comparar accidentalmente los diferentes índices como si fueran el mismo.

El índice Berger-Parker, que recibe su nombre de Wolfgang H. Berger y Frances Lawrence Parker , ^{[ 18 ]} es igual al valor máximo de p _i en el conjunto de datos, es decir, la abundancia proporcional del tipo más abundante. Esto corresponde a la media generalizada ponderada de los valores de p _i cuando q tiende a infinito y, por lo tanto, es igual al inverso de la verdadera diversidad de orden infinito ( 1/ ^∞ D ).

• Colinvaux, Paul A. (1973). Introducción a la ecología . Wiley. ISBN 0-471-16498-4.
• Cover, Thomas M.; Thomas, Joy A. (1991). Elementos de la teoría de la información . Wiley. ISBN 0-471-06259-6. Consulte el capítulo 5 para obtener una explicación más detallada de los procedimientos de codificación descritos informalmente anteriormente.
• Chao, A. ; Shen, TJ. (2003). "Estimación no paramétrica del índice de diversidad de Shannon cuando hay especies no observadas en la muestra" (PDF) . Environmental and Ecological Statistics . 10 (4): 429– 443. Bibcode : 2003EnvES..10..429C . doi : 10.1023/A:1026096204727 . S2CID 20389926 . 

• Índice de diversidad de Simpson
• Los índices de diversidad, archivados el 19 de diciembre de 2005 en la Wayback Machine, ofrecen algunos ejemplos de estimaciones del índice de Simpson para ecosistemas reales.