Programa automatizado de evaluación de similitud

ASJP se desarrolló originalmente como un medio para evaluar objetivamente la similitud de palabras con el mismo significado de diferentes idiomas, con el objetivo final de clasificar idiomas computacionalmente, basándose en las similitudes léxicas observadas. En el primer artículo de ASJP ^{[ 2 ],} dos palabras semánticamente idénticas de idiomas comparados se consideraron similares si mostraban al menos dos segmentos de sonido idénticos. La similitud entre los dos idiomas se calculó como un porcentaje del número total de palabras comparadas que se consideraron similares. Este método se aplicó a listas de 100 palabras para 250 idiomas de familias lingüísticas que incluyen austroasiática , indoeuropea , maya y muskogeana .

El Consorcio ASJP, fundado alrededor de 2008, llegó a contar con la participación de unos 25 lingüistas profesionales y otras personas interesadas que colaboraban como transcriptores voluntarios o prestaban su ayuda al proyecto de diversas maneras. El principal impulsor de la fundación del consorcio fue Cecil H. Brown . Søren Wichmann es el curador diario del proyecto. Un tercer miembro clave del consorcio es Eric W. Holman, quien creó la mayor parte del software utilizado en el proyecto.

Si bien las listas de palabras utilizadas se basaron originalmente en la lista Swadesh de 100 elementos , se determinó estadísticamente que un subconjunto de 40 de los 100 elementos producía resultados de clasificación igual de buenos, o incluso ligeramente mejores, que la lista completa. ^{[ 9 ]} Por lo tanto, las listas de palabras recopiladas posteriormente contienen solo 40 elementos (o menos, cuando faltan las certificaciones para algunos).

En artículos publicados desde 2008, ASJP ha empleado un programa de juicio de similitud basado en la distancia de Levenshtein (LD). Se encontró que este enfoque producía mejores resultados de clasificación, medidos en comparación con la opinión de expertos, que el método utilizado inicialmente. La LD se define como el número mínimo de cambios sucesivos necesarios para convertir una palabra en otra, donde cada cambio es la inserción, eliminación o sustitución de un símbolo. Dentro del enfoque de Levenshtein, las diferencias en la longitud de las palabras se pueden corregir dividiendo la LD por el número de símbolos de la palabra más larga de las dos palabras comparadas. Esto produce una LD normalizada (LDN). Una LDN dividida (LDND) entre los dos idiomas se calcula dividiendo la LDN promedio para todos los pares de palabras con el mismo significado por la LDN promedio para todos los pares de palabras con significados diferentes. Esta segunda normalización tiene como objetivo corregir la similitud aleatoria. ^{[ 10 ]}