La suite de pruebas Versant consta de pruebas computarizadas de lenguaje oral disponibles a través de Pearson PLC . Las pruebas Versant fueron las primeras pruebas totalmente automatizadas de lenguaje oral en utilizar tecnología avanzada de procesamiento del habla (incluido el reconocimiento de voz ) para evaluar las habilidades lingüísticas de hablantes no nativos. La suite de idiomas Versant incluye pruebas de inglés, español, neerlandés, francés y árabe. La tecnología Versant también se ha aplicado a la evaluación del inglés aeronáutico, la evaluación de la lectura oral infantil y la evaluación de la alfabetización de adultos.
Historia
En 1996, Jared Bernstein y Brent Townsend fundaron Ordinate Corporation para desarrollar un sistema que utilizara tecnología de procesamiento de voz y teoría lingüística y de pruebas para proporcionar una prueba de lenguaje oral con aplicación y calificación automáticas. La primera prueba de inglés se llamó PhonePass. Fue la primera prueba de lenguaje oral totalmente computarizada que utilizaba tecnología de reconocimiento de voz . En 2002, el nombre PhonePass se cambió a PhonePass SET-10 (Spoken English Test) o simplemente SET-10. En 2003, Ordinate fue adquirida por Harcourt Assessment y, posteriormente, en 2005, el nombre de la prueba cambió a su nombre actual, Versant. En enero de 2008, Harcourt Assessment (incluida Ordinate Corporation) fue adquirida por Pearson y Ordinate Corporation pasó a formar parte del grupo Knowledge Technologies de Pearson. En junio de 2010, se lanzaron Versant Pro Speaking Test y Versant Pro Writing Test.
Descripción del Producto
Las pruebas Versant suelen tener una duración de quince minutos y evalúan las habilidades de expresión oral y comprensión auditiva para adultos que aprenden idiomas. (La duración de la prueba varía ligeramente según la prueba). La prueba se realiza por teléfono o en una computadora y se califica mediante algoritmos predeterminados basados en datos. Durante la prueba, el sistema presenta una serie de indicaciones grabadas a un ritmo conversacional y solicita respuestas orales al examinado. [ 1 ] Las pruebas Versant están disponibles como varios productos:
- Prueba de inglés Versant
- Inglés Versant - Prueba de nivel
- Versant English - Prueba de escritura
- Prueba de español de Versant
- Prueba de árabe de Versant
- Prueba de francés de Versant
- Inglés de aviación Versant
Además, se han creado varias pruebas especializadas utilizando el marco de Versant en colaboración con otras organizaciones. Estas pruebas incluyen el Versant Aviation English Test (para personal de aviación), el Versant Junior English Test (para estudiantes de inglés de 5 a 12 años) y la prueba de inmigración neerlandesa (disponible exclusivamente a través de las embajadas neerlandesas). El sistema de puntuación de Versant también proporciona la calificación automatizada de la parte oral de la prueba de cuatro destrezas, Pearson Test of English , disponible a finales de 2009.
Construcción de prueba de Versant
Las pruebas Versant miden la «facilidad en un idioma hablado», definida como la capacidad de comprender el lenguaje hablado sobre temas cotidianos y responder adecuadamente a un ritmo conversacional similar al de un hablante nativo. Mientras mantiene el ritmo de la conversación, la persona debe seguir lo que se dice, extraer el significado a medida que avanza el discurso y formular y producir una respuesta pertinente e inteligible. [ 2 ] Las pruebas Versant están diseñadas para medir estos aspectos psicolingüísticos en tiempo real del desempeño oral en un segundo idioma.
Formato y tareas de la prueba
Las pruebas Versant suelen constar de seis tareas: lectura, repetición, preguntas de respuesta corta, construcción de oraciones, narración de historias y preguntas abiertas.
Tecnología Versant
Administración automatizada
Las pruebas Versant se pueden realizar por teléfono o por computadora. Los examinados pueden acceder a las pruebas y completarlas desde cualquier lugar con teléfono fijo o conexión a internet.
A los participantes se les asigna un número de identificación y escuchan la voz grabada de un examinador para recibir instrucciones, las cuales también se imprimen textualmente en el examen o en la pantalla del ordenador. Durante todo el examen, los participantes escuchan las indicaciones grabadas, leídas por varios hablantes nativos. Gracias a la automatización del examen, se puede administrar y calificar un gran número de pruebas con mucha rapidez.
Tecnología de puntuación automatizada
Los resultados de la prueba Versant se publican en línea a los pocos minutos de haberla completado. Tanto los administradores como los examinados pueden consultar e imprimir sus resultados introduciendo su número de identificación de la prueba en el sitio web de Versant. El informe de resultados de Versant consta de una puntuación global (una combinación ponderada de las puntuaciones parciales) y cuatro puntuaciones parciales de diagnóstico: dominio de la gramática, vocabulario, fluidez y pronunciación. La puntuación global y las puntuaciones parciales se presentan en una escala de 20 a 80.
La tecnología de puntuación automatizada se optimiza mediante un gran número de muestras de voz de hablantes nativos y no nativos. Para obtener una cantidad suficiente de estas muestras, se suele llevar a cabo una extensa recopilación de datos. Posteriormente, estas respuestas habladas se transcriben para entrenar un sistema automático de reconocimiento de voz.
Cada respuesta entrante es procesada automáticamente por el reconocedor de voz, que ha sido optimizado para hablantes no nativos. Las palabras, pausas, sílabas y fonemas se localizan en la señal grabada. El contenido de la respuesta se puntúa según la presencia o ausencia de las palabras correctas esperadas en secuencias correctas, así como el ritmo, la fluidez y la pronunciación de esas palabras en frases y oraciones. A partir de los segmentos, sílabas y palabras, se derivan medidas base basadas en modelos estadísticos de hablantes nativos y no nativos. [ 3 ] Se ha producido mucha documentación sobre la precisión del sistema de puntuación automatizado de Versant.
Uso de la puntuación
Las pruebas Versant son utilizadas actualmente por instituciones académicas, corporaciones y agencias gubernamentales en todo el mundo. Estas pruebas proporcionan información que puede utilizarse para determinar si los empleados o estudiantes poseen las habilidades lingüísticas orales necesarias para interactuar eficazmente. Por ejemplo, la prueba Versant de inglés se utilizó en la Copa Mundial de Corea/Japón 2002 para medir las habilidades en inglés de más de 15 000 voluntarios y asignar a los trabajadores adecuados a las tareas que requerían mayor dominio del inglés. [ 4 ] La prueba Versant de español se utilizó en un estudio de Blake et al. (2008) [ 5 ] para evaluar si los cursos de aprendizaje a distancia son una forma tan válida de comenzar a aprender un idioma extranjero como las clases presenciales tradicionales que se reúnen cinco veces por semana en lo que respecta a la competencia oral.
Validación
Relación con otras pruebas
Las puntuaciones de la prueba Versant se han alineado con el Marco Común Europeo de Referencia ( MCER ). A continuación se muestran las correspondencias entre las puntuaciones de Versant y las de otras pruebas con el MCER . Las puntuaciones generales de Versant English pueden utilizarse para predecir los niveles del MCER en la escala de Habilidades de Interacción Oral con una precisión razonable. [ 6 ]
Una serie de estudios de validación han demostrado que el Versant English Test se correlaciona razonablemente bien con otras medidas de la habilidad oral en inglés. Por ejemplo, la correlación entre el Versant English Test y la sección de expresión oral del TOEFL iBT es r=0,75, y la correlación entre el Versant English Test y la sección de expresión oral del IELTS es r=0,77.
Correlación máquina-humano
Una de las críticas más comunes a las pruebas Versant es que una máquina no puede evaluar las habilidades orales tan bien como un ser humano. Knowledge Technologies, la empresa que produce y administra la prueba, afirma que las puntuaciones generadas por máquina del Versant English Test son prácticamente indistinguibles de las puntuaciones otorgadas por evaluadores humanos independientes y repetidos en el nivel general. [ 13 ]
Otra crítica es que las pruebas Versant no miden las habilidades comunicativas porque no hay intercambios interactivos entre participantes reales. Versant, según Downey et al. (2008), afirma que las competencias psicolingüísticas evaluadas en sus pruebas subyacen a un desempeño más amplio en el lenguaje oral. Esta afirmación está respaldada por datos de validez concurrente que muestran que las puntuaciones de las pruebas Versant se correlacionan altamente con otras pruebas de entrevista de competencia oral reconocidas, como las OPI de ACTFL o las OPI de ILR.
La utilidad de los productos Versant ha sido cuestionada por un tercero. [ 14 ]
Gestión
- Alistair Van Moere, Presidente
- Ryan Downey, Director de Gestión de Producto
Véase también
Referencias
- ↑ Balogh, J., Barbier, I., Bernstein, J., Suzuki, M., & Harada, Y. (2005). Un marco común para el desarrollo de pruebas automatizadas de lenguaje hablado en múltiples idiomas. JART Journal, 1(1), 67-79.
- ↑ Bernstein, J. y Cheng, J. (2007). Lógica y validación de una prueba de inglés hablado totalmente automática. En M. Holland y FP Fisher (Eds.), El camino de las tecnologías del habla en el aprendizaje de idiomas asistido por computadora: De la investigación a la práctica (pp. 174-194). Florence, KY: Routledge.
- ↑ Balogh, J. y Bernstein, J. (2006). Modelos prácticos de desempeño estándar en inglés y español. En Y. Matsumoto, DY Oshima, OR Robinson y P. Sells (Eds.), Diversidad en el lenguaje: perspectiva e implicaciones (pp. 20-41). Stanford, CA: Center for the Study of Language and Information Publications.
- ↑ "El Comité Organizador Coreano para la Copa Mundial de la FIFA 2002 - Corea/Japón ha elegido a Ordinate..." AllBusiness.com. 2 de noviembre de 2008.
- ↑ Blake, R., Wilson, NL, Pardo-Ballestar, C., & Cetto, M. (2008). Medición de la competencia oral en aulas a distancia, presenciales y mixtas. Language Learning and Technology, 12(3), pp.114-127.
- ↑ Bernstein, J. y De Jong, JHAL (2001). Un experimento para predecir la competencia lingüística según los descriptores de nivel del Marco Común Europeo. En YN Leung et al. (Eds.), Artículos seleccionados del Décimo Simposio Internacional sobre la Enseñanza del Inglés (pp. 8-14). Taipéi, ROC: The Crane Publishing.
- ↑ Bernstein, J. De Jong, J. Pisoni, D. y Townshend, B. (2000). Dos experimentos sobre la evaluación automática de la competencia en el lenguaje hablado. En P. Delcloque (Ed.) Actas de InSTIL2000: Integración de la tecnología del habla en el aprendizaje (pp. 57-61). Universidad de Abertay Dundee, Escocia.
- ↑ Consejo de Europa (2001). «Marco Común Europeo de Referencia para las Lenguas» (PDF) . Cambridge University Press.
- ↑ Relación entre las puntuaciones del IELTS y el Marco Común Europeo del Consejo de Europa: "Copia archivada" (PDF) . Archivado del original (PDF) el 3 de febrero de 2007. Consultado el 20 de enero de 2009 .
{{cite web}}: CS1 mantenimiento: copia archivada como título ( enlace ) - ↑ Tannenbaum, Richard y Caroline E. Wylie (2005). «Informes de investigación: Mapeo de las puntuaciones de las pruebas de competencia en inglés al Marco Común Europeo» (PDF) . Educational Testing Services. Archivado del original (PDF) el 21 de noviembre de 2008. Recuperado el 20 de enero de 2009 .
- ↑ "Mapeo del TOEFL iBT en el Marco Común Europeo de Referencia" (PDF) . 2007. Archivado del original (PDF) el 6 de febrero de 2009. Consultado el 20 de enero de 2009 .
- ↑ "Mapeo del TOEFL iBT en el Marco Común Europeo de Referencia" (PDF) . 2007. Archivado del original (PDF) el 6 de febrero de 2009. Consultado el 20 de enero de 2009 .
- ↑ Downey, R., Farhady, H., Present-Thomas, R., Suzuki, M., & Van Moere, A. (2008). Evaluación de la utilidad de la prueba Versant para inglés: Una respuesta. Language Assessment Quarterly, 5, 160-167.
- ↑ Christian W. Chun (2008): Comentarios sobre "Evaluación de la utilidad del Versant para la prueba de inglés: una respuesta": El autor responde, Language Assessment Quarterly, 5:2, 168-172
Enlaces externos
- http://www.versanttest.com
- http://pearson.com
- exámenes de idioma inglés