La enseñanza de la pronunciación y la corrección fonética asistidas por ordenador

Enseñanza de la pronunciación y corrección fonética asistidas por ordenador

Sistemas de grabación-reproducción

Permiten al estudiante efectuar una grabación de su pronunciación en L2 y compararla auditivamente con el modelo propuesto.

Versión informatizada de los laboratorios de idiomas.

Brown, I. (2001). Pro-Nunciation. The English communication toolkit. CALICO Journal, 19(1), 205-217. Consultado en https://calico.org/p-39-Pro-nunciation%20(10/2000).html

Adams, C. R. (1999). Español interactivo 1.01. CALICO Journal, 17(1), 155-167. Consultado en https://calico.org/p-164-%20Espanol%20Interactivo.html

Renié, D. (1998). Analyse de The Rhythm of French. ALSIC. Apprentissage des Langues et Systèmes d’Information et de Communication, 1(2), 171-177. Consultado en https://alsic.revues.org/1559

ECLI. (2014). Pronunciation Power App. Edmonton: English Computerized Learning Inc. Consultado en http://www.englishlearning.com/products/learn-english-app/

❯ Problemas de los métodos basados en la audición y la repetición

Ayudas visuales

Basadas en la imitación de modelos por aproximación sucesiva.

Estímulo visual presentado conjuntamente con el auditivo.

Visualización de la configuración articulatoria

Representaciones articulatorias «estilizadas» que aportan información sobre la posición de los articuladores.

Pueden incorporar descripciones articulatorias simplificadas como «instrucciones» para la pronunciación.

Corsbie, C. y Gore, J. (2003). Pronunciación y fonética. Ver. 2.0. CALICO Journal, 20(3), 621-631. Consultado en https://calico.org/p-148-Pronunciación%20y%20Fonética%20(4/2002).html

Renié, D. (1998). Analyse de The Rhythm of French. ALSIC. Apprentissage des Langues et Systèmes d’Information et de Communication, 1(2), 171-177. Consultado en https://alsic.revues.org/1559

Fonética: Los sonidos del español. Iowa City, IA: Departments of Spanish and Portuguese, German, Speech Pathology and Audiology and Academic Technologies, The University of Iowa, 2005. Consultado en http://soundsofspeech.uiowa.edu

Visualización de la configuración articulatoria en tres dimensiones.

Gutiérrez Ramírez, D. G. A. (2008). Sarahí. Primer modelo de enseñanza lingüística en tercera dimension. Enter@te en línea. Internet, Cómputo y Telecomunicaciones, 7(74). Consultado en http://www.enterate.unam.mx/Articulos/2007/abril/sarahi.html

Comparación entre la posición articulatoria «canónica» y la producción del estudiante.

❯ Problemas de los métodos articulatorios

Visualización de las características acústicas segmentales

❯ Las características acústicas de los sonidos del habla

❯ Las características acústicas de los elementos segmentales

Visualización de las características acústicas de los elementos suprasegmentales

Curva melódica natural

❯ Curva melódica

Curva melódica estilizada o patrones melódicos

Representación estilizada de la curva melódica para mostrar el patrón de movimiento a partir de los puntos de inflexión.

Visualización de la melodía y de la entonación.

Patrones melódicos del español en posición final de enunciado.

Garrido, J. M. (1996). Modelling Spanish intonation for text-to-speech applications. PhD Thesis, Departament de Filologia Espanyola, Universitat Autònoma de Barcelona.Consultado en http://hdl.handle.net/10803/4885

❯ La entonación y la melodía

Curva de intensidad

❯ Curva de intensidad

Estrategias de trabajo

Imitación de modelos por aproximación sucesiva a través de diversas repeticiones.

La información visual proporciona feedback sobre la pronunciación del estudiante.

Posibilidad de emplear las herramientas de análisis acústico utilizadas habitualmente en fonética como base de ejercicios que facilitan la práctica de ciertos elementos segmentales o suprasegmentales.

Baepler, P., Ekegren, C., Marsh, L., Rondeau, A. y Thompson, P. (2006). Praat language lab. [Minneapolis, MN: University of Minnesota. Consultado en http://www.tc.umn.edu/~parke120/praatwebfiles/

Baepler, P., Ekegren, C., Marsh, L., Rondeau, A. y Thompson, P. (2006). Praat language lab. Minneapolis, MN: University of Minnesota. Consultado en http://www.tc.umn.edu/~parke120/praatwebfiles/

Comparación entre representaciones acústicas de la producción del estudiante y representaciones acústica de modelos canónicos previamente almacenados o de la producción del profesor.

Oscilograma y curva melódica del modelo de pronunciación (panel superior) y de la producción del alumno (panel inferior).

Tell Me More (Fuente: Cazade, A. (1999). De l’usage des courbes sonores et autres supports graphiques pour aider l’apprenant en langues. ALSIC. Apprentissage des Langues et Systèmes d’Information et de Communication, 2(2), 3-32. Consultado en https://alsic.revues.org/1623).

Forma de onda, curva de intensidad y curva melódica.

WinPitch LTL (Fuente: Germain, A. y Martin, P. (2000). Présentation d’un logiciel de visualisation pour l’apprentissage de l’oral en langue seconde. ALSIC. Apprentissage des Langues et Systèmes d’Information et de Communication, 3(1), 61-76. Consultado en https://alsic.revues.org/1796).

Curva melódica del enunciado modelo (en blanco) y de la producción del estudiante (en azul).

Taylor, R. P. (2000). Accent Coach. English Pronunciation Trainer. CALICO Journal, 17(3), 564-579. Consultado en https://calico.org/p-48-Accent%20Coach%20(7/1999).html

Estímulo visual estilizado presentado conjuntamente con el auditivo.

Representaciones en las que se pone de relieve la información lingüísticamente significativa.

Forma de onda original y forma de onda modificada del enunciado «Más vale pájaro en mano que ciento volando».

Representación estilizada de la curva de intensidad
Modelo propuesto por el profesor (panel inferior) y producción del alumno (panel superior).

Speaker (v.3) (Fuente: Cazade, A. (1999). De l’usage des courbes sonores et autres supports graphiques pour aider l’apprenant en langues. ALSIC. Apprentissage des Langues et Systèmes d’Information et de Communication, 2(2), 3-32. Consultado en https://alsic.revues.org/1623).

Representación estilizada de la curva melódica
Modelo propuesto por el profesor (panel inferior) y producción del alumno (panel superior).

Ventajas y limitaciones

Aproximación similar a la de los laboratorios de lenguas, basada en la audición y en la repetición.
En general, no se proporcionan estrategias al estudiante para aproximarse a la producción nativa.
Conseguir una representación acústica exactamente idéntica a la del modelo implica una imitación completa.
En la L1 un mismo enunciado puede tener más de una realización acústica aceptable debido a la variación fonética intralocutor y a la variación interlocutor.
Dificultad de interpretación de los documentos.

Resultados obtenidos

Hardison, D. M. (2004). Generalization of computer-assisted prosody training: Quantitative and qualitative findings. Language Learning & Technology, 8(1), 34-52. Consultado en http://llt.msu.edu/vol8num1/pdf/hardison.pdf

Grupo experimental: 16 estudiantes universitarias americanas en su segundo año de francés.

Grupo de control: 10 estudiantes.

Práctica de pronunciación: 13 sesiones de 40 minutos cada una.

Evaluación: pretest, postest y una prueba de generalización; 3 hablantes nativos de francés; escala del 1 al 7.

«Taken together, the results of these two experiments demonstrate the effective pedagogical application of speech technology. This training strengthened the association between the prosodic and lexical components of sentences through frequent exposure and through practice opportunities involving sentences of familiar content with informative feedback, and the training also resulted in improved production at both the segmental and suprasegmental levels.»

Hardison, D. M. (2004). Generalization of computer-assisted prosody training: Quantitative and qualitative findings. Language Learning & Technology, 8(1), 34-52. Consultado en http://llt.msu.edu/vol8num1/pdf/hardison.pdf

Reconocimiento automático del habla y corrección fonética

Objetivo: aumentar las posibilidades de llevar a cabo actividades centradas en la pronunciación en el contexto de los sistemas de enseñanza asistida por ordenador.

Neri, A., Cucchiarini, C. y Strik, H. (2003). Automatic speech recognition for second language learning: How and why it actually works. En ICPhS 2003. Proceedings of the 15th International Congress of Phonetic Sciences. (pp. 1157-60). Barcelona, Spain, 3-9 August 2003. Consultado en http://hstrik.ruhosting.nl/wordpress/wp-content/uploads/2013/02/a102.pdf

Reconocimiento

Conversión de la onda sonora producida por el estudiante en una secuencia de palabras utilizando los modelos fonéticos y los modelos de lenguaje creados durante la fase de entrenamiento.

❯ El reconocimiento automático del habla

Puntuación (scoring)

Evaluación realizada a partir de la comparación acústica (segmental o suprasegmental) entre la producción del estudiante y el modelo nativo.

Detección de errores

Realizada a partir del grado de confianza del sistema en la detección de segmentos correspondientes a las producciones nativas almacenadas.

Diagnóstico

Identificación del tipo de error a partir de modelos de errores típicos previamente almacenados.

Corrección (feedback)

Presentación al estudiante de los resultados obtenidos en las etapas anteriores.

En algunos sistemas actuales la visualización de la onda sonora no necesariamente se correlaciona con la puntuación.

Fuente: http://slideplayer.com/slide/1581510/

Adaptado de Witt, S. M. y Young, S. J. (2000). Phone-Level pronunciation scoring and assessment for interactive language learning. Speech Communication, 30(2-3), 95-108. doi:10.1016/S0167-6393(99)00044-8.

Segmentación en unidades fonéticas y análisis acústico de la producción del estudiante: extracción de los parámetros utilizados por el sistema de reconocimiento.
Comparación de las producciones de los estudiantes con modelos acústicos previamente almacenados.
Extracción del grado de similaridad acústica entre el enunciado del estudiante y el enunciado previamente almacenado.
Proceso ayudado por técnicas estadísticas que recurrem a los textos de los enunciados utilizados en el modelo.
El error corresponde a una desviación respecto al modelo. La detección del error se lleva a cabo a partir de un nivel de exigencia o tolerancia previamente definido.
El estudiante recibe información sobre su error.

El reconocedor debe entrenarse con corpus de producciones nativas y no nativas.

El entrenamiento puede contemplar producciones propias de la interlengua de los estudiantes.

El problema se simplifica en el contexto de diálogos con respuestas más o menos predeterminadas.

Limitaciones actuales:

Reconocimiento del habla continua.
Reconocimiento independiente del locutor.
Falta de bases de datos de producciones no nativas.
Tratamiento de los enunciados que no se han almacenado previamente.

Aplicaciones del reconocimiento del habla a la enseñanza de la pronunciación

Tecnologías básicas de reconocimiento automático del habla aplicadas a sistemas comerciales:

Visualización de la señal sonora.
Puntuación de la pronunciación.
Detección de errores.
Representación articulatoria.

Rosetta Stone. (2016). Demostración gratuita. London: Rosetta Stone (UK) Limited. Consultado en http://www.rosettastone.es/demo

1: Audición y reproducción; 2: Forma de onda y curva melódica; 3: Puntuación - Tell Me More Francés.

Tell Me More Francés.

Hamon, L. (2003). Analyse de Tell Me More - Français. ALSIC. Apprentissage des Langues et Systèmes d’Information et de Communication, 6(2), 141-155. Consultado en http://alsic.revues.org/2255

Tell Me More Francés.

Reeser, T. W. (2002). Tell Me More - French. CALICO Journal, 19(2), 419-428. Consultado en https://calico.org/p-63-Tell%20Me%20More%20-%20French%20(3/2001).html

Tell Me More Francés.

Hamon, L. (2003). Analyse de Tell Me More - Français. ALSIC. Apprentissage des Langues et Systèmes d’Information et de Communication, 6(2), 141-155. Consultado en http://alsic.revues.org/2255

Tell Me More Español.

Lafford, B. A. (2004). Review of Tell Me More Spanish. Language Learning & Technology, 8(3), 21-34. Consultado en http://llt.msu.edu/vol8num3/pdf/review1.pdf

Tell Me More Español.

Tell Me More Spanish. (2016). Washington, DC: Rosetta Stone Ltd. Consultado en http://www.rosettastone.es

FlueSpeak.

Kim, I. S. (2006). Automatic speech recognition: Reliability and pedagogical implications for teaching pronunciation. Educational Technology & Society, 9(1), 322-334. Consultado en http://www.ifets.info/journals/9_1/26.pdf

Fluency.

LTI. (s.d.). Automatic foreign language pronunciation training - Fluency. Pittsburgh, PA: Language Technologies Institute, Carnegie Mellon University. Consultado en http://www.lti.cs.cmu.edu/research/fluency/

Resultados obtenidos

Hincks, R. (2002). Speech recognition for language teaching and evaluating: A study of existing commercial products. En ICSLP 2002 - Interspeech 2002. Proceedings of the 7th International Conference on Spoken Language Processing. (pp. 733-6). Denver, Colorado, USA. September 16-20, 2002. Consultado en http://www.isca-speech.org/archive/icslp_2002/i02_0733.html

Hincks, R. (2003). Speech technologies for pronunciation feedback and evaluation. ReCALL, 15(1), 3-20. doi:10.1017/S0958344003000211

Rebecca Hincks, Language and Communication, KTH, Stockholm.

Grupo experimental: 9 estudiantes adultos de inglés técnico y diferentes L1.

Grupo de control: 15 estudiantes de características similares.

Práctica de pronunciación: un promedio de 12,5h (dt 15) de trabajo con Talk to Me.

Evaluación: pretest y postest.

Hincks, R. (2003). Speech technologies for pronunciation feedback and evaluation. ReCALL, 15(1), 3-20. doi:10.1017/S0958344003000211

Hincks, R. (2003). Speech technologies for pronunciation feedback and evaluation. ReCALL, 15(1), 3-20. doi:10.1017/S0958344003000211

Hincks, R. (2003). Speech technologies for pronunciation feedback and evaluation. ReCALL, 15(1), 3-20. doi:10.1017/S0958344003000211

«Extra pronunciation training using speech recognition-based language learning software did not demonstrably improve the mean pronunciation abilities of a heterogeneous group of middle-aged students. However, results from the PhonePass test indicate that use of the programme was beneficial for the students who began the course with an «intrusive» foreign accent. . . . ASR training could be useful for beginning students.»

Hincks, R. (2003). Speech technologies for pronunciation feedback and evaluation. ReCALL, 15(1), 3-20. doi:10.1017/S0958344003000211

Mayfield Tomokiyo, L., Wang, L. y Eskénazi, M. (2000). An empirical study on the effectiveness of speech-recognition-based pronunciation tutoring. En Interspeech 2000 - ICSLP. Proceedings of the 6th International Conference on Spoken Language Processing. Beijing, China. October 16-20, 2000. Consultado en http://www.cs.cmu.edu/~laura/Papers-PS/icslp-fluency.ps

Grupo experimental: 8 estudiantes de inglés con diferentes L1.

Grupo de control: 8 estudiantes de inglés emparejados con los del grupo experimental.

Práctica de pronunciación: ejercicios sobre las fricativas del inglés con Fluency.

Evaluación: pretest y postest; profesor nativo; escala del 1 al 3.

«The figures from the paired users show that both in class and with Fluency, users can achieve notable error reduction in their pronunciation of /ð/ and /θ/. The variance of the results from the Fluency group is much larger than that of the class group.»

«it seems safer to let the students practice with CAPT systems that are not too ambitious, but that can guarantee correct feedback in the majority of the cases. Finally, the success of these phases does not solely depend on the technical implementation of the ASR system, but relies to a large extent on the way the feedback is presented.»

Problemas pendientes

Priorización de los errores

¿Qué error debe corregirse?

¿Qué errores inciden más en la inteligibilidad?

Estrategias de corrección

¿Cómo mejorar la pronunciación a partir del error?

¿Qué información sobre cómo corregirse se proporciona al estudiante?

¿Cómo se relaciona la representación acústica con la puntuación?

Aplicaciones del reconocimiento del habla a la evaluación de la pronunciación

Permite automatizar la evaluación.

Ofrece la posibilidad de realizar pruebas de nivel por teléfono o a través de la web.

WebGrader

Práctica interactiva con frases y puntuación por segmento, palabra y frase.

WebGrader - Puntuación por palabra y por frase.

WebGrader, SRI International.

WebGrader - Puntuación por segmento

WebGrader, SRI International.

Ordinate - Harcourt Assessment

Empresa dedicada a la evaluación automática de la expresión oral.

Pruebas realizadas por teléfono.

Resultados en la web.

Pruebas en español y en inglés.

Las pruebas incluyen la evaluación de la pronunciación.

Ordinate - Harcourt Assessment, Menlo Park, California.

Problemas

Diferencias entre las puntuaciones automáticas y las puntuaciones de evaluadores humanos.

Tipo de material evaluado.
Dependencia del locutor.
Dificultad del reconocimiento automático de los elementos segmentales.

«As a matter of fact, this is by no means a solved issue. Speech technologists are still trying to find the best measures with which to provide a meaningful score: these should be based on specific pronunciation aspects on which the student can work (but which are difficult to capture automatically) and, at the same time, they should result in a score that is similar to that provided by human listeners.»

Puede llegarse a niveles aceptables de reconocimiento de enunciados no nativos.

Es posible proporcionar puntuaciones similares a las humanas en aspectos globales.

La puntuación debe integrarse con la detección de errores.

Enseñanza de la pronunciación asistida por ordenador

Enseñanza de la pronunciación y corrección fonética

Enseñanza de la pronunciación y corrección fonética en español como lengua extranjera

La enseñanza de la pronunciación y la corrección fonética asistidas por ordenador
Joaquim Llisterri, Departament de Filologia Espanyola, Universitat Autònoma de Barcelona

La pàgina va ser modificada per darrera vegada el

Forma de onda

Espectro

Espectrograma

Curva melódica natural

Curva melódica estilizada o patrones melódicos

Curva de intensidad

Resultados obtenidos

Problemas pendientes

Priorización de los errores

Estrategias de corrección

WebGrader

Ordinate - Harcourt Assessment

Problemas