La traducción automática del habla

Esta página ha dejado de actualizarse

Traducción automática del habla y comunicación entre personas mediatizada por un ordenador

CMC, Computer-Mediated Communication.

Traducción entre modalidades

Escrito – Oral

Conversión de texto en habla.
TTS, Text-to-Speech Synthesis.

Oral – Escrito

Reconocimiento automático del habla.
ASR, Automatic Speech Recognition.

Escrito – Escrito

Traducción automática de textos.
MT, Machine Translation.

Oral – Oral

SLT, Spoken Language Translation.
SST, Speech-to-Speech Translation.
TAH, Traducción automática del habla.
TAP, Traducció automàtica de la parla.

La traducción automática del habla

SLT, Spoken Language Translation.
SST, Speech-to-Speech Translation.
TAH, Traducción automática del habla.
TAP, Traducció automàtica de la parla.

Estructura general de un sistema de traducción automática del habla.

Arquitectura del sistema de traducción automática del habla de SRI International.

Arquitectura del sistema de traducción automática del habla del consorcio C-STAR (IF = interlengua).

(Fuente: Le groupe francophone CLIPS++ et le démonstrateur de traduction de parole pour le français).

Arquitectura del sistema de traducción automática del habla del consorcio U-STAR.

U-STAR. (2013). Research. U-STAR, Universal Speech Translation Advanced Research Consortium. Consultado en http://www.ustar-consortium.com/qws/slot/u50227/research.html

Dominios restringidos.

Interacción pregunta-respuesta.

Accesibles a través de teléfonos convencionales, teléfonos inteligentes, tabletas y ordenadores de sobremesa.

Multimodalidad.

Técnicas de traducción automática específicamente adaptadas a la lengua oral.

Complementariedad del conocimiento lingüístico y del conocimiento tecnológico.

Aproximaciones estadísticas basadas en el uso de corpus paralelos.

• Requieren grandes corpus paralelos de entrenamiento, costosos de adquirir.
• Restricción a dominios concretos debido al tamaño de los modelos.
• Integración de los modelos acústicos con los modelos de traducción.
• Uso de modelos de estados finitos.
• Modelos acústicos: modelos ocultos de Markov (HMM, Hidden Markov Models) asociados a unidades fonéticas.
• Modelos de lenguaje: modelos de N-gramas que permiten caracterizar estadísticamente la probabilidad de aparición de palabras concatenadas.

Casacuberta, F. (2004). Traducción automática del habla. En M. A. Martí y J. Llisterri (Eds.), Tecnologías del texto y del habla. (pp. 121-44). Barcelona - Soria: Edicions de la Universitat de Barcelona - Fundación Duques de Soria.

Problemas lingüísticos en la traducción automática del habla

Problemas del habla espontánea

Fenómenos relacionados con la alteración de la fluidez debidos a la planificación del discurso realizada por el hablante.

Hesitaciones, «disfluencias» (disfluencies)

• Pausas llenas: elementos vocales no léxicos.
• Alargamientos vocálicos y consonánticos.
• Repeticiones.
• Palabras truncadas.
• Falsos principios.
• Interrupciones seguidas de una reformulación.
• Frases inacabadas.
• Variaciones en la velocidad de elocución.

Fenómenos propios del habla espontánea en el corpus BASURDE.

Torres, M. I. (2006). El reconocimiento del habla. En J. Llisterri y M. J. Machuca (Eds.), Los sistemas de diálogo. (pp. 81-98). Bellaterra - Soria: Universitat Autònoma de Barcelona - Fundación Duques de Soria.

Problemas del diálogo

Elementos anafóricos.

Elementos deícticos.

Elipsis.

Presuposiciones.

Sistemas de traducción automática del habla

Verbmobil

DFKI. (2000). Verbmobil. Saarbrücken: DFKI, Deutsches Forschungszentrum für Künstliche Intelligenz. Consultado en http://verbmobil.dfki.de

Proyecto nacional alemán financiado por el Bundesministeriums für Bildung und Forschung (1993-2000).

Sistema de traducción de diálogos espontáneos por teléfono móvil.

Dominios restringidos: citas, preparación de viajes, reservas de hotel.

Lenguas: alemán, inglés y japonés.

Wahlster, W. (2000). Mobile speech-to-speech translation of spontaneous dialogs: An overview of the final Verbmobil system. En W. Wahlster (Ed.), Verbmobil: Foundations of speech-to-speech translation. New York: Springer. Consultado en http://verbmobil.dfki.de/ww.html

Wahlster, W. (2000). Mobile speech-to-speech translation of spontaneous dialogs: An overview of the final Verbmobil system. En W. Wahlster (Ed.), Verbmobil: Foundations of speech-to-speech translation. New York: Springer. Consultado en http://verbmobil.dfki.de/ww.html

Independiente del locutor.

Bidireccional.

Teléfono móvil GSM.

Más de 10 000 palabras.

75 % de reconocimiento de palabras.

80 % de traducciones correctas.

90 % de éxito en tareas.

Generación de resúmenes de conversaciones.

DFKI. (2000). Verbmobil overview. Saarbrücken: DFKI, Deutsches Forschungszentrum für Künstliche Intelligenz. Consultado en http://verbmobil.dfki.de/overview-us.html

DFKI. (2000). Verbmobil overview. Saarbrücken: DFKI, Deutsches Forschungszentrum für Künstliche Intelligenz. Consultado en http://verbmobil.dfki.de/overview-us.html

Janus

Dominios limitados: citas, reserva de hoteles, itinerarios de viajes.

Lenguas de entrada: inglés y alemán.

Lenguas de salida: inglés, alemán y japonés.

(Fuente: Interactive Systems Lab, Carnegie Mellon University).

Janus, traductor portátil

Información y ayuda para una persona que viaja por un país extranjero.

Traducción oral y escrita y acceso a bases de datos de información turística.

Independiente del locutor.

Dominio restringido.

Versiones portátil y móvil.

(Fuente: Interactive Systems Lab, Carnegie Mellon University).

(Fuente: Interactive Systems Lab, Carnegie Mellon University).

Traducción de conversaciones en inglés y castellano.

Seguimiento de la conversación.

Traducción presentada en forma escrita.

(Fuente: Interactive Systems Lab, Carnegie Mellon University).

LingWear

Sistema móvil de traducción, información, ayuda y navegación.

Dominio: turismo en un país extranjero.

Lenguas: inglés, alemán y japonés.

Multimodal: habla, texto, escritura manuscrita, imagen y gesto.

(Fuente: Interactive Systems Lab, Carnegie Mellon University).

Integración de LingWear en un ordenador portátil.

(Fuente: Interactive Systems Lab, Carnegie Mellon University).

(Fuente: Interactive Systems Lab, Carnegie Mellon University).

SRI International

Dominio restringido: información sobre vuelos.

Lenguas: del inglés al francés.

SRI International. (2007). Speech recognition videos. STAR, Speech Technology and Research Laboratory. Menlo Park, CA: SRI International.

Nespole! Negotiating through Spoken Language in E-Commerce

Istituto Trentino di Cultura - Centro per la Ricerca Scientifica e Tecnologica; Universität Karlsruhe; Carnegie Mellon University; Université Joseph Fourier; AETHRA S.r.l.; Azienda per la Promozione Turistica del Trentino.

Proyecto IST-1999-11562 (2000-2002).

Traducción automática del habla para centros de videoconferencia.

Lenguas: italiano con traducción al inglés, alemán y francés.

Dominio: turismo.

EuTrans, Example Based Understanding and Translation Systems

PRHLT - Pattern Recognition and Human Language Technology, Universitat Politècnica de València; Chair of Computer Science VI (i6), RWTH Aachen University; Zeres; Fondazione Ugo Bordoni.

Proyecto ESPRIT 20268 (1996) - Proyecto ESPRIT 30268 (1997-2000).

Lenguas: del castellano o del italiano al inglés.

Dominio: centralita y recepción de hoteles.

Accesible por teléfono.

C-STAR, Consortium for Speech Translation Advanced Research

ATR - Advanced Telecomunication Research; CAS - Chinese Academy of Sciences; CLIPS - Communication Langagière et Interaction Personne-Système; ETRI - Electronics and Telecommunications Research Institute; IRST - Centro per la Ricerca Scientifica e Tecnologica; ISL - Interactive Systems Labs, Carnegie Mellon University & Karlsruhe University.

Sistema independiente del locutor.

Habla espontánea.

Dominio: sector turístico (planificación del viaje, información, reservas y negociación).

TC-STAR, Technology and Corpora for Speech-to-Speech Translation

TC-STAR. (2007). TC-STAR, Technology and Corpora for Speech to Speech Translation. Consultado en http://tcstar.org

ITC-IRST - Center for Scientific and Technological Research; RWTH - Human Language Technology and Pattern Recognition, Lehrstuhl fuer Informatik VI, Aachen; LIMSI-CNRS, Spoken Language Processing Group; TALP, Departament de Teoria del Senyal i Comunicacions, Universitat Politècnica de Catalunya; IST - Interactive System Labs, Carnegie Mellon University & Karlsruhe University; IBM Mannheim; Speech and Audio Systems Laboratory, Nokia Research Center; Division of Corporate Technology, Siemens; Sony International (Europe), Stuttgart Technology Center; ELDA - Evaluations and Language resources Distribution Agency; SPEX / CLST, Department of Language and Speech Radboud University Nijmegen.

Proyecto IST-2002-2.3.1.6 Multimodal interfaces (2004-2006).

Traducción de habla espontánea en varios dominios.

«This off-line demo consists in a video showing about 30 minutes of an European Parliament Plenary Session (EPPS), English audio channel, recorded September 7th, 2005. This audio stream is part of the eval06es set, and has been automatically divided into segments. Only the segments that are part of the eval set have been processed, in other segments a message indicating the next transcribed segment is present. ASR and MT have been fully developed at ITC-IRST, version January 2007. The MT process splits each sentence into chunks, and translation is done chunk by chunk.
Aligned with the video there are two windows, showing respectively:
a) English ASR output, sentence by sentence.
b) Spanish MT output, sentence by sentence.
In both windows, the active chunk (synchronized with English audio) is highlighted in yellow. In the English window active chunks are strictly sequential, while in the Spanish one they are not.»

transLectures

transLectures. (2014). TransLectures, Transcription and Translation of Video Lectures. EC FP7 ICT project 287755. Consultado en https://www.mllp.upv.es/projects/translectures/

EC FP7 ICT project 287755 (2011-2014)

Universitat Politècnica de València; Institut Jozef Stefan; Rheinisch-Westfaelische Technische Hochschule Aachen; Xerox S.A.S.; European Media Laboratory GMBH; Deluxe Digital Studios Ltd; Knowledge for All Foundation.

Transcripción (subtitulado) y traducción automática de videos educativos en línea.

Transcripción en inglés, español y esloveno.

Traducción entre inglés y español e inglés y esloveno y traducción del inglés al francés y al alemán.

Pérez González de Martos, A. (6 de diciembre de 2012). transLectures - Matterhorn integration [Documento en vídeo]. Consultado en https://www.youtube.com/watch?v=UtXE9f705yg

IraqComm™

SRI International deploys portable speech-to-speech translation system for investigative fielding in Iraq. (12 de julio de 2006). Menlo Park, CA: SRI International. Consultado en https://www.sri.com/newsroom/press-releases/sri-international-deploys-portable-speech-speech-translation-system-investig#

Sistema de traducción automática del habla bidireccional entre el inglés americano y el árabe coloquial iraquí.

Dominio: protección, seguridad, servicios municipales y servicios médicos básicos.

Converser for Healthcare

Spoken Translation Inc. (2014). Converser™ for Healthcare. Berkeley, CA: Spoken Translation Inc. Consultado en http://www.spokentranslation.com/products/healthcare/

Traducción de conversaciones en inglés y en español entre médico y paciente.

Google Translate Conversation Mode

Basado en la tecnología de traducción de Google en combinación con la tecnología de reconocimiento automático del habla de Google y con el sistema de conversión de texto en habla desarrollado por Phonetic Arts y adquirido por Google.

Disponible en inglés y en español.

Sistema de traducción automática del habla de Google.

Verma, A. (12 de enero de 2011). A new look for Google Translate for Android. Google Translate blog. Consultado en https://translate.googleblog.com/2011/01/new-look-for-google-translate-for.html

Sistema de traduccción automática del habla de Google.

Dixon, A. (12 de enero de 2011). Google Translate «Conversation Mode» in action [Documento en vídeo]. Consultado en https://www.youtube.com/watch?v=MXpPhTM3a6c

VoiceTra4U

U-STAR. (2013). VoiceTra4U. Speech translation app. U-STAR, Universal Speech Translation Advanced Research Consortium. USTAR, Universal Speech Translation Advanced Research Consortium.

Traducción automática del habla en modo individual o en conversaciones en modo chat.

Disponible en 30 lenguas, aunque no todas las modalidades de entrada y salida (texto o habla) funcionan para todas las lenguas.

U-STAR. (2013). VoiceTra4U. Speech translation app. U-STAR, Universal Speech Translation Advanced Research Consortium. USTAR, Universal Speech Translation Advanced Research Consortium.

U-STAR. (2013). VoiceTra4U. Speech translation app. U-STAR, Universal Speech Translation Advanced Research Consortium. USTAR, Universal Speech Translation Advanced Research Consortium.

iSpeech

iSpeech. (2014). iSpeech Translator™. Newark, NJ: iSpeech, Inc. Consultado en https://www.ispeech.org/apps/translator

Traducción automática partir de texto o de habla.

Disponible para iOS, Android y Blackberry.

Reconocimiento automático del habla y traducción en 7 lenguas.

Conversión de texto en habla en 18 lenguas.

(Fuente: https://itunes.apple.com/us/app/ispeech-translator/id453800720).

Artificial Solutions

Artificial Solutions. (2013). Indigo - Personal Assistant App. Stockholm: Artificial Solutions.

Asistente personal para teléfonos inteligentes, tabletas y ordenadores de sobremesa que incorpora traducción automática del habla.

Disponible en versiones para iOS, Android y Windows.

Asistente personal Indigo de Artificial Solutions.

Hello Indigo. (25 de noviembre de 2013). Indigo: A personal assistant that helps you translate. Stockholm: Artificial Solutions.

Skype Translator, Microsoft

¿Cómo configuro y utilizo Skype Translator?

Sistema de traducción automática de conversaciones en alemán, árabe, chino, español, francés, hindi, inglés, italiano, japonés, portugués y ruso.

Disponible en las versiones de escritorio para Windows 10, en Skype Preview en el escritorio y en Skype para móviles.

Skype (15 de diciembre de 2014). Skype Translator: Behind the scenes [Documento en vídeo]. Consultado en https://www.youtube.com/watch?v=QRj5jpS09ic

Microsoft Research (2017). Skype Translator [Lista de reproducción]. Redmond, WA: Microsoft Research. Consultado en https://www.youtube.com/playlist?list=PLD7HFcN7LXRfCBvaE0EdiHe8zg2bLUIxM

La traducción automática entre otras modalidades

Traducción de lengua oral a movimientos labiales

Teleface

❯ Teleface, sistema de ayuda a personas con discapacidad auditiva.

Traducción de lengua oral a lengua de signos

❯ Las lenguas de signos

Reconocimiento del habla o de la imagen.

Traducción de/a lengua de signos.

Conversión de texto en habla o de texto en signos.

DePaul University American Sign Language Project

The DePaul University American Sign Language Project. (n.d.). [Web page]. Chicago, IL: Telecommunications and Information Systems, School of Computer Science, DePaul University. Retrieved from http://asl.cs.depaul.edu

Traducción del inglés a la lengua de signos americana (ASL).

Generación de animaciones.

Nice to meet you.

The DePaul University American Sign Language Project. (n.d.). Chicago, IL: Telecommunications and Information Systems, School of Computer Science, DePaul University. Retrieved from http://asl.cs.depaul.edu

Tessa, TExt and Sign Support Assistant

VISICAST. Independent Television Commission; Institut für Rundfunktechnik GmbH; Televirtual; Royal National Institute for Deaf People; University of Hamburg, Institute of German Sign Language and Communication of the Deaf; University of East Anglia, School of Information Systems; Institut National des Télécommunications, ARTEMIS; Institut voor Doven; Post Office.

Traducción de inglés oral a lengua de signos británica.

Asistente para las transacciones habituales de una oficina de correos.

ViSiCAST. (s.d.). ViSiCAST demo. ViSiCAST.

eSIGN, Essential Sign Language Information on Government Networks

eSIGN, Essential Sign Language Information on Government Networks. University of Hamburg, Institute of German Sign Language and Communication of the Deaf; EDS Business Solutions GmbH; Norfolk County Council; Viataal; University of East Anglia, School of Computing Sciences; Televirtual; Royal National Institute for Deaf People.

Introducción de vídeos en lengua de signos en páginas web institucionales.

Basado en léxicos de signos y en avatares que cumplen la función de «hablantes virtuales» de lengua de señas.

Los signos se capturan a partir de un hablante o se generan a partir de instrucciones.

eSIGN. (s.d.). eSIGN Demo. eSIGN, Essential Sign Language Information on Government Networks. Consultado en http://www.sign-lang.uni-hamburg.de/esign/demo.html

SiSi, Say it, Sign it

SiSi. IBM; University of East Anglia, School of Computing Sciences; Royal National Institute for the Deaf.

Conversión automática de lengua oral a lengua de signos británica.

Un avatar produce en lengua de signos, en tiempo real, los enunciados hablados.

Tomasco, S. (2007). IBM Voice-to-Sign Language translation tech [Documento en vídeo]. Consultado en https://www.youtube.com/watch?v=RarMKnjqzZU

Traducción de habla a lengua de signos española

Desarrollo de un sistema de traducción de voz a lengua de signos española para un servicio público de atención personal. (2011). Madrid: Grupo de Tecnología del Habla, Universidad Politécnica de Madrid - Fundación CNSE.

Traducción de habla a lengua de signos española.

Desarrollo de un sistema de traducción de voz a lengua de signos española para un servicio público de atención personal. (2011). Madrid: Grupo de Tecnología del Habla, Universidad Politécnica de Madrid - Fundación CNSE.

iCommunicator

Reconocimiento del habla.

Conversión de texto en habla.

Traducción de lengua oral a lengua de signos.

iCommunicator. (s.d.). Brooklyn, NY: PPR Inc.

Hand Talk

Hand Talk. (2016). Maceió, Alagoas: Hand Talk. Consultado en https://www.handtalk.me

Traducción automática de texto y de audio en portugués a lengua de signos brasileña.

«Intérprete virtual»: Hugo.

Hand Talk. (2016). Maceió, Alagoas: Hand Talk. Consultado en https://www.handtalk.me

https://itunes.apple.com/br/app/hand-talk-tradutor-portugues/id659816995

https://play.google.com/store/apps/details?id=br.com.handtalk

La traducción automática del habla