Este modelo se publicó en HF papers el 17/11/2021 y se contribuyó a Hugging Face Transformers el 20/06/2023.

XLS-R

Resumen

El modelo XLS-R se propuso en XLS-R: Self-supervised Cross-lingual Speech Representation Learning at Scale de Arun Babu, Changhan Wang, Andros Tjandra, Kushal Lakhotia, Qiantong Xu, Naman Goyal, Kritika Singh, Patrick von Platen, Yatharth Saraf, Juan Pino, Alexei Baevski, Alexis Conneau, Michael Auli.

El resumen del artículo es el siguiente:

Este artículo presenta XLS-R, un modelo a gran escala para el aprendizaje de representaciones del habla translingüe basado en wav2vec 2.0. Entrenamos modelos con hasta 2B de parámetros con casi medio millón de horas de audio de habla de acceso público en 128 idiomas, una orden de magnitud más de datos públicos que el trabajo previo más grande conocido. Nuestra evaluación abarca una amplia gama de tareas, dominios, regímenes de datos e idiomas, tanto de alto como de bajo recurso. En el benchmark de traducción del habla CoVoST-2, mejoramos el estado del arte anterior en un promedio de 7.4 BLEU en 21 direcciones de traducción al inglés. Para el reconocimiento del habla, XLS-R supera al mejor trabajo previo conocido en BABEL, MLS, CommonVoice y VoxPopuli, reduciendo las tasas de error en un 14-34% relativo en promedio. XLS-R también establece un nuevo estado del arte en la identificación de idiomas de VoxLingua107. Además, demostramos que, con un tamaño de modelo suficiente, el preentrenamiento translingüe puede superar al preentrenamiento solo en inglés al traducir el habla inglesa a otros idiomas, un escenario que favorece el preentrenamiento monolingüe. Esperamos que XLS-R ayude a mejorar las tareas de procesamiento del habla para muchos más idiomas del mundo.

Los puntos de control relevantes se pueden encontrar en https://huggingface.co/models?other=xls_r.

El código original se puede encontrar aquí.

Consejos de uso

• XLS-R es un modelo de voz que acepta un array de flotantes correspondiente a la forma de onda cruda de la señal de voz.
• El modelo XLS-R se entrenó mediante clasificación temporal conexionista (CTC), por lo que la salida del modelo debe decodificarse usando Wav2Vec2CTCTokenizer.

La arquitectura de XLS-R se basa en el modelo Wav2Vec2; consulte la página de documentación de Wav2Vec2 para obtener la referencia de la API.