Whisper | Languages, Territory and AI Research Group

Whisper-LM con léxico maya: corrección de transcripciones ASR de maya yucateco usando Gemini y un diccionario como referencia

Thu, 09 Jul 2026 00:00:00 +0000

¿Qué problema resuelve este cuaderno?

Whisper, el sistema de reconocimiento automático de voz (ASR) de OpenAI, no incluye el maya yucateco entre sus lenguas soportadas. Al transcribir audio en maya, el modelo produce salidas muy ruidosas y con frecuencia “detecta” la lengua equivocada: en nuestros datos, segmentos en maya fueron etiquetados como español, inglés e incluso japonés. Este cuaderno explora una pregunta práctica: ¿cuánto puede mejorar un modelo de lenguaje grande (LLM) la salida de Whisper si le damos un léxico maya como referencia?

Arquitectura del pipeline

El flujo completo es:

Audio → Whisper (turbo) → Normalizador de reglas → Gemini + léxico → Normalizador → Evaluación (CER/WER)

1. Datos de entrada

Se parte de un CSV (transcription_results41Turbo.csv) con 1,010 segmentos de audio ya transcritos por Whisper turbo. Cada fila incluye la transcripción de referencia hecha por humanos (original_transcription), la predicción de Whisper (whisper_prediction), la lengua detectada y métricas iniciales (chrF, WER, CER).

2. Léxico maya como referencia (componente RAG)

Se carga un diccionario maya–español en formato TSV (yua_dictionary.tsv) con 2,988 entradas. Una clase YuaLexicon ofrece búsqueda exacta y búsqueda difusa (fuzzy matching con difflib.get_close_matches), lo que permite encontrar la palabra maya válida más cercana a un token mal transcrito.

3. Normalizador ortográfico basado en reglas

Antes y después de pasar por el LLM, el texto se normaliza con reglas lingüísticas del maya yucateco tomadas de una gramática de referencia:

Reglas morfológicas de raíz: por ejemplo, bin (ir) con raíz irregular xi’ en futuro indefinido intransitivo, o posicionales como chil, kul y wa’al que pierden la l antes de -tal.
Patrones regulares “seguros”: bins → bis, taals → taas, y verbos que cambian la b final por estructura con saltillo (jáalk’ab → jáalk’a’a).
Verificación contra el léxico: si la forma normalizada existe en el diccionario, se conserva; si la original era válida, se respeta.

4. Corrección con Gemini (Whisper-LM)

Cada transcripción normalizada se envía a Gemini 2.0 Flash con un prompt que incluye hasta 500 palabras del léxico maya como referencia ortográfica. Las instrucciones clave del prompt son: corregir respetando la gramática y ortografía estándar del maya yucateco, no traducir al español, elegir la opción más probable según el léxico y devolver únicamente el texto corregido.

5. Evaluación

Se calcula la tasa de error por carácter (CER) y por palabra (WER) con editdistance, comparando contra la transcripción humana de referencia:

Métrica	Whisper turbo	Whisper-LM (este pipeline)
CER medio	1.0743	1.0725
WER medio	1.1796	1.1692

¿Qué aprendimos?

La mejora es marginal: el posprocesamiento con LLM y léxico recupera algo de forma ortográfica, pero no puede reconstruir información que el modelo acústico nunca capturó. Con valores de CER/WER superiores a 1.0, la salida de Whisper está tan alejada de la referencia que la corrección textual tiene poco material con el que trabajar. La conclusión práctica es que, para el maya yucateco, el cuello de botella está en el modelo acústico: se necesita ajuste fino (fine-tuning) de Whisper con datos de habla maya, y no solo corrección posterior.

Próximos pasos

Ajuste fino de Whisper con audio transcrito en maya yucateco.
Ampliar las reglas ortográficas (ORTHO_RULES) con los errores recurrentes observados en las transcripciones.
Ampliar el léxico y experimentar con recuperación selectiva (enviar al prompt solo las entradas relevantes para cada segmento, en lugar de una lista fija).

Acceso al cuaderno

Si te interesa el cuaderno de Colab, puedes ponerte en contacto con el autor en jaziel.carballo@gmail.com.

Whisper-LM with a Maya Lexicon: Correcting Yucatec Maya ASR Transcriptions Using Gemini and a Dictionary as Reference

Thu, 09 Jul 2026 00:00:00 +0000

What problem does this notebook address?

Whisper, OpenAI’s automatic speech recognition (ASR) system, does not include Yucatec Maya among its supported languages. When transcribing Maya audio, the model produces very noisy output and frequently “detects” the wrong language: in our data, Maya segments were labeled as Spanish, English, and even Japanese. This notebook explores a practical question: how much can a large language model (LLM) improve Whisper’s output if we give it a Maya lexicon as reference?

Pipeline architecture

The full flow is:

Audio → Whisper (turbo) → Rule-based normalizer → Gemini + lexicon → Normalizer → Evaluation (CER/WER)

1. Input data

The starting point is a CSV file (transcription_results41Turbo.csv) with 1,010 audio segments already transcribed by Whisper turbo. Each row includes the human reference transcription (original_transcription), Whisper’s prediction (whisper_prediction), the detected language, and initial metrics (chrF, WER, CER).

2. Maya lexicon as reference (RAG component)

A Maya–Spanish dictionary in TSV format (yua_dictionary.tsv) with 2,988 entries is loaded. A YuaLexicon class provides exact lookup and fuzzy matching (via difflib.get_close_matches), making it possible to find the closest valid Maya word for a mis-transcribed token.

3. Rule-based orthographic normalizer

Before and after the LLM pass, the text is normalized with Yucatec Maya linguistic rules taken from a reference grammar:

Root morphology rules: for example, bin (to go) with the irregular root xi’ in the intransitive indefinite future, or positionals such as chil, kul, and wa’al that lose the l before -tal.
“Safe” regex patterns: bins → bis, taals → taas, and verbs whose final b changes to a glottalized structure (jáalk’ab → jáalk’a’a).
Lexicon verification: if the normalized form exists in the dictionary it is kept; if the original form was already valid, it is preserved.

4. Correction with Gemini (Whisper-LM)

Each normalized transcription is sent to Gemini 2.0 Flash with a prompt that includes up to 500 words from the Maya lexicon as an orthographic reference. The key prompt instructions are: correct the text following standard Yucatec Maya grammar and orthography, do not translate into Spanish, choose the most likely option according to the lexicon, and return only the corrected text.

5. Evaluation

Character error rate (CER) and word error rate (WER) are computed with editdistance against the human reference transcription:

Metric	Whisper turbo	Whisper-LM (this pipeline)
Mean CER	1.0743	1.0725
Mean WER	1.1796	1.1692

What did we learn?

The improvement is marginal: LLM post-processing with a lexicon recovers some orthographic form, but it cannot reconstruct information the acoustic model never captured. With CER/WER values above 1.0, Whisper’s output is so far from the reference that text-level correction has little material to work with. The practical takeaway is that, for Yucatec Maya, the bottleneck is the acoustic model: what is needed is fine-tuning Whisper on Maya speech data, not just downstream correction.

Next steps

Fine-tune Whisper with transcribed Yucatec Maya audio.
Extend the orthographic rules (ORTHO_RULES) with recurrent errors observed in the transcriptions.
Grow the lexicon and experiment with selective retrieval (sending only the entries relevant to each segment to the prompt, instead of a fixed list).

Access to the notebook

If you are interested in the Colab notebook, you can contact the author at jaziel.carballo@gmail.com.