🌐 Estimador de Calidad de Traducción — Alineación de Embeddings en Vivo

La estimación de calidad de traducción predice qué tan buena es una traducción automática sin acceso a una traducción de referencia humana. Los sistemas QE reales (como COMET-QE u OpenKiwi) pasan la frase de origen y la traducción automática por un codificador multilingüe y comparan los embeddings resultantes — las frases que significan lo mismo caen cerca unas de otras en el espacio de embeddings compartido, mientras que las traducciones erróneas se alejan. Esta simulación construye una versión pequeña y transparente de esa misma idea: embeddings de palabras sintéticos, un espacio de conceptos interlingüístico compartido y una puntuación real de similitud coseno.

Cada concepto de palabra recibe un vector determinista de 20 dimensiones generado a partir de un hash con semilla de su nombre. Una palabra del idioma de origen y su traducción correcta se construyen ambas añadiendo un pequeño ruido independiente a ese mismo vector de concepto compartido — imitando cómo la alineación real de embeddings interlingüísticos (por ejemplo, MUSE, LASER, o una correspondencia inducida por diccionario bilingüe) sitúa los pares de traducción verdaderos cerca uno del otro pese a ser palabras superficialmente distintas. Una palabra distractora no relacionada recibe su propio vector independiente, de modo que sustituir la palabra incorrecta hace que el vector de la traducción se aleje del origen.

Cada vector de frase es un promedio ponderado de sus vectores de palabras (80%) y de sus vectores de pares de palabras adyacentes, o bigramas (20%). Promediar vectores de palabras es la representación clásica de frase como bolsa de embeddings; añadir vectores de bigramas da a la representación cierta sensibilidad al orden de las palabras, ya que reordenarlas cambia qué bigramas aparecen aunque las mismas palabras sigan presentes. Este es el mismo compromiso que hacen los embeddings de frase reales al estilo fastText o SIF entre simplicidad y sensibilidad al orden.

La puntuación de calidad es la similitud coseno entre el vector de la frase de origen y el vector de la frase traducida, reescalada desde su rango típico de −0.5…0.9 a una escala de 0–100. La similitud coseno mide el ángulo entre dos vectores independientemente de su longitud, que es exactamente lo que usan las métricas QE basadas en embeddings para comparar el significado ignorando diferencias superficiales de escala. Una traducción fiel mantiene este ángulo pequeño (puntuación alta); sustituir, omitir o reordenar suficientes palabras ensancha el ángulo y la puntuación cae en tiempo real a medida que mueves el deslizador de desplazamiento.

Sustituir una palabra cambia su vector por uno no relacionado, alejando bruscamente el promedio del origen — unas pocas sustituciones ya muestran una gran caída. Omitir palabras reduce el promedio de la frase hacia lo que queda, lo que también degrada la puntuación una vez que falta suficiente contenido, pero una sola palabra funcional ausente importa menos. Reordenar mantiene sin cambios el vector de cada palabra en el promedio de la frase, así que solo se manifiesta a través del componente de bigramas — un reflejo real de por qué las métricas al estilo bolsa de palabras son menos sensibles al orden de las palabras que a la traducción errónea real del contenido.

El panel superior toma cada vector de palabra en las frases actuales de origen y traducción (todos de 20 dimensiones) y los proyecta sobre las 2 direcciones de mayor varianza mediante análisis de componentes principales, calculado en vivo por iteración de potencias sobre la matriz de covarianza. Esta es la misma técnica de reducción de dimensionalidad usada para visualizar embeddings reales de palabras y frases (por ejemplo, graficar vectores de BERT o word2vec). Los dos puntos más grandes son los centroides de las frases; la línea discontinua entre ellos es el análogo visual de la distancia de alineación mostrada en el panel de estadísticas.

El mecanismo central — comparar los embeddings de origen y traducción con similitud coseno en un espacio interlingüístico compartido — es genuinamente cómo operan los sistemas de QE sin referencia y de recuperación interlingüística. Lo que se simplifica aquí es el propio embedding: los sistemas de producción usan codificadores transformadores multilingües profundos entrenados con miles de millones de palabras, mientras que esta simulación usa pequeños vectores pseudoaleatorios deterministas para que todo el proceso siga siendo inspeccionable y reproducible en el navegador. La matemática de alineación, promediado y comparación coseno, sin embargo, es la real.