Benchmark de traducción con IA: Cómo se comportaron 10 modelos con el mismo documento empresarial

Índice

1. Por qué comparar modelos y no confiar en uno solo?
2. ¿Cómo se hizo la prueba?
3. Resultado 1: La formalidad no mejoró con más modelos.
4. Resultado 2: Los términos legales dividieron a los modelos.
5. Resultado 3: La terminología médica sigue sin resolverse.
6. Resultado 4: La ambigüedad deliberada, aplanada sin avisar
7. Tabla resumen de resultados
8. ¿Qué significa esto para una empresa?
9. Preguntas frecuentes

Una empresa envía el mismo correo a un cliente en Tokio y a otro en Hanói. El texto en inglés es idéntico. Las traducciones automáticas, no.

Esa es la pregunta detrás de un benchmark reciente que puso a prueba diez modelos de IA sobre el mismo conjunto de frases, idioma, formalidad, terminología legal y médica, y ambigüedad deliberada, en dos rondas sucesivas: una con cinco modelos y otra con diez. El objetivo no era coronar un ganador, sino ver si añadir más modelos realmente mejora la fiabilidad de una traducción, o si simplemente cambia dónde aparecen los errores.

¿Por qué comparar modelos y no confiar en uno solo?

Cuando solo se usa un modelo de IA para traducir, cualquier error que cometa pasa desapercibido. No hay nada con qué compararlo. El benchmark parte de una idea distinta: comparar el resultado de varios modelos de IA para el mismo texto revela justo lo que un solo modelo nunca podría mostrar, si existe más de una forma razonable de traducir una frase, y cuál de esas formas realmente encaja con lo que se quería decir. Herramientas como MachineTranslation.com se basan precisamente en esta lógica de comparación.

¿Cómo se hizo la prueba?

El benchmark tradujo ocho frases de prueba del inglés al japonés y al vietnamita, cubriendo cinco categorías: formalidad, términos legales, terminología médica, modismos y ambigüedad deliberada. La primera ronda usó cinco modelos de referencia. La segunda amplió el grupo con cinco modelos adicionales de gama alta, para ver si un panel más grande cambiaba el resultado.

Resultado 1: La formalidad no mejoró con más modelos

En una frase dirigida a un director general, todos los modelos de la primera ronda usaron un japonés informal, inapropiado para dirigirse a alguien de ese rango. Al ampliar el panel en la segunda ronda, uno de los modelos nuevos (DeepSeek V4-Pro) repitió exactamente el mismo error de registro.

Este es el hallazgo más importante del benchmark: añadir más modelos no corrigió el problema de formalidad. El sesgo hacia un registro casual estaba presente en ambas rondas, independientemente de cuántos modelos participaran.

Resultado 2: Los términos legales dividieron a los modelos

En una cláusula de indemnización traducida al japonés, todos los modelos de la primera ronda usaron un término legal menos preciso (equivalente a «compensar» en lugar de «eximir de responsabilidad»). En la segunda ronda, solo uno de los cinco modelos nuevos usó el término jurídicamente correcto.

La discrepancia entre «compensar» y «eximir de responsabilidad» no es cosmética. Cambia qué está obligada a hacer cada parte del contrato.

Resultado 3: La terminología médica sigue sin resolverse

Al traducir «insuficiencia hepática» al vietnamita, el grupo de modelos se dividió 6 contra 4 entre un término que significa «fallo hepático completo» y otro que cubre cualquier grado de función hepática reducida. La división no se resolvió al ampliar el panel de modelos; el desacuerdo se mantuvo prácticamente igual.

Ambos modelos de Claude, en las dos rondas, eligieron el término clínicamente más preciso.

Resultado 4: La ambigüedad deliberada, aplanada sin avisar

La frase informal «That’s sick» (en el sentido de «genial», no de «enfermo») se tradujo de forma ambigua por la mayoría de los modelos, preservando las dos lecturas posibles. Solo un modelo colapsó la ambigüedad en un único significado, eliminando sin avisar la otra interpretación válida.

Tabla Resumen de Resultados

¿Qué significa esto para una empresa?

El benchmark deja una conclusión práctica: un panel más grande de modelos de IA no garantiza mejores resultados en todos los casos. Ayuda a detectar cuándo hay desacuerdo real entre modelos, que es información valiosa, pero no sustituye la revisión humana en textos donde el registro, la terminología legal o médica, o el matiz cultural son decisivos.

Para una empresa que traduce contratos, documentación técnica o comunicación oficial, la lección no es desconfiar de la IA, sino saber en qué categorías de contenido merece la pena comparar varios modelos antes de confiar en el resultado.

Preguntas frecuentes

¿Usar más modelos de IA garantiza una traducción más precisa? No necesariamente. El benchmark muestra que, en formalidad y terminología médica, el resultado no cambió al ampliar el número de modelos comparados.

¿Por qué los modelos discreparon tanto en el término legal de «indemnización»? Porque existen dos traducciones jurídicamente válidas, pero con implicaciones distintas, y la mayoría de los modelos priorizó la más común en lugar de la más precisa para ese contexto legal.

¿Qué categorías de texto necesitan más revisión humana según este benchmark? La formalidad dirigida a un destinatario específico, la terminología legal y médica, y cualquier ambigüedad deliberada en el texto original.

¿Dónde puedo ver el benchmark completo con las ocho frases de prueba? El análisis completo, incluyendo las dos rondas de modelos y todas las categorías evaluadas, está disponible en el blog de MachineTranslation.com.