Calculadora de Tasa de Error de Palabras

Mide la precisión de la transcripción con WER

Pega la transcripción correcta en una casilla y la transcripción que deseas evaluar en la otra, y luego consulta el Word Error Rate (tasa de error de palabras). También obtendrás la tasa de error de caracteres, la precisión de palabras y un diff palabra por palabra que marca cada sustitución, eliminación e inserción. Todo se ejecuta en el navegador, por lo que ninguna transcripción se sube a ningún servidor.

El WER es la forma estándar de cuantificar qué tan cerca está una transcripción de la realidad. Es lo que reportan los artículos de reconocimiento de voz, lo que usan los equipos para comparar una herramienta de transcripción con otra y lo que usarías para decidir si una transcripción está lo suficientemente limpia como para publicarse o si necesita otra revisión.

Qué mide realmente el Word Error Rate

El WER cuenta las ediciones necesarias para convertir la transcripción que estás comprobando en la referencia, y luego divide el resultado por la longitud de la referencia:

WER = (S + D + I) / N

S representa las sustituciones, una palabra que salió mal. D representa las eliminaciones, una palabra de referencia que la transcripción omitió. I representa las inserciones, una palabra adicional que la transcripción añadió. N es el número total de palabras en la referencia. La herramienta encuentra el conjunto más pequeño de esas ediciones alineando las dos secuencias de palabras -el mismo principio de distancia de edición detrás de los correctores ortográficos-, por lo que el recuento ofrece la lectura más justa posible en lugar de una comparación ingenua de izquierda a derecha.

Un WER de 0 significa que ambas coinciden palabra por palabra. Un WER de 0,10 significa una edición por cada diez palabras de referencia. Puede superar el 1,0, lo cual suele sorprender al principio: si la transcripción está inflada con muchas más palabras que la referencia, las inserciones por sí solas pueden superar la longitud de la referencia, por lo que un WER del 120 por ciento es un resultado real, no un error de cálculo.

Cómo calcular el WER

1. Pega la referencia, es decir, la transcripción que sabes que es correcta, en la casilla izquierda. Esto es contra lo que se mide todo, por lo que debe ser la versión fiable.
2. Pega la transcripción que deseas evaluar en la casilla derecha.
3. Elige si deseas ignorar mayúsculas y signos de puntuación, y luego revisa el WER, el CER, la precisión y el diff marcado abajo.

El diff es la parte que más vale la pena leer. Un simple número te dice qué tan mal está, pero el diff te dice dónde y por qué. Puedes ver de un vistazo si los errores son palabras malinterpretadas de forma aislada o una frase entera omitida, y eso cambia los pasos a seguir.

Por qué tu WER podría parecer peor de lo que está la transcripción

El WER en bruto es implacable con cosas que en realidad no son errores. «Hello.» y «hello» cuentan como una sustitución si dejas activadas la puntuación y las mayúsculas. Lo mismo ocurre con «OK» frente a «okay», o «twenty» frente a «20». Ninguno de ellos altera el significado, pero cada uno suma al recuento.

Por eso son importantes los dos selectores. Ignorar mayúsculas y puntuación es la configuración habitual para comparar contenido hablado, porque lo que importa es si las palabras son correctas, no si se colocó una coma. Desactívalos cuando el formato forme parte de lo que estás evaluando, por ejemplo en un archivo de subtítulos donde las mayúsculas y la puntuación forman parte del producto final. No existe una única configuración correcta. Lo más honesto es elegir una, mantenerla igual en todas las transcripciones que compares e indicar cuál utilizaste.

Los números, las palabras escritas con letras y las contracciones son otros elementos comunes que inflan el resultado. Si tu referencia escribe «cannot» y la transcripción escribe «can’t», eso cuenta como una sustitución aunque un oyente jamás notaría la diferencia. Para una prueba de rendimiento estricta, primero se normalizan ambos textos; para una comprobación rápida, los selectores suelen ser suficientes.

WER, CER y precisión de palabras

La precisión de palabras es simplemente 1 - WER, invertida para que un valor más alto sea mejor. Es una cifra más amigable para incluir en un informe, aunque conlleva las mismas limitaciones, y su valor mínimo está fijado en cero porque una transcripción puede resultar peor que tener «todas las palabras mal» una vez que las inserciones se acumulan.

La tasa de error de caracteres (Character Error Rate o CER) realiza el mismo recuento de distancia de edición, pero a nivel de caracteres en lugar de palabras. El CER es una métrica más adecuada cuando los límites entre palabras no son fiables, para idiomas que no separan palabras con espacios como lo hace el inglés, o cuando deseas otorgar crédito parcial a una palabra que es casi correcta. «recognize» frente a «recognise» cuenta como una sustitución completa bajo el WER, pero solo como una edición de un solo carácter bajo el CER, por lo que el CER arroja un valor más bajo y a menudo más justo ante fallos leves.

Usa el WER como la métrica principal para voz en inglés, echa un vistazo al CER cuando un WER parezca demasiado severo con los errores mínimos, y recurre a la precisión de palabras cuando debas presentarle un resultado a alguien que no esté familiarizado con las tasas de error.

Quién verifica la tasa de error de palabras (Word Error Rate)

Los equipos que comparan proveedores de transcripción procesan el mismo audio en cada uno de ellos, transcriben un fragmento a mano para usarlo como referencia y evalúan el resultado de cada herramienta comparándolo con este. El WER convierte el “este me pareció mejor” en una cifra que se puede defender.

Los investigadores y estudiantes que trabajan en reconocimiento de voz reportan el WER porque es el estándar común de medición. Una modificación en un modelo solo se considera una mejora si el WER disminuye en un conjunto de referencia independiente.

Los equipos de subtitulado y localización revisan el WER antes de enviar una transcripción a traducción o a un archivo de subtítulos, ya que un error en esta etapa se multiplica en las fases posteriores. Y cualquiera que haya pagado por una transcripción y quiera saber si obtuvo aquello por lo que pagó puede medirlo aquí en lugar de hacer suposiciones.

Después de obtener la cifra

Si la transcripción que está evaluando resultó imprecisa y desea una más limpia desde la cual partir, el generador de transcripciones produce la transcripción con etiquetas de los interlocutores, y el verificador de transcripciones con IA revisa una sola transcripción cuando no se dispone de una referencia con la cual contrastarla. Para convertir una transcripción evaluada en un archivo de subtítulos una vez que esté satisfecho con ella, el conversor de texto a SRT se encarga de la sincronización temporal.

Consulte los modelos de transcripción actuales y el método de medición.

Obtenga una transcripción para evaluar desde ScreenApp

La comprobación en esta página se ejecuta en su dispositivo y no requiere una cuenta. Para obtener respuestas sobre lo que se dijo o se mostró en la grabación, súbala a ScreenApp. Haga clic en una pregunta para abrir ScreenApp con la consulta lista para enviar.

En ScreenApp, al hacer clic en un momento de la transcripción, el reproductor salta a ese punto de la grabación, por lo que puede cotejar cualquier respuesta con la grabación.

Qué ofrece cada plan aquí

La herramienta de esta página es gratuita y seguirá siéndolo. Una cuenta sirve para el paso previo o el paso posterior.