Calculadora da Taxa de Erro de Palavras

Meça a Precisão da Transcrição com o WER

Cole a transcrição correta em uma caixa e a transcrição que deseja avaliar na outra; em seguida, veja o Word Error Rate. Você também obtém a taxa de erro de caracteres, a precisão de palavras e um diff palavra por palavra que destaca cada substituição, exclusão e inserção. Tudo é executado no navegador, portanto, nenhuma das transcrições é enviada para lugar nenhum.

O WER é a forma padrão de quantificar o quão próxima uma transcrição está da realidade. É o que os artigos de reconhecimento de voz relatam, o que as equipes usam para comparar ferramentas de transcrição entre si e o que você usaria para decidir se uma transcrição está pronta para entrega ou se precisa de outra revisão.

O Que a Taxa de Erro de Palavras Realmente Mede

O WER conta as edições necessárias para transformar a transcrição avaliada na referência e, em seguida, divide pelo tamanho da referência:

WER = (S + D + I) / N

S representa as substituições, uma palavra que saiu errada. D representa as exclusões, uma palavra de referência que a transcrição omitiu. I representa as inserções, uma palavra extra que a transcrição adicionou. N é o número total de palavras na referência. A ferramenta encontra o menor conjunto dessas edições alinhando as duas sequências de palavras - o mesmo conceito de distância de edição por trás dos corretores ortográficos -, garantindo que a contagem seja a leitura mais justa possível, em vez de uma comparação simples da esquerda para a direita.

Um WER de 0 significa que as duas coincidem palavra por palavra. Um WER de 0,10 significa uma edição a cada dez palavras de referência. Ele pode ultrapassar 1,0, o que surpreende muitas pessoas de início: se a transcrição contiver muito mais palavras do que a referência, apenas as inserções podem superar o total de palavras de referência, de modo que um WER de 120 por cento é um resultado real, não um bug.

Como Calcular o WER

1. Cole a referência - a transcrição que você sabe que está correta - na caixa da esquerda. É com base nela que tudo é medido, portanto ela precisa ser a versão confiável.
2. Cole a transcrição que você deseja avaliar na caixa da direita.
3. Escolha se deseja ignorar maiúsculas/minúsculas e pontuação; em seguida, confira o WER, o CER, a precisão e o diff sinalizado abaixo.

O diff é a parte que realmente vale a pena analisar. Um único número indica a gravidade do problema, mas o diff mostra onde e por quê. Você pode ver rapidamente se os erros são pequenas confusões isoladas ou uma frase inteira omitida, o que muda totalmente os seus próximos passos.

Por Que o Seu WER Pode Parecer Pior do Que a Transcrição Realmente É

O WER bruto não perdoa detalhes que na verdade não são erros. “Hello.” e “hello” contam como uma substituição se você mantiver a pontuação e as maiúsculas/minúsculas ativadas. O mesmo vale para “OK” versus “okay”, ou “twenty” versus “20”. Nenhuma dessas variações altera o significado, mas cada uma delas soma à contagem.

É por isso que as duas opções de alternância são importantes. Ignorar maiúsculas/minúsculas e pontuação é a configuração padrão para comparar conteúdo falado, pois o que importa é se as palavras estão corretas, não se uma vírgula foi inserida. Desative essas opções quando a formatação fizer parte do que você está avaliando - por exemplo, em um arquivo de legendas onde o uso de maiúsculas e pontuação faz parte da entrega. Não existe uma configuração única correta. A melhor abordagem é escolher uma, mantê-la em todas as transcrições comparadas e especificar qual foi utilizada.

Números, palavras por extenso e contrações são outros fatores comuns que inflam a métrica. Se a sua referência contiver “cannot” e a transcrição trouxer “can’t”, isso contará como uma substituição, mesmo que um ouvinte jamais percebesse a diferença. Para um benchmark rigoroso, normalize ambos os lados primeiro; para uma checagem rápida de consistência, as opções de alternância geralmente são suficientes.

WER, CER e Precisão de Palavras

A precisão de palavras é simplesmente 1 - WER, invertida para que números maiores representem melhores resultados. É um número mais intuitivo para relatórios, embora traga as mesmas ressalvas, e seu valor mínimo é limitado a zero porque uma transcrição pode ser pior do que “todas as palavras erradas” quando as inserções se acumulam.

A Taxa de Erro de Caracteres (CER) realiza a mesma contagem de distância de edição, porém em caracteres em vez de palavras. O CER é a melhor métrica quando os limites entre palavras não são confiáveis, para idiomas que não separam palavras por espaços como o inglês ou quando você quer considerar créditos parciais para uma palavra que está quase correta. “recognize” versus “recognise” é uma substituição completa no WER, mas apenas uma edição de um único caractere no CER; por isso, o CER tende a ser menor e frequentemente mais justo para pequenos desvios.

Use o WER como o indicador principal para áudio em inglês, consulte o CER quando um WER alto parecer rigoroso demais para quase acertos e apresente a precisão de palavras ao entregar um resultado para quem não está acostumado a lidar com taxas de erro.

Quem Verifica a Taxa de Erro de Palavras

Equipes que comparam fornecedores de transcrição passam o mesmo áudio por cada um deles, transcrevem um trecho manualmente como referência e avaliam o resultado de cada ferramenta em comparação com ele. O WER transforma o “este pareceu melhor” em um número justificável.

Pesquisadores e estudantes que trabalham com reconhecimento de fala relatam o WER por ser o padrão de referência compartilhado. Uma alteração no modelo só é considerada uma melhoria se o WER cair em um conjunto de referência separado.

Equipes de legendagem e localização verificam o WER antes que uma transcrição vá para a tradução ou para um arquivo de legendas, já que um erro nessa etapa se multiplica nas fases seguintes. E qualquer pessoa que tenha pago por transcrição e queira saber se recebeu pelo que pagou pode medir isso aqui em vez de apenas adivinhar.

Depois de Ter o Número

Se a transcrição que você está avaliando ficou ruim e você quer uma versão mais limpa para começar, o gerador de transcrição produz a transcrição com identificação de oradores, e o verificador de transcrição por IA revisa uma única transcrição quando você não tem uma referência para comparar. Para transformar uma transcrição avaliada em um arquivo de legenda assim que estiver satisfeito, o conversor de texto para SRT cuida da sincronização.

Veja os modelos de transcrição atuais e o método de medição.

Obtenha uma Transcrição para Avaliar no ScreenApp

A verificação nesta página é executada no seu dispositivo e não requer conta. Para obter respostas sobre o que foi dito ou exibido na gravação, envie-a para o ScreenApp. Clique em uma pergunta para abrir o ScreenApp pronto para perguntar.

No ScreenApp, clicar em um momento na transcrição leva o player para aquele ponto na gravação, para que você possa verificar qualquer resposta em relação à gravação.

O Que Cada Plano Oferece Aqui

A ferramenta nesta página é gratuita e continuará gratuita. Uma conta serve para a etapa anterior ou posterior a ela.