Calcolatore del tasso di errore di parola

Misura l’accuratezza della trascrizione con il WER

Incolla la trascrizione corretta in una casella e la trascrizione che desideri valutare nell’altra, quindi leggi il Word Error Rate. Ottieni anche il character error rate, la word accuracy e un diff parola per parola che contrassegna ogni sostituzione, cancellazione e inserimento. Funziona tutto nel browser, quindi nessuna delle due trascrizioni viene caricata da nessuna parte.

Il WER è il metodo standard per quantificare quanto una trascrizione sia vicina all’originale. È ciò che riportano gli studi scientifici sul riconoscimento vocale, ciò che i team usano per confrontare uno strumento di trascrizione con un altro e ciò che utilizzeresti per decidere se una trascrizione è abbastanza pulita da essere consegnata o se necessita di un’ulteriore revisione.

Cosa misura effettivamente il Word Error Rate

Il WER conta le modifiche necessarie per trasformare la trascrizione che stai verificando in quella di riferimento, quindi divide il risultato per la lunghezza del riferimento:

WER = (S + D + I) / N

S indica le sostituzioni, ovvero una parola risultata errata. D indica le cancellazioni, una parola di riferimento omessa dalla trascrizione. I indica gli inserimenti, una parola in più aggiunta dalla trascrizione. N è il numero totale di parole nel riferimento. Lo strumento individua l’insieme più piccolo di tali modifiche allineando le due sequenze di parole, lo stesso principio della distanza di modifica alla base dei correttori ortografici, rendendo il conteggio la stima più equa possibile anziché un ingenuo confronto da sinistra a destra.

Un WER pari a 0 significa che le due trascrizioni corrispondono parola per parola. Un WER di 0,10 indica una modifica ogni dieci parole di riferimento. Può superare 1,0, cosa che all’inizio sorprende: se la trascrizione contiene molte più parole rispetto al riferimento, i soli inserimenti possono superare la lunghezza del riferimento, rendendo un WER del 120% un risultato reale e non un bug.

Come calcolare il WER

1. Incolla il riferimento, ovvero la trascrizione che sai essere corretta, nella casella di sinistra. È il termine di paragone per tutto, quindi deve essere quella affidabile.
2. Incolla la trascrizione che desideri valutare nella casella di destra.
3. Scegli se ignorare le maiuscole e la punteggiatura, quindi leggi il WER, il CER, l’accuratezza e il diff evidenziato in basso.

Il diff è la parte che vale davvero la pena esaminare. Un singolo numero ti dice quanto sia grave l’errore, il diff ti mostra dove e perché. Puoi vedere a colpo d’occhio se gli errori sono fraintendimenti isolati o un’intera frase omessa, e questo cambia le tue mosse successive.

Perché il tuo WER potrebbe sembrare peggiore di quanto non sia la trascrizione

Il WER grezzo è inflessibile riguardo a dettagli che non sono veri e propri errori. “Hello.” e “hello” contano come una sostituzione se mantieni la punteggiatura e le maiuscole/minuscole. Lo stesso vale per “OK” rispetto a “okay”, o “twenty” rispetto a “20”. Nessuna di queste differenze altera il significato, ma ognuna aumenta il conteggio.

Ecco perché i due selettori sono importanti. Ignorare maiuscole e punteggiatura è l’impostazione consueta per confrontare contenuti parlati, poiché ciò che conta è che le parole siano corrette, non dove sia finita una virgola. Disattiva queste opzioni quando la formattazione fa parte di ciò che stai valutando, ad esempio in un file di sottotitoli in cui maiuscole e punteggiatura sono requisiti di consegna. Non esiste un’unica impostazione corretta. La scelta più trasparente è sceglierne una, mantenerla identica per ogni trascrizione che confronti e specificare quale hai utilizzato.

Numeri, parole scritte per esteso e contrazioni sono gli altri tipici fattori di incremento dell’errore. Se il tuo riferimento riporta “cannot” e la trascrizione scrive “can’t”, si tratta di una sostituzione anche se un ascoltatore non noterebbe mai la differenza. Per un benchmark rigoroso è opportuno normalizzare prima entrambi i testi; per un rapido controllo di conformità, i selettori sono solitamente sufficienti.

WER, CER e Word Accuracy

La Word Accuracy è semplicemente 1 - WER, invertita in modo che un valore più alto sia migliore. È il numero più intuitivo per un report, sebbene presenti le stesse limitazioni, ed è bloccata a zero poiché una trascrizione può risultare peggiore di “tutte le parole errate” nel momento in cui gli inserimenti si accumulano.

Il Character Error Rate esegue lo stesso calcolo della distanza di modifica sui caratteri anziché sulle parole. Il CER è la metrica ideale quando i confini delle parole non sono affidabili, per le lingue che non separano le parole con spazi come fa l’inglese, o quando si desidera riconoscere un punteggio parziale per una parola quasi corretta. “recognize” rispetto a “recognise” costituisce una sostituzione completa per il WER, ma una modifica di un solo carattere per il CER; di conseguenza, il CER risulta più basso e spesso più equo per gli errori minimi.

Usa il WER come metrica principale per il parlato in inglese, dai un’occhiata al CER quando un WER basso sembra comunque troppo severo sui piccoli errori, e cita la word accuracy quando presenti un risultato a qualcuno che non ha familiarità con i tassi di errore.

Chi controlla il Word Error Rate

I team che confrontano diversi fornitori di trascrizione elaborano lo stesso audio con ciascuno di essi, trascrivono manualmente una clip come riferimento e valutano l’output di ogni strumento rispetto ad essa. Il WER trasforma “questo sembrava migliore” in un dato numerico difendibile.

Ricercatori e studenti che lavorano sul riconoscimento vocale riportano il WER perché è il metro di giudizio condiviso. Una modifica al modello rappresenta un miglioramento solo se il WER diminuisce su un set di riferimento indipendente.

I team di sottotitolaggio e localizzazione controllano il WER prima che una trascrizione passi alla traduzione o a un file di sottotitoli, poiché un errore in questa fase si moltiplica a valle. E chiunque abbia pagato per un servizio di trascrizione e desideri sapere se ha ottenuto ciò per cui ha pagato può misurarlo qui invece di tirare a indovinare.

Dopo aver ottenuto il numero

Se la trascrizione che stai valutando risulta approssimativa e ne desideri una più pulita da cui iniziare, il generatore di trascrizioni produce la trascrizione con i tag degli interlocutori, mentre il verificatore di trascrizioni basato su IA rilegge una singola trascrizione quando non hai un riferimento con cui confrontarla. Per trasformare una trascrizione valutata in un file di sottotitoli una volta che ne sei soddisfatto, il convertitore da testo a SRT si occupa della sincronizzazione temporale.

Consulta i modelli di trascrizione attuali e il metodo di misurazione.

Ottieni una trascrizione da valutare con ScreenApp

Il controllo su questa pagina viene eseguito sul tuo dispositivo e non richiede alcun account. Per ottenere risposte su ciò che è stato detto o mostrato nella registrazione, caricala su ScreenApp. Clicca su una domanda per aprire ScreenApp con la richiesta già pronta.

In ScreenApp, cliccando un momento nella trascrizione il lettore salta a quel punto della registrazione, così puoi verificare qualsiasi risposta confrontandola con la registrazione.

Cosa offre ciascun piano qui

Lo strumento su questa pagina è gratuito e rimarrà gratuito. Un account serve per il passaggio precedente o successivo.