Misurare l’accuratezza della trascrizione con WER
Incolla la trascrizione corretta in una casella e la trascrizione che vuoi valutare nell’altra, quindi leggi il Tasso di Errore di Parola (Word Error Rate). Ottieni anche il tasso di errore di carattere, l’accuratezza delle parole e un diff parola per parola che segna ogni sostituzione, cancellazione e inserzione. Funziona tutto nel browser, quindi nessuna trascrizione viene caricata da nessuna parte.
WER è il modo standard per quantificare quanto una trascrizione sia vicina alla verità. È ciò che i documenti di riconoscimento vocale riportano, ciò che i team usano per confrontare uno strumento di trascrizione con un altro, e ciò che useresti per decidere se una trascrizione è abbastanza pulita per essere pubblicata o necessita di un’altra revisione.
Cosa misura realmente il Tasso di Errore di Parola
WER conta le modifiche necessarie per trasformare la trascrizione che stai controllando nel riferimento, quindi divide per la lunghezza del riferimento:
WER = (S + D + I) / N
S sono le sostituzioni, una parola che è stata errata. D sono le cancellazioni, una parola di riferimento che la trascrizione ha omesso. I sono le inserzioni, una parola extra che la trascrizione ha aggiunto. N è il numero totale di parole nel riferimento. Lo strumento trova il più piccolo insieme di queste modifiche allineando le due sequenze di parole, la stessa idea di distanza di modifica alla base dei correttori ortografici, quindi il conteggio è la lettura più equa possibile piuttosto che un ingenuo confronto da sinistra a destra.
Un WER di 0 significa che i due corrispondono parola per parola. Un WER di 0,10 significa una modifica ogni dieci parole di riferimento. Può superare 1,0, il che sorprende le persone la prima volta: se la trascrizione è riempita con molte più parole rispetto al riferimento, le sole inserzioni possono superare la lunghezza del riferimento, quindi un WER del 120 percento è un risultato reale, non un bug.
Come calcolare il WER
- Incolla il riferimento, la trascrizione che sai essere corretta, nella casella di sinistra. È contro questo che viene misurato tutto, quindi deve essere quello affidabile.
- Incolla la trascrizione che vuoi valutare nella casella di destra.
- Scegli se ignorare la capitalizzazione e la punteggiatura, quindi leggi il WER, CER, l’accuratezza e il diff marcato qui sotto.
Il diff è la parte che vale la pena leggere. Un singolo numero ti dice quanto è brutto, il diff ti dice dove e perché. Puoi vedere a colpo d’occhio se gli errori sono delle incomprensioni sparse o un’intera frase omessa, e questo cambia quello che fai dopo.
Perché il tuo WER potrebbe sembrare peggiore di quanto sia la trascrizione
Il WER grezzo è implacabile riguardo a cose che non sono realmente errori. “Hello.” e “hello” contano come una sostituzione se lasci la punteggiatura e le maiuscole. Lo stesso vale per “OK” versus “okay”, o “twenty” versus “20”. Nessuno di questi cambia il significato, ma ognuno aumenta il conteggio.
È per questo che i due interruttori sono importanti. Ignorare la capitalizzazione e la punteggiatura è l’impostazione normale per confrontare il contenuto parlato, perché ti interessa se le parole sono giuste, non se una virgola è stata posizionata. Disattivali quando la formattazione è parte di ciò che stai valutando, per esempio un file di sottotitoli in cui maiuscole e punteggiatura sono il risultato finale. Non esiste un’unica impostazione corretta. La mossa onesta è sceglierne una, mantenerla uguale per ogni trascrizione che confronti, e dire quale hai usato.
Numeri, parole scritte per esteso e contrazioni sono gli altri fattori comuni di gonfiamento. Se il tuo riferimento scrive “cannot” e la trascrizione scrive “can’t”, quella è una sostituzione anche se un ascoltatore non se ne accorgerebbe mai. Per un benchmark rigoroso si normalizzano prima entrambe le parti; per un rapido controllo di sanità mentale gli interruttori sono solitamente sufficienti.
WER, CER e Accuratezza delle Parole
L’accuratezza delle parole è semplicemente 1 - WER, invertita in modo che un valore più alto sia migliore. È il numero più amichevole per un report, sebbene comporti le stesse avvertenze, ed è limitato a zero perché una trascrizione può essere peggiore di “tutte le parole sbagliate” una volta che le inserzioni si accumulano.
Il Tasso di Errore di Carattere (Character Error Rate) esegue lo stesso conteggio della distanza di modifica sui caratteri invece che sulle parole. Il CER è la metrica migliore quando i confini delle parole non sono affidabili, per lingue che non spaziano le parole come l’inglese, o quando si desidera un credito parziale per una parola quasi giusta. “recognize” contro “recognise” è una sostituzione completa sotto WER ma una modifica di un singolo carattere sotto CER, quindi il CER legge valori inferiori e spesso più equi per gli errori di poco conto.
Usa il WER come titolo principale per il parlato inglese, dai un’occhiata al CER quando un WER basso sembra ancora troppo severo per gli errori di poco conto, e cita l’accuratezza delle parole quando stai consegnando un risultato a qualcuno che non vive di tassi di errore.
Chi controlla il tasso di errore di parola
I team che confrontano i fornitori di trascrizione eseguono lo stesso audio attraverso ciascuno di essi, trascrivono un clip a mano come riferimento e valutano l’output di ogni strumento rispetto ad esso. Il WER trasforma “questo sembrava migliore” in un numero che possono difendere.
Ricercatori e studenti che lavorano sul riconoscimento vocale riportano il WER perché è il metro di giudizio comune. Una modifica del modello è un miglioramento solo se il WER diminuisce su un set di riferimento tenuto in disparte.
I team di sottotitolazione e localizzazione controllano il WER prima che una trascrizione vada in traduzione o in un file di sottotitoli, poiché un errore in questa fase si moltiplica a valle. E chiunque abbia pagato per una trascrizione e voglia sapere se ha ottenuto ciò per cui ha pagato può misurarlo qui invece di indovinare.
Dopo aver ottenuto il numero
Se la trascrizione che stai valutando è risultata imprecisa e ne desideri una più pulita da cui partire, il generatore di trascrizioni produce la trascrizione con etichette dei parlanti, e il controllo trascrizioni AI corregge una singola trascrizione quando non si ha un riferimento con cui confrontare. Per trasformare una trascrizione valutata in un file di sottotitoli una volta che ne sei soddisfatto, il convertitore da testo a SRT gestisce i tempi.
Le registrazioni sono trascritte da Whisper Large-v3, e puoi vedere i modelli e la configurazione dietro l’accuratezza sulla pagina dell’accuratezza.
FAQ
Cos’è un buon tasso di errore di parola?
Dipende interamente dall’audio. L’audio pulito, letto da un singolo parlante, può scendere a cifre basse, mentre le registrazioni rumorose, con più parlanti o con forti accenti, risultano molto più alte per ogni strumento. Non esiste un punteggio di superamento universale. Confronta gli strumenti sullo stesso audio con lo stesso riferimento, e giudica il WER rispetto a quello, non rispetto a un numero proveniente da un dataset diverso.
Come si calcola il WER?
Allineando la trascrizione al riferimento per trovare il minor numero di modifiche tra essi, contando sostituzioni, eliminazioni e inserimenti, e dividendo quel totale per il numero di parole nel riferimento. Questo strumento esegue l’allineamento per te e mostra ogni modifica nel diff.
Il tasso di errore di parola può essere superiore al 100%?
Sì. Se la trascrizione aggiunge molte più parole di quelle presenti nel riferimento, i soli inserimenti possono spingere il totale delle modifiche oltre la lunghezza del riferimento, quindi il WER supera 1.0. Un riferimento molto corto rispetto a una trascrizione lunga e errata è il modo usuale per vederlo.
Il maiuscolo e la punteggiatura contano?
Solo se lasci attivate quelle opzioni. Per impostazione predefinita lo strumento ignora entrambi, perché per il contenuto parlato la maggior parte delle persone si preoccupa che le parole siano giuste, non la loro formattazione. Attivali quando è la formattazione stessa che stai valutando.
Qual è la differenza tra WER e CER?
Il WER conta gli errori in parole intere, il CER li conta in caratteri. Il CER dà credito parziale per una parola che è quasi corretta e funziona meglio per le lingue che non separano le parole con spazi. Per il parlato in inglese, il WER è il dato principale e il CER è un utile secondo approfondimento.
La mia trascrizione è privata?
Sì. L’intero calcolo avviene nel tuo browser con JavaScript. Né il riferimento né la trascrizione che stai valutando vengono inviati a un server, quindi nulla viene caricato, memorizzato o registrato.
Come misuro l’accuratezza del mio strumento di trascrizione?
Trascrivi un clip a mano, o correggi attentamente una trascrizione, e usala come riferimento. Esegui lo stesso audio attraverso lo strumento che stai testando e incolla il suo output come trascrizione da valutare. Il WER è il tasso di errore di quello strumento su quel clip. Usa diversi clip per una lettura di cui ti puoi fidare.
