Transkriptionsgenauigkeit mit WER messen
Fügen Sie das korrekte Transkript in ein Feld ein und das Transkript, das Sie bewerten möchten, in das andere, dann lesen Sie die Worterfehlerrate. Sie erhalten außerdem die Zeichenfehlerrate, die Wortgenauigkeit und einen Wort-für-Wort-Diff, der jede Substitution, Löschung und Einfügung markiert. Alles läuft im Browser, sodass keines der Transkripte irgendwo hochgeladen wird.
WER ist die Standardmethode, um die Nähe eines Transkripts zur Wahrheit zu beziffern. Es ist das, was Spracherkennungsartikel berichten, was Teams verwenden, um ein Transkriptionswerkzeug mit einem anderen zu vergleichen, und was Sie verwenden würden, um zu entscheiden, ob ein Transkript sauber genug ist, um ausgeliefert zu werden, oder eine weitere Überarbeitung benötigt.
Was die Worterfehlerrate tatsächlich misst
WER zählt die Bearbeitungsschritte, die nötig sind, um das zu prüfende Transkript in die Referenz umzuwandeln, und teilt diese dann durch die Länge der Referenz:
WER = (S + D + I) / N
S steht für Substitutionen, ein Wort, das falsch war. D steht für Löschungen, ein Referenzwort, das das Transkript weggelassen hat. I steht für Einfügungen, ein zusätzliches Wort, das das Transkript hinzugefügt hat. N ist die Gesamtzahl der Wörter in der Referenz. Das Tool findet die kleinste Menge dieser Bearbeitungen durch die Ausrichtung der beiden Wortsequenzen, die gleiche Idee der Bearbeitungsdistanz, die hinter Rechtschreibprüfungen steckt, sodass die Zählung die fairste mögliche Lesart ist und nicht ein naiver Vergleich von links nach rechts.
Eine WER von 0 bedeutet, dass die beiden Wort für Wort übereinstimmen. Eine WER von 0,10 bedeutet eine Bearbeitung pro zehn Referenzwörtern. Sie kann über 1,0 liegen, was die Leute beim ersten Mal überrascht: Wenn das Transkript mit weitaus mehr Wörtern als die Referenz gefüllt ist, können die Einfügungen allein die Länge der Referenz übersteigen, sodass eine WER von 120 Prozent ein echtes Ergebnis ist und kein Fehler.
Wie man WER berechnet
- Fügen Sie die Referenz, das Transkript, das Sie als korrekt kennen, in das linke Feld ein. Dies ist die Grundlage, an der alles gemessen wird, daher muss es das vertrauenswürdige sein.
- Fügen Sie das Transkript, das Sie bewerten möchten, in das rechte Feld ein.
- Wählen Sie, ob Groß-/Kleinschreibung und Satzzeichen ignoriert werden sollen, und lesen Sie dann die WER, CER, Genauigkeit und den markierten Diff unten.
Der Diff ist der lesenswerte Teil. Eine einzelne Zahl sagt Ihnen, wie schlecht es ist, der Diff sagt Ihnen, wo und warum. Sie können auf einen Blick erkennen, ob die Fehler verstreute Hörfehler oder ein ganzer ausgelassener Satz sind, und das ändert, was Sie als Nächstes tun.
Warum Ihre WER schlechter aussehen könnte, als das Transkript tatsächlich ist
Die rohe WER ist unerbittlich bei Dingen, die eigentlich keine Fehler sind. „Hello.“ und „hello“ zählen als Substitution, wenn Sie Satzzeichen und Groß-/Kleinschreibung beibehalten. Ebenso „OK“ versus „okay“ oder „twenty“ versus „20“. Keines davon ändert die Bedeutung, aber jedes erhöht die Zählung.
Deshalb sind die beiden Umschalter wichtig. Das Ignorieren von Groß-/Kleinschreibung und Satzzeichen ist die normale Einstellung zum Vergleich von gesprochenem Inhalt, da es Ihnen darum geht, ob die Wörter richtig sind, nicht ob ein Komma gesetzt wurde. Schalten Sie sie aus, wenn die Formatierung Teil Ihrer Bewertung ist, zum Beispiel bei einer Untertiteldatei, bei der Groß-/Kleinschreibung und Satzzeichen das Ergebnis sind. Es gibt keine einzelne korrekte Einstellung. Der ehrliche Ansatz ist, eine auszuwählen, sie bei jedem verglichenen Transkript beizubehalten und anzugeben, welche Sie verwendet haben.
Zahlen, ausgeschriebene Wörter und Kontraktionen sind die anderen häufigen Inflationsfaktoren. Wenn Ihre Referenz „cannot“ schreibt und das Transkript „can’t“ schreibt, ist das eine Substitution, auch wenn ein Zuhörer es niemals bemerken würde. Für einen strengen Benchmark normalisieren Sie beide Seiten zuerst; für einen schnellen Plausibilitätstest reichen die Umschalter meistens aus.
WER, CER und Wortgenauigkeit
Die Wortgenauigkeit ist einfach 1 - WER, umgekehrt, sodass ein höherer Wert besser ist. Es ist die freundlichere Zahl für einen Bericht, obwohl sie die gleichen Vorbehalte mit sich bringt, und sie ist auf Null begrenzt, da ein Transkript schlechter als „alle Wörter falsch“ sein kann, sobald sich Einfügungen häufen.
Die Zeichenfehlerrate führt die gleiche Bearbeitungsdistanz-Zählung auf Zeichen statt auf Wörtern durch. CER ist die bessere Metrik, wenn Wortgrenzen unzuverlässig sind, für Sprachen, die Wörter nicht so trennen wie das Englische, oder wenn Sie Teilanerkennung für ein Wort wünschen, das fast richtig ist. „recognize“ versus „recognise“ ist eine vollständige Substitution unter WER, aber eine Ein-Zeichen-Bearbeitung unter CER, daher liest sich CER niedriger und oft fairer bei knappen Fehlern.
Verwenden Sie WER als Überschrift für englische Sprache, werfen Sie einen Blick auf CER, wenn eine niedrige WER bei knappen Fehlern immer noch zu hart erscheint, und zitieren Sie die Wortgenauigkeit, wenn Sie ein Ergebnis jemandem übergeben, der nicht in Fehlerraten lebt.
Wer überprüft die Wortfehlerrate
Teams, die Transkriptionsanbieter vergleichen, lassen dasselbe Audio durch jeden Anbieter laufen, transkribieren einen Clip von Hand als Referenz und bewerten die Ausgabe jedes Tools dagegen. Die WER wandelt „dieses hier fühlte sich besser an“ in eine Zahl um, die sie verteidigen können.
Forscher und Studenten, die an Spracherkennung arbeiten, berichten über die WER, da sie der gemeinsame Maßstab ist. Eine Modelländerung ist nur dann eine Verbesserung, wenn die WER auf einem zurückgehaltenen Referenzdatensatz sinkt.
Untertitelungs- und Lokalisierungsteams überprüfen die WER, bevor ein Transkript zur Übersetzung oder in eine Untertiteldatei geht, da ein Fehler in diesem Stadium sich in den nachfolgenden Schritten vervielfacht. Und jeder, der für eine Transkription bezahlt hat und wissen möchte, ob er das bekommen hat, wofür er bezahlt hat, kann dies hier messen, anstatt zu raten.
Nachdem Sie die Zahl haben
Wenn das Transkript, das Sie bewerten, unsauber war und Sie ein saubereres als Ausgangsbasis wünschen, erstellt der Transkript-Generator das Transkript mit Sprecherbezeichnungen, und der KI-Transkriptionsprüfer korrigiert ein einzelnes Transkript, wenn Sie keine Referenz zum Vergleich haben. Um ein bewertetes Transkript in eine Untertiteldatei umzuwandeln, sobald Sie damit zufrieden sind, übernimmt der Text-zu-SRT-Konverter das Timing.
Aufnahmen werden von Whisper Large-v3 transkribiert, und Sie können die Modelle und die Einrichtung hinter der Genauigkeit auf der Genauigkeitsseite sehen.
FAQ
Was ist eine gute Wortfehlerrate?
Es hängt vollständig vom Audio ab. Saubere, von einem einzelnen Sprecher gelesene Audios können im niedrigen einstelligen Bereich liegen, während rauschende, mehrstimmige oder stark akzentuierte Aufnahmen für jedes Tool viel höhere Werte aufweisen. Es gibt keine universelle Bestehensmarke. Vergleichen Sie Tools mit demselben Audio und derselben Referenz und beurteilen Sie die WER daran, nicht an einer Zahl aus einem anderen Datensatz.
Wie wird die WER berechnet?
Indem das Transkript mit der Referenz abgeglichen wird, um die geringsten Bearbeitungen dazwischen zu finden, Ersetzungen, Löschungen und Einfügungen gezählt und diese Summe durch die Anzahl der Wörter in der Referenz geteilt wird. Dieses Tool führt den Abgleich für Sie durch und zeigt jede Bearbeitung im Diff an.
Kann die Wortfehlerrate über 100 % liegen?
Ja. Wenn das Transkript viel mehr Wörter hinzufügt, als die Referenz hat, können allein die Einfügungen die Gesamtzahl der Bearbeitungen über die Referenzlänge hinaus treiben, sodass die WER über 1,0 steigt. Eine sehr kurze Referenz gegenüber einem langen, falschen Transkript ist der übliche Weg, dies zu beobachten.
Zählen Groß- und Kleinschreibung sowie Satzzeichen?
Nur wenn Sie diese Schalter eingeschaltet lassen. Standardmäßig ignoriert das Tool beides, da es bei gesprochenem Inhalt den meisten Menschen wichtiger ist, ob die Wörter richtig sind, nicht die Groß- und Kleinschreibung. Schalten Sie sie ein, wenn die Formatierung selbst das ist, was Sie bewerten.
Was ist der Unterschied zwischen WER und CER?
WER zählt Fehler in ganzen Wörtern, CER zählt sie in Zeichen. CER gibt Teilanerkennung für ein Wort, das fast richtig ist, und funktioniert besser für Sprachen, die Wörter nicht durch Leerzeichen trennen. Für englische Sprache ist WER die übliche Überschrift und CER ein nützlicher zweiter Blick.
Ist mein Transkript privat?
Ja. Die gesamte Berechnung erfolgt in Ihrem Browser mit JavaScript. Weder die Referenz noch das von Ihnen bewertete Transkript werden an einen Server gesendet, sodass nichts hochgeladen, gespeichert oder protokolliert wird.
Wie messe ich die Genauigkeit meines Transkriptionstools?
Transkribieren Sie einen Clip von Hand oder korrigieren Sie ein Transkript sorgfältig und verwenden Sie dies als Referenz. Führen Sie denselben Audio-Clip durch das zu testende Tool und fügen Sie dessen Ausgabe als Transkript zur Bewertung ein. Die WER ist die Fehlerrate dieses Tools für diesen Clip. Verwenden Sie mehrere Clips für eine vertrauenswürdige Messung.
