Wortfehlerraten-Rechner

Transkriptionsgenauigkeit mit WER messen

Fügen Sie das korrekte Transkript in das eine Feld und das zu bewertende Transkript in das andere ein - schon wird die Wortfehlerrate (Word Error Rate) berechnet. Sie erhalten außerdem die Zeichenfehlerrate (Character Error Rate), die Wortgenauigkeit (Word Accuracy) und einen wortweisen Diff-Vergleich, der jede Ersetzung, Löschung und Einfügung hervorhebt. Alles läuft direkt im Browser, keines der Transkripte wird irgendwohin hochgeladen.

Die WER ist der Standardwert, um die Übereinstimmung eines Transkripts mit dem Original in Zahlen auszudrücken. Sie wird in wissenschaftlichen Arbeiten zur Spracherkennung angegeben, von Teams zum Vergleich verschiedener Transkriptions-Tools herangezogen und dient als Entscheidungsgrundlage dafür, ob ein Transkript gut genug für die Veröffentlichung ist oder überarbeitet werden muss.

Was die Wortfehlerrate tatsächlich misst

Die WER zählt die Änderungen, die erforderlich sind, um das zu prüfende Transkript in die Referenz umzuwandeln, und teilt diese durch die Gesamtlänge der Referenz:

WER = (S + D + I) / N

S steht für Ersetzungen (Substitutions), also ein Wort, das falsch erkannt wurde. D steht für Löschungen (Deletions), also ein Referenzwort, das im Transkript fehlt. I steht für Einfügungen (Insertions), also ein zusätzliches Wort, das das Transkript hinzugefügt hat. N ist die Gesamtzahl der Wörter in der Referenz. Das Tool ermittelt die geringste Anzahl dieser Bearbeitungsschritte durch das Angleichen (Alignment) beider Wortfolgen - nach dem gleichen Prinzip der Editierdistanz wie bei Rechtschreibprüfungen. Das Ergebnis ist somit die fairstmögliche Auswertung und kein naiver Links-nach-rechts-Vergleich.

Eine WER von 0 bedeutet, dass beide Texte Wort für Wort übereinstimmen. Eine WER von 0,10 entspricht einer Änderung pro zehn Referenzwörtern. Der Wert kann auch über 1,0 liegen, was anfangs oft überrascht: Wenn das Transkript deutlich mehr Wörter als die Referenz enthält, können allein die Einfügungen die Gesamtlänge der Referenz übersteigen - eine WER von 120 Prozent ist also ein realistisches Ergebnis und kein Fehler.

So berechnen Sie die WER

1. Fügen Sie die Referenz - also das Transkript, von dem Sie wissen, dass es fehlerfrei ist - in das linke Feld ein. Dies ist der Maßstab für die gesamte Messung und muss daher die verlässliche Version sein.
2. Fügen Sie das zu bewertende Transkript in das rechte Feld ein.
3. Wählen Sie aus, ob Groß-/Kleinschreibung und Zeichensetzung ignoriert werden sollen, und lesen Sie darunter WER, CER, Wortgenauigkeit sowie den markierten Diff-Vergleich ab.

Der Diff-Vergleich ist der eigentliche Mehrwert. Ein einzelner Zahlenwert verrät Ihnen, wie gravierend die Abweichung ist; der Diff zeigt Ihnen, wo und warum. Sie sehen auf einen Blick, ob es sich um vereinzelte Hörfehler oder um einen ganzen fehlenden Satz handelt - und das bestimmt Ihre nächsten Schritte.

Warum Ihre WER schlechter ausfallen kann, als das Transkript tatsächlich ist

Die rohe WER ist unerbittlich bei Dingen, die eigentlich keine echten Fehler sind. „Hallo.“ und „hallo“ gelten als Ersetzung, wenn Sie Zeichensetzung und Groß-/Kleinschreibung beibehalten. Dasselbe gilt für „OK“ gegenüber „okay“ oder „zwanzig“ gegenüber „20“. Keines davon verändert den Sinn, aber jedes einzelne erhöht den Fehlerwert.

Deshalb spielen die beiden Umschaltoptionen eine wichtige Rolle. Das Ignorieren von Groß-/Kleinschreibung und Zeichensetzung ist die Standardeinstellung beim Vergleich gesprochener Inhalte, da es darauf ankommt, ob die Wörter stimmen, und nicht darauf, ob ein Komma gesetzt wurde. Deaktivieren Sie diese Optionen, wenn die Formatierung Teil Ihrer Bewertung ist - etwa bei Untertiteldateien, bei denen Schreibweise und Interpunktion zum fertigen Produkt gehören. Es gibt nicht die eine richtige Einstellung. Der sauberste Weg ist, sich für eine Option zu entscheiden, diese über alle zu vergleichenden Transkripte hinweg beizubehalten und transparent anzugeben, welche gewählt wurde.

Zahlen, ausgeschriebene Wörter und Abkürzungen treiben die Fehlerrate ebenfalls häufig in die Höhe. Wenn in Ihrer Referenz „cannot“ steht und im Transkript „can’t“, zählt dies als Ersetzung, obwohl ein Zuhörer den Unterschied niemals bemerken würde. Für einen strengen Benchmark normalisiert man beide Seiten vorab; für eine schnelle Plausibilitätsprüfung genügen meist die Umschaltoptionen.

WER, CER und Wortgenauigkeit

Die Wortgenauigkeit (Word Accuracy) ist schlicht 1 - WER, invertiert, damit ein höherer Wert besser ist. Für Berichte ist sie die intuitivere Kennzahl, bringt aber die gleichen Einschränkungen mit sich. Zudem wird sie bei null abgeriegelt, da ein Transkript rechnerisch schlechter als „jedes Wort ist falsch“ sein kann, sobald sich Einfügungen summieren.

Die Zeichenfehlerrate (Character Error Rate) führt dieselbe Editierdistanz-Berechnung auf Zeichenebene statt auf Wortebene durch. Die CER ist die bessere Metrik, wenn Wortgrenzen unklar sind, wenn es sich um Sprachen handelt, die Wörter nicht wie das Deutsche oder Englische durch Leerzeichen trennen, oder wenn ein fast richtiges Wort teilweise gewertet werden soll. „recognize“ versus „recognise“ ist nach WER eine vollständige Ersetzung, nach CER hingegen nur eine Änderung eines einzelnen Zeichens - weshalb die CER bei minimalen Abweichungen geringer ausfällt und oft ein faireres Bild liefert.

Nutzen Sie die WER als primäre Kennzahl für gesprochene Sprache, werfen Sie einen Blick auf die CER, wenn eine schlechte WER bei Beinahe-Treffern zu streng erscheint, und greifen Sie auf die Wortgenauigkeit zurück, wenn Sie Ergebnisse an Personen weitergeben, die nicht täglich mit Fehlerraten arbeiten.

Wer die Word Error Rate prüft

Teams, die Transkriptionsanbieter vergleichen, lassen dieselbe Audiodatei von jedem Anbieter verarbeiten, transkribieren einen Clip manuell als Referenz und bewerten die Ausgabe jedes Tools anhand dieser Referenz. Die WER verwandelt ein „dieses fühlte sich besser an“ in eine Zahl, die man fundiert vertreten kann.

Forschende und Studierende, die im Bereich der Spracherkennung arbeiten, geben die WER an, da sie der gemeinsame Maßstab ist. Eine Modelländerung ist nur dann eine Verbesserung, wenn die WER auf einem separaten Test-Referenzdatensatz sinkt.

Untertitelungs- und Lokalisierungsteams überprüfen die WER, bevor ein Transkript in die Übersetzung oder in eine Untertiteldatei übernommen wird, da sich Fehler in dieser Phase im weiteren Verlauf vervielfachen. Und jeder, der für eine Transkription bezahlt hat und wissen möchte, ob er das bekommen hat, wofür er bezahlt hat, kann dies hier nachmessen, anstatt nur zu raten.

Nachdem Sie das Ergebnis haben

Wenn das Transkript, das Sie bewerten, ungenau ausgefallen ist und Sie eine sauberere Ausgangsbasis wünschen, erstellt der Transkript-Generator das Transkript mit Sprecherbezeichnungen, und die KI-Transkriptprüfung korrigiert ein einzelnes Transkript, wenn Sie keine Referenz zum Vergleichen haben. Um ein geprüftes Transkript in eine Untertiteldatei umzuwandeln, sobald Sie damit zufrieden sind, übernimmt der Text-zu-SRT-Konverter das Timing.

Sehen Sie sich die aktuellen Transkriptionsmodelle und die Messmethode an.

Holen Sie sich ein Transkript zur Bewertung von ScreenApp

Die Überprüfung auf dieser Seite läuft direkt auf Ihrem Gerät und erfordert kein Konto. Für Antworten darauf, was in der Aufnahme gesagt oder gezeigt wurde, laden Sie sie auf ScreenApp hoch. Klicken Sie auf eine Frage, um ScreenApp direkt mit der vorbereiteten Frage zu öffnen.

In ScreenApp Ein Klick auf einen Moment im Transkript springt den Player zu diesem Punkt in der Aufnahme, sodass Sie jede Antwort mit der Aufnahme abgleichen können.

Was die einzelnen Tarife hier bieten

Das Tool auf dieser Seite ist kostenlos und bleibt kostenlos. Ein Konto wird nur für den Schritt davor oder den Schritt danach benötigt.