Woordfoutpercentage Calculator

Transcriptienauwkeurigheid meten met WER

Plak het correcte transcript in het ene vak en het transcript dat je wilt beoordelen in het andere, en lees vervolgens de Word Error Rate af. Je krijgt ook de Character Error Rate, de woordnauwkeurigheid en een diff per woord die elke substitutie, verwijdering en invoeging markeert. Alles draait in de browser, dus geen van beide transcripten wordt ergens naartoe geüpload.

WER is de standaardmanier om uit te drukken hoe dicht een transcript bij de werkelijkheid ligt. Het is wat papers over spraakherkenning rapporteren, wat teams gebruiken om transcriptietools met elkaar te vergelijken en wat je zou gebruiken om te bepalen of een transcript goed genoeg is voor oplevering of nog een controle nodig heeft.

Wat Word Error Rate werkelijk meet

WER telt het aantal bewerkingen dat nodig is om het gecontroleerde transcript om te zetten in de referentie, en deelt dit door de lengte van de referentie:

WER = (S + D + I) / N

S staat voor substituties, een woord dat verkeerd is overgekomen. D staat voor verwijderingen, een referentiewoord dat het transcript heeft weggelaten. I staat voor invoegingen, een extra woord dat het transcript heeft toegevoegd. N is het totale aantal woorden in de referentie. De tool vindt de kleinste verzameling van deze bewerkingen door de twee woordreeksen uit te lijnen - hetzelfde edit-distance-principe als achter spellingscontroles - zodat de telling de meest eerlijke weergave is in plaats van een naïeve vergelijking van links naar rechts.

Een WER van 0 betekent dat beide woord voor woord overeenkomen. Een WER van 0,10 betekent één bewerking per tien referentiewoorden. De score kan boven de 1,0 uitkomen, wat mensen de eerste keer vaak verbaast: als het transcript veel meer woorden bevat dan de referentie, kunnen de toevoegingen alleen al de referentielengte overtreffen, waardoor een WER van 120 procent een reëel resultaat is en geen bug.

Hoe je WER berekent

1. Plak de referentie, het transcript waarvan je weet dat het correct is, in het linkervak. Dit is waar alles aan wordt afgemeten, dus dit moet de betrouwbare versie zijn.
2. Plak het transcript dat je wilt beoordelen in het rechtervak.
3. Kies of je hoofdletters en interpunctie wilt negeren, en lees vervolgens hieronder de WER, CER, nauwkeurigheid en de gemarkeerde diff af.

De diff is het onderdeel dat de moeite waard is om te bekijken. Een enkel getal vertelt je hoe slecht het is; de diff laat zien waar en waarom. Je ziet in één oogopslag of de fouten bestaan uit verspreide misverstane woorden of een compleet weggelaten zin, en dat bepaalt je vervolgstappen.

Waarom je WER er slechter uit kan zien dan het transcript is

Ruwe WER is onverbiddelijk bij zaken die eigenlijk geen fouten zijn. “Hello.” en “hello” tellen als een substitutie als je interpunctie en hoofdletters meetelt. Dat geldt ook voor “OK” versus “okay”, of “twenty” versus “20”. Geen van deze verandert de betekenis, maar ze verhogen allemaal de telling.

Daarom zijn de twee schakelaars zo belangrijk. Het negeren van hoofdletters en interpunctie is de gebruikelijke instelling voor het vergelijken van gesproken inhoud, omdat het erom gaat of de woorden kloppen, niet of er een komma staat. Schakel ze uit wanneer opmaak deel uitmaakt van de beoordeling, zoals bij een ondertitelbestand waarin hoofdletters en interpunctie onderdeel zijn van het eindproduct. Er is geen eenduidige juiste instelling. De eerlijkste aanpak is om er een te kiezen, die consistent aan te houden voor elk transcript dat je vergelijkt, en te vermelden welke instelling je hebt gebruikt.

Cijfers, voluit geschreven woorden en samentrekkingen zijn andere veelvoorkomende veroorzakers van vertekening. Als je referentie “cannot” heeft en het transcript “can’t”, geldt dat als een substitutie, ook al zou een luisteraar het nooit merken. Voor een strikte benchmark normaliseer je eerst beide kanten; voor een snelle controle zijn de schakelaars meestal voldoende.

WER, CER en woordnauwkeurigheid

Woordnauwkeurigheid is simpelweg 1 - WER, omgedraaid zodat hoger beter is. Het is een vriendelijker cijfer voor een rapportage, al gelden dezelfde kanttekeningen. Het stopt bij nul, omdat een transcript door opeengestapelde toevoegingen erger kan zijn dan ‘alle woorden fout’.

Character Error Rate voert dezelfde bewerkingsafstandtelling uit op tekens in plaats van woorden. CER is een betere metriek wanneer woordgrenzen onbetrouwbaar zijn, voor talen die woorden niet met spaties scheiden zoals het Engels, of wanneer je gedeeltelijke punten wilt toekennen voor een woord dat bijna goed is. “recognize” versus “recognise” is een volledige substitutie onder WER, maar slechts een bewerking van één teken onder CER; CER valt daardoor lager en vaak eerlijker uit bij kleine afwijkingen.

Gebruik WER als hoofdmaatstaf voor gesproken Engels, werp een blik op CER wanneer een lage score op WER te streng aanvoelt voor kleine afwijkingen, en noem de woordnauwkeurigheid wanneer je resultaten deelt met iemand die niet dagelijks met foutpercentages werkt.

Wie controleert de Word Error Rate

Teams die transcriptieleveranciers vergelijken, laten dezelfde audio door elke aanbieder verwerken, transcriberen handmatig een fragment als referentie en beoordelen de uitvoer van elke tool daartegen af. WER verandert “deze voelde beter” in een getal dat ze kunnen onderbouwen.

Onderzoekers en studenten die aan spraakherkenning werken rapporteren WER omdat het de gedeelde maatstaf is. Een modelwijziging is alleen een verbetering als de WER daalt op een afgezonderde referentieset.

Ondertitelings- en lokalisatieteams controleren de WER voordat een transcript naar vertaling of naar een ondertitelbestand gaat, aangezien een fout in dit stadium later in het proces wordt vermenigvuldigd. En iedereen die heeft betaald voor transcriptie en wil weten of ze waar voor hun geld hebben gekregen, kan het hier meten in plaats van te gokken.

Nadat je het getal hebt

Als het transcript dat je beoordeelt er ruw uitkwam en je een schonere versie wilt om mee te beginnen, genereert de transcript generator het transcript met sprekerlabels, en controleert de AI-transcriptiechecker een enkel transcript wanneer je geen referentie hebt om mee te vergelijken. Om van een beoordeeld transcript een ondertitelbestand te maken zodra je tevreden bent, regelt de tekst-naar-SRT-converter de timing.

Bekijk de huidige transcriptiemodellen en meetmethode.

Haal een te beoordelen transcript uit ScreenApp

De controle op deze pagina draait op je apparaat en vereist geen account. Voor antwoorden over wat er gezegd of getoond is in de opname, upload je deze naar ScreenApp. Klik op een vraag om ScreenApp te openen met de vraag direct klaar om te stellen.

In ScreenApp, door op een moment in de transcriptie te klikken, springt de speler naar dat punt in de opname, zodat je elk antwoord kunt controleren aan de hand van de opname.

Wat elk abonnement hier inhoudt

De tool op deze pagina is gratis en blijft gratis. Een account is bedoeld voor de stap ervoor of de stap erna.