Calculateur de taux d'erreur de mots

Mesurer la précision de la transcription avec le WER

Collez la transcription correcte dans une zone et la transcription à évaluer dans l’autre, puis consultez le taux d’erreur sur les mots (WER). Vous obtenez également le taux d’erreur sur les caractères (CER), la précision des mots et un diff mot à mot qui indique chaque substitution, suppression et insertion. Tout fonctionne directement dans le navigateur : aucune transcription n’est téléversée en ligne.

Le WER est la méthode standard pour chiffrer la fidélité d’une transcription par rapport à la vérité terrain. C’est l’indicateur utilisé dans les publications de reconnaissance vocale, par les équipes pour comparer deux outils de transcription, et par vous-même pour décider si une transcription est prête à être livrée ou nécessite une nouvelle passe.

Ce que mesure réellement le taux d’erreur sur les mots (WER)

Le WER compte les modifications nécessaires pour transformer la transcription que vous vérifiez en texte de référence, puis divise ce total par le nombre de mots de la référence :

WER = (S + D + I) / N

S correspond aux substitutions (un mot erroné). D correspond aux suppressions (un mot de référence omis dans la transcription). I correspond aux insertions (un mot supplémentaire ajouté par la transcription). N est le nombre total de mots dans la référence. L’outil identifie le plus petit ensemble de modifications en alignant les deux séquences de mots, selon le principe de distance d’édition propre aux correcteurs orthographiques. Cela assure un résultat le plus équitable possible plutôt qu’une simple comparaison naïve de gauche à droite.

Un WER de 0 indique une correspondance parfaite mot à mot. Un WER de 0,10 correspond à une modification pour dix mots de référence. Il peut dépasser 1,0, ce qui surprend souvent au premier abord : si la transcription est allongée par bien plus de mots que la référence, les insertions peuvent à elles seules dépasser la longueur de la référence. Un WER de 120 % est donc un résultat tout à fait réel, et non une anomalie.

Comment calculer le WER

1. Collez la référence (la transcription dont vous êtes certain de la validité) dans la zone de gauche. Elle sert d’étalon à l’ensemble du calcul et doit impérativement être fiable.
2. Collez la transcription à évaluer dans la zone de droite.
3. Choisissez d’ignorer ou non la casse et la ponctuation, puis consultez le WER, le CER, la précision ainsi que le diff annoté ci-dessous.

Le diff est l’élément le plus instructif. Un simple score chiffre l’ampleur des erreurs, tandis que le diff montre précisément où et pourquoi elles apparaissent. Vous identifiez d’un coup d’œil s’il s’agit d’incompréhensions isolées ou de phrases entières omises, ce qui oriente directement vos actions correctives.

Pourquoi votre WER peut paraître pire que votre transcription

Le WER brut est impitoyable avec les écarts qui ne constituent pas de réelles fautes. « Bonjour. » et « bonjour » sont comptabilisés comme une substitution si vous conservez la ponctuation et la casse. Il en va de même pour « OK » face à « d’accord », ou « vingt » face à « 20 ». Aucune de ces variantes n’altère le sens, mais chacune alourdit le décompte d’erreurs.

C’est pourquoi ces deux options sont essentielles. Ignorer la casse et la ponctuation est le paramètre standard pour évaluer des enregistrements audio, car l’exactitude des mots importe plus que l’emplacement d’une virgule. Désactivez ces filtres lorsque la mise en forme fait partie intégrante de votre évaluation, par exemple pour un fichier de sous-titres où majuscules et ponctuation sont requises. Il n’existe pas de configuration absolue : la démarche rigoureuse consiste à en retenir une, à s’y tenir pour toutes vos comparaisons et à préciser celle employée.

Les chiffres, les termes développés et les contractions sont d’autres facteurs habituels d’inflation du score. Si votre référence mentionne « cannot » et que la transcription note « can’t », cela compte comme une substitution même si un auditeur ne ferait pas la différence. Pour une comparaison stricte, normalisez les deux textes au préalable ; pour une simple vérification rapide, les options d’exclusion suffisent généralement.

WER, CER et précision des mots

La précision des mots équivaut simplement à 1 - WER, formulée pour qu’un score plus haut soit meilleur. C’est la valeur la plus accessible pour un rapport, bien qu’elle comporte les mêmes contraintes ; elle est plafonnée à zéro car une transcription peut faire pire que « tous les mots faux » dès lors que les insertions s’accumulent.

Le taux d’erreur sur les caractères (CER) applique le même calcul de distance d’édition aux caractères plutôt qu’aux mots. Le CER s’avère plus approprié lorsque la séparation des mots est imprécise, pour les langues qui ne délimitent pas les mots par des espaces, ou pour accorder un crédit partiel à un mot presque bien orthographié. « recognize » face à « recognise » constitue une substitution complète selon le WER, mais une modification d’un seul caractère selon le CER. Ce dernier affiche donc un taux plus bas, souvent plus juste face aux fautes mineures.

Utilisez le WER comme métrique principale pour l’audio, consultez le CER lorsque le WER paraît trop sévère pour des fautes minimes, et communiquez la précision des mots lorsque vous partagez des résultats avec des interlocuteurs peu familiers des taux d’erreur.

Qui vérifie le Word Error Rate

Les équipes qui comparent des prestataires de transcription soumettent le même fichier audio à chacun d’eux, transcrivent un extrait manuellement pour servir de référence, et évaluent le résultat de chaque outil par rapport à celle-ci. Le WER transforme l’impression « celui-ci semblait meilleur » en un chiffre quantifiable et défendable.

Les chercheurs et les étudiants travaillant sur la reconnaissance vocale utilisent le WER car il s’agit de la référence commune. Une modification apportée à un modèle n’est considérée comme une amélioration que si le WER diminue sur un ensemble de test de référence distinct.

Les équipes de sous-titrage et de localisation vérifient le WER avant qu’une transcription ne soit envoyée en traduction ou convertie en fichier de sous-titres, car toute erreur à cette étape se répercute en cascade. Enfin, toute personne ayant payé pour un service de transcription et souhaitant s’assurer d’en avoir pour son argent peut le mesurer ici au lieu de se fier à des suppositions.

Une fois le résultat obtenu

Si la transcription que vous évaluez est approximative et que vous souhaitez partir d’une base plus propre, le générateur de transcription génère la transcription avec l’identification des interlocuteurs, et le vérificateur de transcription par IA relit une transcription isolée lorsque vous n’avez pas de texte de référence auquel la comparer. Pour transformer une transcription évaluée en fichier de sous-titres une fois que vous en êtes satisfait, le convertisseur de texte en SRT gère le minutage.

Consultez les modèles de transcription actuels et la méthode de mesure.

Obtenir une transcription à évaluer avec ScreenApp

La vérification sur cette page s’exécute directement sur votre appareil et ne nécessite aucun compte. Pour obtenir des réponses sur ce qui a été dit ou montré dans l’enregistrement, importez-le dans ScreenApp. Cliquez sur une question pour ouvrir ScreenApp avec la requête prête à être posée.

Dans ScreenApp, Cliquer sur un moment dans la transcription fait sauter le lecteur à ce point de l'enregistrement, ce qui vous permet de vérifier n’importe quelle réponse par rapport à l’enregistrement.

Ce que propose chaque forfait ici

L’outil présent sur cette page est gratuit et le restera. Un compte n’est utile que pour l’étape précédente ou l’étape suivante.