WERで文字起こし精度を測定する
正しい文字起こしを片方のボックスに、採点したい文字起こしをもう一方のボックスに貼り付け、単語誤り率（WER）を読み取ります。文字誤り率（CER）、単語精度、およびすべての置換、削除、挿入をマークする単語ごとの差分も取得できます。すべてブラウザ上で実行されるため、どちらの文字起こしもどこにもアップロードされません。
WERは、文字起こしが真実にどれだけ近いかを数値で示す標準的な方法です。これは、音声認識に関する論文で報告され、チームが文字起こしツールを比較するために使用し、文字起こしが出荷に足るほどきれいであるか、それとももう一度見直す必要があるかを判断するために使うものです。
単語誤り率が実際に何を測定しているのか
WERは、チェックしている文字起こしを参照に変換するために必要な編集数を数え、それを参照の長で割ったものです。
WER = (S + D + I) / N
Sは置換、つまり間違って出てきた単語です。Dは削除、つまり文字起こしが落とした参照単語です。Iは挿入、つまり文字起こしが追加した余分な単語です。Nは参照に含まれる単語の総数です。このツールは、2つの単語シーケンスを整列させることによって、それらの編集の最小セットを見つけます。これはスペルチェッカーの背後にある編集距離と同じ考え方であり、素朴な左から右への比較ではなく、可能な限り公平な読み取りとなります。
WERが0というのは、両者が一語一句一致することを意味します。WERが0.10というのは、参照単語10語につき1つの編集があることを意味します。WERは1.0を超えることがあり、これは初めての人を驚かせます。もし文字起こしが参照よりもはるかに多くの単語で埋め尽くされている場合、挿入だけでも参照の長さを上回る可能性があるため、120パーセントのWERはバグではなく、実際の測定結果です。
WERの計算方法
- 正しいと知っている文字起こし（参照）を左のボックスに貼り付けます。これがすべての測定基準となるため、信頼できるものである必要があります。
- 採点したい文字起こしを右のボックスに貼り付けます。
- 大文字と句読点を無視するかどうかを選択し、その後、WER、CER、精度、および下のマークアップされた差分を読み取ります。
差分は読む価値のある部分です。単一の数値は「どれだけ悪いか」を伝え、差分は「どこで、なぜ」を伝えます。エラーが散発的な聞き間違いなのか、それとも文全体が抜け落ちているのかを一目で確認でき、それによって次に行うべきことが変わります。
あなたのWERが実際の文字起こしよりも悪く見えるかもしれない理由
生のWERは、実際にはエラーではないことに対しても容赦がありません。句読点や大文字/小文字をそのままにしておくと、「Hello.」と「hello」は置換として数えられます。同様に、「OK」と「okay」や、「twenty」と「20」もそうです。これらはどれも意味を変えませんが、それぞれがカウントに追加されます。
これが、2つのトグルが重要である理由です。大文字と句読点を無視することは、話された内容を比較する際の通常の設定です。なぜなら、単語が正しいかどうかに関心があり、コンマが適切であるかどうかではないからです。書式設定が評価の一部である場合、例えば大文字/小文字や句読点が成果物である字幕ファイルの場合などは、それらをオフにします。単一の正しい設定というものはありません。誠実な対応としては、1つを選択し、比較するすべての文字起こしで同じ設定を維持し、どの設定を使用したかを明記することです。
数字、スペルアウトされた単語、および短縮形は、他の一般的な値を膨らませる要因です。もし参照が「cannot」と書き、文字起こしが「can’t」と書いた場合、聞き手が決して気づかなくても、それは置換として扱われます。厳密なベンチマークのためには、まず両側を正規化します。簡単な健全性チェックであれば、通常はトグルで十分です。
WER、CER、および単語精度
単語精度は単純に1 - WERであり、値が高いほど良いと反転させたものです。これは報告書にとってより親しみやすい数値ですが、同じ注意点があり、挿入が増えると文字起こしが「すべての単語が間違っている」よりも悪くなる可能性があるため、ゼロに固定されています。
文字誤り率（CER）は、単語の代わりに文字に対して同じ編集距離を計算します。CERは、単語の区切りが信頼できない場合、英語のように単語を区切らない言語の場合、またはほぼ正しい単語に部分的な点数を与えたい場合に、より良い指標となります。「recognize」と「recognise」はWERでは完全な置換ですが、CERでは1文字の編集であるため、CERは低い値を示し、しばしばわずかな違いに対してより公平です。
英語の音声ではWERを見出しとして使用し、低いWERでもわずかな違いに対して厳しすぎると感じる場合はCERに目を向け、エラー率に慣れていない人に結果を渡す場合は単語精度を引用してください。
単語誤り率（WER）を確認する人
文字起こしベンダーを比較するチームは、同じ音声をそれぞれのベンダーに通し、手作業でクリップを基準として文字起こしし、各ツールの出力をそれと比較してスコアを付けます。WERは「こちらの方が良かった」という感覚を、擁護できる数値に変換します。
音声認識に取り組む研究者や学生は、WERが共通の基準であるため、それを報告します。モデルの変更は、保持された参照セットでWERが低下した場合にのみ改善とみなされます。
キャプション作成チームやローカライゼーションチームは、文字起こしが翻訳や字幕ファイルになる前にWERを確認します。この段階でのエラーは下流で増幅されるためです。また、文字起こしに料金を支払い、それが支払った価値があるかどうかを知りたい人は、推測する代わりにここで測定できます。
数値が出たら
採点した文字起こしが粗く、よりきれいなものから始めたい場合は、文字起こしジェネレーターが話者ラベル付きの文字起こしを生成し、参照元がない場合にAI 文字起こしチェッカーが単一の文字起こしを校正します。満足のいく採点済み文字起こしを字幕ファイルに変換するには、テキストからSRTへのコンバーターがタイミングを処理します。
録音はWhisper Large-v3によって文字起こしされ、精度ページで精度の背景にあるモデルと設定を確認できます。
よくある質問
良い単語誤り率（WER）とは？
それは完全に音声に依存します。クリアな単一話者の読み上げ音声は1桁台前半に収まることがありますが、ノイズが多い、複数話者、または強いアクセントのある録音は、どのツールでもはるかに高い数値になります。普遍的な合格点はありません。同じ音声と同じ参照元でツールを比較し、別のデータセットからの数値ではなく、それに対してWERを判断してください。
WERはどのように計算されますか？
文字起こしを参照元とアライメントして、両者の間の最小限の編集（置換、削除、挿入）を数え、その合計を参照元の単語数で割ることで計算されます。このツールはあなたのためにアライメントを行い、差分で各編集を表示します。
単語誤り率（WER）は100%を超えることがありますか？
はい。文字起こしが参照元よりもはるかに多くの単語を追加した場合、挿入だけで総編集数が参照元の長さを超え、WERが1.0を超えることがあります。非常に短い参照元と長く間違った文字起こしを比較する場合に、通常これが見られます。
大文字と句読点はカウントされますか？
それらのトグルをオンにした場合にのみカウントされます。デフォルトでは、ツールはこれら両方を無視します。なぜなら、発話されたコンテンツでは、ほとんどの人が単語が正しいかどうかを気にし、大文字・小文字は気にしないからです。書式設定自体を評価する際にオンにしてください。
WERとCERの違いは何ですか？
WERは単語全体の誤りを数え、CERは文字単位で数えます。CERは、ほとんど正しい単語に部分的な点数を与え、スペースで単語を区切らない言語により適しています。英語のスピーチの場合、WERが通常の見出しであり、CERは有用なセカンドルックとなります。
私の文字起こしはプライベートですか？
はい。すべての計算は、JavaScriptを使用してブラウザ内で実行されます。参照もスコアリングしている文字起こしもサーバーに送信されないため、何もアップロード、保存、またはログに記録されることはありません。
文字起こしツールの精度を測定するにはどうすればよいですか？
クリップを手動で文字起こしするか、1つの文字起こしを慎重に修正し、それを参照として使用します。テストしているツールに同じオーディオを実行し、その出力をスコアリングする文字起こしとして貼り付けます。WERはそのクリップにおけるそのツールのエラー率です。信頼できる読み取りを得るには、いくつかのクリップを使用してください。
