단어 오류율 계산기

WER로 전사 정확도 측정하기

한쪽 상자에는 올바른 전사본을, 다른 쪽 상자에는 점수를 매기려는 전사본을 붙여넣은 다음 단어 오류율(Word Error Rate)을 확인하세요. 문자 오류율, 단어 정확도, 그리고 모든 대체(substitution), 삭제(deletion), 삽입(insertion)을 표시하는 단어별 비교(diff) 결과도 함께 제공됩니다. 모든 작업은 브라우저에서 실행되므로 전사본이 어디에도 업로드되지 않습니다.

WER은 전사본이 실제 내용과 얼마나 일치하는지 수치화하는 표준 지표입니다. 음성 인식 관련 논문에서 주로 보고되는 수치이며, 여러 전사 도구를 비교할 때나 전사본이 바로 사용할 만큼 정확한지 아니면 추가 수정이 필요한지 결정할 때 사용됩니다.

단어 오류율이 실제로 측정하는 것

WER은 확인하려는 전사본을 참조(정답) 전사본으로 변환하는 데 필요한 편집 횟수를 계산한 다음, 이를 참조 텍스트의 총 단어 수로 나눕니다.

WER = (S + D + I) / N

S는 잘못 출력된 단어인 대체(substitutions), D는 참조 텍스트에서 누락된 단어인 삭제(deletions), I는 전사본에 추가된 단어인 삽입(insertions)을 뜻합니다. N은 참조 텍스트의 총 단어 수입니다. 이 도구는 맞춤법 검사기 등에 쓰이는 편집 거리 알고리즘을 사용해 두 단어 시퀀스를 정렬함으로써 최소한의 편집 횟수를 찾아내므로, 단순한 좌우 비교보다 훨씬 공정한 측정값을 도출합니다.

WER이 0이면 두 텍스트가 단어 단위로 완벽하게 일치함을 의미합니다. WER이 0.10이면 참조 텍스트 10단어당 한 번의 편집이 필요함을 의미합니다. WER은 1.0을 넘을 수도 있어 처음 접하는 분들을 놀라게 하기도 합니다. 전사본에 참조 텍스트보다 훨씬 더 많은 단어가 포함된 경우 삽입된 단어 수만으로도 참조 단어 길이를 초과할 수 있으므로, 120%의 WER도 오류가 아닌 실제 계산 결과입니다.

WER 계산 방법

1. 정답으로 검증된 참조 전사본을 왼쪽 상자에 붙여넣습니다. 모든 측정의 기준이 되므로 정확한 전사본이어야 합니다.
2. 점수를 매기려는 전사본을 오른쪽 상자에 붙여넣습니다.
3. 대소문자 및 문장 부호 무시 여부를 선택한 후, 아래에서 WER, CER, 정확도 및 오류가 표시된 비교(diff) 결과를 확인합니다.

특히 비교(diff) 결과는 눈여겨볼 가치가 있습니다. 단일 수치는 오류의 정도만 알려주지만, diff는 오류가 발생한 위치와 이유를 보여줍니다. 오류가 띄엄띄엄 발생한 단순 오인식인지, 아니면 문장 전체가 통째로 누락된 것인지 한눈에 파악할 수 있어 이후 어떤 조치를 취해야 할지 판단하는 데 도움이 됩니다.

WER이 실제 전사본 품질보다 나쁘게 나오는 이유

원시(Raw) WER은 엄밀히 말해 오류가 아닌 요소들에도 매우 엄격합니다. 대소문자와 문장 부호를 그대로 둘 경우 “Hello.”와 “hello”는 대체(substitution)로 계산됩니다. “OK”와 “okay”, 또는 “twenty”와 “20”도 마찬가지입니다. 의미는 전혀 달라지지 않지만, 각각의 차이가 모두 오류 횟수에 추가됩니다.

그렇기 때문에 두 가지 토글 옵션이 중요합니다. 음성 콘텐츠를 비교할 때는 단어가 올바르게 인식되었는지가 중요하고 쉼표의 유무는 중요하지 않으므로 대소문자와 문장 부호를 무시하는 것이 일반적인 설정입니다. 반면 대소문자와 문장 부호 자체가 최종 결과물의 일부인 자막 파일 등을 평가할 때는 이 토글을 끄세요. 절대적인 설정 기준은 없습니다. 가장 정석적인 방법은 하나의 설정을 선택한 후 비교하는 모든 전사본에 동일하게 적용하고, 어떤 설정을 사용했는지 명시하는 것입니다.

숫자 표기법, 철자 변형, 축약형 등도 WER을 높이는 흔한 원인입니다. 참조 텍스트에는 “cannot”으로 적혀 있고 전사본에는 “can’t”로 적혀 있다면, 듣는 사람은 차이를 느끼지 못하더라도 대체 오류로 처리됩니다. 엄격한 벤치마크를 진행할 때는 양쪽 텍스트를 먼저 정규화해야 하지만, 간단한 점검 시에는 토글 옵션만으로도 충분합니다.

WER, CER 및 단어 정확도

단어 정확도는 단순히 1 - WER로 계산되며, 높을수록 좋은 직관적인 수치입니다. 보고서용으로 전달하기에 더 적합한 지표이지만 WER과 동일한 주의점이 적용되며, 삽입 단어가 누적되어 전사본 상태가 “모든 단어 틀림”보다 더 나빠질 수 있기 때문에 최솟값은 0으로 제한됩니다.

문자 오류율(CER)은 단어 대신 문자 단위로 동일한 편집 거리를 계산합니다. CER은 단어 경계가 불명확하거나, 영어처럼 띄어쓰기를 하지 않는 언어이거나, 아쉽게 틀린 단어에 대해 부분 점수를 부여하고자 할 때 더 적합한 지표입니다. 예를 들어 “recognize”와 “recognise”는 WER 기준으로는 완전한 대체(오류)에 해당하지만, CER 기준으로는 한 글자 편집에 불과합니다. 따라서 경미한 오탈자의 경우 CER이 더 낮게 측정되며 종종 더 공정한 결과를 보여줍니다.

영어 음성 평가에는 주로 WER을 기본 지표로 사용하고, 경미한 오류 때문에 낮은 WER이 너무 가혹하게 느껴질 때는 CER을 확인해 보세요. 그리고 오류율 개념에 익숙하지 않은 사람에게 결과를 전달할 때는 단어 정확도를 제시하는 것이 좋습니다.

단어 오류율(WER)은 누가 확인할까요

음성 전사 업체를 비교하는 팀들은 동일한 오디오를 각 도구에 실행하고, 참조용으로 클립을 직접 전사한 뒤, 이를 기준으로 각 도구의 결과물에 점수를 매깁니다. WER(단어 오류율)은 “이 도구가 더 나은 것 같다”는 막연한 느낌을 객관적으로 입증할 수 있는 수치로 바꿔 줍니다.

음성 인식을 연구하는 연구자와 학생들은 WER을 공통 척도로 삼아 보고합니다. 별도로 분리된 참조 데이터셋(held-out reference set)에서 WER이 낮아져야만 모델 변경이 실질적인 개선으로 인정됩니다.

자막 제작 및 현지화 팀은 전사본이 번역이나 자막 파일로 넘어가기 전에 WER을 확인합니다. 이 단계의 오류는 후속 작업에서 눈덩이처럼 불어나기 때문입니다. 그리고 유료 전사 서비스를 이용하며 비용에 걸맞은 결과를 얻었는지 확인하고 싶은 사람이라면 누구나 추측 대신 이곳에서 직접 측정해 볼 수 있습니다.

수치를 확인한 후

평가 중인 전사본의 완성도가 떨어져 더 깔끔한 전사본에서 시작하고 싶다면, 전사본 생성기를 통해 화자 레이블이 포함된 전사본을 생성할 수 있습니다. 비교할 참조본이 없는 경우에는 AI 전사본 검사기로 단일 전사본을 교정할 수 있습니다. 점수 측정이 완료된 만족스러운 전사본을 자막 파일로 변환하려면 텍스트-SRT 변환기가 타이밍을 자동으로 맞춰 줍니다.

현재 전사 모델 및 측정 방식을 확인해 보세요.

ScreenApp에서 점수를 매길 전사본 가져오기

이 페이지의 검사는 사용자의 기기에서 바로 실행되며 계정이 필요하지 않습니다. 녹음 또는 녹화에서 언급되거나 표시된 내용에 대한 답변을 확인하려면 ScreenApp에 업로드하세요. 질문을 클릭하면 ScreenApp이 열리며 바로 질문할 수 있는 상태가 됩니다.

ScreenApp에서는 스크립트의 순간을 클릭하면 플레이어가 녹음의 해당 지점으로 이동합니다. 기능이 지원되므로 모든 답변을 녹화본과 직접 대조하며 확인할 수 있습니다.

플랜별 제공 기능

이 페이지의 도구는 무료이며 앞으로도 계속 무료로 제공됩니다. 계정은 이전 단계나 이후 단계의 작업을 진행할 때 필요합니다.