Измерение точности транскрипции с помощью WER
Вставьте правильную транскрипцию в одно поле, а транскрипцию, которую вы хотите оценить, в другое, затем прочитайте показатель частоты ошибок в словах (Word Error Rate, WER). Вы также получите частоту ошибок в символах, точность слов и пословный дифференциал, который отмечает каждое замещение, удаление и вставку. Все это работает в браузере, поэтому ни одна транскрипция никуда не загружается.
WER - это стандартный способ выразить числом, насколько близка транскрипция к истине. Именно его указывают в статьях по распознаванию речи, его используют команды для сравнения одного инструмента транскрипции с другим, и именно его вы бы использовали, чтобы решить, достаточно ли чиста транскрипция для публикации или ей требуется еще одна проверка.
Что на самом деле измеряет Word Error Rate
WER подсчитывает количество правок, необходимых для преобразования проверяемой транскрипции в эталонную, а затем делит на длину эталонной:
WER = (S + D + I) / N
S - это замещения, то есть неправильно распознанное слово. D - это удаления, то есть слово из эталонной транскрипции, которое было пропущено. I - это вставки, то есть лишнее слово, добавленное транскрипцией. N - это общее количество слов в эталонной транскрипции. Инструмент находит наименьший набор этих правок путем выравнивания двух последовательностей слов, используя ту же идею расстояния редактирования, что и в проверках орфографии, поэтому подсчет является максимально справедливым, а не наивным сравнением слева направо.
WER равный 0 означает, что две транскрипции совпадают слово в слово. WER равный 0,10 означает одну правку на каждые десять эталонных слов. Он может быть выше 1,0, что поначалу удивляет: если транскрипция содержит гораздо больше слов, чем эталонная, одни только вставки могут превысить длину эталонной, поэтому WER в 120 процентов - это реальный результат, а не ошибка.
Как рассчитать WER
- Вставьте эталонную транскрипцию, которую вы считаете правильной, в левое поле. Именно с ней будет сравниваться все остальное, поэтому она должна быть достоверной.
- Вставьте транскрипцию, которую вы хотите оценить, в правое поле.
- Выберите, следует ли игнорировать заглавные буквы и знаки препинания, затем прочитайте WER, CER, точность и размеченную разницу ниже.
Самое интересное - это разница. Одно число говорит вам, насколько плохо, а разница показывает, где и почему. Вы можете сразу увидеть, являются ли ошибки разрозненными неверными пониманиями или целым пропущенным предложением, и это меняет то, что вы делаете дальше.
Почему ваш WER может выглядеть хуже, чем транскрипция на самом деле
Исходный WER беспощаден к вещам, которые на самом деле не являются ошибками. “Hello.” и “hello” считаются заменой, если вы оставляете знаки препинания и регистр. То же самое относится к “OK” против “okay” или “twenty” против “20”. Ни одно из этих изменений не меняет смысл, но каждое из них увеличивает количество ошибок.
Вот почему важны два переключателя. Игнорирование заглавных букв и знаков препинания - это обычная настройка для сравнения устного контента, потому что вам важно, правильны ли слова, а не наличие запятой. Отключите их, когда форматирование является частью того, что вы оцениваете, например, файл субтитров, где регистр и знаки препинания являются конечным продуктом. Нет единственно правильной настройки. Честный подход - выбрать одну, сохранять ее одинаковой для всех сравниваемых транскрипций и указать, какую вы использовали.
Числа, слова, написанные прописью, и сокращения - это другие распространенные факторы завышения WER. Если ваша эталонная транскрипция пишет “cannot”, а проверяемая транскрипция пишет “can’t”, это замещение, хотя слушатель никогда бы этого не заметил. Для строгой оценки вы сначала нормализуете обе стороны; для быстрой проверки здравого смысла обычно достаточно переключателей.
WER, CER и точность слов
Точность слов - это просто 1 - WER, перевернутая так, чтобы более высокое значение было лучше. Это более удобное для отчета число, хотя оно несет те же оговорки, и оно ограничено нулем, потому что транскрипция может быть хуже, чем “все слова неверны”, как только накапливаются вставки.
Частота ошибок символов (Character Error Rate, CER) выполняет тот же подсчет расстояния редактирования для символов вместо слов. CER является лучшим показателем, когда границы слов ненадежны, для языков, которые не разделяют слова пробелами, как английский, или когда вы хотите получить частичный зачет за слово, которое почти правильное. “recognize” против “recognise” является полным замещением по WER, но редактированием одного символа по CER, поэтому CER показывает более низкий и часто более справедливый результат для близких промахов.
Используйте WER в качестве заголовка для английской речи, обращайте внимание на CER, когда низкий WER все еще кажется слишком суровым для близких промахов, и цитируйте точность слов, когда вы передаете результат тому, кто не разбирается в показателях ошибок.
Кто проверяет коэффициент ошибок в словах
Команды, сравнивающие поставщиков транскрипции, пропускают один и тот же аудиоматериал через каждого из них, вручную транскрибируют фрагмент в качестве эталона и оценивают вывод каждого инструмента по сравнению с ним. WER превращает «этот звучит лучше» в число, которое они могут отстоять.
Исследователи и студенты, работающие над распознаванием речи, сообщают WER, потому что это общий эталон. Изменение модели является улучшением только в том случае, если WER снижается на отложенном эталонном наборе.
Команды по созданию субтитров и локализации проверяют WER перед тем, как стенограмма отправляется на перевод или в файл субтитров, поскольку ошибка на этом этапе умножается дальше по цепочке. И любой, кто заплатил за транскрипцию и хочет знать, получил ли он то, за что заплатил, может измерить это здесь, вместо того чтобы гадать.
После получения числа
Если стенограмма, которую вы оцениваете, получилась некачественной, и вы хотите получить более чистую для начала работы, генератор стенограмм создает стенограмму с метками дикторов, а ИИ проверка стенограмм вычитывает одну стенограмму, когда у вас нет эталона для измерения. Чтобы превратить оцененную стенограмму в файл субтитров, когда вы ею довольны, конвертер текста в SRT занимается таймингом.
Записи транскрибируются Whisper Large-v3, и вы можете увидеть модели и настройки, лежащие в основе точности, на странице точности.
Часто задаваемые вопросы
Какой коэффициент ошибок в словах считается хорошим?
Это полностью зависит от аудио. Чистый, записанный одним диктором аудиоматериал может иметь низкие однозначные показатели, в то время как шумные, многоголосные или сильно акцентированные записи дают гораздо более высокие показатели для каждого инструмента. Универсального проходного балла не существует. Сравнивайте инструменты на одном и том же аудио с одним и тем же эталоном и оценивайте WER относительно этого, а не относительно числа из другого набора данных.
Как рассчитывается WER?
Путем выравнивания стенограммы по эталону для нахождения наименьшего количества изменений между ними, подсчета замен, удалений и вставок, и деления этой суммы на количество слов в эталоне. Этот инструмент выполняет выравнивание за вас и показывает каждое изменение в различиях.
Может ли коэффициент ошибок в словах быть больше 100%?
Да. Если стенограмма добавляет значительно больше слов, чем в эталоне, то одни только вставки могут превысить общую сумму изменений длину эталона, поэтому WER поднимается выше 1.0. Очень короткий эталон по сравнению с длинной, неправильной стенограммой - это обычный способ увидеть такое.
Учитываются ли заглавные буквы и знаки препинания?
Только если вы оставите эти переключатели включенными. По умолчанию инструмент игнорирует и то, и другое, потому что для устного контента большинство людей заботятся о правильности слов, а не о регистре. Включите их, когда сама форматировка является тем, что вы оцениваете.
В чем разница между WER и CER?
WER подсчитывает ошибки в целых словах, CER - в символах. CER дает частичный зачет за почти правильное слово и лучше работает для языков, которые не разделяют слова пробелами. Для английской речи WER обычно является основным показателем, а CER - полезным вторым взглядом.
Моя транскрипция конфиденциальна?
Да. Весь расчет происходит в вашем браузере с помощью JavaScript. Ни эталон, ни транскрипция, которую вы оцениваете, не отправляются на сервер, поэтому ничего не загружается, не хранится и не логируется.
Как измерить точность моего инструмента транскрипции?
Расшифруйте аудиоклип вручную или тщательно исправьте одну транскрипцию и используйте ее в качестве эталона. Пропустите то же аудио через тестируемый инструмент и вставьте его вывод в качестве транскрипции для оценки. WER - это частота ошибок этого инструмента на данном клипе. Используйте несколько клипов для получения надежных показаний.
