Калькулятор частоты ошибок в словах

Измерение точности транскрипции с помощью WER

Вставьте правильную транскрипцию в одно поле, а проверяемую - в другое, чтобы рассчитать Word Error Rate (уровень пословных ошибок). Вы также получите уровень посимвольных ошибок (CER), точность по словам (Word Accuracy) и пословное сравнение, в котором отмечены все замены, удаления и вставки. Всё работает в браузере, поэтому тексты никуда не загружаются.

WER - это стандартный способ количественно оценить, насколько расшифровка близка к оригиналу. Именно этот показатель указывают в научных статьях по распознаванию речи, используют для сравнения различных систем транскрипции и применяют при принятии решения: готова ли расшифровка к сдаче или требует доработки.

Что на самом деле измеряет Word Error Rate

WER подсчитывает количество правок, необходимых для приведения проверяемого текста к эталону, и делит его на общее число слов в эталоне:

WER = (S + D + I) / N

S - это замены (substitutions), когда слово распознано неверно. D - удаления (deletions), когда эталонное слово пропущено. I - вставки (insertions), когда добавлено лишнее слово. N - общее количество слов в эталонном тексте. Инструмент находит минимальный набор таких правок путем выравнивания двух последовательностей слов (тот же принцип редакционного расстояния, что и в проверке орфографии), поэтому подсчет дает максимально справедливую оценку, а не просто наивное сравнение слева направо.

WER, равный 0, означает полное пословное совпадение. WER 0,10 означает одну правку на каждые десять слов эталона. Показатель может превышать 1,0, что поначалу удивляет: если в расшифровке гораздо больше слов, чем в эталоне, одни только вставки могут превысить длину эталона. Поэтому WER в 120% - это реальный результат, а не ошибка.

Как рассчитать WER

1. Вставьте эталонный (заведомо верный) текст в левое поле. Это основа для сравнения, поэтому текст должен быть надежным.
2. Вставьте расшифровку, которую хотите оценить, в правое поле.
3. Выберите, следует ли игнорировать регистр и пунктуацию, а затем посмотрите полученные значения WER, CER, точности и визуальное сравнение (diff) ниже.

Сравнение - самая полезная часть. Одно число лишь показывает общий масштаб ошибок, тогда как сравнение объясняет, где именно и почему они возникли. С одного взгляда видно, вызваны ли ошибки единичными ослышками или пропуском целого предложения, что напрямую влияет на ваши дальнейшие действия.

Почему ваш WER может казаться хуже, чем текст на самом деле

Необработанный WER бескомпромиссен к различиям, которые сложно назвать ошибками. «Hello.» и «hello» засчитаются как замена, если учитывать регистр и пунктуацию. То же самое произойдет с «OK» и «okay» или «двадцать» и «20». Ни одно из этих отличий не искажает смысл, но каждое увеличивает число правок.

Именно поэтому эти два переключателя так важны. Игнорирование регистра и знаков препинания - стандартная практика при оценке распознавания устной речи, ведь главное - правильность слов, а не расстановка запятых. Отключайте эти опции только тогда, когда форматирование является частью оцениваемого результата - например, при проверке файлов субтитров, где важны заглавные буквы и пунктуация. Универсальной настройки нет. Честный подход - выбрать один вариант, применять его одинаково ко всем сравниваемым текстам и явно указывать условия оценки.

Числа, слова, написанные прописью или цифрами, и сокращения - еще один частый источник завышения ошибок. Если в эталоне написано «cannot», а в расшифровке - «can’t», это посчитается за замену, хотя на слух разница неощутима. Для строгого бенчмаркинга оба текста сначала нормализуют; для быстрой экспресс-проверки обычно достаточно переключателей.

WER, CER и Word Accuracy

Точность по словам (Word Accuracy) - это просто 1 - WER, перевернутая метрика, где большее значение означает лучший результат. Это более понятный показатель для отчетов, хотя к нему применимы те же оговорки. Он ограничен нулем снизу, поскольку из-за обилия вставок расшифровка может оказаться хуже, чем просто «все слова неверны».

Character Error Rate (CER) выполняет тот же подсчет редакционного расстояния на уровне символов, а не слов. CER лучше подходит, когда границы слов размыты, для языков без пробелов между словами или когда важно частично зачесть почти правильно распознанное слово. Различие между «recognize» и «recognise» считается полной заменой в WER, но всего лишь одной правкой символа в CER, поэтому CER дает более низкий и зачастую более справедливый показатель при мелких неточностях.

Используйте WER в качестве основного показателя для английской речи, обращайте внимание на CER, если высокий WER кажется слишком суровым из-за мелких неточностей, и приводите точность по словам (Word Accuracy), если передаете отчет людям, далеким от метрик ошибок.

Кто проверяет Word Error Rate

Команды, сравнивающие сервисы транскрибации, прогоняют одну и ту же аудиозапись через каждый из них, вручную транскрибируют фрагмент в качестве эталона и оценивают результат каждого инструмента по сравнению с ним. WER превращает субъективное «этот вариант показался лучше» в конкретное число, которое можно обосновать.

Исследователи и студенты, работающие над распознаванием речи, указывают WER, поскольку это общепринятый стандарт оценки. Изменение модели считается улучшением только в том случае, если WER снижается на контрольной выборке.

Команды по созданию субтитров и локализации проверяют WER до того, как расшифровка отправится на перевод или в файл субтитров, поскольку ошибка на этом этапе приводит к череде новых ошибок далее по цепочке. А каждый, кто оплатил услуги транскрибации и хочет убедиться, что получил качественный результат, может измерить его здесь, а не гадать.

Что делать после получения результата

Если расшифровка, которую вы оцениваете, оказалась неточной и вам нужен более качественный исходный вариант, генератор транскрипций создаст текст с разметкой по спикерам, а ИИ-проверка транскрипций вычитает готовый текст, если у вас нет эталона для сравнения. Когда результат вас устроит, конвертер текста в SRT поможет превратить проверенную расшифровку в файл субтитров с точными таймкодами.

Ознакомьтесь с актуальными моделями транскрибации и методикой измерений.

Получите расшифровку для оценки с помощью ScreenApp

Проверка на этой странице выполняется на вашем устройстве и не требует создания аккаунта. Чтобы получить ответы о том, что было сказано или показано на записи, загрузите ее в ScreenApp. Нажмите на любой вопрос, чтобы открыть ScreenApp с готовым запросом.

В ScreenApp нажатие на момент в стенограмме переводит плеер к этой точке записи, поэтому вы всегда можете сопоставить любой ответ с записью.

Возможности тарифных планов

Инструмент на этой странице полностью бесплатен и останется таковым. Аккаунт нужен для предварительной подготовки или последующих действий.