使用 WER 衡量转录准确率
将正确的转录文本粘贴到一个框中,将需要评分的转录文本粘贴到另一个框中,即可查看词错误率(Word Error Rate)。您还可以获得字符错误率、词准确率,以及逐词标记每个替换、删除和插入的对齐差异比对。所有处理均在浏览器中运行,转录文本绝不会被上传到任何地方。
WER 是衡量转录文本与真实文本接近程度的标准量化方法。它是语音识别论文中报告的指标,是团队用来对比不同转录工具的依据,也是您用来决定转录文本是否可以直接交付或需要再次修正的标准。
WER
替换、删除和插入的总数,除以参考文本的词数。
CER
对字符进行相同的编辑计数,适用于相近的错误和无空格分词的语言。
词准确率
即 1 减去 WER,因此数值越高越好。最低为零。
对齐差异比对
逐词标记每一次替换、删除和插入。
词错误率实际衡量的指标
WER 计算将待检查的转录文本转换为参考文本所需的编辑次数,然后除以参考文本的长度:
WER = (S + D + I) / N
S 代表替换(Substitutions),即识别错误的词。D 代表删除(Deletions),即转录文本中漏掉的参考词。I 代表插入(Insertions),即转录文本中多出的额外词。N 是参考文本中的总词数。该工具通过对齐两个词序列来寻找最小编辑集,其原理与拼写检查器背后的编辑距离相同,因此得出的计数是最公平合理的,而非简单的从左至右机械对比。
WER 为 0 意味着两者逐词完全匹配。WER 为 0.10 意味着参考文本中每十个词就发生了一次编辑。WER 可能会超过 1.0,这在初次接触时常令人惊讶:如果转录文本中充斥着远超参考文本的词汇,仅插入项就可能超过参考文本的长度,因此 120% 的 WER 是一个真实的结果,而非系统错误。
如何计算 WER
- 将参考文本(即确认无误的标准文本)粘贴到左侧框中。这是衡量一切的基准,因此必须真实可信。
- 将需要评分的转录文本粘贴到右侧框中。
- 选择是否忽略大小写和标点符号,然后即可在下方查看 WER、CER、准确率以及带有标记的差异比对。
差异比对是最值得查看的部分。单纯的数字只能告诉你错误有多严重,而差异比对能告诉你错误发生在何处以及原因。您可以一眼看出错误是零散的听误,还是漏掉了整整一句话,这将直接影响您接下来的处理方式。
为什么您的 WER 看起来比转录文本的实际表现更差
原始 WER 对那些并不算真正错误的地方十分严苛。如果保留标点和大小写,“Hello.” 与 “hello” 会被算作一次替换。“OK” 与 “okay”,或者 “twenty” 与 “20” 也是如此。这些都不会改变语义,但都会增加错误计数。
这就是为什么那两个切换开关很关键。忽略大小写和标点符号是对比口语内容的常规设置,因为您关注的是词是否正确,而不是逗号是否恰好对应。当格式也是您评分的一部分时(例如大小写和标点本身就是交付标准的字幕文件),可以关闭它们。没有唯一正确的设置。稳妥的做法是选定一种设置,在所有要对比的转录文本中保持一致,并明确说明您所使用的规则。
数字、拼写出的词语和缩写是另外常见的虚增因素。如果您的参考文本写的是“cannot”,而转录文本写的是“can’t”,尽管听众根本察觉不出区别,这也会被记为一次替换。对于严格的基准测试,应先对双方进行文本规范化;而对于快速的常规检查,使用这两个开关通常就足够了。
获取公平客观的 WER 结果
忽略大小写和标点符号
口语内容的常规设置。
统一数字格式
两边统一写作“20”或“twenty”。
使用多个音频片段
单个片段只能反映单次表现,不能作为最终定论。
WER、CER 与词准确率
词准确率就是 1 - WER,反转后数值越高越好。它是报告中更为直观友好的数字,尽管它也存在同样的注意事项;此外,它的下限被限制在零,因为一旦插入过多多余词汇,转录文本的表现可能会比“所有词都错”还要糟糕。
字符错误率(CER)基于字符而非词来计算相同的编辑距离。当词边界不可靠、对于不像英语那样使用空格分词的语言,或者希望对接近正确的词给予部分认可时,CER 是更好的指标。“recognize” 与 “recognise” 在 WER 下会被判定为完全替换,而在 CER 下仅为单字符编辑,因此对于相近的微小错误,CER 的读数更低,通常也更为合理。
对于英语语音,建议以 WER 为核心指标;当 WER 对微小错误显得过于苛刻时,可以参考 CER;而当您需要向不常接触错误率概念的人员交付结果时,引用词准确率最为合适。
谁会检查字词错误率(WER)
在对比不同转录服务商的团队中,人们会将同一段音频输入各个服务商的工具中,人工转录一个片段作为基准参考,并对照它为每个工具的输出评分。WER 将“感觉这个更好”变成了有据可依的具体数字。
从事语音识别研究的研究人员和学生会汇报 WER,因为它是通用的衡量基准。只有在独立的测试基准数据集上 WER 有所下降,模型的改进才算成立。
字幕和本地化团队会在转录文本进入翻译或生成字幕文件之前检查 WER,因为此阶段的错误会在后续环节中成倍放大。任何为转录服务付了费、想知道是否物有所值的人,都可以在这里进行量化测评,而不必凭空猜测。
获得数值之后
如果正在评分的转录文本质量较差,而您想要一个更干净的版本作为基础,转录生成器可以生成带有说话人标签的转录文本;而当您没有基准参考文本时,AI 转录检查器可以校对单份转录文本。一旦您对评分后的转录文本感到满意,想要将其转换为字幕文件,文本转 SRT 转换器可以为您处理时间轴对齐。
查看当前的转录模型和评测方法。
从 ScreenApp 获取待评分的转录文本
本页面上的检查工具在您的本地设备上运行,无需账号。如需了解录音中所述或所示内容的解答,请将其上传至 ScreenApp。点击下方问题即可在 ScreenApp 中直接发起提问。
在 ScreenApp 中,点击转录内容中的某个时刻,播放器会跳转到录音中的该点,因此您可以对照录音核对任何回答。
各方案在此支持的功能
本页面上的工具完全免费,并将一直免费。账号用于该步骤之前或之后的环节。
对比两份转录文本并评分
粘贴基准文本和待测转录文本,即可获取 WER、CER 以及对齐的差异比对结果,全程无需上传任何内容。
转录音频片段
无需绑定信用卡。将同一片段上传到 ScreenApp 即可获取待评分的转录文本,支持 100+ 种语言。免费方案包含 2 次录音转写,每次最长 45 分钟 以及每月 10 次 AI 对话。
免费试用专业版 7 天
专业版为 每月 $19(按年计费),每月包含 50 次转录和 50 次 AI 对话。在首次付款前,可使用专业版的全部功能 7 天,以确认其满足您的需求。试用期限为 annual plans only。试用条款:Card required。查看方案与条款。