Đo Độ Chính Xác Phiên Âm Với WER
Dán bản ghi đúng vào một hộp và bản ghi bạn muốn chấm điểm vào hộp còn lại, sau đó đọc Tỷ Lệ Lỗi Từ (Word Error Rate). Bạn cũng nhận được tỷ lệ lỗi ký tự, độ chính xác từ và một bản so sánh từng từ đánh dấu mọi sự thay thế, xóa bỏ và chèn thêm. Mọi thứ đều chạy trong trình duyệt, vì vậy không có bản ghi nào được tải lên bất cứ đâu.
WER là cách tiêu chuẩn để đưa ra một con số về mức độ gần đúng của một bản ghi so với thực tế. Đó là thứ mà các bài báo về nhận dạng giọng nói báo cáo, là thứ mà các nhóm sử dụng để so sánh công cụ phiên âm này với công cụ khác, và là thứ bạn sẽ sử dụng để quyết định xem một bản ghi có đủ sạch để xuất bản hay cần một lần kiểm tra nữa.
Tỷ Lệ Lỗi Từ Thực Sự Đo Lường Điều Gì
WER đếm số lần chỉnh sửa cần thiết để biến bản ghi bạn đang kiểm tra thành bản tham chiếu, sau đó chia cho độ dài của bản tham chiếu:
WER = (S + D + I) / N
S là các thay thế, một từ bị sai. D là các xóa bỏ, một từ tham chiếu mà bản ghi đã bỏ sót. I là các chèn thêm, một từ thừa mà bản ghi đã thêm vào. N là tổng số từ trong bản tham chiếu. Công cụ tìm tập hợp chỉnh sửa nhỏ nhất bằng cách căn chỉnh hai chuỗi từ, cùng ý tưởng về khoảng cách chỉnh sửa đằng sau các công cụ kiểm tra chính tả, để số đếm là kết quả đọc công bằng nhất có thể thay vì so sánh ngây thơ từ trái sang phải.
WER bằng 0 có nghĩa là hai bản khớp từng từ. WER bằng 0.10 có nghĩa là một lần chỉnh sửa cho mỗi mười từ tham chiếu. Nó có thể vượt quá 1.0, điều này gây ngạc nhiên cho mọi người lần đầu tiên: nếu bản ghi được thêm vào nhiều từ hơn bản tham chiếu, thì chỉ riêng các lần chèn thêm cũng có thể nhiều hơn độ dài tham chiếu, vì vậy 120 phần trăm WER là một kết quả thực tế, không phải là lỗi.
Cách Tính WER
- Dán bản tham chiếu, bản ghi mà bạn biết là đúng, vào ô bên trái. Đây là cơ sở để mọi thứ được đo lường, vì vậy nó cần phải là bản đáng tin cậy.
- Dán bản ghi bạn muốn chấm điểm vào ô bên phải.
- Chọn có bỏ qua việc viết hoa và dấu câu hay không, sau đó đọc WER, CER, độ chính xác và bản so sánh đã đánh dấu bên dưới.
Bản so sánh là phần đáng đọc. Một con số duy nhất cho bạn biết mức độ tệ hại, bản so sánh cho bạn biết ở đâu và tại sao. Bạn có thể nhanh chóng nhận ra liệu lỗi là do nghe nhầm rải rác hay cả một câu bị bỏ sót, và điều đó thay đổi những gì bạn sẽ làm tiếp theo.
Tại Sao WER Của Bạn Có Thể Trông Tệ Hơn So Với Bản Phiên Âm Thực Tế
WER thô không khoan nhượng với những điều không thực sự là lỗi. “Hello.” và “hello” được tính là một sự thay thế nếu bạn giữ dấu câu và chữ hoa. Tương tự như vậy “OK” so với “okay”, hoặc “twenty” so với “20”. Không điều nào trong số đó thay đổi ý nghĩa, nhưng mỗi cái đều làm tăng số lượng.
Đó là lý do tại sao hai nút chuyển đổi lại quan trọng. Bỏ qua chữ hoa và dấu câu là cài đặt bình thường để so sánh nội dung nói, vì bạn quan tâm liệu các từ có đúng hay không, chứ không phải liệu dấu phẩy có đúng vị trí hay không. Tắt chúng khi định dạng là một phần của những gì bạn đang chấm điểm, ví dụ như một tệp phụ đề mà việc viết hoa và dấu câu là sản phẩm bàn giao. Không có cài đặt duy nhất nào là đúng. Hành động trung thực là chọn một cài đặt, giữ nguyên nó cho mọi bản ghi bạn so sánh và cho biết bạn đã sử dụng cài đặt nào.
Các con số, từ viết đầy đủ và từ viết tắt là những yếu tố gây tăng cao phổ biến khác. Nếu bản tham chiếu của bạn viết “cannot” và bản ghi viết “can’t”, đó là một sự thay thế mặc dù người nghe sẽ không bao giờ nhận ra. Để có một tiêu chuẩn nghiêm ngặt, bạn nên chuẩn hóa cả hai bên trước; để kiểm tra nhanh chóng, các nút chuyển đổi thường là đủ.
WER, CER, và Độ Chính Xác Từ
Độ chính xác từ chỉ đơn giản là 1 - WER, được đảo ngược để số càng cao càng tốt. Nó là một con số thân thiện hơn cho báo cáo, mặc dù nó mang cùng những hạn chế, và nó bị giới hạn ở số 0 vì một bản ghi có thể tệ hơn “tất cả các từ sai” một khi các từ chèn thêm chồng chất lên.
Tỷ Lệ Lỗi Ký Tự (Character Error Rate) thực hiện việc đếm khoảng cách chỉnh sửa tương tự trên các ký tự thay vì từ. CER là thước đo tốt hơn khi ranh giới từ không đáng tin cậy, đối với các ngôn ngữ không cách từ như tiếng Anh, hoặc khi bạn muốn có điểm một phần cho một từ gần đúng. “recognize” so với “recognise” là một thay thế hoàn toàn theo WER nhưng là một chỉnh sửa một ký tự theo CER, vì vậy CER đọc thấp hơn và thường công bằng hơn cho những lỗi sát.
Sử dụng WER làm tiêu đề chính cho giọng nói tiếng Anh, tham khảo CER khi WER thấp vẫn cảm thấy quá khắc nghiệt với những lỗi sát, và trích dẫn độ chính xác từ khi bạn trao kết quả cho người không quen thuộc với tỷ lệ lỗi.
Ai Kiểm Tra Tỷ Lệ Lỗi Từ (WER)
Các nhóm so sánh nhà cung cấp dịch vụ phiên âm chạy cùng một tệp âm thanh qua từng nhà cung cấp, phiên âm thủ công một đoạn clip làm tài liệu tham khảo, và chấm điểm đầu ra của mỗi công cụ so với tài liệu đó. WER biến nhận định “cái này cảm thấy tốt hơn” thành một con số mà họ có thể bảo vệ.
Các nhà nghiên cứu và sinh viên làm việc về nhận dạng giọng nói báo cáo WER vì đây là thước đo chung. Một thay đổi của mô hình chỉ là một cải tiến nếu WER giảm trên một tập hợp tham chiếu đã giữ lại.
Các nhóm phụ đề và bản địa hóa kiểm tra WER trước khi bản phiên âm được dịch hoặc chuyển thành tệp phụ đề, vì lỗi ở giai đoạn này sẽ được nhân lên ở các bước tiếp theo. Và bất kỳ ai đã trả tiền cho dịch vụ phiên âm và muốn biết liệu họ có nhận được những gì họ đã trả hay không, có thể đo lường nó ở đây thay vì đoán.
Sau Khi Bạn Có Con Số
Nếu bản phiên âm bạn đang chấm điểm bị thô và bạn muốn có một bản sạch hơn để bắt đầu, công cụ tạo phiên âm sẽ tạo ra bản phiên âm với nhãn người nói, và công cụ kiểm tra phiên âm AI sẽ đọc soát một bản phiên âm duy nhất khi bạn không có tài liệu tham khảo để đo lường. Để biến một bản phiên âm đã chấm điểm thành một tệp phụ đề sau khi bạn hài lòng với nó, công cụ chuyển văn bản thành SRT sẽ xử lý thời gian.
Các bản ghi âm được phiên âm bởi Whisper Large-v3, và bạn có thể xem các mô hình và thiết lập đằng sau độ chính xác trên trang độ chính xác.
Câu hỏi thường gặp
Tỷ Lệ Lỗi Từ (WER) Tốt Là Gì?
Điều đó hoàn toàn phụ thuộc vào âm thanh. Âm thanh rõ ràng, được đọc bởi một người nói có thể đạt mức thấp một chữ số, trong khi các bản ghi âm ồn ào, nhiều người nói hoặc có giọng nặng sẽ cao hơn nhiều đối với mọi công cụ. Không có điểm đạt tiêu chuẩn chung nào. Hãy so sánh các công cụ trên cùng một âm thanh với cùng một tài liệu tham khảo, và đánh giá WER dựa trên đó, chứ không phải dựa trên một con số từ một bộ dữ liệu khác.
WER Được Tính Như Thế Nào?
Bằng cách căn chỉnh bản phiên âm với tài liệu tham khảo để tìm ra số lượng chỉnh sửa ít nhất giữa chúng, đếm số lần thay thế, xóa và chèn, rồi chia tổng số đó cho số lượng từ trong tài liệu tham khảo. Công cụ này sẽ thực hiện việc căn chỉnh cho bạn và hiển thị từng chỉnh sửa trong phần khác biệt.
Tỷ Lệ Lỗi Từ (WER) Có Thể Hơn 100% Không?
Có. Nếu bản phiên âm thêm nhiều từ hơn so với tài liệu tham khảo, chỉ riêng các thao tác chèn cũng có thể đẩy tổng số chỉnh sửa vượt quá độ dài của tài liệu tham khảo, do đó WER vượt quá 1.0. Một tài liệu tham khảo rất ngắn so với một bản phiên âm dài, sai là cách thông thường để thấy điều này.
Chữ in hoa và dấu câu có được tính không?
Chỉ khi bạn bật các nút chuyển đó. Theo mặc định, công cụ bỏ qua cả hai, vì đối với nội dung nói, hầu hết mọi người quan tâm liệu các từ có đúng không, chứ không phải cách viết hoa. Bật chúng lên khi định dạng là thứ bạn đang chấm điểm.
Sự khác biệt giữa WER và CER là gì?
WER đếm lỗi trong toàn bộ từ, CER đếm lỗi trong ký tự. CER cho điểm một phần đối với một từ gần đúng và hoạt động tốt hơn cho các ngôn ngữ không phân tách từ bằng dấu cách. Đối với lời nói tiếng Anh, WER là tiêu đề thông thường và CER là một cái nhìn thứ hai hữu ích.
Bản chép lời của tôi có riêng tư không?
Có. Toàn bộ quá trình tính toán diễn ra trong trình duyệt của bạn bằng JavaScript. Cả bản tham chiếu lẫn bản chép lời bạn đang chấm điểm đều không được gửi đến máy chủ, vì vậy không có gì được tải lên, lưu trữ hoặc ghi lại.
Làm cách nào để đo độ chính xác của công cụ chuyển giọng nói thành văn bản của tôi?
Chép lại một đoạn bằng tay, hoặc sửa cẩn thận một bản chép lời, và sử dụng nó làm bản tham chiếu. Chạy cùng một đoạn âm thanh qua công cụ bạn đang thử nghiệm và dán đầu ra của nó làm bản chép lời để chấm điểm. WER là tỷ lệ lỗi của công cụ đó trên đoạn đó. Sử dụng một vài đoạn để có một kết quả đáng tin cậy.
