Công cụ tính Tỷ lệ lỗi từ

Đo lường độ chính xác của bản phiên âm bằng WER

Dán bản phiên âm chuẩn vào một ô và bản phiên âm bạn muốn chấm điểm vào ô còn lại, sau đó xem Tỷ lệ lỗi từ (Word Error Rate - WER). Bạn cũng nhận được tỷ lệ lỗi ký tự, độ chính xác của từ và bản so sánh khác biệt từng từ đánh dấu mọi thao tác thay thế, xóa và chèn. Mọi thứ đều chạy trực tiếp trên trình duyệt, vì vậy không có bản phiên âm nào bị tải lên bất cứ đâu.

WER là phương pháp tiêu chuẩn để định lượng mức độ sát sao của một bản phiên âm so với thực tế. Đây là số liệu được báo cáo trong các bài nghiên cứu nhận dạng giọng nói, công cụ mà các nhóm dùng để so sánh các giải pháp phiên âm với nhau, và là thước đo để bạn quyết định xem bản phiên âm đã đủ chuẩn để phát hành hay cần phải chỉnh sửa lại.

Tỷ lệ lỗi từ thực sự đo lường điều gì

WER đếm số thao tác chỉnh sửa cần thiết để biến bản phiên âm đang kiểm tra thành bản tham chiếu, sau đó chia cho độ dài của bản tham chiếu:

WER = (S + D + I) / N

S là số phép thay thế (substitutions), một từ bị nhận diện sai. D là số phép xóa (deletions), một từ trong bản tham chiếu bị bỏ sót. I là số phép chèn (insertions), một từ thừa mà bản phiên âm thêm vào. N là tổng số từ trong bản tham chiếu. Công cụ tìm tập hợp các thao tác chỉnh sửa nhỏ nhất bằng cách căn chỉnh hai chuỗi từ, cùng nguyên lý khoảng cách chỉnh sửa đằng sau các bộ kiểm tra chính tả, do đó kết quả đếm phản ánh chính xác và công bằng nhất thay vì chỉ so sánh từ trái qua phải một cách đơn thuần.

WER bằng 0 có nghĩa là hai bản khớp nhau từng từ một. WER bằng 0,10 có nghĩa là cứ mười từ trong bản tham chiếu thì có một chỉnh sửa. Chỉ số này có thể vượt quá 1,0, điều thường khiến nhiều người bất ngờ trong lần đầu tiên: nếu bản phiên âm bị chèn thêm quá nhiều từ so với bản tham chiếu, chỉ riêng số từ chèn thêm đã có thể vượt quá độ dài bản tham chiếu, vì vậy WER 120 phần trăm là kết quả hoàn toàn có thật chứ không phải lỗi.

Cách tính WER

1. Dán bản tham chiếu, tức bản phiên âm chuẩn bạn biết là chính xác, vào ô bên trái. Đây là mốc chuẩn để đối chiếu mọi thứ, do đó cần phải là bản đáng tin cậy.
2. Dán bản phiên âm bạn muốn chấm điểm vào ô bên phải.
3. Chọn xem có bỏ qua chữ hoa chữ thường và dấu câu hay không, sau đó xem kết quả WER, CER, độ chính xác và bản so sánh khác biệt được đánh dấu bên dưới.

Bản so sánh khác biệt là phần rất đáng xem. Một con số duy nhất chỉ cho bạn biết mức độ sai lệch, còn bản so sánh khác biệt cho bạn biết sai ở đâu và tại sao. Bạn có thể thấy ngay trong nháy mắt liệu các lỗi là nghe nhầm rải rác hay bị mất nguyên cả câu, và điều đó sẽ quyết định bước xử lý tiếp theo của bạn.

Tại sao điểm WER của bạn có thể trông tệ hơn thực tế bản phiên âm

WER thô rất khắt khe đối với những yếu tố thực chất không hẳn là lỗi. “Hello.” và “hello” bị tính là một lỗi thay thế nếu bạn giữ nguyên dấu câu và chữ hoa/thường. Tương tự với “OK” so với “okay”, hoặc “twenty” so với “20”. Không có trường hợp nào làm thay đổi ý nghĩa, nhưng mỗi trường hợp đều làm tăng số đếm lỗi.

Đó là lý do tại sao hai nút gạt tùy chọn lại quan trọng. Bỏ qua chữ hoa/thường và dấu câu là thiết lập thông thường khi so sánh nội dung lời nói, vì bạn chỉ cần quan tâm các từ có đúng hay không chứ không phải dấu phẩy nằm ở đâu. Hãy tắt chúng đi khi định dạng là một phần bạn cần chấm điểm, ví dụ như tệp phụ đề nơi chữ hoa và dấu câu là sản phẩm bàn giao cuối cùng. Không có thiết lập nào là chuẩn duy nhất. Cách tiếp cận minh bạch là chọn một thiết lập, áp dụng đồng nhất trên mọi bản phiên âm bạn so sánh và nêu rõ bạn đã dùng thiết lập nào.

Số, từ viết dạng chữ và từ viết tắt là những yếu tố phổ biến khác làm tăng điểm lỗi. Nếu bản tham chiếu viết “cannot” còn bản phiên âm viết “can’t”, điều đó bị coi là một lỗi thay thế dù người nghe không bao giờ nhận thấy sự khác biệt. Để đánh giá chuẩn mực nghiêm ngặt, bạn nên chuẩn hóa cả hai bên trước; còn để kiểm tra nhanh sơ bộ thì các nút tùy chọn thường là đã đủ.

WER, CER và Độ chính xác của từ

Độ chính xác của từ (Word accuracy) đơn giản là 1 - WER, được đảo ngược để giá trị càng cao thì càng tốt. Đây là con số thân thiện hơn khi đưa vào báo cáo, dù nó vẫn có những điểm cần lưu ý tương tự, và nó bị chặn dưới ở mức 0 vì một bản phiên âm có thể còn tệ hơn mức “sai toàn bộ từ” một khi các từ chèn thêm tích lũy quá nhiều.

Tỷ lệ lỗi ký tự (Character Error Rate - CER) thực hiện cùng phép đếm khoảng cách chỉnh sửa nhưng trên các ký tự thay vì từ. CER là chỉ số tốt hơn khi ranh giới giữa các từ không rõ ràng, đối với các ngôn ngữ không phân tách từ bằng khoảng trắng như tiếng Anh, hoặc khi bạn muốn tính điểm khích lệ cho một từ gần như đúng. “recognize” so với “recognise” bị tính là một lỗi thay thế hoàn toàn theo WER nhưng chỉ là một chỉnh sửa ký tự đơn theo CER, do đó CER sẽ cho chỉ số thấp hơn và thường công bằng hơn đối với các lỗi suýt đúng.

Hãy sử dụng WER làm chỉ số tiêu đề cho lời nói tiếng Anh, tham khảo CER khi thấy WER quá khắt khe với các lỗi suýt đúng, và trích dẫn độ chính xác của từ khi bạn báo cáo kết quả cho những người không quen làm việc với các chỉ số tỷ lệ lỗi.

Ai kiểm tra Tỷ lệ Lỗi Từ (Word Error Rate)

Các nhóm so sánh nhà cung cấp dịch vụ phiên âm chạy cùng một tệp âm thanh qua từng bên, phiên âm thủ công một đoạn clip để làm tham chiếu và chấm điểm kết quả đầu ra của mỗi công cụ so với bản tham chiếu đó. WER biến cảm nhận kiểu “cái này có vẻ ổn hơn” thành một con số có cơ sở rõ ràng để chứng minh.

Các nhà nghiên cứu và sinh viên làm việc trong lĩnh vực nhận dạng giọng nói báo cáo WER vì đây là thước đo chung tiêu chuẩn. Một thay đổi trong mô hình chỉ được coi là sự cải tiến nếu chỉ số WER giảm trên một tập tham chiếu độc lập.

Các nhóm làm phụ đề và bản địa hóa kiểm tra WER trước khi bản phiên âm được chuyển sang dịch thuật hoặc xuất thành tệp phụ đề, vì một lỗi ở giai đoạn này sẽ nhân rộng ở các bước tiếp theo. Và bất kỳ ai đã trả tiền cho dịch vụ phiên âm và muốn biết liệu chất lượng có xứng đáng với số tiền bỏ ra hay không đều có thể đo lường tại đây thay vì phải phỏng đoán.

Sau khi bạn có con số này

Nếu bản phiên âm bạn đang chấm điểm có kết quả sơ sài và bạn muốn bắt đầu lại từ một bản chỉn chu hơn, công cụ tạo bản phiên âm sẽ tạo bản phiên âm kèm nhãn người nói, và công cụ kiểm tra bản phiên âm bằng AI sẽ hiệu đính một bản phiên âm duy nhất khi bạn không có bản tham chiếu để đối chiếu. Để chuyển đổi một bản phiên âm đã được chấm điểm thành tệp phụ đề khi bạn đã hài lòng, công cụ chuyển đổi văn bản sang SRT sẽ xử lý phần mốc thời gian.

Xem các mô hình phiên âm và phương pháp đo lường hiện tại.

Lấy bản phiên âm cần chấm điểm từ ScreenApp

Quá trình kiểm tra trên trang này chạy trực tiếp trên thiết bị của bạn và không yêu cầu tài khoản. Để có câu trả lời về những gì đã được nói hoặc hiển thị trong bản ghi, hãy tải nó lên ScreenApp. Nhấp vào một câu hỏi để mở ScreenApp với câu hỏi đã sẵn sàng để gửi.

Trong ScreenApp, nhấp vào một khoảnh khắc trong bản ghi sẽ đưa trình phát đến điểm đó trong bản ghi, vì vậy bạn có thể đối chiếu bất kỳ câu trả lời nào với bản ghi.

Tính năng của từng gói tại đây

Công cụ trên trang này hoàn toàn miễn phí và sẽ luôn miễn phí. Tài khoản chỉ cần thiết cho bước trước hoặc bước sau đó.