Kalkulator Tingkat Kesalahan Kata

Ukur Akurasi Transkripsi dengan WER

Tempelkan transkrip yang benar di satu kotak dan transkrip yang ingin Anda nilai di kotak lainnya, lalu lihat Word Error Rate. Anda juga mendapatkan character error rate, akurasi kata, dan perbandingan (diff) kata demi kata yang menandai setiap substitusi, penghapusan, dan penyisipan. Semuanya berjalan di browser, jadi tidak ada transkrip yang diunggah ke mana pun.

WER adalah cara standar untuk mengukur seberapa dekat suatu transkrip dengan kenyataan sebenarnya. Metrik inilah yang dilaporkan dalam makalah-makalah pengenalan ucapan (speech recognition), yang digunakan tim untuk membandingkan satu alat transkripsi dengan yang lain, dan yang Anda gunakan untuk memutuskan apakah suatu transkrip sudah cukup bersih untuk dirilis atau perlu pemeriksaan ulang.

Apa yang Sebenarnya Diukur oleh Word Error Rate

WER menghitung jumlah pengeditan yang diperlukan untuk mengubah transkrip yang sedang Anda periksa menjadi referensi, kemudian membaginya dengan panjang referensi:

WER = (S + D + I) / N

S adalah substitusi (penggantian), kata yang salah dihasilkan. D adalah penghapusan (deletion), kata referensi yang terlewat oleh transkrip. I adalah penyisipan (insertion), kata ekstra yang ditambahkan oleh transkrip. N adalah jumlah total kata dalam referensi. Alat ini mencari kumpulan pengeditan terkecil dengan menyelaraskan kedua urutan kata, konsep jarak edit (edit-distance) yang sama di balik pemeriksa ejaan, sehingga perhitungannya merupakan hasil pembacaan seadil mungkin dibandingkan perbandingan langsung dari kiri ke kanan.

Nilai WER 0 berarti keduanya cocok kata demi kata. WER 0,10 berarti ada satu pengeditan untuk setiap sepuluh kata referensi. Nilai ini bisa melampaui 1,0, yang sering kali mengejutkan saat pertama kali melihatnya: jika transkrip memuat jauh lebih banyak kata tambahan dibandingkan referensi, penyisipan saja bisa melebihi panjang referensi, sehingga WER 120 persen adalah hasil yang nyata, bukan bug.

Cara Menghitung WER

1. Tempelkan referensi, yaitu transkrip yang Anda tahu pasti benar, ke dalam kotak kiri. Ini adalah acuan pengukuran semuanya, jadi harus berupa versi yang tepercaya.
2. Tempelkan transkrip yang ingin Anda nilai ke dalam kotak kanan.
3. Pilih apakah ingin mengabaikan huruf kapital dan tanda baca, lalu lihat WER, CER, akurasi, serta diff bertanda di bawahnya.

Tampilan diff adalah bagian yang patut diperhatikan. Satu angka memberi tahu seberapa buruk hasilnya, sedangkan diff memberi tahu di mana dan mengapa letak kesalahannya. Anda dapat melihat secara sekilas apakah kesalahannya berupa salah dengar yang tersebar atau satu kalimat utuh yang hilang, dan hal itu menentukan langkah perbaikan Anda selanjutnya.

Mengapa Skor WER Anda Mungkin Terlihat Lebih Buruk daripada Transkrip Sebenarnya

WER mentah tidak memberikan toleransi terhadap hal-hal yang sebenarnya bukan kesalahan nyata. “Hello.” dan “hello” dihitung sebagai substitusi jika Anda tetap menyertakan tanda baca dan huruf besar-kecil. Begitu pula dengan “OK” versus “okay”, atau “twenty” versus “20”. Tak satu pun dari hal tersebut mengubah makna, tetapi masing-masing menambah hitungan kesalahan.

Itulah mengapa kedua opsi pengalih (toggle) tersebut penting. Mengabaikan huruf kapital dan tanda baca adalah pengaturan standar untuk membandingkan konten lisan, karena Anda peduli apakah kata-katanya benar, bukan apakah sebuah koma ditempatkan dengan tepat. Nonaktifkan opsi tersebut saat pemformatan menjadi bagian dari hal yang Anda nilai, misalnya file takarir (subtitle) di mana penulisan huruf besar dan tanda bacanya menjadi hasil akhir yang dinilai. Tidak ada satu pengaturan yang mutlak benar. Langkah terbaik adalah memilih salah satu, menjaganya tetap konsisten di setiap transkrip yang Anda bandingkan, dan menyatakan pengaturan apa yang Anda gunakan.

Angka, kata yang dieja lengkap, dan kontraksi (singkatan) adalah pemicu umum lain yang memperbesar skor kesalahan. Jika referensi Anda menuliskan “cannot” dan transkrip menuliskan “can’t”, itu dihitung sebagai substitusi meskipun pendengar tidak akan pernah menyadarinya. Untuk tolok ukur yang ketat, lakukan normalisasi pada kedua teks terlebih dahulu; untuk pemeriksaan cepat, opsi pengalih biasanya sudah cukup.

WER, CER, dan Word Accuracy

Akurasi kata (Word Accuracy) hanyalah 1 - WER, dibalik agar nilai yang lebih tinggi berarti lebih baik. Angka ini lebih mudah dipahami untuk laporan, meskipun memiliki batasan yang sama, dan dibatasi minimal nol karena transkrip bisa lebih buruk daripada sekadar “semua kata salah” ketika penyisipan terus bertumpuk.

Character Error Rate melakukan perhitungan jarak edit yang sama pada karakter alih-alih kata. CER merupakan metrik yang lebih baik ketika batas kata tidak dapat diandalkan, untuk bahasa yang tidak menggunakan spasi antar-kata seperti bahasa Inggris, atau ketika Anda ingin memberikan penilaian toleransi untuk kata yang hampir benar. “recognize” versus “recognise” adalah substitusi penuh menurut WER, tetapi hanya bernilai satu pengeditan karakter menurut CER, sehingga nilai CER terlihat lebih rendah dan sering kali lebih adil untuk kesalahan-kesalahan kecil.

Gunakan WER sebagai tolok ukur utama untuk ujaran bahasa Inggris, periksa CER ketika skor WER dirasa terlalu keras terhadap kesalahan kecil, dan gunakan akurasi kata saat Anda menyajikan hasil kepada seseorang yang tidak terbiasa berkutat dengan metrik tingkat kesalahan (error rate).

Siapa yang Memeriksa Word Error Rate

Tim yang membandingkan vendor transkripsi memproses audio yang sama melalui masing-masing vendor, mentranskripsikan sebuah klip secara manual sebagai referensi, dan memberi skor pada hasil setiap alat terhadap referensi tersebut. WER mengubah “yang ini terasa lebih baik” menjadi angka pasti yang dapat mereka pertanggungjawabkan.

Peneliti dan mahasiswa yang mendalami pengenalan suara melaporkan WER karena ini merupakan tolok ukur bersama. Perubahan model hanya dianggap sebagai peningkatan jika WER menurun pada set referensi held-out.

Tim takarir dan lokalisasi memeriksa WER sebelum transkrip masuk ke tahap penerjemahan atau ke berkas subtitel, karena kesalahan pada tahap ini akan berlipat ganda pada proses berikutnya. Dan siapa pun yang telah membayar layanan transkripsi serta ingin mengetahui apakah hasilnya sepadan dengan biayanya dapat mengukurnya di sini alih-alih hanya menebak-nebak.

Setelah Anda Mendapatkan Angkanya

Jika transkrip yang Anda nilai hasilnya kurang memuaskan dan Anda menginginkan versi yang lebih rapi untuk memulai, generator transkrip menghasilkan transkrip lengkap dengan label pembicara, dan pemeriksa transkrip AI mengoreksi transkrip tunggal saat Anda tidak memiliki referensi sebagai pembanding. Untuk mengubah transkrip yang telah dinilai menjadi berkas subtitel setelah Anda puas dengan hasilnya, konverter teks ke SRT menangani penyesuaian waktunya.

Lihat model transkripsi dan metode pengukuran saat ini.

Dapatkan Transkrip untuk Dinilai Dari ScreenApp

Pemeriksaan di halaman ini berjalan di perangkat Anda dan tidak memerlukan akun. Untuk jawaban mengenai apa yang diucapkan atau ditampilkan dalam rekaman, unggah rekaman tersebut ke ScreenApp. Klik sebuah pertanyaan untuk membuka ScreenApp dengan pertanyaan yang siap diajukan.

Di ScreenApp, mengklik momen dalam transkrip akan melompatkan pemutar ke titik tersebut dalam rekaman, sehingga Anda dapat mencocokkan jawaban apa pun dengan rekamannya.

Fungsi Setiap Paket di Sini

Alat di halaman ini gratis dan akan selalu gratis. Akun hanya diperlukan untuk langkah sebelum atau sesudahnya.