WER ile Transkripsiyon Doğruluğunu Ölçün
Doğru transkripti bir kutuya, puanlamak istediğiniz transkripti diğer kutuya yapıştırın, ardından Kelime Hata Oranını okuyun. Ayrıca karakter hata oranını, kelime doğruluğunu ve her ikameyi, silmeyi ve eklemeyi işaretleyen kelime kelime farkı da elde edersiniz. Hepsi tarayıcıda çalışır, bu nedenle hiçbir transkript hiçbir yere yüklenmez.
WER, bir transkriptin gerçeğe ne kadar yakın olduğunu sayısal olarak ifade etmenin standart yoludur. Konuşma tanıma makalelerinin raporladığı, ekiplerin bir transkripsiyon aracını diğeriyle karşılaştırmak için kullandığı ve bir transkriptin yayınlanmaya yetecek kadar temiz olup olmadığına veya başka bir gözden geçirmeye ihtiyacı olup olmadığına karar vermek için kullanacağınız şeydir.
Kelime Hata Oranı Gerçekten Neyi Ölçer
WER, kontrol ettiğiniz transkripti referansa dönüştürmek için gereken düzenlemeleri sayar, ardından referansın uzunluğuna böler:
WER = (S + D + I) / N
S yanlış çıkan bir kelime olan ikamelerdir. D transkriptin düşürdüğü bir referans kelime olan silmelerdir. I transkriptin eklediği fazladan bir kelime olan eklemelerdir. N referanstaki toplam kelime sayısıdır. Araç, iki kelime dizisini hizalayarak bu düzenlemelerin en küçük kümesini bulur, bu, yazım denetleyicilerinin arkasındaki düzenleme mesafesi fikrinin aynısıdır, bu nedenle sayım, saf bir soldan sağa karşılaştırma yerine mümkün olan en adil okumadır.
0 WER, ikisinin kelime kelime eşleştiği anlamına gelir. 0.10 WER, her on referans kelime için bir düzenleme anlamına gelir. İlk başta insanları şaşırtan 1.0’ın üzerine çıkabilir: eğer transkript referanstan çok daha fazla kelimeyle doldurulmuşsa, yalnızca eklemeler referans uzunluğunu aşabilir, bu nedenle yüzde 120 WER bir hata değil, gerçek bir sonuçtur.
WER Nasıl Hesaplanır
- Doğru olduğunu bildiğiniz transkript olan referansı sol kutuya yapıştırın. Her şey buna göre ölçüldüğü için güvenilir olan bu olmalıdır.
- Puanlamak istediğiniz transkripti sağ kutuya yapıştırın.
- Büyük harf kullanımını ve noktalama işaretlerini yok sayıp saymayacağınızı seçin, ardından WER, CER, doğruluk ve aşağıdaki işaretli farkı okuyun.
Fark, okumaya değer kısımdır. Tek bir sayı ne kadar kötü olduğunu söyler, fark nerede ve neden olduğunu söyler. Hataların dağınık yanlış duymalar mı yoksa bütün bir cümlenin mi atlandığını bir bakışta görebilirsiniz ve bu, sonra ne yapacağınızı değiştirir.
WER’iniz Neden Transkript Olduğundan Daha Kötü Görünebilir
Ham WER, aslında hata olmayan şeyler konusunda affedici değildir. Noktalama işaretlerini ve büyük/küçük harf kullanımını bırakırsanız “Merhaba.” ve “merhaba” bir ikame olarak sayılır. “OK” ve “okay” veya “yirmi” ve “20” de öyledir. Bunların hiçbiri anlamı değiştirmez, ancak her biri sayıma eklenir.
Bu yüzden iki anahtar önemlidir. Büyük harf kullanımını ve noktalama işaretlerini yok saymak, konuşma içeriğini karşılaştırmak için normal ayardır, çünkü kelimelerin doğru olup olmadığına önem verirsiniz, bir virgülün gelip gelmediğine değil. Biçimlendirme not verdiğiniz şeyin bir parçası olduğunda bunları kapatın, örneğin büyük harf kullanımı ve noktalama işaretlerinin teslim edilebilir olduğu bir altyazı dosyasında. Tek bir doğru ayar yoktur. Dürüst olan, birini seçmek, karşılaştırdığınız her transkriptte aynı tutmak ve hangisini kullandığınızı söylemektir.
Sayılar, hecelenmiş kelimeler ve kısaltmalar diğer yaygın şişiricilerdir. Referansınız “yapamaz” (cannot) yazar ve transkript “yapamaz” (can’t) yazarsa, bir dinleyici asla fark etmeyecek olsa bile bu bir ikamedir. Katı bir kıyaslama için önce her iki tarafı da normalleştirirsiniz; hızlı bir sağduyu kontrolü için anahtarlar genellikle yeterlidir.
WER, CER ve Kelime Doğruluğu
Kelime doğruluğu sadece 1 - WER’dir, daha yüksek daha iyidir şeklinde çevrilmiştir. Aynı uyarıları taşısa da bir rapor için daha dostane bir sayıdır ve eklemeler birikmeye başladığında bir transkript “tüm kelimeler yanlış”tan daha kötü olabileceği için sıfırda sabitlenir.
Karakter Hata Oranı, kelimeler yerine karakterler üzerinde aynı düzenleme mesafesi sayımını yapar. CER, kelime sınırlarının güvenilmez olduğu durumlarda, İngilizce gibi kelimeleri boşlukla ayırmayan diller için veya neredeyse doğru olan bir kelime için kısmi puan vermek istediğinizde daha iyi bir ölçümdür. “recognize” ve “recognise”, WER altında tam bir ikame iken, CER altında tek karakterlik bir düzenlemedir, bu nedenle CER daha düşük okunur ve yakın kaçırmalar için genellikle daha adildir.
İngilizce konuşma için WER’i manşet olarak kullanın, düşük bir WER yakın kaçırmalarda hala çok sert hissettirdiğinde CER’e göz atın ve hata oranlarıyla yaşamayan birine bir sonuç verirken kelime doğruluğunu belirtin.
Kelime Hata Oranını Kimler Kontrol Eder?
Transkripsiyon sağlayıcılarını karşılaştıran ekipler, aynı sesi her birine uygular, bir klibi referans olarak elle yazar ve her aracın çıktısını buna göre puanlar. KHO, “bu daha iyi hissettirdi” ifadesini savunabilecekleri bir sayıya dönüştürür.
Konuşma tanıma üzerine çalışan araştırmacılar ve öğrenciler, KHO’yu ortak ölçüt olduğu için rapor ederler. Bir model değişikliği, ancak KHO’nun ayrılmış bir referans setinde düşmesi durumunda bir iyileşme olarak kabul edilir.
Altyazı ve yerelleştirme ekipleri, bir transkript çeviriye veya altyazı dosyasına gitmeden önce KHO’yu kontrol eder, çünkü bu aşamadaki bir hata aşağı akışta katlanarak artar. Ve transkripsiyon için para ödeyen ve ödedikleri karşılığını alıp almadığını merak eden herkes, tahminde bulunmak yerine bunu burada ölçebilir.
Sayıyı Aldıktan Sonra
Eğer puanladığınız transkript kaba çıktıysa ve başlangıç için daha temiz bir tane istiyorsanız, transkript oluşturucu konuşmacı etiketli transkripti üretir ve ölçülecek bir referansınız olmadığında yapay zeka transkript denetleyici tek bir transkripti düzeltir. Puanladığınız transkriptten memnun kaldığınızda bir altyazı dosyasına dönüştürmek için metinden SRT’ye dönüştürücü zamanlamayı halleder.
Kayıtlar Whisper Large-v3 tarafından transkribe edilir ve doğruluk arkasındaki modelleri ve kurulumu doğruluk sayfasında görebilirsiniz.
