WER ile Transkripsiyon Doğruluğunu Ölçün
Doğru transkripti bir kutuya, puanlamak istediğiniz transkripti diğer kutuya yapıştırın, ardından Kelime Hata Oranını okuyun. Ayrıca karakter hata oranını, kelime doğruluğunu ve her ikameyi, silmeyi ve eklemeyi işaretleyen kelime kelime farkı da elde edersiniz. Hepsi tarayıcıda çalışır, bu nedenle hiçbir transkript hiçbir yere yüklenmez.
WER, bir transkriptin gerçeğe ne kadar yakın olduğunu sayısal olarak ifade etmenin standart yoludur. Konuşma tanıma makalelerinin raporladığı, ekiplerin bir transkripsiyon aracını diğeriyle karşılaştırmak için kullandığı ve bir transkriptin yayınlanmaya yetecek kadar temiz olup olmadığına veya başka bir gözden geçirmeye ihtiyacı olup olmadığına karar vermek için kullanacağınız şeydir.
Kelime Hata Oranı Gerçekten Neyi Ölçer
WER, kontrol ettiğiniz transkripti referansa dönüştürmek için gereken düzenlemeleri sayar, ardından referansın uzunluğuna böler:
WER = (S + D + I) / N
S yanlış çıkan bir kelime olan ikamelerdir. D transkriptin düşürdüğü bir referans kelime olan silmelerdir. I transkriptin eklediği fazladan bir kelime olan eklemelerdir. N referanstaki toplam kelime sayısıdır. Araç, iki kelime dizisini hizalayarak bu düzenlemelerin en küçük kümesini bulur, bu, yazım denetleyicilerinin arkasındaki düzenleme mesafesi fikrinin aynısıdır, bu nedenle sayım, saf bir soldan sağa karşılaştırma yerine mümkün olan en adil okumadır.
0 WER, ikisinin kelime kelime eşleştiği anlamına gelir. 0.10 WER, her on referans kelime için bir düzenleme anlamına gelir. İlk başta insanları şaşırtan 1.0’ın üzerine çıkabilir: eğer transkript referanstan çok daha fazla kelimeyle doldurulmuşsa, yalnızca eklemeler referans uzunluğunu aşabilir, bu nedenle yüzde 120 WER bir hata değil, gerçek bir sonuçtur.
WER Nasıl Hesaplanır
- Doğru olduğunu bildiğiniz transkript olan referansı sol kutuya yapıştırın. Her şey buna göre ölçüldüğü için güvenilir olan bu olmalıdır.
- Puanlamak istediğiniz transkripti sağ kutuya yapıştırın.
- Büyük harf kullanımını ve noktalama işaretlerini yok sayıp saymayacağınızı seçin, ardından WER, CER, doğruluk ve aşağıdaki işaretli farkı okuyun.
Fark, okumaya değer kısımdır. Tek bir sayı ne kadar kötü olduğunu söyler, fark nerede ve neden olduğunu söyler. Hataların dağınık yanlış duymalar mı yoksa bütün bir cümlenin mi atlandığını bir bakışta görebilirsiniz ve bu, sonra ne yapacağınızı değiştirir.
WER’iniz Neden Transkript Olduğundan Daha Kötü Görünebilir
Ham WER, aslında hata olmayan şeyler konusunda affedici değildir. Noktalama işaretlerini ve büyük/küçük harf kullanımını bırakırsanız “Merhaba.” ve “merhaba” bir ikame olarak sayılır. “OK” ve “okay” veya “yirmi” ve “20” de öyledir. Bunların hiçbiri anlamı değiştirmez, ancak her biri sayıma eklenir.
Bu yüzden iki anahtar önemlidir. Büyük harf kullanımını ve noktalama işaretlerini yok saymak, konuşma içeriğini karşılaştırmak için normal ayardır, çünkü kelimelerin doğru olup olmadığına önem verirsiniz, bir virgülün gelip gelmediğine değil. Biçimlendirme not verdiğiniz şeyin bir parçası olduğunda bunları kapatın, örneğin büyük harf kullanımı ve noktalama işaretlerinin teslim edilebilir olduğu bir altyazı dosyasında. Tek bir doğru ayar yoktur. Dürüst olan, birini seçmek, karşılaştırdığınız her transkriptte aynı tutmak ve hangisini kullandığınızı söylemektir.
Sayılar, hecelenmiş kelimeler ve kısaltmalar diğer yaygın şişiricilerdir. Referansınız “yapamaz” (cannot) yazar ve transkript “yapamaz” (can’t) yazarsa, bir dinleyici asla fark etmeyecek olsa bile bu bir ikamedir. Katı bir kıyaslama için önce her iki tarafı da normalleştirirsiniz; hızlı bir sağduyu kontrolü için anahtarlar genellikle yeterlidir.
WER, CER ve Kelime Doğruluğu
Kelime doğruluğu sadece 1 - WER’dir, daha yüksek daha iyidir şeklinde çevrilmiştir. Aynı uyarıları taşısa da bir rapor için daha dostane bir sayıdır ve eklemeler birikmeye başladığında bir transkript “tüm kelimeler yanlış”tan daha kötü olabileceği için sıfırda sabitlenir.
Karakter Hata Oranı, kelimeler yerine karakterler üzerinde aynı düzenleme mesafesi sayımını yapar. CER, kelime sınırlarının güvenilmez olduğu durumlarda, İngilizce gibi kelimeleri boşlukla ayırmayan diller için veya neredeyse doğru olan bir kelime için kısmi puan vermek istediğinizde daha iyi bir ölçümdür. “recognize” ve “recognise”, WER altında tam bir ikame iken, CER altında tek karakterlik bir düzenlemedir, bu nedenle CER daha düşük okunur ve yakın kaçırmalar için genellikle daha adildir.
İngilizce konuşma için WER’i manşet olarak kullanın, düşük bir WER yakın kaçırmalarda hala çok sert hissettirdiğinde CER’e göz atın ve hata oranlarıyla yaşamayan birine bir sonuç verirken kelime doğruluğunu belirtin.
Kelime Hata Oranını Kimler Kontrol Eder?
Transkripsiyon sağlayıcılarını karşılaştıran ekipler, aynı sesi her birine uygular, bir klibi referans olarak elle yazar ve her aracın çıktısını buna göre puanlar. KHO, “bu daha iyi hissettirdi” ifadesini savunabilecekleri bir sayıya dönüştürür.
Konuşma tanıma üzerine çalışan araştırmacılar ve öğrenciler, KHO’yu ortak ölçüt olduğu için rapor ederler. Bir model değişikliği, ancak KHO’nun ayrılmış bir referans setinde düşmesi durumunda bir iyileşme olarak kabul edilir.
Altyazı ve yerelleştirme ekipleri, bir transkript çeviriye veya altyazı dosyasına gitmeden önce KHO’yu kontrol eder, çünkü bu aşamadaki bir hata aşağı akışta katlanarak artar. Ve transkripsiyon için para ödeyen ve ödedikleri karşılığını alıp almadığını merak eden herkes, tahminde bulunmak yerine bunu burada ölçebilir.
Sayıyı Aldıktan Sonra
Eğer puanladığınız transkript kaba çıktıysa ve başlangıç için daha temiz bir tane istiyorsanız, transkript oluşturucu konuşmacı etiketli transkripti üretir ve ölçülecek bir referansınız olmadığında yapay zeka transkript denetleyici tek bir transkripti düzeltir. Puanladığınız transkriptten memnun kaldığınızda bir altyazı dosyasına dönüştürmek için metinden SRT’ye dönüştürücü zamanlamayı halleder.
Kayıtlar Whisper Large-v3 tarafından transkribe edilir ve doğruluk arkasındaki modelleri ve kurulumu doğruluk sayfasında görebilirsiniz.
Sıkça Sorulan Sorular
İyi bir Kelime Hata Oranı Nedir?
Tamamen sese bağlıdır. Temiz, tek konuşmacılı okuma sesleri düşük tek haneli rakamlara düşebilirken, gürültülü, çok konuşmacılı veya yoğun aksanlı kayıtlar her araç için çok daha yüksek sonuçlar verir. Evrensel bir geçme notu yoktur. Araçları aynı seste aynı referansla karşılaştırın ve KHO’yu buna göre yargılayın, farklı bir veri kümesinden bir sayıya göre değil.
KHO Nasıl Hesaplanır?
Transkripti referansa hizalayarak aralarındaki en az düzenlemeyi bulmak, değiştirmeleri, silmeleri ve eklemeleri saymak ve bu toplamı referanstaki kelime sayısına bölerek. Bu araç hizalamayı sizin için yapar ve her düzenlemeyi farkta gösterir.
Kelime Hata Oranı %100’den Fazla Olabilir mi?
Evet. Eğer transkript referansta olandan çok daha fazla kelime eklerse, yalnızca eklemeler toplam düzenlemeleri referans uzunluğunun ötesine taşıyabilir, böylece KHO 1.0’ın üzerine çıkar. Çok kısa bir referansa karşı uzun, yanlış bir transkript görmek için olağan yoldur.
Büyük harf kullanımı ve noktalama işaretleri sayılır mı?
Yalnızca bu geçiş düğmelerini açık bırakırsanız. Varsayılan olarak araç her ikisini de yok sayar, çünkü konuşulan içerik için çoğu kişi kelimelerin doğru olup olmadığını önemser, büyük/küçük harf kullanımını değil. Biçimlendirmenin kendisi puanladığınız şey olduğunda bunları açın.
WER ve CER arasındaki fark nedir?
WER hataları tam kelimelerde sayarken, CER onları karakterlerde sayar. CER, neredeyse doğru olan bir kelimeye kısmi kredi verir ve kelimeleri boşluklarla ayırmayan diller için daha iyi çalışır. İngilizce konuşma için WER genellikle ana göstergedir ve CER faydalı bir ikinci bakıştır.
Transkriptim gizli mi?
Evet. Tüm hesaplama tarayıcınızda JavaScript ile gerçekleşir. Ne referans ne de puanladığınız transkript bir sunucuya gönderilir, bu nedenle hiçbir şey yüklenmez, depolanmaz veya günlüğe kaydedilmez.
Transkripsiyon aracımın doğruluğunu nasıl ölçerim?
Bir klibi elle transkript edin veya bir transkripti dikkatlice düzeltin ve bunu referans olarak kullanın. Aynı sesi test ettiğiniz araçtan geçirin ve çıktısını puanlayacağınız transkript olarak yapıştırın. WER, o aracın o klipteki hata oranıdır. Güvenilir bir okuma için birden fazla klip kullanın.
