Kelime Hata Oranı Hesaplayıcı

WER ile Transkripsiyon Doğruluğunu Ölçün

Doğru transkripti bir kutuya, puanlamak istediğiniz transkripti diğer kutuya yapıştırın ve ardından Kelime Hata Oranını (Word Error Rate - WER) görün. Ayrıca karakter hata oranını, kelime doğruluğunu ve her yer değiştirmeyi, silmeyi ve eklemeyi işaretleyen kelime kelime bir fark (diff) görünümünü de elde edersiniz. Tamamen tarayıcıda çalışır, dolayısıyla hiçbir transkript hiçbir yere yüklenmez.

WER, bir transkriptin gerçeğe ne kadar yakın olduğunu sayısallaştırmanın standart yoludur. Konuşma tanıma makalelerinde raporlanan, ekiplerin bir transkripsiyon aracını diğeriyle karşılaştırmak için kullandığı ve bir transkriptin yayınlanacak kadar temiz olup olmadığına veya üzerinden tekrar geçilmesi gerekip gerekmediğine karar vermek için kullanacağınız metriktir.

Kelime Hata Oranı Gerçekte Neyi Ölçer

WER, kontrol ettiğiniz transkripti referansa dönüştürmek için gereken düzenlemeleri sayar ve ardından referansın uzunluğuna böler:

WER = (S + D + I) / N

S (substitutions) değiştirmelerdir; yanlış çıkan bir kelime. D (deletions) silmelerdir; transkriptin atladığı bir referans kelime. I (insertions) eklemelerdir; transkriptin eklediği fazladan bir kelime. N, referanstaki toplam kelime sayısıdır. Araç, yazım denetleyicilerinin arkasındaki düzenleme mesafesi (edit-distance) mantığıyla iki kelime dizisini hizalayarak bu düzenlemelerin en küçük kümesini bulur; böylece hesaplama, basit bir soldan sağa karşılaştırma yerine mümkün olan en adil sonucu verir.

0 değerinde bir WER, ikisinin kelimesi kelimesine eşleştiği anlamına gelir. 0,10 WER, her on referans kelimesi için bir düzenleme anlamına gelir. 1,0’ın üzerine çıkabilir, bu da insanları ilk başta şaşırtır: transkript referanstan çok daha fazla kelimeyle doldurulmuşsa, yalnızca eklemelerin sayısı bile referans uzunluğunu aşabilir; dolayısıyla yüzde 120 WER bir hata değil, gerçek bir sonuçtur.

WER Nasıl Hesaplanır

1. Doğru olduğunu bildiğiniz transkripti, yani referansı, sol kutuya yapıştırın. Her şey buna göre ölçülür, bu yüzden güvenilir olanın bu olması gerekir.
2. Puanlamak istediğiniz transkripti sağ kutuya yapıştırın.
3. Büyük/küçük harf durumunu ve noktalama işaretlerini yoksayıp yok saymayacağınızı seçin, ardından aşağıdaki WER, CER, doğruluk ve işaretlenmiş farkı inceleyin.

Fark görünümü, asıl incelenmeye değer kısımdır. Tek bir sayı size durumun ne kadar kötü olduğunu söyler, fark ise nerede ve neden olduğunu gösterir. Hataların dağınık yanlış duymalar mı yoksa tamamen atlanmış bir cümle mi olduğunu bir bakışta görebilirsiniz ve bu da bundan sonra ne yapacağınızı belirler.

WER Değeriniz Neden Transkriptten Daha Kötü Görünebilir?

Ham WER, aslında hata olmayan durumlar konusunda acımasızdır. Noktalama işaretlerini ve harf büyüklüklerini bırakırsanız “Hello.” ve “hello” bir değiştirme olarak sayılır. “OK” ile “okay” ya da “twenty” ile “20” de öyledir. Bunların hiçbiri anlamı değiştirmez ancak her biri sayıya eklenir.

İki seçeneğin önemli olmasının nedeni budur. Büyük/küçük harf durumunu ve noktalama işaretlerini yoksaymak, konuşma içeriklerini karşılaştırmak için normal ayardır; çünkü önemli olan bir virgülün nereye geldiği değil, kelimelerin doğru olup olmadığıdır. Biçimlendirme değerlendirdiğiniz şeyin bir parçası olduğunda (örneğin büyük/küçük harf ve noktalamanın teslimatın bir parçası olduğu bir altyazı dosyası) bunları kapatın. Tek bir doğru ayar yoktur. Dürüst yaklaşım birini seçmek, karşılaştırdığınız her transkriptte bunu sabit tutmak ve hangisini kullandığınızı belirtmektir.

Sayılar, uzun yazılan kelimeler ve kısaltmalar da oranı artıran diğer yaygın unsurlardır. Referansınızda “cannot”, transkriptte ise “can’t” yazıyorsa, dinleyen biri bunu asla fark etmeyecek olsa bile bu bir değiştirmedir. Katı bir kıyaslama için önce her iki tarafı da standartlaştırırsınız; hızlı bir kontrol içinse seçenekler genellikle yeterlidir.

WER, CER ve Kelime Doğruluğu

Kelime doğruluğu (Word accuracy), daha yüksek olanın daha iyi olması için tersine çevrilmiş haliyle yalnızca 1 - WERdir. Aynı çekinceleri taşısa da bir rapor için daha samimi bir sayıdır ve eklemeler biriktiğinde bir transkript “tüm kelimelerin yanlış” olmasından daha kötü olabileceği için sıfırda sınırlandırılmıştır.

Karakter Hata Oranı (CER), aynı düzenleme mesafesi sayımını kelimeler yerine karakterler üzerinde yapar. CER; kelime sınırları güvenilir olmadığında, İngilizce gibi kelimeler arasında boşluk bırakmayan diller için veya neredeyse doğru olan bir kelimeye kısmi puan vermek istediğinizde daha iyi bir metriktir. “recognize” ile “recognise” karşılaştırması WER kapsamında tam bir değiştirmedir, ancak CER kapsamında tek karakterlik bir düzenlemedir; bu nedenle CER, kıl payı kaçırmalarda daha düşük ve genellikle daha adil bir sonuç verir.

İngilizce konuşmalar için ana başlık olarak WER’i kullanın, düşük bir WER kıl payı kaçırmalarda hâlâ çok acımasız hissettirdiğinde CER’e göz atın ve hata oranlarıyla içli dışlı olmayan birine sonuç sunarken kelime doğruluğunu belirtin.

Kelime Hata Oranını Kimler Kontrol Eder

Transkripsiyon sağlayıcılarını karşılaştıran ekipler, aynı sesi her birinden geçirir, referans olarak bir klibi elle deşifre eder ve her bir aracın çıktısını buna göre puanlar. WER, “bu daha iyi hissettirdi” ifadesini savunabilecekleri somut bir sayıya dönüştürür.

Konuşma tanıma üzerine çalışan araştırmacılar ve öğrenciler, ortak bir ölçüt olduğu için WER’i raporlar. Bir model değişikliği, yalnızca ayrılmış (held-out) bir referans setinde WER düştüğünde bir gelişme sayılır.

Altyazı ve yerelleştirme ekipleri, bir transkript çeviriye veya bir altyazı dosyasına gitmeden önce WER’i kontrol eder; çünkü bu aşamadaki bir hata ilerleyen süreçte katlanarak artar. Ayrıca transkripsiyon için ödeme yapmış ve parasının karşılığını alıp almadığını bilmek isteyen herkes, tahmin yürütmek yerine bunu burada ölçebilir.

Rakamı Elde Ettikten Sonra

Puanladığınız transkript kaba taslak çıktıysa ve başlamak için daha temiz bir metin istiyorsanız, transkript oluşturucu konuşmacı etiketleriyle birlikte transkripti üretir ve yapay zeka transkript denetleyicisi, kıyaslayabileceğiniz bir referansınız olmadığında tek bir transkriptin son okumasını yapar. Puanlanan bir transkriptten memnun kaldığınızda onu bir altyazı dosyasına dönüştürmek için metinden SRT’ye dönüştürücü zamanlamayı halleder.

Bkz. mevcut transkripsiyon modelleri ve ölçüm yöntemi.

ScreenApp’ten Puanlanacak Bir Transkript Alın

Bu sayfadaki kontrol cihazınızda çalışır ve hesap gerektirmez. Kayıtta ne söylendiği veya ne gösterildiğine dair yanıtlar almak için kaydı ScreenApp’e yükleyin. Soruyu sormaya hazır şekilde ScreenApp’i açmak için bir soruya tıklayın.

ScreenApp’te transkriptteki bir ana tıklamak, oynatıcıyı kayıttaki o noktaya atlar, böylece herhangi bir yanıtı kayda bakarak doğrulayabilirsiniz.

Her Plan Burada Ne İşe Yarar

Bu sayfadaki araç ücretsizdir ve ücretsiz kalacaktır. Bir hesap, bu adımdan önceki veya sonraki adım içindir.