W skrócie

WER porównuje transkrypcję z tekstem referencyjnym i zlicza słowa zamienione, pominięte oraz dodane. W zastosowaniach protokolarnych trzeba dodatkowo osobno mierzyć nazwiska, liczby, daty, głosowania i decyzje oraz czas potrzebny do uzyskania sprawdzonego rezultatu.

Czym jest WER?

Word Error Rate porównuje wynik systemu z ręcznie przygotowanym tekstem referencyjnym. Uwzględnia zamiany, pominięcia i dodatkowe słowa, a ich sumę odnosi do liczby słów w tekście wzorcowym.

Metryka ułatwia porównanie dwóch wyników na tej samej próbce. Nie jest jednak uniwersalnym opisem jakości dokumentu.

Dlaczego ten sam WER może oznaczać inne ryzyko?

Pomyłka w słowie wypełniającym może nie zmieniać sensu. Pomyłka w nazwisku, kwocie albo słowie „przyjęto” może całkowicie zmienić dokument. Dlatego oprócz błędów wszystkich słów trzeba zbudować listę informacji krytycznych dla procesu.

Przygotowanie tekstu referencyjnego

Tekst wzorcowy powinien zostać sprawdzony przez człowieka z nagraniem. Trzeba przyjąć jednolite zasady dotyczące liczb, skrótów, znaków interpunkcyjnych i niepełnych wypowiedzi. Bez nich część różnic będzie wynikała z odmiennego zapisu, a nie z błędu rozpoznawania.

Kategorie informacji krytycznych

nazwiska i funkcje,
miejscowości i jednostki,
kwoty, procenty i daty,
numery uchwał i punktów,
wyniki głosowań,
decyzje oraz zadania,
fragmenty oznaczone jako niezrozumiałe.

Test reprezentatywny

Próbka powinna zawierać cichy i głośny fragment, kilku mówców, lokalne nazwy oraz naturalne zakłócenia. Test tylko na nagraniu studyjnym mówi niewiele o sali sesyjnej lub spotkaniu hybrydowym.

Czas korekty

System z nieco lepszym WER może wymagać więcej pracy, jeśli utrudnia przechodzenie do źródła. Mierz czas od rozpoczęcia projektu do wersji gotowej do zatwierdzenia, liczbę ponownych odsłuchań i czas poprawiania informacji krytycznych.

Jak raportować wynik?

Raport powinien podawać długość próbki, jakość dźwięku, liczbę mówców, zasady referencji, WER, wynik informacji krytycznych i czas korekty. Bez tych danych procent skuteczności nie jest porównywalny.

Pełne zasady opisujemy również w metodologii jakości.

Sprawdź proces na własnym nagraniu

Podczas prezentacji pokażemy drogę od pliku do materiału roboczego, który można zweryfikować i dopasować do procedury organizacji.

Umów prezentację