Reprezentatywna próbka
Test obejmuje materiał podobny do nagrań, które będą przetwarzane po wdrożeniu. Powinien zawierać typową akustykę, liczbę mówców, lokalne nazwy i fragmenty o różnym poziomie trudności.
Pełny tekst i informacje krytyczne
Metryka WER opisuje liczbę wstawień, usunięć i zamian słów względem transkrypcji referencyjnej. Jest użyteczna, ale nie pokazuje wprost ryzyka dokumentu. Pomyłka w spójniku ma inne znaczenie niż pomyłka w kwocie, nazwisku lub wyniku głosowania.
Dlatego osobno oceniamy:
- osoby i funkcje,
- kwoty, daty i terminy,
- numery uchwał i punktów,
- nazwy jednostek oraz miejscowości,
- decyzje, zadania i odpowiedzialność,
- synchronizację napisów.
Czas do sprawdzonego rezultatu
Automatyczne generowanie może trwać krótko, ale celem jest ograniczenie całkowitego czasu od nagrania do zaakceptowanego materiału. Pomiar obejmuje przygotowanie kontekstu, korektę, redakcję i eksport.
Zasady publikowania wyników
Każdy publikowany test powinien wskazywać próbkę, warunki dźwięku, sposób przygotowania transkrypcji referencyjnej, mierzone elementy i ograniczenia. Nie będziemy publikować procentów skuteczności bez danych pozwalających je odtworzyć i właściwie zinterpretować.
Kontrola dokumentu pochodnego
Protokół lub streszczenie ocenia się osobno od transkrypcji. Sprawdzamy zgodność z materiałem źródłowym, kompletność wymaganych elementów, neutralność, brak dopisanych faktów oraz zgodność ze wzorem organizacji.