1. Najpierw prawa i poufność
Do testu wolno użyć wyłącznie fragmentu, na którego przetwarzanie i publikację organizator ma odpowiednie prawa. Nie należy wysyłać nieopublikowanego manuskryptu do zewnętrznego systemu bez sprawdzenia regulaminu, retencji danych i zgody autora.
Publikowany materiał powinien być wystarczająco długi, aby ujawnić głos i spójność, lecz na tyle ograniczony, by legalnie pokazać źródło, warianty i komentarz ekspercki.
2. Porównuj zdefiniowane procesy
Hasła „AI” i „tłumacz” nie opisują warunków badania. Trzeba zapisać model i wersję systemu, prompt, liczbę podejść, dostęp do kontekstu, zakres post-editingu oraz czas pracy. Po stronie człowieka trzeba opisać doświadczenie, brief, materiały referencyjne i możliwość zadawania pytań.
Uczciwy test może porównywać surowy wynik AI z pierwszym przekładem człowieka albo dwa finalne teksty po jasno zdefiniowanych etapach. Nie wolno mieszać tych modeli w jednym werdykcie.
3. Zbuduj próbkę z różnymi wyzwaniami
Fragment powinien zawierać kilka rodzajów decyzji: narrację, dialog, idiom, odniesienie kulturowe, zmianę tempa oraz miejsce wieloznaczne. Inaczej test zmierzy jedynie poprawność prostych zdań.
Przed badaniem należy spisać funkcję każdego trudnego miejsca. Pozwala to później ocenić, czy wariant zachował intencję, zamiast wybierać zdanie brzmiące najbardziej efektownie w izolacji.
4. Ślepa ocena i metryki
Oceniający nie powinni wiedzieć, kto przygotował wariant. Każdy tekst otrzymuje neutralny kod, a kolejność jest losowana. Wynik powinien łączyć rubrykę jakościową z liczbą błędów krytycznych, czasem potrzebnym do doprowadzenia tekstu do publikacji i opisem rozbieżności między oceniającymi.
Warto osobno mierzyć głos, znaczenie, dialog, spójność, naturalność, research oraz koszt poprawek. Jedna średnia może ukryć błąd zmieniający sens sceny.
5. Co można uczciwie opublikować
Raport powinien zawierać materiał źródłowy, pełne warunki, wersje tekstu, kryteria, liczbę i profil oceniających, surowe wyniki oraz ograniczenia. Model AI musi być identyfikowalny, ponieważ jego zachowanie może zmienić się po aktualizacji.
Do czasu wykonania takiego testu nie publikujemy tabeli zwycięzców ani procentowej przewagi. Protokół jest obecnie podstawą przyszłego eksperymentu, nie jego wynikiem.
Źródła i materiały referencyjne
Zastosuj to do swojej książki
Sprawdź głos na reprezentatywnym fragmencie.
Opisz książkę i wybierz próbkę jako pierwszy krok. Nie musisz od razu decydować o całym przekładzie.
Sprawdź swój głos na próbce