Detekce posteditovaných referenčních překladů a jejich vliv na lidské hodnocení překladu

Abstrakt

Článek poskytuje stručný přehled možných metod, jak zjistit, že referenční překlady byly ve skutečnosti vytvořeny posteditací strojového překladu. Využity byly dvě metody založené na automatických metrikách: 1. rozdíl BLEU mezi podezřelým MT a některým jiným dobrým MT a 2. rozdíl BLEU s využitím dalších referencí.

Tyto dvě metody odhalily podezření, že oficiální reference z WMT 2020 je ve skutečnosti posteditovaný strojový překlad. Toto podezření bylo potvrzeno při manuální analýze zjištěním konkretních dokladů o posteditačním postupu.

Také byla vytvořena typologie posteditačních změn, kde jsou uvedeny některé chyby nebo změny provedené posteditorem, nebo také chyby převzaté ze strojového překladu.

Klíčová slova

• detekce
• posteditovaných
• referenčních
• překladů
• jejich
• vliv
• lidské
• hodnocení
• překladu