Publikace na Matematicko-fyzikální fakulta |
2011
Abstrakt
WMT (Workshop on Statistical Machine Translation) konaný každoročně od roku 2006, se stal jedním z nejvýznamnějších workshopů ACL. Součástí tohoto workshopu je úloha (soutěž) s vyhodnocením systémů strojového překladu, a to zejména na základě lidského hodnocení kvality překladů.
Závěrečná správa z každého workshopu uvádí přehled hlavních dosažených výsledků, ovšem nezbývá v ní místo pro hlubší analýzu. Cílem tohoto článku je prozkoumat a vysvětlit některé zajímavosti a rozpory v uváděných výsledcích.
Provedená analýza ukazuje, jak by měly (a neměly) být interpretovány tyto výsledky. Článek také uvádí některá doporučené do budoucna pro organizátory WMT.