Publikace na Matematicko-fyzikální fakulta |
2014
Abstrakt
Článek představuje výsledky soutěže v automatickém hodnocení kvality strojového překladu (WMT14 Metrics Shared Task). Úkolem účastníků bylo vyhodnotit kvalitu překladových systémů, které se zúčastnily překladové úlohy WMT14. Získaných 23 metrik od 12 týmů jsme pak společně se 6 základními metrikami (BLEU, NIST, WER, PER, TER a CDER) porovnali z hlediska korelace s lidským hodnocením pro celý testset i pro jednotlivé věty.