Publikace na Matematicko-fyzikální fakulta |
2015
Abstrakt
Článek představuje výsledky soutěže v automatickém hodnocení kvality strojového překladu (WMT15 Metrics Shared Task). Úkolem účastníků bylo vyhodnotit kvalitu překladových systémů, které se zúčastnily překladové úlohy WMT15. Získaných 46 metrik od 11 týmů jsme pak společně se 7 základními metrikami (BLEU, SentBLEU, NIST, WER, PER, TER a CDER) porovnali z hlediska korelace s lidským hodnocením pro celý testset i pro jednotlivé věty.