Charles Explorer logo
🇨🇿

Tolerantní BLEU: řešení soutěžního úkolu WTM14 Metrics Task

Publikace na Matematicko-fyzikální fakulta |
2014

Abstrakt

Článek popisuje metriku pro automatickou evaluaci strojového překladu, odeslanou jako řešení soutěžního úkolu WMT14 Metrics Task. Jedná se o jednoduchou modifikaci známého BLEU skóre, která používá párování slov v testovací a referenční větě v cílovém jazyce.

Počítá se vždy nejmenší párování zhledem k relativní editační vzdáleností prefixů a sufixů slov. Spárovaná slova v testovací věty jsou nahrazena slovy z referenčního překladu.

Při výpočtu n-gramové přestnoti jsou pak n-gramy obsahující taková slova penalizovány proporcionálně ke vzdálenosti, podlé které se slova párovala.