Publikace na Matematicko-fyzikální fakulta |
2022
Abstrakt
Comet je nedávno navržená trénovatelná neurální vyhodnocovací metrika vyvinutá pro hodnocení kvality systémů strojového překladu. V tomto článku prozkoumáme použití Cometu pro vyhodnocování systémů sumarizace textu – přestože jsme byli vyškoleni na vícejazyčné výstupy MT, funguje pozoruhodně dobře v jednojazyčném prostředí, když předpovídá kvalitu výstupu sumarizace.
Představujeme variantu modelu -- Comes -- trénovanou na anotovaných sumárních výstupech, která využívá MT data pro předtrénování. Zkoumáme jeho výkon na několika souborech dat s lidskými úsudky shromážděnými pro různé pojmy souhrnné kvality, které pokrývají několik domén a jazyků.