Publikace na Matematicko-fyzikální fakulta |
2022
Abstrakt
Představujeme vítězný systém z CRAC 2022 Shared Task on Multilingual Coreference Resolution. Náš systém nejprve rozpoznává koreferenční zmínky a poté předpovídá koreferenční odkazy na získaných úsecích.
Oba úkoly jsou trénovány najednou použitím společného předtrénovaného modelu architektury Transformer, kterých vyhodnocujeme širokou škálu. Náš hlavní příspěvek jsou vícejazyčné modely.
Zjistili jsme, že jeden velký vícejazyčný model s dostatečně velkým enkodérem dosahuje nejlepších výsledků na všech datasetech, nejen na nedostatečně zastoupených jazycích či na skupinách typologicky podobných jazyků. Zdrojový kód je dostupný na https://github.com/ufal/crac2022-corpipe.