Publikace na Matematicko-fyzikální fakulta |
2010
Abstrakt
Článek představuje několik způsobů měření a evaluace anotace a anotátorů, které byly navrženy a používány při anotaci české části Pražského česko-anglického závislostního korpusu: měření mezianotátorské shody, chybovosti a výkonu anotátorů. Měření shody je komplikováno faktem, že při anotaci bylo možné přidávat i mazat uzly, takže není snadné zjistit, které uzly si odpovídají.
Míra chybovosti je zjišťována pomocí sady kontrolních procedur, které sledují platnost daných invariantů v datech. Výkon anotátorů je zaznamenáván pomocí "účetní" webové aplikace.
Všechny tři metody jsou poté porovnány a uvedeny do souvislostí.