Abstrakt
Evaluace rozpoznávání notopisu (Optical Music Recognition, OMR) je notoricky obtížná a automatické metriky pro evaluaci konečného výstupu OMR nejsou k dispozici. V "Towards a Standard Testbed for Optical Music Recognition: Definitions, Metris and Page Images", Byrd a Simonsen nedávno zdůraznili, že benchmarkovací standard je v komunitě OMR nutný: jak evaluační data, tak metriky.
Navazujeme na jejich analýzu a předkládáme prototyp benchmarku pro OMR. Náš příspěvek není úplné řešení komplexního problému evaluace OMR; je to (a) snaha definovat víceúrovňový testovací dataset pro OMR a implementace jeho prototypu pro tištěná a rukopisná data, (b) na korpusu založená metodologie pro vyhodnocování automatických evaluačních metrik, a příslušný korpus více než 1000 expertních posouzení relativní obtížnosti opravy různých druhů chyb.
Na (b) pak navazujeme vyhodnocením několika přímočarých evaluačních metrik pro MusicXML a nastavujeme tak baseline, kterou další metriky budou zlepšovat.