Publikace na Matematicko-fyzikální fakulta |
2020
Abstrakt
Abstraktivní sumarizaci je notoricky těžké hodnotit, protože standardní metriky založené na překryvu slov jsou nedostatečné. Představujeme novou evaluační metriku, která je založena na vážení obsahu na úrovní faktů, tj. vztažení faktů z dokumentu k faktům ze shrnutí.
Vycházíme z předpokladu, že dobré shrnutí bude odrážet všechna relevantní fakta, tj. ta, která jsou obsažena v referenčním shruntí vytvořeném člověkem. Na potvrzení této hypotézy ukazujeme, že naše váhy velmi dobře korelují s lidským hodnocením a jsou srovnatelné s nedávnou manuální metrikou Hardyho et al. (2019), založenou na zvýrazňování částí textu.