Publikace na Matematicko-fyzikální fakulta |
2019
Abstrakt
Zkoumáme vícehlavou sebepozornost v enkodérech Transformer NMT pro tři zdrojové jazyky a hledáme vzory, které by mohly mít syntaktickou interpretaci. V mnoha hlavách pozornosti často nalézáme sekvence po sobě jdoucích stavů, které sledují stejnou pozici, které se podobají syntaktickým frázím.
Navrhujeme transparentní deterministickou metodu kvantifikace množství syntaktické informace přítomné v sebepozornosti, založenou na automatickém vytváření a vyhodnocování frázových stromů z frázovitých sekvencí. Výsledné stromy porovnáváme se stávajícími syntaktickými korpusy, a to jak ručně, tak pomocí výpočtu přesnosti a úplnosti.