Publikace na Matematicko-fyzikální fakulta |
2020
Abstrakt
Tato práce se zaměřuje na analýzu formy a rozsahu syntaktické abstrakce zachycené BERT extrahováním označených stromů závislosti ze sebepozornosti. Předchozí práce ukázaly, že jednotlivé hlavy BERT mají tendenci kódovat konkrétní typy vztahů závislosti.
Rozšiřujeme tato zjištění explicitním porovnáním vztahů BERT s anotacemi Universal Dependencies (UD), což ukazuje, že se často neshodují jedna ku jedné. Navrhujeme metodu pro identifikaci vztahu a syntaktickou stavbu stromu.
Náš přístup vytváří podstatně více konzistentních stromů závislosti než předchozí práce, což ukazuje, že lépe vysvětluje syntaktické abstrakce v BERT. Zároveň ji lze úspěšně aplikovat jen s minimální mírou dohledu a dobře zobecňuje napříč jazyky.
