Publikace na Matematicko-fyzikální fakulta |
2020
Abstrakt
Neurální sítě trénované na zpracování přirozeného jazyka zachycují syntaxi, i když není poskytována jako signál dohledu. To naznačuje, že syntaktická analýza je nezbytná pro podcenění jazyka v systémech umělé inteligence.
Tento přehledný dokument se zabývá přístupy k hodnocení množství syntaktických informací obsažených v reprezentacích slov pro různé architektury neuronových sítí. Shrnujeme především výzkum anglických jednojazyčných dat o úkolech jazykového modelování a vícejazyčných dat pro systémy neurálního strojového překladu a vícejazyčné jazykové modely.
Popisujeme, které předcvičené modely a znázornění jazyka jsou nejvhodnější pro přenos do syntaktických úloh.