Abstrakt
Zkoumáme vliv trénování modelů NMT na více cílových jazyků. Předpokládáme, že integrace více jazyků a zvýšení jazykové rozmanitosti povedou k silnějšímu zastoupení syntaktických a sémantických rysů zachycených modelem.
Testujeme naši hypotézu na dvou různých architekturách NMT: široce používaná architektura transformátorů a architektura Attention Bridge. Trénujeme modely na datech Europarl a kvantifikujeme úroveň syntaktických a sémantických informací objevených modely pomocí tří různých metod: úkoly lingvistického průzkumu SentEval, analýza struktur pozornosti týkající se inherentních informací o frázích a závislostech a strukturální sonda na kontextových reprezentacích slov.
Naše výsledky ukazují, že s rostoucím počtem cílových jazyků model Attention Bridge stále více získává určité jazykové vlastnosti, včetně některých syntaktických a sémantických aspektů věty, zatímco transformátorské modely jsou do značné míry nedotčeny. Posledně uvedené platí také pro frázovou strukturu a syntaktické závislosti