Publikace na Matematicko-fyzikální fakulta |
2017
Abstrakt
Slovní vektory jsou rozhraním mezi světem diskrétníh jednotek slov a spojitým světem neuronových sítí. V této práci prozkoumáme různé druhy jejich inicializace na čtyrech úlohách z oblasti zpracování přirozeného jazyka a dvou různých neuronových architekturách.
Potvrdíme, že předtrénované embeddingy rychleji konvergují k řešení a že pro náhodnou inicializaci nezávisí tolik na odchylce.