Sylabus
Dopředné hluboké neuronové sítě
- Základní architektury a aktivační funkce
- Optimalizační algoritmy pro trénování hlubokých modelů
Regularizace hlubokých modelů
- Klasická regularizace využívající penalizaci normou parametrů
- Dropout
- Batch Normalization
- Víceúlohové učení
Konvoluční neuronové sítě
- Konvoluční a slučující (pooling) vrstvy
- Architektury vhodné pro velmi hluboké konvoluční sítě
- Nejlepší známé modely pro rozpoznávání obrazu, detekci objektů a segmentaci obrazu
Rekurentní neuronové sítě
- Základní rekurentní sítě a problémy jejich trénování
- Long short-term memory
- Gated recurrent units
- Obousměrné a hluboké rekurentní sítě
- Enkodér-dekodér architektury typu věta na větu
Praktická metodika
- Výběr vhodné architektury
- Volba hyperparametrů
Zpracování přirozeného jazyka
- Distribuovaná reprezentace slov
- Reprezentace slov jako sekvence znaků
- Nejlepší známé algoritmy pro morfologické značkování, rozpoznávání pojmenovaných entit, strojového překladu, popisování obrázků
Hluboké generativní modely
- Variační autoenkodéry
- Generativní protivnické (adversarial) sítě
Structured prediction
- CRF vrstva
- CTC loss a její aplikace v nejlepších známých algoritmech rozpoznání řeči
Úvod do hlubokého zpětnovazebního učení
Anotace
Neuronový strojový překlad se v posledních letech stal novým zajímavým a úspěšným paradigmatem strojového překladu. S novým paradigmatem přichází nové teoretické koncepty a způsob, jakým se nahlíží na (staré známé) problémy strojového překladu.
Cílem tohoto semináře je seznámit studenty do hloubky s koncepty neuronového strojového překladu takovým způsobem, aby byli schopni samostatně studovat vědecké články, které prezentují nová zlepšení v rámci neuronového strojového překladu.