Sylabus
Dopředné hluboké neuronové sítě
- Základní architektury a aktivační funkce
- Optimalizační algoritmy pro trénování hlubokých modelů
Regularizace hlubokých modelů
- Klasická regularizace využívající penalizaci normou parametrů
- Dropout
- Label smoothing
- Batch normalization
- Víceúlohové učení
Konvoluční neuronové sítě
- Konvoluční a slučující (pooling) vrstvy
- Architektury vhodné pro velmi hluboké konvoluční sítě
- Nejlepší známé modely pro rozpoznávání obrazu, detekci objektů a segmentaci obrazu
- Předtrénování a finetuning hlubokých neuronovách sítí
Rekurentní neuronové sítě
- Základní rekurentní sítě a problémy jejich trénování
- Long short-term memory
- Gated recurrent units
- Obousměrné a hluboké rekurentní sítě
- Enkodér-dekodér architektury typu věta na větu
Praktická metodika
- Výběr vhodné architektury
- Volba hyperparametrů
Zpracování přirozeného jazyka
- Distribuovaná reprezentace slov
- Reprezentace slov jako sekvence znaků
- Transformer architektura
- Nejlepší známé algoritmy pro morfologické značkování, rozpoznávání pojmenovaných entit, strojového překladu, popisování obrázků
Hluboké generativní modely
- Variační autoenkodéry
- Generativní protivnické (adversarial) sítě
- Generování řeči
Strukturovaná predikce
- CRF vrstva
- CTC loss a její aplikace v nejlepších známých algoritmech rozpoznání řeči
Úvod do hlubokého zpětnovazebního učení
Neuronové sítě s externí pamění
Anotace
V několika posledních letech byly hluboké neuronové sítě použity při řešení komplexních úloh strojového učení a dosáhly nejlepších známých výsledků v mnoha oblastech. Cílem přednášky je seznámení s hlubokými neuronovými sítěmi, od základů k nejnovějším technikám.
Přednáška se zaměří jak na teorii, tak na skutečné použití hlubokých neuronových sítí (studenti vytvoří a natrénují několik hlubokých sítí, které budou schopné dosáhnout nejlepších známých výsledků, např. v oblasti rozpoznávání obrazu, 3d objektů, řeči, generování obrazu či hraní her).