Publikace na Matematicko-fyzikální fakulta |
2022
Abstrakt
Představujeme neautoregresivní systém do sdílené úlohy efektivního překladu na WMT 22. Náš systém byl použit v Helcl et al. (2022) ve snaze poskytnout spravedlivé srovnání mezi neautoregresivními a autoregresními modely.
Tento příspěvek je snahou poskytnout základní výsledky neautoregresivních modelů spolu se správnou metodologií jejich hodnocení, zejména z hlediska měření rychlosti dekódování. Samotný model je 12vrstvý model Transformer trénovaný s konekcionistickou časovou klasifikací (CTC) na znalostně destilované datové sadě pomocí silného autoregresivního učitelského modelu.