Evaluace současných nejlepších end-to-end systémů pro generování přirozeného jazyka: E2E NLG Challenge
Abstrakt
Tento článek představuje podrobnou analýzu první soutěže v end-to-end generování přirozeného jazyka (NLG) a na základě jejích výsledků naznačuje směr budoucího výzkumu. Cílem této soutěže úkolu bylo posoudit, zda moderní end-to-end systémy NLG mohou generovat komplexnější výstup, jsou-li natrénovány z dat lexikálně bohatších, syntakticky složitějších a zahrnujících různé diskurzní jevy.
S použitím nových automatických a lidských metrik porovnáváme 62 systémů zaslaných do soutěže 17 institucemi, které zahrnují širokou škálu přístupů, včetně architektur strojového učení - kde většina implementací jsou modely typu sequence-to-sequence (seq2seq) - i systémů založených na gramatických pravidlech a šablonách. Systémy založené na architektuře seq2seq ukázaly v této souteži velký potenciál pro NLG.
Zjistili jsme, že seq2seq systémy mají obecně vysoké skóre, pokud jde o metriky založené na překryvu slov a lidské hodnocení přirozenosti/plynulosti; vítězný systém Slug (Juraska et al., 2018) je založený na seq2se