Lingivisticky vylepšený výběr dat pro jazykové modelování na základě perplexity

Abstrakt

Tento článek se zabývá použitím lingvistiké informace pro výběr dat pro trénování jazykových modelů. Navrhovaná metoda vychází ze známých a používaných postupů, které využívají povrchových tvarů slov, a obohacuje je o informace o lemmatech, pojmenovaných entitách a slovních druzích.

Klíčová slova

• lingivisticky
• vylepšený
• výběr
• jazykové
• modelování
• základě
• perplexity