TrTok: Rychlý a trénovatelný tokenizér pro přirozené jazyky

Abstrakt

Představujeme univerzální nástroj pro segmentaci a tokenizaci textů, který uživateli dovoluje nadefinovat potenciální hranice vět a slov a na základě trénovacích dat se naučí hranice hledat.

Klíčová slova

• trtok
• rychlý
• trénovatelný
• tokenizér
• přirozené
• jazyky