Charles Explorer logo
🇨🇿

IBM’s Belief Tracker: Výsledky na datasetu ze soutěže Dialog State Tracking Challenge

Publikace na Matematicko-fyzikální fakulta |
2014

Abstrakt

Přesné sledování stavu dialogu je zásadní pro návrh efektivního mluveného dialogového systému. Až do nedávné doby bylo kvantitativní srovnání různých metod sledování stavu obtížné.

Soutěž sledování stavu dialogu v roce 2013 (DSTC) zavedla společou datovou a metriky, které umožňují vyhodnotit výkon různých systémů na jedné standardizované úloze. V tomto příspěvku předtsavujeme náš systém založený na modelu HIS (Hidden Information State) s upravenou komponentou uživatelského modelu.

Dále uvádíme výsledky našeho trackeru na datovém souboru test3 z DSTC. Náš tracker je konkurenceschopný s trackery z DSTC, a to i bez dalšícho trénovaní.

Dosahuje nejlepších výsledků v metrikách L2 a provádí přesnost mezi druhým a třetím místem. Po dotrénování systémů pomocí poskytnutých dat naše metoda překonala ostatní systémy v přesnosti a ještě zlepšila v metrice L2.

Dále předkládáme předběžné výsledky o dalších dvou sadách dat test1 a test2, které byly použity v DSTC. Výsledky metrice L2 znamenají, že náš systém vytváří