Abstrakt
Mnohé studie zkoumaly reprezentace vznikající v neuronových sítích trénovaných pro úkoly NLP a zkoumaly, jaké jazykové informace na úrovni slov mohou být v reprezentacích zakódovány. V klasickém sondování je klasifikátor trénován na reprezentacích k získání cílové jazykové informace.
Hrozí však, že si klasifikátor pouze zapamatuje jazykové popisky pro jednotlivá slova, místo toho, aby z vyjádření vytěžil jazykové abstrakce, čímž by vykázal falešně pozitivní výsledky. I když bylo vynaloženo značné úsilí na minimalizaci problému s memorizací, úkol skutečně změřit množství memorizace odehrávající se v klasifikaci byl zatím podceněn.
V naší práci navrhujeme jednoduchou obecnou metodu měření memorizačního efektu, založenou na symetrickém výběru srovnatelných sad viděných a neviděných slov pro trénování a testování. Naši metodu lze použít k explicitní kvantifikaci množství memorování, které se děje, aby bylo možné zvolit adekvátní nastavení a výsledky sondování bylo možné spolehlivěji interpretovat.
To dokl