Soutěž ve strojovém překladu WMT používá od roku 2007 ruční hodnocení, kdy anotátor vidí najednou pět kandidátských překladů. Přes relativně dlouhou dobu používání nemáme dosud jasnou představu, co přesně anotátoři dělají.
Tento článek představuje pilotní studii s osmi anotátory, jejichž oční pohyby jsme během hodnocení zaznamenávali na eyetrackeru a následně vyhodnotili.