Abstrakt
Při hodnocení vědeckého výkonu vysokých škol, Akademie věd ČR a resortních výzkumných pracovišť se v České republice v 21. století vyzkoušely dva rozdílné systémy. Oba spadají pod Radu vlády pro výzkum, vývoj a inovace. První systém fungoval v letech 2013-2016. Hodnotitelé ve společenských vědách posuzovali obvykle všechny odborné publikace, které předchozí rok či dva vyšly. Každou publikaci posuzovali dva hodnotitelé pomocí čtyřstupňové škály, kde 0 znamenala, že publikace nemá charakter vědecké publikace a hodnota 3 byla vyhrazena publikaci, která má evropskou úroveň. Výhodou bylo, že hodnotitelů bylo pro daný vědní obor relativně málo. Mohli se tedy sejít a sladit míru přísnosti hodnocení. Hodnotitelé získávali přehled o tom, co všechno za předchozí období vyšlo tiskem, a mohli porovnávat kvalitu textů. Nevýhodou byl relativně velký počet publikací, které bylo třeba posoudit.
Druhý systém vstoupil v platnost rokem 2017. Jednalo se o nový, odlišný způsob posuzovaní vědeckých publikací (viz Metodika 17+) a také vědní obory byly strukturovány jinak, v souladu s Frascatiho manuálem pro hodnocení vědeckotechnických aktivit (OECD, 2015). Zásadní rozdíl mezi oběma systémy v nebibliometrickém hodnocení byl v tom, že výzkumné instituce už vybíraly pouze 10 % své produkce, tj. tu, kterou považovaly za nejlepší. Výzkumné instituce samy zařazovaly hlášené publikace do jedné ze dvou kategorií: přínos k vědeckému poznání anebo společenská relevance (přínos pro praxi). Hodnotitele nominovaly vysoké školy bez ohledu na jejich specializaci, což činilo problémy.. Počet hodnotitelů za první tři roky narůstal (od 35 až po 55), ale rozdíly v přísnosti hodnocení byly veliké. Používala se pětistupňová škála kde 1 znamení, že jde o špičkovou publikaci a 5 značí, že nejde o vědeckou publikaci a je třeba ji vyřadit z hodnocení. Nově (oproti prvnímu systému) přibylo samostatné bibliografické hodnocení, do něhož patřily publikace evidované v databázi WOS a Scopus. Sledovalo se také, zda časopisy, v nichž publikace vyšly, spadají ve svém vědním oboru do prvního či druhého kvartilu anebo až do třetího či čtvrtého kvartilu. V porovnání vědeckých výstupů publikovaných v časopisech spadajících do 1. a 2. kvartilu ČR zaostává za 11 srovnatelnými evropskými zeměmi.