Úvod do evaluace veřejných programů

Sylabus

Struktura a náplň kurzuKurz je složen ze tří hlavních částí – přednášek, domácí četby doporučené literatury a diskuse/prezentace při hodinách – a není věcně zaměřený na konkrétní politiku nebo sektor. Důraz je kladen na obecnou uplatnitelnost probíraných přístupů a metod, jejichž aplikace bude ilustrována na příkladech rozmanitých zahraničních i tuzemských veřejných programů.

Uvítáme také, pokud se studenti ve svých projektech zaměří na specifickou oblast svého zájmu.Forma kontroly studia (požadavky na ukončení předmětu)Nezbytnými předpoklady pro absolvování kurzu jsou (1) příprava na přednášky a účast na diskusích. Studenti musí mít přečtené texty a články určené k diskusi na daný blok výuky a v předstihu poslat vyučujícím své otázky vztahující se k tématu.

Mimo to je každý student povinen (2) napsat jeden kritický komentář ke zvolenému odbornému článku schváleného garantem kurzu a (3) vypracovat individuální nebo týmový evaluační projekt. Postup přípravy projektu, jehož finální verze bude odevzdána v elektronické podobě, je popsán níže.Ad 1) Příprava na diskusiKe každému výukovému bloku je připravený seznam povinné a doporučené literatury k domácímu studiu.

Výběr literatury se snaží pokrýt klíčové aspekty probíraného tématu a ilustrovat různé metodologické přístupy a problémy spojené s evaluací. Metodologické texty budou diskutovány na setkáních, je proto bezpodmínečně nutné je přečíst předem a připravit si případné dotazy a náměty k diskusi.

Případové studie není nutné číst všechny, slouží především jako ilustrace probíraného tématu a inspirace pro studentské projekty.Ad 2) Kritický komentářKaždý ze studentů si vybere jeden odborný text, který se zabývá evaluací konkrétní intervence. Může to být článek z recenzovaného časopisu nebo evaluační zpráva, v ideálním případě by měl mít zvolený text vztah k týmovému evaluačnímu projektu (po věcné a/nebo metodologické stránce).

Po schválení výběru garantem zpracuje každý student kritický komentář (cca 5 NS). Ten má formu plynulého strukturovaného textu (podobně jako např. odborná knižní recenze) ve kterém se zaměří především na následující aspekty posuzovaného textu:•    účel textu, výzkumné cíle a otázky, popř. hypotézy;•    typ evaluace (formativní / souhrnná; vnitřní / vnější atd.);•    metodologie (design, metody sběru a analýzy dat atd.);Hlavním účelem komentáře není výtah z textu, nýbrž jeho celkové kritické zhodnocení z hlediska hlavních závěrů studie, její vypovídací hodnoty, silných a slabých stránek zvoleného přístupu a možností zobecnění výsledků.

Komentář se odevzdává v elektronické podobě na adresu garanta předmětu. Ad 3) Příprava týmového evaluačního projektu•    Krok 1: Specifikace programupopis vybraného programu (3-4 strany) – problém, který intervence řeší, zamýšlené cílové skupiny, předpokládané přínosy a kauzální model, na němž je program založen.

Součástí je také kritické zhodnocení teorie programu. V případě, že pracujete se vzorovým projektem, specifikujte, které části byly upraveny/doplněny.•    Krok 2: Cíle evaluace a metodologie dopadové evaluaceS využitím vytvořeného modelu navrhněte vhodný evaluační design se zaměřením na dopadovou evaluaci.

Jeho součástí je formulace evaluačních otázek, operacionalizace klíčových proměnných pro hodnocení dopadů.•    Krok 3: Hodnocení efektivityPopis způsobu, jak budou získané výsledky vyhodnoceny z hlediska efektivity, tj. určování, měření a ohodnocování nákladů a přínosů a jejich analýza.•    Krok 4: Finalizace projektu a jeho prezentaceNa základě předchozích kroků navrhnou jednotlivé týmy srozumitelný a přesvědčivý evaluační plán pro zvolený program. Součástí projektu je i diskuse výhod a nevýhod (silných a slabých stránek) zvoleného designu a důvodů pro jeho volbu.

Témata:Téma 1: Úvodní informace o kurzu a evaluaci veřejných programůTéma 2: Plánování evaluací Téma 3: Vyjádření a vyhodnocení teorie programuTéma 4: Monitoring programu a evaluace procesuTéma 5: Úvod do evaluace efektů: design, vnitřní a vnější validitaTéma 6: Evaluace efektů: experimenty ve veřejné politiceTéma 7: Evaluace efektů: kvazi-experimentální uspořádáníTéma 8: Analýza a interpretace efektů programuTéma 9: Hodnocení efektivity: analýza nákladů a přínosůTéma 10: Evaluace v reálném světě: společenský kontext, politika a etika

Anotace

Fungují veřejné politiky tak, jak bylo zamýšleno? Jaké jsou jejich reálné efekty? A naplňují tyto efekty očekávání, nebo by mohly být vynaložené prostředky využity lépe? Tyto a další otázky si klade relativně mladý obor společenských věd zvaný evaluace. Evaluace jako praktická činnost patří mezi klíčové součásti tvorby a realizace veřejných politik a programů. Jejím hlavním úkolem je poskytování spolehlivých a užitečných informací manažerům, politikům, úředníkům a dalším aktérům veřejné politiky. Evaluace poskytuje zpětnou vazbu, podává informace o tom, co a za jakých podmínek funguje, a jaké činnosti je nutné změnit popř. ukončit. Tento kurz slouží jako úvod do teorie a praxe evaluace programů financovaných z veřejných zdrojů. Studenti se seznámí s hlavními koncepty, evaluačními designy (plány) a metodami evaluačního výzkumu počínaje teorií programu až po hodnocení efektivity jeho účinků a prezentace výsledků evaluace.

Nabité dovednosti využijí při práci jak ve veřejném, tak soukromém nebo neziskovém sektoru (např. u projektů financovaných z Evropského sociálního fondu je evaluace povinnou součástí). Na výuce se podílí zkušení evaluátoři z praxe a studenti se učí na reálných evaluačních projektech. Absolventi kurzu by měli být schopni:

• diskutovat různé účely a typy evaluace veřejných programů;

• vytvořit kompletní návrh evaluačního projektu pro vyhodnocení účinku konkrétního veřejného programu;

• aplikovat základní metody evaluace účinku a vyhodnotit efektivitu programu;

• shrnout a interpretovat výsledky evaluace;

• identifikovat společenské, politické a etické otázky spojené s evaluací.