Databanka evaluačních nástrojů
IPREV uživatelům nabízí kolekci nástrojů pro provádění evaluace preventivních programů a intervencí. Některé z nich jsou velmi jednoduché, jiné vyžadují více dovedností a odbornosti, včetně schopnosti vyhodnocení a interpretace výsledků. Jedná se o první generaci této národní databanky nástrojů, která v průběhu dalšího období projde vývojem a zdokonalením. Nyní je k dispozici pouze základní soubor nástrojů, spolu s uživateli poté budeme vyvíjet druhou generaci s lepším tříděním, vyhledáváním a s ukázkami z praxe.
Evaluace (hodnocení) a testování preventivních aktivit je složitá a odborně náročná činnost. Proto jsme pro naše uživatele připravili různé ukázky evaluačních projektů a ukázek dobré praxe. Některé z nich jsou jednoduché a pomáhají lépe pochopit použití nástrojů dostupných v databance evaluačních nástrojů, jiné v podstatě nejsou použitelné samostatně a jejich aplikace vyžaduje širší rámec samostatné studie. Nejvyšší hodnotu dnes mají zejména studie kombinující experimentální výzkumné designy spolu s kvalitativními metodami.
K evaluaci lze přistupovat z různých stran. Zjednodušeně řečeno, na jedné straně stojí standardy jako univerzální nástroj nastavující jasné požadavky, na druhé pak přímé vyhodnocování dopadů programů a intervencí. V České republice jsou kombinovány oba přístupy. Zprvu byla na základě přehledu odborné literatury a praktických zkušeností s realizací preventivních programů formulována a publikována obecná představa o tom, jaké faktory ovlivňují účinnost primární prevence, poté došlo k vytvoření standardů odborné způsobilosti (standardů kvality) a k jejich navázání na certifikační proces. Typy evaluací lze rozdělit dle několika klíčů, například dle nakládání s výsledky, dle hodnocených fází, nebo na základě užitého výzkumného designu.
Z hlediska výsledků lze rozlišit formativní evaluaci, která si klade za cíl nalézt silné a slabé stránky evaluované intervence a navrhnout změny, jež povedou ke zlepšení. Cílem formativní evaluace je tedy změna stavu k lepšímu, nikoliv postih za případné chyby v poskytování intervence nebo programu. Naopak důsledkem normativní evaluace mohou být sankce, nižší finanční podpora nebo zrušení programu.
Z hlediska procesu rozlišujeme evaluaci přípravy, procesu a výsledku.
Z hlediska výzkumného designu je rozlišováno, zda jde o experimentální, kvaziexperimentální, či neexperimentální evaluaci. Rozdíl je v přítomnosti nebo absenci použití experimentální a kontrolní skupiny vybrané náhodným výběrem.
Pro více informací o metodách a odlišných přístupech k evaluaci viz kapitola 2 v publikaci Miovský et al. (2015).: Kvalita a efektivita v prevenci rizikového chování dětí a dospívajících a kapitola 7 v publikaci Výkladový slovník základních pojmů školské prevence rizikového chování.
Shrnutí
Evaluace preventivních aktivit je nezbytná pro zajištění kvality a účinnosti programů, Slouží nejen ke zjištění efektivity, ale i ke zlepšování programů a rozhodování o jejich dalším financování nebo úpravách. V praxi se využívají různé typy evaluací podle účelu, fáze programu nebo výzkumného designu.
- Formativní evaluace pomáhá zlepšovat programy, hledá silné a slabé stránky, nehodnotí „špatné“ výsledky sankcemi.
- Normativní evaluace porovnává programy se standardy a může vést ke snížení podpory či zrušení programu.
- Evaluace přípravy zkoumá, zda je program dobře připravený, cílený a proveditelný ještě před jeho realizací.
Formativní evaluace
Při formativní evaluaci je hlavním cílem nalézt silné a slabé stránky intervence či programu a navrhnout změny, které povedou k odstranění nedostatků a ke zlepšení programu. U normativní evaluace pak mohou být uděleny sankce realizátorům programu za nedostatky, může dojít ke zrušení programu, snížení dotace apod. Při normativní evaluaci porovnáváme hodnocený program např. s již existujícími standardy nebo jej srovnáme s jiným programem.
Evaluace přípravy
Evaluace přípravy je proces, při kterém je sledována kvalita managementu, příprava finančního a materiálního zajištění, dokumentace a adekvátní vzdělání realizátorů. V praxi to znamená, že dříve, než je jakýkoli program (projekt, služba...) spuštěn, je posouzena úroveň jeho přípravy a adaptace do prostředí konkrétní školy.
Při evaluaci procesu přípravy je nezbytné sledovat, zda před vlastní realizací projektu byly uspokojivě zodpovězeny následující otázky:
- Je plánovaná intervence vůbec potřebná? Je adekvátně zdůvodněno, proč má být provedena? Je empiricky ověřeno, že daná cílová skupina potřebuje právě tento program a že zvolené metody odpovídají cílové skupině?
- Je dokumentace projektu provedena na adekvátní úrovni? Odpovídá kvalita přípravné dokumentace rozsahu, náročnosti a předpokládanému efektu plánované intervence?
- Je dostatečně popsána a identifikována cílová skupina? Jsou jasně popsány charakteristiky cílové skupiny, její odlišnosti od obecné populace, její specifika, která je třeba při přípravě intervence zohlednit?
- Je cílová skupina zvolena adekvátně vzhledem k plánované preventivní intervenci? Odpovídá obsah a forma programu úrovni cílové skupiny? Je intervence dostatečně atraktivní pro cílovou skupinu, aby upoutala její pozornost a facilitovala předpokládanou změnu chování, případně posilovala protektivní faktory?
- Jsou plánované intervence vhodně kombinovány? Navazují na sebe a doplňují se?
- Je časový a celkový realizační plán realistický? Je možné realizovat plánované aktivity v požadované kvalitě v plánovaném časovém úseku?
- Jsou cíle intervence/programu jasně definovány? Jsou dosažitelné? Je proveden reálný odhad, u jak velké části cílové skupiny je možno očekávat navození změny chování? Jsou připraveny nástroje na ověření, zda či do jaké míry bylo cílů dosaženo?
- Má intervence nebo program jasný a zdůvodněný ekonomický rámec? Odpovídají náklady obvyklým cenám? Odpovídají náklady přínosům z navození předpokládané změny chování u cílové skupiny?