Hodnocení kvality a efektivity preventivních intervencí a programů

Evaluace (hodnocení) a testování preventivních aktivit je složitá a odborně náročná činnost. Proto jsme pro naše uživatele připravili různé ukázky evaluačních projektů a ukázek dobré praxe. Některé z nich jsou jednoduché a pomáhají lépe pochopit použití nástrojů dostupných v databance evaluačních nástrojů, jiné v podstatě nejsou použitelné samostatně a jejich aplikace vyžaduje širší rámec samostatné studie. Nejvyšší hodnotu dnes mají zejména studie kombinující experimentální výzkumné designy spolu s kvalitativními metodami.

K evaluaci lze přistupovat z různých stran. Zjednodušeně řečeno, na jedné straně stojí standardy jako univerzální nástroj nastavující jasné požadavky, na druhé pak přímé vyhodnocování dopadů programů a intervencí. V České republice jsou kombinovány oba přístupy. Zprvu byla na základě přehledu odborné literatury a praktických zkušeností s realizací preventivních programů formulována a publikována  obecná představa o tom, jaké faktory ovlivňují účinnost primární prevence, poté došlo k vytvoření standardů odborné způsobilosti (standardů kvality) a k jejich navázání na certifikační proces. Typy evaluací lze rozdělit dle několika klíčů, například dle nakládání s výsledky, dle hodnocených fází, nebo na základě užitého výzkumného designu.

Z hlediska výsledků lze rozlišit formativní evaluaci, která si klade za cíl nalézt silné a slabé stránky evaluované intervence a navrhnout změny, jež povedou ke zlepšení. Cílem formativní evaluace je tedy změna stavu k lepšímu, nikoliv postih za případné chyby v poskytování intervence nebo programu. Naopak důsledkem normativní evaluace mohou být sankce, nižší finanční podpora nebo zrušení programu.

Z hlediska procesu rozlišujeme evaluaci přípravy, procesu a výsledku.

Z hlediska výzkumného designu je rozlišováno, zda jde o experimentální, kvaziexperimentální, či neexperimentální evaluaci. Rozdíl je v přítomnosti nebo absenci použití experimentální a kontrolní skupiny vybrané náhodným výběrem.

Pro více informací o metodách a odlišných přístupech k evaluaci viz kapitola 2 v publikaci Miovský et al. (2015).: Kvalita a efektivita v prevenci rizikového chování dětí a dospívajících a kapitola 7 v publikaci Výkladový slovník základních pojmů školské prevence rizikového chování.

Formativní evaluace

Při formativní evaluaci je hlavním cílem nalézt silné a slabé stránky intervence či programu a navrhnout změny, které povedou k odstranění nedostatků a ke zlepšení programu. U normativní evaluace pak mohou být uděleny sankce realizátorům programu za nedostatky, může dojít ke zrušení programu, snížení dotace apod. Při normativní evaluaci porovnáváme hodnocený program např. s již existujícími standardy nebo jej srovnáme s jiným programem.

Evaluace přípravy

Evaluace přípravy je proces, při kterém je sledována kvalita managementu, příprava finančního a materiálního zajištění, dokumentace a adekvátní vzdělání realizátorů. V praxi to znamená, že dříve, než je jakýkoli program (projekt, služba...) spuštěn, je posouzena úroveň jeho přípravy a adaptace do prostředí konkrétní školy.

Při evaluaci procesu přípravy je nezbytné sledovat, zda před vlastní realizací projektu byly uspokojivě zodpovězeny následující otázky:

• Je plánovaná intervence vůbec potřebná? Je adekvátně zdůvodněno, proč má být provedena? Je empiricky ověřeno, že daná cílová skupina potřebuje právě tento program a že zvolené metody odpovídají cílové skupině?

• Je dokumentace projektu provedena na adekvátní úrovni? Odpovídá kvalita přípravné dokumentace rozsahu, náročnosti a předpokládanému efektu plánované intervence?

• Je dostatečně popsána a identifikována cílová skupina? Jsou jasně popsány charakteristiky cílové skupiny, její odlišnosti od obecné populace, její specifika, která je třeba při přípravě intervence zohlednit?

• Je cílová skupina zvolena adekvátně vzhledem k plánované preventivní intervenci? Odpovídá obsah a forma programu úrovni cílové skupiny? Je intervence dostatečně atraktivní pro cílovou skupinu, aby upoutala její pozornost a facilitovala předpokládanou změnu chování, případně posilovala protektivní faktory?

• Jsou plánované intervence vhodně kombinovány? Navazují na sebe a doplňují se?

• Je časový a celkový realizační plán realistický? Je možné realizovat plánované aktivity v požadované kvalitě v plánovaném časovém úseku?

• Jsou cíle intervence/programu jasně definovány? Jsou dosažitelné? Je proveden reálný odhad, u jak velké části cílové skupiny je možno očekávat navození změny chování? Jsou připraveny nástroje na ověření, zda či do jaké míry bylo cílů dosaženo?

• Má intervence nebo program jasný a zdůvodněný ekonomický rámec? Odpovídají náklady obvyklým cenám? Odpovídají náklady přínosům z navození předpokládané změny chování u cílové skupiny?

Evaluace procesu

Při evaluaci procesu se klade důraz na vlastní implementaci programu. V praxi je sledována spokojenost, úroveň kvality prováděných intervencí, připravenost vyškoleného personálu, finanční zajištění, kontrola atd.

Hlavní otázky, na které by měl hodnotitel procesu realizace nalézt odpovědi, pokud možno z různých informačních zdrojů, jsou:

• Je program realizován v souladu s plánem? Je plán dostatečně flexibilní k řešení neočekávaných problémů při realizaci?

• Provádí program osoby s dostatečným vzděláním?

• Jsou používány vhodné pomůcky? Odpovídá způsob použití pomůcek úrovni cílové skupiny?

• Jsou dodržovány ověřené postupy, nebo program obsahuje improvizace (a jak je s nimi zacházeno)? Odpovídá obsah jednotlivých intervencí úrovni na důkazech založených znalostí o daném problému?

• Odpovídá způsob provádění daným kritériím kvality (např. standardům)?

• Je program skutečně akomodován do podmínek konkrétní školy? Respektuje její specifika?

• Doplňuje se prohram s jinými aktivitami na škole? Jak? Je to modelováno (koordinováno), nebo se tak děje živelně?

• Přijímá program cílová skupina? Jak jej hodnotí cílová skupina? Jak jej přijímají další aktéři (pedagogové, rodiče)?

• Jak se zaměstnancům program realizuje? Jak na něj pracovníci sami reagujím („jak se jim provádí“) a co si o něm myslí?

Evaluace výsledku

Při sledování dopadu intervence či programu je výhodné kombinovat kvantitativní a kvalitativní výzkumné metody ke zprostředkování informací o reálném a do kontextu zasazeném výsledku intervence/programu. Plánovaná změna chování se však může v měřitelné míře projevit až po samotném hodnocení programu.