Door bijvoorbeeld een toezegging aan de Tweede Kamer, omdat de organisatie streeft naar evidence-based beleid zal je aan de slag gaan met een beleidsevaluatie. Of gewoonweg omdat regelgeving dit vereist, zoals in het geval van een beleidsdoorlichting. Hoe weet je of je op de goede weg bent? Doe de vier checks hieronder.
Check #1: Meet je een resultaat of een effect?
Elk goed onderzoek begint bij een goede onderzoeksvraag: wat ga je precies meten? Richt je je op de resultaten (output) of de effecten (outcome) van beleid? Het lijkt misschien een semantisch verschil, maar dat is het zeker niet. Kijk voor inspiratie eens naar de beleidstheorie van Hoogerwerf, die onder andere door de Rijksoverheid gehanteerd wordt. Meet je alleen resultaat, dan kijk je naar wat je bereikt hebt met je ondernomen activiteiten. Bijvoorbeeld meer bewustwording over ondermijning onder burgers. Wil je (ook) vaststellen wat daarmee bereikt is? Dan richt je je op effectmeting. Zeker bij het uitvoeren van een beleidsdoorlichting waar de Regeling Periodiek Evaluatieonderzoek (RPE) de richtlijn is, is dit verschil van belang. De keuze voor resultaat- en/of effectmeting, en daarmee voor je onderzoeksvraag, bepaalt de rest van je onderzoek; hierop stem je de aanpak en welke bronnen je gaat raadplegen af.
Check #2: Alleen literatuurstudie of ook in gesprek met betrokkenen?
De basis voor beleidsevaluaties wordt gevormd door inventarisatie van al uitgevoerde analyses, zoals tussentijdse reviews, MKBA’s en pilots. Vergeet echter niet betrokken beleidsmakers en stakeholders te spreken. Er is altijd een delta tussen de papieren werkelijkheid en de praktijk. Door betrokkenen te spreken krijg je meer inzicht; niet alleen in de uitkomsten van beleid, maar ook de aannames die eraan ten grondslag liggen - en die zijn nou juist het interessantst om te toetsen!
Check #3: Spreek je over effectiviteit of over plausibiliteit?
Bij effectmetingen wordt vooral gekeken of je beleid effectief (doeltreffend) is geweest. Veel beleidsterreinen hebben echter te maken met aanzienlijke externe invloeden. Denk bijvoorbeeld aan veiligheid in een winkelgebied: dit kan verbeteren door specifieke interventies van de politie, maar ook doordat winkeliers inzetten op pinbetalingen. Een ‘controlegroep’ om te onderscheiden welke effecten door het beleid en welke door externe factoren komen is bij beleidsprocessen meestal niet aanwezig. Conclusies over effectiviteit worden daarmee een stuk moeilijker. Is dit bij jou het geval? Overweeg dan om je te richten op plausibiliteit: in welke mate is het plausibel dat het beleid heeft bijgedragen aan het bereiken van het doel? In de beleidsdoorlichting van Preventieve maatregelen hebben wij dit bijvoorbeeld gedaan door per schakel van de beleidstheorie te onderzoeken in hoeverre hierover uitspraken gedaan konden worden. Zodoende kun je nog steeds gefundeerde uitspraken doen over werking en de meerwaarde van ingezet beleid.
Check #4: Zie je het als een moetje of als een mogelijkheid?
Tot slot een belangrijke gewetensvraag: waarom evalueer je? Voer je de evaluatie simpelweg uit omdat het moet of zie je dit als kans om het lopende beleid naar een hoger plan te tillen? Als je met de laatste bril naar je evaluatie kijkt, wordt het een stuk makkelijker om te weten wat je echt wilt meten! En haal je het maximale uit je beleidsevaluatie.
Deze 4 checks kunnen je helpen bij het structureren en uitvoeren van je beleidsevaluatie. Heb je hulp nodig met je evaluatie of heb je vragen? Wij helpen je graag!
