13 apr Evalueren om ervan te leren, het kan.
Ter voorbereiding op een bijeenkomst stuitte ik op dit rapport van het NSOB over anders evalueren van beleid. Ze hebben daarbij gekeken hoe je beleid evalueert als je als overheid in een netwerk optreedt en/of responsief werkt (meebewegen met de samenleving). Want dan is het verdomd lastig om in KPI’s en SMART je doelstellingen en resultaten weer te geven. Hoe dan wel? Hieronder mijn samenvatting van deze essay van 68 kantjes.
Steeds vaker werken overheden aan complexe en verweven vraagstukken. Sturing vindt plaats in of met netwerken. Overheden werken aan transitieopgaven, waarvan de effecten niet te voorzien zijn en de impact zich pas op lange termijn laat zien. Dergelijke vraagstukken kennen een hoge mate van onzekerheid, onbekendheid en brede maatschappelijke betrokkenheid. Ze lenen zich niet goed voor toepassing van de standaardmethoden voor evaluatie. Toepassing van die methoden leidt namelijk altijd tot één van volgende oordelen: ‘het beleid is niet succesvol’, of ‘de resultaten van beleid zijn niet vast te stellen’. Er is dus een mismatch tussen de toegepaste methode van evaluaeren en de aard van de aanpak van de opgave.
Waar komt die mismatch vandaan? Bij complexe systemen is verandering minder eenduidig, minder voorspelbaar en ook minder helder te herleiden tot één actie. Als beeld voor complexe systemen wordt vaak een zwerm gebruikt. Er is geen regisseur, geen plan, maar alle vogels vliegen wel een bepaalde kant op. Zo ook bij het werken in netwerken. Partijen reageren op elkaar en zo ontstaan nieuwe patronen in het systeem. Welke kant ze daarbij op zullen bewegen valt nog te bezien.
Een voorbeeld: stel: politie, gemeentelijke diensten, de fiod, sociale wijkteams, jeugdleiders, sportverenigingen, groepen ouders en ‘peers’ van jongeren ontwikkelen samen een aanpak om de betrokkenheid van jongeren bij wietteelt en handel te bestrijden. Hoe is dan vast te stellen wie welk deel van het effect heeft veroorzaakt? Het is misschien wel mogelijk om meerwaarde vast te stellen, maar die waarde is lastig toe te wijzen aan individuele partijen of aan precies afgebakende acties. Hoe moet je dan vaststellen of het gevoerde beleid klopt?
NSOB constateert dat er in de praktijk al het nodige ontwikkeld wordt om dit soort complex beleid te evalueren. Daarbij zijn er vijf verschillen met de gebruikelijke evaluatie:
- De functie van het evaluatieonderzoek
Het accent ligt niet meer alleen op verantwoorden, maar ook op leren en bijsturen. Een lerende evaluatie besteedt veel aandacht aan wat in de praktijk werkt en wat niet. Ook is er veel oog voor interactie met stakeholders; input van betrokkenen wordt uitvoerig uitgewisseld en zoveel mogelijk meegenomen in de lessen. Dit krijgt bijvoorbeeld vorm in leer- of werksessies waarbij telkens personen aanwezig zijn uit alle betrokken ‘niveaus’, bijvoorbeeld vanuit het Rijk, de provincies en maatschappelijke organisaties. Het is daarmee niet alleen een evaluatie, maar ook een ontwikkelings-tool.
- De timing,
Bij een standaard evaluatie is het doel om achteraf verantwoording af te leggen. De evaluatie vindt dus na afloop van een periode plaats. Wanneer het doel van een evaluatie is om ervan te leren, of zelfs om het beleid bij te sturen, ligt het veel meer voor de hand om dit al vanaf het begin, vooraf of gedurende de beleidsperiode te doen.
- De focus die centraal staat,
In een standaard evaluatie wordt gekeken of de verwachte effecten van beleid zijn gerealiseerd. Bij complexe vraagstukken verschuift de focus: heeft het geheel van beleidsactiviteiten bijgedragen aan de richting waarin het veld zich ontwikkelt? Er wordt meer in termen van outcome en impact gekeken, dan naar specifieke producten. De vraag die centraal staat, is of er gezamenlijk publieke waarde is gecreëerd.
Werken in netwerken aan complexe vraagstukken betekent ook dat evaluatie nooit alleen over de inzet van de overheid gaat. Er wordt veel breder gekeken naar wat de gezamenlijke impact is die gerealiseerd wordt. De evaluatie is nooit een van de overheid maar wordt opgezet en uitgevoerd door het netwerk. Zinvolle lessen worden getrokken op basis van de kennis en expertise ook van anderen.
- De rol van de evaluator
De onderzoeker is zelf wat dichter bij de beleidsmaker, kent de situatie en het praktijk goed en overziet hoe processen verlopen. ‘Dichtbij maar onafhankelijk’. In netwerken ontstaan daarnaast ook gemeenschappen van evaluatoren: ‘communities of practice’ die samen reflecteren, ieder vanuit hun eigen rol. Geen onafhankelijk onderzoeksbureau dus maar een groep betrokkenen.
- De motivatie achter de evaluatie.
De reden voor evaluatie bij complexe processen een praktisch aspect: de ambtelijke organisatie moet ermee aan het werk kunnen om bij te sturen. De bedoeling van de evaluatie is dat er iets van opgestoken wordt. Of er positieve of negatieve resultaten bereikt zijn is onbelangrijk; het is al waardevol als er iets geleerd wordt. Ook is de termijn waarin resultaten geboekt worden minder van belang. Als er bijgedragen wordt aan langetermijndoelen is dat een prima resultaat, ook als dat resultaat pas na verloop van lange tijd geoogst kan worden. Deze ambtelijke logica is fundamenteel anders dan de politieke, waarin de nadruk ligt op resultaten binnen een electorale termijn. Daarin is het juist van belang om zo snel mogelijk resultaten te behalen, zowel om politici tevreden te stellen als om resultaten toe te kunnen schrijven aan bewindspersonen, die dit als een belangrijk middel zien om hun prestaties aan te tonen.
Een ander bijzonder interessante conclusie van het NSOB is ook: er zijn heel veel methoden beschikbaar, maar ze worden niet als de ‘norm’ gezien. Er bestaat niet zoiets als een ‘Planbureau voor Maatschappelijke Meerwaarde’, of een ‘Commissie Evalueren in Verweven Dynamiek’ (die een standaard voor alternatieve vormen van evalueren aanreikt). Er is niet een ‘standaardmethode’ voor de evaluatie van transitieprocessen. De hierboven geschetste methoden worden als minderwaardig beschouwd, die alleen te gebruiken zijn als de standaard evaluatie niet werkt. Ze zijn alleen inzetbaar op ‘afwijkende dossiers’, die zo bijzonder en anders zijn dat ze een geheel andere en daarmee ook onzekere benadering vereisen. Ze pleiten er daarom ook voor om beide methoden gelijkwaardig te benaderen, in plaats van lerend evalueren als tweederangs te beschouwen.
Geen reactie's