De uitvoering van monitoring of evaluatie
Monitoren en evalueren zijn vormen van onderzoek doen. Dat betekent dat de evaluator of het evaluatieteam methoden en technieken zal hanteren die ook gebruikt worden bij het doen van (wetenschappelijk) onderzoek.
Objecten van monitoring en evaluatie
U kunt eigenlijk ieder onderwerp onderzoeken. Bij reorganisatie of organisatieverandering is de lijst van mogelijke onderwerpen erg lang. In de checklist: mogelijke objecten van monitoring en evaluatie, wordt ter inspiratie een aantal onderwerpen genoemd, steeds met een paar voorbeeld onderzoeksvragen erbij.
Vaak moeten meerdere onderwerpen in hun onderlinge samenhang worden onderzocht. Om dat te doen, kan het helpen om een theorie of model als richtlijn te nemen. Een bril waarlangs u naar de werkelijkheid kijkt. Waarin sommige variabelen input zijn, andere output of outcome. Waarin naast beoogde effecten sprake kan zijn van neveneffecten. Waarin niet alleen een invloed uitgaat van factoren die bewust zijn ingezet, maar ook van factoren buiten uw beïnvloedingssfeer.
Meetbaar maken van het onderzoeksobject
Om een onderwerp te kunnen meten, moet het geoperationaliseerd worden. Wat wordt precies met het onderwerp bedoeld? Er worden een definitie geformuleerd en indicatoren, aan de hand waarvan het onderwerp gemeten kan worden. En de normen die van toepassing zijn, worden bepaald. Die heeft u nodig om te kunnen weten of een meting (te) hoog is of (te) laag.
Overigens is het ook mogelijk om op een meer explorerende en kwalitatieve wijze te opereren, waarbij bijvoorbeeld met de betrokkenen verkend wordt welke onderwerpen relevant zijn om te onderzoeken en er in meer kwalitatieve termen naar conclusies wordt gezocht.
Met andere woorden: een sterk methodische aanpak is een mogelijkheid, maar een aantal goede gesprekken kan ook bijzonder zinvol zijn. Zeker bij monitoring of tussenevaluaties.
Methoden voor gegevensverzameling
Qua manieren om gegevens of data te verzamelen kunt u denken aan:
- gebruik maken van gegevens uit managementinformatiesystemen, deze kunnen ook ten behoeve van de monitoring of evaluatie worden opgezet (denk aan de ontwikkeling van een zogenoemde Balanced Score Card )
- gebruik maken van gegevens uit andere onderzoeken, zoals een medewerkerstevredenheid onderzoek, een klanttevredenheid onderzoek of benchmarkgegevens
- het uitzetten van een enquête of vragenlijst, met open of gesloten vragen, al dan niet meerkeuze vragen, op papier of digitaal, eventueel via social media
- metingen doen, al dan niet een voor-tussen-nameting of de situatie over langere tijd blijven volgen (longitudinaal onderzoek)
- het afnemen van interviews, individueel of in groepen, meer of minder gestructureerd, live-digitaal-telefonisch
- het organiseren van één of meer bijeenkomsten waarbij met diverse werkvormen zo veel en zo goed mogelijke informatie op tafel komt (denk aan brown paper sessies, de inzet van een digitale versnellingskamer of agile c.q. scrum-technieken)
toepassen van de onderzoeksmethode ‘actieonderzoek’, waarbij de onderzoeker ingrijpt in en tijdens het onderzoek. Dat dient twee doelen: enerzijds is dat een middel om te komen tot positieve verandering en anderzijds worden hierdoor kennis en theorie gegenereerd.
Presentatie van de onderzoeksresultaten
De uitkomsten van de evaluatie worden aan de opdrachtgever teruggekoppeld in een gesprek. Ten aanzien van de vorm van de onderzoeksresultaten wordt daarbij vaak gedacht aan een evaluatierapport. Maar hierop zijn vele varianten denkbaar, schriftelijke en mondelinge. Denk aan een powerpoint presentatie of prezi, een mindmap of collage of infographic, maar ook aan een bijeenkomst of een filmpje.
Implementatie van de onderzoeksresultaten
Van belang is dat de opdrachtgevende organisatie iets met de uitkomsten van de evaluatie kan en wil doen. Het is de taak van de evaluator om de opdrachtgevende organisatie aan het werk te zetten, te activeren en daarbij te faciliteren. Hij zal met de vorm van de evaluatieresultaten daarom aansluiten op wat de opdrachtgever gewend is. Verder is het van belang dat de aanbevelingen of adviezen helder zijn. En dat de besluitvorming over de evaluatieresultaten en de implementatie zo goed mogelijk worden ondersteund.
Rol van de eigen organisatie bij monitoring of evaluatie
Een manager zal een onderzoek zoals hier beschreven meestal niet zelf ter hand nemen, maar intern of extern uitbesteden. Desondanks zijn bij de uitvoering van een evaluatie onderwerpen aan de orde, waarover de opdrachtgever van de evaluatie een mening zal worden gevraagd. Bovendien zijn er gedurende het onderzoek meerdere momenten en manieren waarop de eigen organisatie kan participeren. Dat kan bijvoorbeeld bij de gegevensverzameling. Maar ook bij het toekennen van betekenis aan de resultaten, het terugkoppelen van de resultaten aan de opdrachtgever en bij het borgen dat er wat met de uitkomsten van het onderzoek wordt gedaan.