Nieuwe Vice Versa: Evaluatie MFS-2: ‘Gemiste kansen’

De gezamenlijke evaluatie van het Medefinancieringsstelsel (MFS-2) is nu al omstreden, terwijl de eerste meting nog moet beginnen. Met name bij de projectevaluatie worden vraagtekens gezet.

Mijn zware tas komt met een doffe plof neer op de blauwe vloer van het kantoor van Huib Huyse in Leuven. Huyse is hoofd van de onderzoeksgroep ontwikkelingssamenwerking aan de Katholieke Universiteit Leuven. De Belgische onderzoeker volgt de evaluatie van het MFS-2 al een tijdje en plaatst kanttekeningen bij de aanpak. In maart 2011 verdedigde hij een proefschrift aan de Universiteit van Sussex over de uitdagingen die ontwikkelingsorganisaties hebben op het vlak van monitoring en evaluatie. Als evaluator is hij actief in zowel Nederland als België.

In de tas die ik uit Nederland heb meegenomen zit een map met zeshonderd pagina’s informatie over de evaluatie. De info is geplukt van de website van de Nederlands Organisatie voor Wetenschappelijk Onderzoek (NWO), die de kwaliteit van de evaluatie moet waarborgen. Via de website van NWO konden onderzoeksteams uit de hele wereld informatie krijgen over de evaluatie en een onderzoeksvoorstel indienen.

Controlegroepen

‘Ik volg nu al een tijdje het Nederlandse debat rondom de evaluatie van MFS-2’, stelt Huyse. Dit debat gaat terug tot 1 november 2010, toen het ministerie van Buitenlandse Zaken (BuZa) de eisen voor monitoring en evaluatie van MFS-2 bekend maakte aan de organisaties die geld krijgen uit dit stelsel. Het gaat om in totaal 20 allianties van 60 organisaties. Van hen wordt verwacht dat zij de situatie vóór (een zogenaamde 0-meting) en na (een 1-meting) een programma onderzoeken en deze met elkaar vergelijken. Ook moeten organisaties gebruikmaken van controlegroepen, waarbij een groep die geen hulp ontvangt wordt vergeleken met een groep die wel hulp ontvangt. Negentien van de twintig allianties hebben besloten om deze evaluatie gezamenlijk uit te voeren.

In het artikel ‘Actal-rapport geeft ngo’s gelijk: Regeldruk MFS-2 is overdreven’ in Vice Versa  van september vorig jaar kwamen de eisen die het ministerie stelde al aan bod. Volgens Bram van Ojik, directeur van de Directie Sociale Ontwikkeling (DSO) van het ministerie, was de invulling van de eisen ‘na intensief overleg tot stand gekomen’. Alexander Kohnstamm van bracheorganisatie Partos had echter een ander verhaal: ‘Toen de evaluatie-eisen al een feit waren, was er inderdaad ruimte voor overleg over de uitvoering, maar van onze protesten voor die tijd trok het ministerie zich niets aan.’

Paar stappen verder

Inmiddels zijn we een paar stappen verder. De evaluaties worden verdeeld onder acht onderzoeksteams, één per land. De landen waarin geëvalueerd zal worden zijn Congo, Bangladesh, Ethiopië, India, Indonesië, Liberia, Pakistan en Oeganda. De teams evalueren in totaal zestig ontwikkelingsprojecten in deze landen. Deze zestig projecten vormen samen het eerste van de in totaal vier ‘resultaatgebieden’ die zullen worden geëvalueerd. Naast de projecten worden ook de resultaatgebieden capaciteitsopbouw van partners, versterking van het maatschappelijk middenveld, en internationale lobby en advocacy gemeten.

De kritiek van Huyse richt zich op de gehanteerde methode van evalueren van de ontwikkelingsprojecten – niet op die van de overige drie resultaatgebieden. Huyse: ‘De organisaties benadrukken in essentie dat de methode een at random representatieve steekproef doet, en dat je daarmee gegarandeerd uitspraken kunt doen over alle MFS-2 projecten.’ Voor de steekproef zijn alle projecten in de gekozen acht landen onderverdeeld in acht thema’s, zoals goed bestuur, fragiele staten en de verschillende Millenniumdoelen. Om tot een representatief totaalbeeld te komen, zijn de projecten vervolgens willekeurig geselecteerd, waarbij van elke alliantie en elk thema minstens één project in de steekproef werd opgenomen.

Masochistisch

Kan men op basis van deze aanpak echter wel uitspraken doen over het enorme pakket van MFS-2-projecten? Onderzoeker Huyse stelt daar een aantal vraagtekens bij: ‘De projecten in de steekproef zijn vooraf al bekendgemaakt aan de onderzoeksteams. Organisaties weten dat de toekomstige financiering in een nieuw subsidiestelsel mogelijk afhangt van de uitkomst van de evaluatie. Het zou masochistisch zijn van de betrokken ngo’s en hun partners in het Zuiden om de geselecteerde projecten niet meer aandacht te geven dan niet-geëvalueerde projecten. Dit kunnen ze bijvoorbeeld doen door hun beste mensen op deze projecten te zetten. Hierdoor worden de projecten onderling minder vergelijkbaar.’

Huyse gaat verder: ‘De onderzoekers gaan tijdens de 0-meting in gesprek met wie bij de projecten betrokken is. Als onderzoeker wil je namelijk precies weten wat je meet en praat je hierover met de projectmedewerkers. Uit eigen ervaring weet ik dat deze interactie leereffecten met zich meebrengt, want onderzoekers hebben vaak veel expertise op zak. De medewerkers gaan op een andere manier over het project nadenken en stilstaan bij waar ze mee bezig zijn. Als project zou het onethisch zijn om hier niets mee te doen. Deze projecten worden hierdoor minder vergelijkbaar met de niet-geëvalueerde projecten.’

Dat zou je denken

In Nederland ga ik te rade bij Cordaid in Den Haag, waar Rens Rutten als evaluatiemanager werkt. De afgelopen jaren is zij bekend geraakt met deze methodiek door een pilot van Cordaid met zes ontwikkelingsinterventies. Ik leg een van de kanttekeningen van Huib Huyse aan haar voor. Gaat Cordaid extra aandacht besteden aan de projecten die in het kader van MFS-2 geëvalueerd zullen worden?

‘Grappig, dat zou je inderdaad denken’, antwoordt Rutten. ‘Maar in de praktijk doen we dat niet. We kunnen niet eens meer geld aan deze projecten besteden, want dat staat allemaal al vast in contracten met projecten. Daarnaast worden een aantal van de geselecteerde projecten voor de evaluatie misschien volgend jaar afgebouwd, bijvoorbeeld omdat de contracten aflopen met de partner. We zetten dus niet extra in op de geëvalueerde interventies.’

Het hele artikel lezen, met nog meer kritiek van Huyse op de evaluatiemethode en de ervaringen van Rens Rutten met de methodiek?  Kijk in de nieuwe Vice Versa die deze week verschijnt. Neem een abonnement.

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Verplichte velden zijn gemarkeerd met *

De volgende HTML tags en attributen zijn toegestaan: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>

3 reacties op “Nieuwe Vice Versa: Evaluatie MFS-2: ‘Gemiste kansen’

  1. De evaluatieaanpak van MSFII en de resultaten die daaruit zullen voortkomen verdienen een kritische wetenschappelijke reflectie. De wens om tot betere en betrouwbaarder evaluatieresultaten te komen over de aanpak van bedrijfsleven, staat en NGOs bij het ondersteunen van ontwikkelingsinitiatieven deel ik. De claim van de MSFII evaluatiemethodiek dat er een gouden standaard wordt nagestreefd vraagt om eerlijke en wetenschappelijk gefundeerde kritiek, want het zal vast niet allemaal goud zijn dat daar blinkt. Huib Huyse levert met zijn aanzet een goed begin van zo’n kritische reflectie: ook ik heb me vanaf het begin van de MSFII evaluatiediscussie afgevraagd of er geen groot risico is van een ‘aandachtsbias’ en wat dat dan zal doen met de representativiteit van de cases die nu zijn gekozen voor het geheel van NGO interventies die door MinBuZa worden medegefinancierd. Ik denk dat wetenschappers ook heel goed moeten opletten wat er nu overblijft van de claim dat er systematisch met counterfactuals zal worden gewerkt. Ook dat vraagt in alle gevallen om kritische reflectie. Het is m.i. bij voorbaat duidelijk dat er in de sociaal-economische en sociaal-culturele praktijk van alledag geen echte counterfactual mogelijk is, en dat de te vergelijken gevallen op belangrijke punten helemaal niet echt vergelijkbaar blijken te zijn. Er wordt dus bij voorbaat met een ‘proxy’ benadering gewerkt en die zijn altijd voor allerlei interpretaties vatbaar. Dat het nu allemaal een keer wordt geprobeerd is te prijzen. Dat er dan vanuit de initiators (zoals Ruerd Ruben) kribbig wordt gereageerd als daar terechte kanttekeningen bij worden geplaatst is te verwachten. Maar de wetenschapper Ruerd Ruben weet dat hij op gespannen voet leeft met de beleidsambtenaar Ruerd Ruben.

    [Reageer op deze reactie]

    Ruerd Ruben (directeur IOB) Reply:

    Dank aan Ton Dietz voor zijn reactie. Gelukkig heb ik geen last van enige scheiding der geesten. Een goede beleidsmatige analyse van de effectiviteit van NGOs vraagt juist om een wetenschappelijke aanpak. Daarom heeft PARTOS ook NWO-WOTRO gevraagd om dit proces te superviseren. Dietz zou – als voormalig WOTRO bestuurslid – daarin vertrouwen mogen hebben.

    [Reageer op deze reactie]

  2. Met enige verbazing heb ik de bijdrage over de voorziene opzet van de evaluaties in het MFS-II gelezen. De allianties die uiteindelijk financiering van BZ ontvangen zijn daarbij verplicht om – voor het eerst – te rapporteren over de effecten (doelmatigheid en doeltreffendheid) van hun programma’s.

    De kwaliteit van de evaluaties die de organisaties hebben gemaakt onder het eerder afgesloten MFS-I is helaas nauwelijks toereikend om iets te kunnen zeggen over het resultaatbereik. Dat is op zich al zorgelijk. Daarom heeft IOB een aantal minimum methodologische criteria gedefinieerd waaraan evaluaties in de toekomst moeten voldoen. Dezelfde criteria worden ook toegepast bij de evaluatie van bilaterale programma’s en voor het bedrijfslevenprogramma. Gelijke monikken, gelijke kappen.

    De kritiek van dhr Huyse lijkt vooral ingegeven door afwijzing van de gekozen methodologische benadering (met focus op empirische metingen in het veld van beaalde resultaten onder deelnemers en niet-deelnemers aan programma’s van MFS-partners, uitgevoerd door onafhankelijke onderzoekers). Huyse is recent gepromoveerd op een onderzoek naar organisatieleren in de Belgische ontwikkelingssamenwerking, waarbij vooral participatieve benaderingen worden gebruikt. Maar om goed te kunnen leren moet er toch eerst inzicht komen in de resultaten en effecten van NGO activiteiten.

    De risico’s van zgn. Hawthorne (beinvloeding van de interventie door de onderzoekers) en selectie-effecten (tussentijdse aanpassing van de partnerbijdrage) zijn onderkend bij de voorbereiding van de nu gekozen aanpak, maar er zijn voldoende waarborgen ingebouwd om dit zoveel mogelijk te voorkomen. De verwachting is dat de evaluatieresultaten een getrouw beeld zullen bieden van de bereikte resultaten van MFS-II allianties.

    Ruerd Ruben
    Directeur IOB

    [Reageer op deze reactie]

Vindt u deze bijdrage de moeite waard? Geef ons dan uw fair share.

Doe een donatie via Paypal

Neem een abonnement en blijf op de hoogte van alles wat er speelt in de ontwikkelingssector.

Klik hier voor een abonnement