Thomas de Hoop: ‘Ideologie gaat soms boven het bewijs.’

In het eerste deel van het interview, sprak Thomas de Hoop over impactevaluaties. Hij stelde dat je champions nodig hebt, die open staan om te leren hoe ontwikkelingssamenwerking het effectiefst werkt. Wonend en werkend in India bekijkt De Hoop de ontwikkelingen van de Nederlandse ontwikkelingssector van een bepaalde afstand. Soms, zo stelt hij, wordt iets geroepen zonder dat er bewijs is, maar op basis van een ideologie.

Thomas de Hoop werkt als Evaluation Officer bij The International Initiative for Impact Evaluation (3ie). Hij woont en werkt nu bijna een jaar in New Delhi, India.

Hoe kijk je vanaf een afstandje naar de ontwikkelingen van de OS-sector in Nederland?

‘Dat de VVD bijvoorbeeld roept dat het bedrijfsleven zo effectief is, ik vraag me dat af. Ik zeg niet dat het niet het geval is, maar er is niet zoveel bewijs voor dat bedrijfsleven interventies zo effectief zijn als het gaat om armoedebestrijding.’

‘Ook hoor ik vaak het argument dat we niet zomaar geld moeten geven. Bij veel Afrikaanse overheden zijn cash transfer programma’s tegenwoordig echter enorm populair. Die programma’s zijn behoorlijk goed gericht op de armen. Misschien niet in de armste landen, maar wel in de landen die daar net boven zitten, zijn cash transfers behoorlijk succesvol als het om armoedebestrijding gaat.’

‘Bij cash transfer programma’s wordt meestal eerst een survey uitgezet om te bepalen wie arm is. Op basis daarvan krijgen die armen periodiek een klein bedrag gestort. De Hoop: ‘Je kunt er veel over zeggen, maar het is niet dat ze het geld alleen aan alcohol uitgeven. Het is redelijk succesvol. Er worden ook bedrijfjes opgezet. Armoedebestrijding werkt als het om cash transfers gaat. Potentieel kan het ook leiden tot economische groei, maar daar is nog niet zoveel over bekend. ’

Is dat niet lastig bij evaluaties: je komt tot conclusies dat iets werkt, maar met mitsen en maren. Je geeft een genuanceerd en realistisch beeld, terwijl in de media één aantrekkende kop moet staan?

‘Er zit ook een bepaalde ideologie achter. Laten we eerst maar met het verhaal van Oxfam Novib beginnen. We moeten geen vis geven, maar een hengel. Dat zit er zo ontzettend in. Maar de vis blijkt vaak behoorlijk succesvol als je de vis even als cash transfer ziet. Het is ideologie, bijna indoctrinatie dat men stelt dat de hengel werkt en de vis niet. Ik heb persoonlijk daar nog niet zo heel veel bewijs voor gezien.’

‘Aan de andere kant: de VVD werkt vanuit een ideologie als het gaat om steun aan het bedrijfsleven. Microkrediet was op een gegeven moment een heilig mantra. De effecten van microkrediet vallen echter tegen. Ten minste als je de VVD moet geloven dat het mensen uit de armoede moet trekken. Microkrediet werkt, maar beperkt. Het zorgt er voor dat mensen die al een bedrijfje hebben hun inkomen licht vergroten, maar er zijn ook mensen die door microkrediet in de schulden raken. En die schulden moeten ze afbetalen door in het informele circuit te lenen. Microkrediet is over het algemeen best oké, maar het is puur ideologie om te roepen dat het bedrijfsleven werkt of dat de hengel werkt en de vis niet.’

De VVD heeft ook kritiek gekregen aan fact free politics te doen.

‘Daar zitten we dan best dicht bij, denk ik.’

Beleid zou meer gebaseerd moeten zijn op feiten?

‘Het is ook wel moeilijk hoor. Je merkt vaak dat overheden in ontwikkelingslanden een bepaalde impactevaluatie steunen omdat ze geloof hebben in de resultaten van een programma. Als echter blijkt dat die uitkomsten negatief zijn, dan is het moeilijk die ambtenaren nog mee te krijgen.’

‘Het gaat om champions. Zelfs in de overheid van Zimbabwe onder Mugabe zitten goede ambtenaren die wel willen leren en zich willen inzetten. Het is moeilijk om met zo’n overheid te werken, maar niet onmogelijk.’

Hengel en de vis. Doel is zelfredzaamheid te bevorderen.

‘Het blijkt dat door cash transfers mensen hoop krijgen en in hun eerste levensbehoeften kunnen voorzien. Om ze nou de verantwoordelijkheid te geven van zelfredzaamheid, terwijl ze nauwelijks in de basisbehoeften van hun familieleden kunnen voldoen, dat is misschien te hoog gegrepen.’

‘Maar cash transfers kunnen wel leiden tot zelfredzaamheid. Mensen geven het geld niet alleen uit aan directe consumptie, maar investeren ook in bijvoorbeeld kunstmest om hun landbouwproductiviteit te verhogen. Dat is een lange termijn effect. Ik denk dat er vaak bij ontwikkelingsorganisaties in Nederland beperkt wordt gedacht wanneer zij aan lange termijn effecten denken.’

‘Pre-school taining programma’s zijn voorbeelden van  programma’s met lange termijn effecten. Deze programma’s leiden tot early childhood development. De kinderen krijgen meer cognitieve vermogens als gevolg van deze pre-school trainingsprogramma’s. Dat blijkt uit evaluaties in Latijns-Amerika en Mozambique. Soms wordt dan getwijfeld aan het lange termijn effect. Dat is echter in tegenspraak met het empirische bewijs. Andere studies hebben aangetoond dat kinderen met hoge cognitieve vermogens in de toekomst ook een hogere productiviteit hebben, waardoor ze een hoger salaris krijgen. Dit kan vervolgens weer tot positieve effecten op gezondheid leiden. Of zo’n programma nou drie jaar of tien jaar loopt, maakt niet zoveel uit. Liever tien jaar natuurlijk , maar een korte termijn investering is ook heel waardevol, want het verbeteren van cognitieve vermogens van kinderen heeft positieve lange termijn effecten.’

‘Als ngo’s aan de lange termijn denken’ ,vervolgt De Hoop, ‘richten zij zich al snel op capaciteitsversterking. Doel is dat organisaties uit het Zuiden zelfstandig programma’s uit kunnen voeren. Het gaat dan nog steeds om de inputkant. Er is daarbij weinig of geen aandacht voor de lange termijn effecten op outcome en impact niveau. Daarvoor zullen Zuidelijke organisaties ook de juiste programma’s moeten uitvoeren. Het ene programma is nou eenmaal effectiever dan het andere.’

‘Capaciteitsversterking is echter niet onbelangrijk, ook niet als het om onderzoek gaat. Nog steeds worden veel evaluaties gedaan door mensen uit westerse landen. We willen dat veranderen. Op langere termijn wil je capaciteiten in ontwikkelingslanden versterken om evaluaties zelf uit te voeren, maar in Sub-Sahara Afrika loopt amper iemand met een PhD rond. Dat is dus moeilijk. In Latijns Amerika is dat al heel anders.’

Nut van evaluaties

De Hoop: ‘Impactevaluaties van grote programma’s hebben natuurlijk het grootste belang. Soms is het moeilijk de hoogste evaluatiestandaarden te halen bij dergelijke programma’s, omdat ze al heel lang lopen en bij de inrichting van het programma niet is nagedacht over de evaluatie. ‘

‘Kleine programma’s evalueren is niet zinloos. Het is dan vooral interessant een theory of change te toetsen. Het gaat dan om de interventielogica als we A doen, dan volgt B. Dan toets je of dat daadwerkelijk zo is of niet, of dat dat via non-lineaire processen verloopt. Je moet overigens niet alle projecten evalueren met een impactevaluatie. Soms is een kleine procesevaluatie voldoende. Het is vaak nuttiger belangrijke projecten te evalueren waar vele miljoenen in om gaan, zelfs als dat vaak moeilijker is. Evaluaties van kleine programma’s kunnen echter ook indicaties geven van de effecten van grote programma’s.’

‘Er worden natuurlijk miljoenen euro’s verspild. En dat kan niet anders want er zijn gewoon projecten die mislukken. Dat gebeurt. In andere sectoren absoluut ook trouwens.’

‘Vanuit de donor kijk je naar besteding van OS-geld, voor beleidsmakers uit ontwikkelingslanden is dat anders. Die willen leren maar soms ook gewoon de verkiezingen winnen. Een voorbeeld is een groot conditional cash transfer programma in Colombia. Eerst was er enorme kritiek op dat programma vanuit de oppositie. De regeringspartij heeft een evaluatie gedaan en het programma bleek behoorlijk succesvol. Dat hebben ze vervolgens gebruikt in de verkiezingen.’

De Bühne

‘Er wordt ook een beetje voor de bühne geroepen. Iedereen wil dat ontwikkelingssamenwerking effectief is. Men wil dat daar controle op is, vooral de Nederlandse kiezer op het moment. Dat is goed, maar de Nederlandse kiezer kan niet bepalen of een evaluatie van goede kwaliteit is. Dus politici kunnen roepen dat iets geëvalueerd is en goed bevonden wordt. Er zullen vast hoge kwaliteit evaluaties zijn in Nederland, maar ik denk dat veel evaluaties ook van zeer lage kwaliteit zijn. Dan kun je de conclusies niet vertrouwen.’

‘Het kan voorkomen dat evaluaties van lage kwaliteit worden uitgevoerd. Op basis daarvan kan besloten worden meer geld te pompen in een programma. Als dan later een hoge kwaliteit impactevaluatie gedaan wordt, kan blijken dat het programma helemaal niet werkt. Dan is het veel moeilijker om dat programma op grote schaal alsnog te stoppen.’

Evaluaties als politiek instrument

‘Het doel van een impactevaluatie moet niet zijn om de impact van een Oxfam Novib vast te stellen. Het is volstrekt ridicuul om dat met een impactevaluatie te doen. Dat kan niet. Je moet de impact van specifieke interventies die gesteund worden door Oxfam Novib evalueren. Daarbij is de specifieke interventie van groot belang. Ik denk dat de Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie (IOB) hier veel meer rekening mee had moeten houden bij de evaluatie van het MFS-stelsel.

‘Het IOB heeft van te voren gezegd: we gaan een representatieve sample van interventies van ICCO, Cordaid en andere Nederlandse ngo’s evalueren. Van te voren waren de specifieke details van de interventies echter niet bekend. Dus onderzoekers hadden van te voren een slecht idee van wat voor interventies er überhaupt geëvalueerd moesten worden. Op die manier wordt de kwaliteit van een evaluatie lager. Je moet heel veel details weten van een interventie. Dat is ook soms moeilijk geweest tijdens mijn eigen onderzoek. NGO’s willen nog wel eens een plan voor een interventie veranderen en dat maakt een impactevaluatie erg moeilijk.’

‘Een Theory of change is zeer belangrijk maar het is en blijft een theorie. Organisaties stellen soms dat ze geen impactevaluaties doen, maar wel een heel goede theory of change hebben. Het blijft een theorie, die moet je toetsen. Anders weet je niet of je theorie werkt.’

‘Sommige ngo’s hebben het erover dat ze hele complexe programma’s doen en dat impactevaluaties gaan over eenvoudige programma’s. Sommige projecten zijn daadwerkelijk te complex voor impactevaluaties maar zeker niet in alle gevallen. Er is dus geen reden om complexe programma’s niet meer te evalueren. Je ziet vaak dat relatief eenvoudige programma’s succesvol zijn. Bijvoorbeeld het eerder genoemde Early childhood pre-schooling programma. Dat heeft een enorm effect.’

‘Voor mij ligt dan de bal bij de ngo’s om aan te tonen dat hun complexe programma’s effectiever zijn’, stelt De Hoop. ‘Waarom zou een complexere interventie beter werken dan een minder complexe interventie? Misschien werken eenvoudige programma’s in veel gevallen erg goed. Cash transfers zijn behoorlijk eenvoudig en die programma’s zijn ook behoorlijk succesvol. Ook een heel eenvoudige interventie als het geven van tabletjes tegen wormen geeft kinderen een klein gezondheidsvoordeel dat 10-15 jaar later behoorlijk grote effecten heeft op hun salaris.’

Is er een gevoel dat een moeilijk probleem niet eenvoudig op te lossen is?

‘Misschien is het niet altijd nodig een probleem bij de wortel aan te pakken. En soms is de wortel gewoon geld. Mensen hebben geld nodig om te kunnen investeren. Dat wil  niet zeggen dat complexe interventies niet noodzakelijk zijn, maar complexiteit mag geen excuus zijn om de impact van een programma niet vast te stellen.’

In de discussie rond ontwikkelingssamenwerking is het soms taboe en immoreel te praten in nummers.

‘Ook spreken over geld wordt al snel als immoreel gezien. Maar je hebt gewoon een heel beperkt budget. Het is makkelijk aan te tonen dat je met noodhulp een mensenleven redt. Dat wil niet zeggen dat je met noodhulp meer mensen redt dan met klamboes uitdelen. In Kenia, waar kindersterfte enorm is afgenomen, komt dat mede door een simpele interventie als uitdelen van klamboes.’

Hoe vindt je dat de sector zich opstelt in de discussie over effectiviteit van OS?

‘Over het algemeen defensief, maar natuurlijk zijn er ook in de Nederlandse sector wel champions die zich zorgen maken over de effectiviteit van ontwikkelingssamenwerking. Het is echter moeilijk als impactevaluaties aantonen dat je programma’s waardoor je zelf ideologisch wordt gedreven, misschien niet werken. Het is trouwens makkelijker gezegd dan gedaan om je hele beleid aan te passen op basis van evaluaties. Daarbij moet ik ook stellen dat er nog heel weinig impactevaluaties zijn gedaan over heel lange termijn. Korte termijn evaluaties zijn echter wel degelijk indicatief voor wat er op de lange termijn kan gebeuren.’

En wat voor de tegenstanders die stellen dat 60 jaar OS niet heeft gewerkt?

‘Daar is weinig grond voor. Ontwikkelingssamenwerking heeft grote positieve effecten gehad op sociale indicatoren zoals vaccinatiecijfers en kindersterfte.  Het hangt er echter wel van af wat je verstaat onder ‘werkt niet’. Wat Ruerd Ruben, directeur van het IOB schreef dat er een brede consensus is dat OS bijdraagt aan 0,2% economische groei. Ik weet niet waar hij dat cijfer vandaan haalt. Die consensus die bestaat niet.  Zeker niet onder economen want die zijn het natuurlijk bijna nooit met elkaar eens.’

‘Er bestaat een debat over de relatie tussen ontwikkelingssamenwerking en economische groei en ik denk niet dat er ooit een definitief antwoord over deze relatie gegeven kan worden. Ik ben het niet eens met Rubens stelling dat er een brede consensus bestaat dat ontwikkelingssamenwerking tot economische groei leidt. Dat wil niet zeggen dat het niet zo is maar er bestaan grote verschillen van mening over deze stelling.’

En dan is nog de vraag: wat doe je met economische groei?

‘Dat is een zwakte van impactevaluaties. Uiteindelijk beantwoordt je toch relatief kleine vragen. Het gaat over bepaalde programma’s, het gaat niet over grote strategieën van overheden op het gebied van macro-economisch beleid. Die vragen zijn veel moeilijker te beantwoorden. De economische groei van China kunnen we niet verklaren door middel van impactevaluaties. Dat is een heel complex samenstel van factoren geweest. Niemand heeft een echt antwoord waarom China het zo goed doet en andere landen niet. Daar spelen vele factoren mee. Die vraag  kan niet beantwoord worden met een impactevaluatie. Maar als iemand geen antwoord op deze vraag heeft, dan is het de Nederlandse ontwikkelingssector wel. Misschien moeten ze eerst maar eens een antwoord vinden op relatief eenvoudige vragen, zoals wat de impact van hun complexe programma’s is.’

Thomas de Hoop werkte op persoonlijke titel mee aan dit interview.

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Verplichte velden zijn gemarkeerd met *

De volgende HTML tags en attributen zijn toegestaan: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>

8 reacties op “Thomas de Hoop: ‘Ideologie gaat soms boven het bewijs.’

  1. Thomas de Hoop zegt dat “niemand weet waarom China het zo goed doet en andere landen niet”, als voorbeeld van de (vermeende) niet-evalueerbaarheid van macro-economische strategieën. Dat is om te beginnen een defaitistische uitspraak, want: hoe moeilijk het ook is, je moet het wel proberen. Maar sterker nog, het ís ook geprobeerd! De Hoop gaat geheel voorbij aan het Tracking Development-onderzoek dat eind 2011 afgerond werd. Daarin stond de vraag centraal waarom er wel Aziatische tijgers zijn (zoals Maleisië) en geen Afrikaanse leeuwen. Wat nog het allermooiste is, is dat die vraag ook beantwoord is: het verschil zit ‘m in het aandeel van de landbouw in de overheidsuitgaven. Dat aandeel lag de afgelopen 50 jaar veel hoger in Azië dan in Afrika en daarom is Azië veel verder in zijn ontwikkeling. Zie voor details http://www.kitlv.nl/pdf_documents/NRC_15_december_2011_TD.pdf.
    Het is me overigens een raadsel waarom aan deze bevindingen niet veel méér publiciteit en debat is gewijd. Een officieel onderzoeksrapport heb ik nooit gezien, en http://www.trackingdevelopment.net is een schoolvoorbeeld van een verwaarloosde website. Om maar wat te noemen: op de beginpagina staat nog steeds: “The project will run from October 2006 to September 2011″. Gelukkig hebben ze meer verstand van macro-economie.

    [Reageer op deze reactie]

    Thomas de Hoop Reply:

    Beste Jur,

    Er zijn genoeg andere rapporten te vinden die met hele andere verklaringen (bijvoorbeeld export subsidies of onderwijs) voor het succes van de Aziatische tijgers komen. Daarnaast is het economische succes van China veel later gekomen dan het succes van Zuid-Korea of Singapore dus het lijkt me sterk dat er 1 verklaring (aandeel van de landbouw in de overheidsuitgaven) is voor de economische groei van deze landen.

    Ik vraag me sterk af of de NL ontwikkelingssector heel veel profijt gaat hebben van participatie in deze discussie.

    [Reageer op deze reactie]

    Thomas de Hoop Reply:

    En volgens mij wordt China over het algemeen ook niet tot de Aziatische tijgers (Singapore, Zuid-Korea, Taiwan en Hong Kong) gerekend.

    [Reageer op deze reactie]

    Jur Schuurman Reply:

    Beste Thomas,
    Dank voor je reacties, die mij weer aanleiding geven tot een precisering. Het ging mij niet zozeer om het China-element in je uitspraak, als wel om je pessimisme over de mogelijkheid de vraag te beantwoorden waarom sommige landen het beter doen dan anderen. Het Tracking Development-onderzoek laat zien dat die vraag gesteld en beantwoord kan worden. Dat zegt nog niks over de juistheid van het antwoord, maar aan de andere kant: als niemand dat antwoord betwist (en dat heb ik nergens zien gebeuren), wordt het des te waarschijnlijker dat de verklaring de juiste is. Anders zou er heus wel weerwoord komen van de deskundigen die vinden dat exportsubsidies of onderwijs of nóg iets anders een veel sluitender verklaring bieden voor ontwikkelingsverschillen.
    Of iedereen denkt erover als jij, en vindt dat discussie over dit soort onderwerpen niet nuttig is voor de Nederlandse ontwikkelingssector. Dan verschillen we fundamenteel van mening. Ik denk dat goede, eerlijke discussie leidt immers tot kennistoename, en kennis is van groot belang voor de juiste keuzes in ontwikkelingsbeleid. Wie kan daar tegen zijn? Jij kennelijk, want je vindt die discussie immers niet profijtelijk. Dat is erg jammer: ik had veel liever gezien dat je destijds (bijvoorbeeld) een mooie ingezonden brief aan de NRC had gestuurd met als strekking dat ‘Tracking Development’ wel héél ongenuanceerd antwoord geeft op ontwikkelingsvragen, en wel daar- en daarom. Door dat niet te doen, heb je een grote kans op discussie en kennisvermeerdering laten lopen.

    [Reageer op deze reactie]

    Thomas de Hoop Reply:

    Wanneer je werkzaam bent bij een organisatie die onderzoek financiert wordt af en toe pijnlijk duidelijk dat ook onderzoek niet gratis is. In een wereld zonder schaarste had ik graag vele onderzoeken laten doen naar de vraag waarom bepaalde landen het beter doen dan andere landen.

  2. Voor wie het wil nalezen:
    De genoemde analyse van de effecten van hulp (ODA) op economische groei zijn
    gepresenteerd door Channing Arndt, Sam Jones and Finn Tarp (2010) in het WIDER paper
    ”Aid And Growth: Have We Come Full Circle?”
    zie: http://ideas.repec.org/p/unu/wpaper/wp2010-96.html

    Over de methodologische aanpak en de resultaten bestaat brede overeenstemming in het
    vakgebied.

    [Reageer op deze reactie]

    Thomas de Hoop Reply:

    Roodman (2007) geeft echter aan dat bijna elk resultaat in de empirische literatuur afhankelijk is van vele assumpties.

    Wellicht dat de resultaten in dit paper dat niet zijn, maar ik vraag het me af. Ik ga het in ieder geval lezen.

    [Reageer op deze reactie]

  3. Gaaf dat ideologie weer ruimte krijgt. Het probleem met zowel linkse als rechtse ideologie is dat het vaak om een utopie gaat. De werkelijkheid is genuanceerder. Ik ben al een poosje actief in een groep die civil society weer politiek wil activeren. Het is veel te veel schieten geworden vanaf het veilige midden. Er moet weer positie worden gekozen om stevigheid terug te geven aan de samenleving. En over het algemeen kun je nu eenmaal het beste de belangen verdedigen van mensen waarmee je je ook ideologisch verbonden voelt. Als je vervolgens maar niet jou ideaal wil opleggen aan de hele samenleving – iets waar Christenen zo hier en daar nog wel wat te leren hebben. Maar je mag wel staan voor je idealen en daarmee verandering proberen te bewerkstelligen, binnen en buiten je groep van ‘gelijkgezinden’. Overigens is eensgezindheid soms ver te zoeken. Kijk nog maar eens naar de lijsttrekkersverkiezingen van even geleden. Het valt niet mee om je eigen idealen bij anderen in goede handen te weten. Mischien is dat wel waarom de politiek z’n krediet aan het verliezen is.

    [Reageer op deze reactie]

Vindt u deze bijdrage de moeite waard? Geef ons dan uw fair share.

Doe een donatie via Paypal

Neem een abonnement en blijf op de hoogte van alles wat er speelt in de ontwikkelingssector.

Klik hier voor een abonnement