Resultaatmeting in ontwikkelingssamenwerking
Kunnen resultaten van ontwikkelingssamenwerking gemeten worden? Volgens Ruerd Ruben, directeur van het IOB, wel. Hij kaart een paar wijdverbreide misverstanden aan rondom de resultaatmeting en laat zien dat meten wel degelijk helpt.
Op gezette tijden klinkt in de bijdragen van Vice Versa de toon door dat ‘de resultaten van ontwikkelingssamenwerking niet meetbaar zijn’ (Marc Broere), terwijl aan de andere kant ook eenvoudig wordt gesteld dat ‘het effect van de Nederlandse ontwikkelingshulp zeer beperkt is’ (Wiet Jansen). Los van het feit dat beide beweringen nogal tegenstrijdig lijken, dragen zij niet bij aan de toch niet onbelangrijke maatschappelijke discussie rondom de vraag ‘helpt hulp?’.
Het is daarom nuttig om een aantal wijdverbreide misverstanden rondom de resultaatmeting te benoemen en de discussie daarmee in een iets minder dogmatisch vaarwater te brengen.
1. Ontwikkelingssamenwerking wordt té veel geëvalueerd?
Veelvuldig wordt de stelling naar voren gebracht dat ‘er geen sector is waar zoveel wordt geëvalueerd als in de ontwikkelingssamenwerking’. Dat is helaas verre bezijden de waarheid.
Sectoren als onderwijs en gezondheidszorg kennen veel meer reguliere evaluaties en effectenonderzoek, al dan niet gefinancierd door de betrokken ministeries. Bovendien doen ook organisaties als het CPB en SCP geregeld onderzoek naar de effecten van maatregelen in deze sectoren. Het WODC verricht voor het ministerie van Justitie zowel evaluatieonderzoek als ook research. Daar komt nog iets anders bij. Bij onderwijs en gezondheidszorg gaat het – ondanks alle stelselwijzigingen – vooral om toezicht op de uitvoering van reguliere taken. Het onderzoek naar de uitvoering loopt daar dan ook via (veel intensievere) inspecties, die ook gerechtigd zijn om boetes uit te delen indien de uitvoering tekortschiet. Bij ontwikkelingssamenwerking gaat het vaker om activiteiten met grote onzekerheden. Daarbij past een grotere aandacht voor evaluatie en is traditionele inspectie een minder geëigend instrument.
Een recente OECD studie toont aan dat de evaluatieuitgaven van ontwikkelingssamenwerking gemiddeld 0,47 % van het ODA budget bedragen.[1] De ontwikkelingsbanken besteden met 1,5-2% budget nog het meeste aandacht aan evaluaties. Het IOB evaluatiebudget bedraagt nauwelijks 0,1% van de Nederlandse ODA. De Nederlandse medefinancieringsorganisaties besteden thans 0,8 % van het programmabudget aan evaluaties. In het MFS-II wordt 0,7 % gereserveerd voor externe evaluaties. Dat zijn voorwaar niet al te grote investeringen voor een sector die grote invloed kan hebben op het alledaagse leven van zeer vele mensen (en waar dus op z’n minst het ‘do no harm’ principe gehandhaafd zou moeten worden) en waarvan ook het maatschappelijk vertrouwen aan erosie onderhevig is.
Een achterliggende vraag is natuurlijk ‘hoeveel’ evaluatie-inzet als noodzakelijk en zinvol moet worden beschouwd. Het is onmiskenbaar dat informatie uit o.m. evaluaties bijdraagt aan kennis over ontwikkelingssamenwerking, maar dat vertaalt zich uiteraard niet één-op-één door in groter vertrouwen in de sector. Er wordt in dit verband wel eens gesproken over de mogelijkheid om (naar analogie van het TNF-NIPO donateurspanel en de nationale goededoelentest.nl) het CBF-keurmerk op te rekken zodat hierin niet alleen naar beheersmatige criteria wordt gekeken, maar ook een indicatie wordt gegeven van de doeltreffendheid van organisaties. Voor individuele organisaties zou moeten gelden dat zij door goede evaluaties een zekere reputatie opbouwen waardoor de intensiteit van het evaluatiewerk in de toekomst kan afnemen.
2. Evaluaties zijn er alleen om van te leren?
De gedachte dat resultaatmeting alleen geschiedt om ‘lessen te trekken’ wordt veel gehanteerd om te voorkomen dat er over de resultaten zelf wordt gesproken. Het is echter onmogelijk om zinvolle lessen op te doen zonder dat er voldoende zicht is op de bereikte resultaten. Er wordt nog te veel uitgegaan van een tegenstelling tussen ‘leren’ en ‘verantwoorden’ , terwijl het leerproces juist behoort te beginnen bij een reflectie over waarom de beoogde resultaten al dan niet zijn behaald. Procesevaluaties zonder resultaatmeting kunnen we beter achterwege laten.
Een resultaatgerichte houding staat het ook toe om mislukte projecten en programma’s expliciet te benoemen, en daaruit lering te trekking voor nieuwe activiteiten. Risico’s zijn intrinsiek aan ontwikkelingssamenwerking, en het is verstandig deze onzekerheden ook als zodanig te erkennen. Het centrale dilemma bestaat eruit dat – zoals sommigen [overigens zonder enige empirische onderbouwing] beweren – misschien wel ‘de helft van de programma’s mislukken’, maar dat zoiets impliceert dat er ook altijd nog de andere helft slaagt (en dat is een aanmerkelijk hoger succespercentage dan dat van startende ondernemingen in Nederland), maar dat we helaas niet vooraf kunnen voospellen welke helft succesvol zal zijn.
Het is verstandig om aandacht te besteden aan de mislukkingen en de oorzaken daarvan zorgvuldig te analyseren, zonder dat dit hoeft te leiden tot onzindelijke verwijten naar de sector als geheel. Er gaat ook een opvoedende werking van uit om te verklaren waarom dergelijke mislukkingen zich kunnen voordoen, zodat het wijdere publiek begrip kan krijgen voor de risico’s en onzekerheden die intrinsiek zijn aan ontwikkelingssamenwerking.
3. Meer evaluatie draagt bij aan betere kwaliteit?
Veel evaluaties worden in de praktijk ingezet als een soort ‘mid-term review’ om informatie te verschaffen over de wenselijkheid tot continuering van de activiteiten.[2] Ze worden uitgevoerd door onderzoekers die nauw betrokken zijn bij de donor en/of uitvoerder, en beogen snel inzicht te verschaffen in de voortgang van het betreffende programma. In de praktijk dienen ze eerder om schone handen te houden dan dat ze werkelijk een beeld geven van het resultaatbereik.
Het gevolg hiervan is dat een belangrijk deel van de evaluaties niet aan minimum kwaliteitseisen voldoet. Een slechte evaluatie kan uiteraard niets zinvols zeggen over de kwaliteit van het programma en zou beter achterwege gelaten kunnen worden. Indien minimum kwaliteitseisen voor de ‘eigen’ (d.w.z. door organisaties of directies) uitgezette evaluaties worden gehanteerd, voldoet een substantieel gedeelte daarvan niet aan de criteria van objectiviteit en transparantie, en kunnen er bijgevolg geen valide uitspraken worden gedaan over de doelmatigheid en doeltreffendheid van de uitgevoerde activiteiten. Dergelijke evaluaties verdwijnen in de prullenbak.
We zouden er dus goed aan doen om wat minder te evalueren, maar dan wel de kwaliteit van de uitgevoerde evaluaties beter te waarborgen. Evalueren is een vak (waarvoor overigens in Nederland nauwelijks goede opleidingen bestaan) en deze deskundigheid kan het beste zuinig en selectief worden ingezet.
4. Evaluaties komen veelal te laat?
Een veel gehoorde kritiek op evaluaties is dat ze ‘mosterd na de maaltijd’ zijn. Een goede evaluatie vereist grondig onderzoek, bezoeken aan het veld, dataverzameling, en tenslotte het nodige rekenwerk om netto resultaten vast te kunnen stellen. Evaluaties studies komen per definitie pas na verloop van tijd beschikbaar: de effecten van investeringen zijn vaak pas na enige tijd zichtbaar en niet zelden worden dan alweer andere accenten gelegd. Tot op zekere hoogte is het juist dat hierdoor de eindrapportage van evaluatiestudies pas na verloop van tijd beschikbaar komt. Soms worden vertragingen veroorzaakt doordat er eerst wel wat gebeurd moet zijn voordat het zinvol is om te gaan evalueren. Anderzijds kunnen veel lessen ook al worden getrokken gedurende het evaluatieproces als resultaten tijdig worden gedeeld.
De belangrijkste oorzaak van late oplevering van evaluaties is – paradoxaal genoeg – dat ze te laat beginnen. Het is een wijdverbreide misvatting dat resultaatmeting ‘achteraf plaatsvindt’, terwijl het eigenlijk ‘vooraf’ moet beginnen met een scherpe definitie van de doelstellingen en verwachte resultaten, en een meting van de uitgangssituatie. Als dergelijke zaken ontbreken, heeft resultaatmeting achteraf geen enkele zin. Evaluatie is daarom niet het sluitstuk van internationale samenwerking, maar behoort aan de voorkant een rol te spelen.[3]
5. Ontwikkelingssamenwerking is te complex om resultaten te kunnen meten?
De laatste jaren is er aanmerkelijke vooruitgang geboekt met de ontwikkeling van (wetenschappelijke) methoden om de effecten van interventies vast te stellen. Daarbij wordt gebruik gemaakt van twee (of meer) metingen in de tijd – een nulmeting bij het begin en een vervolgmeting na 2-3 jaar – en waarbij ook wordt gekeken bij een vergelijkbare controlegroep hoe deze zich ontwikkeld heeft zonder deel te nemen in het programma (de zgn. counterfactual).[4]
De toepassing van deze aanpak van resultaatmeting is allesbehalve eenvoudig en vereist een zorgvuldig steekproefkader en de identificatie van relevante indicatoren voor het doelbereik. Daarmee heeft deze methode – die nu vrij algemeen wordt toegepast door de meeste bilaterale en multilaterale donoren – vele nieuwe inzichten opgeleverd over de effectiviteit van interventies. Deze impactanalyses laten bijvoorbeeld zien dat veel microfinancieringsprogramma’s zich richten op de betere cliënten die ook zonder steun wel de boogde resultaten hadden bereikt (selectie bias), terwijl in andere gevallen de inzet van hulp gekoppeld aan een eigen bijdrage van de deelnemers de effectiviteit juist ten goede komt. Dergelijke uitkomsten zijn uitermate nuttig om te leren over de wijze waarop ontwikkelingsprogramma’s beter kunnen worden opgezet.
Ten onrechte wordt impactmeting vereenzelvigd met lineair denken. De nadruk ligt op het vaststellen van causaliteit tussen interventies en uitkomsten, maar in veel gevallen verloopt dat proces in vele stappen en soms zijn externe effecten belangrijker dan de directe uitkomsten. Dat wil overigens niet zeggen dat er geen valide uitspraken gedaan kunnen worden over de effecten van ontwikkelingssamenwerking op micro-niveau. Veel programma’s gericht op scholing, betere gezondheidszorg, wegenaanleg en capaciteitsopbouw zijn gebaseerd op een heldere interventietheorie en kunnen daardoor ook prima worden geëvalueerd.[5] Het is een te simpele uitweg om – met een beroep op ‘complexiteit’ – te ontsnappen aan een zinvolle discussie over het resultaatbereik. Een groot deel van de ontwikkelingssamenwerking is inmiddels redelijk ‘standaard’ en daarvan mag verwacht worden dat de beoogde resultaten vooraf te benoemen zijn. Het behoort tot de verantwoordelijkheid van uitvoerende organisaties – van FMO tot Oxfam-Novib en de 1%Club – om hun inzet ‘evalueerbaar’ te maken.
Wellicht bestaat er vrees bij gevestigde ontwikkelingsorganisaties dat zij worden beoordeeld – en onderling vergeleken – op basis van hun effectiviteit en doelmatigheid. Een ander risico is dat organisaties alleen nog maar programma’s gaan uitvoeren waarvan het succes verzekerd is en dus sterk risicomijdend gedrag gaan vertonen. Dat kan mogelijk vermeden worden door vooraf expliciet te benoemen of de financiering is bedoeld als ‘experiment’ (op zoek naar een nieuwe interventietheorie), of dat het gaat om meer grootschalige ‘uitvoering’ (van een al bekende en gevalideerde interventiestrategie). De eis moet niet zijn dat een project succesvol is, maar dat het al zo veel mogelijk gebruik maakt van bestaande inzichten en dat men er van leert. Dat laatste vereist een goede evaluatie. Goede evaluaties kunnen ook eraan bijdragen dat al te simpele campagnes (‘een kind naar school voor 10 cent per dag’) van de buis verdwijnen.
6. De Nederlandse hulp is te klein om zelfstandig te evalueren?
De Nederlandse officiële ontwikkelingssamenwerking (ODA) omvat ca. 5% van de wereldwijde hulpstroom en dat moet aanleiding geven tot bescheidenheid. Bovendien vormt ontwikkelingshulp een afnemend deel van de totale financiële stromen naar ontwikkelingslanden, en nemen de geldoverboekingen van migranten en de directe investeringen van bedrijven thans het merendeel van de externe financiering voor hun rekening. Dat noopt tot een zekere terughoudendheid als het gaat om effectmeting.
De erkenning van een beperkte rol voor ontwikkelingssamenwerking betekent niet dat evaluaties geheel en al in de ijskast kunnen worden gezet. Er worden in toenemende mate brede evaluaties uitgevoerd waarin meerdere (bilaterale en multilaterale) donoren die betrokken zijn bij bepaalde programma’s gezamenlijk de resultaten meten, en evaluaties van bijvoorbeeld begrotingssteun of sectorsteun worden veelal samen met het ontvangende land uitgevoerd. Op belangrijke terreinen als basisonderwijs, water en sanitatie, gezondheidszorg en energie is Nederland als lead donor hierbij betrokken.
De andere kant van dit verhaal is echter, dat de vraagstelling van evaluaties verschuift van ‘aid effectiveness’ naar ‘development effectiveness’, oftewel dat er meer aandacht komt voor de bredere ontwikkelingseffecten die (mede) uit ontwikkelingssamenwerking voortkomen. Dit impliceert ook dat er (opnieuw) aandacht komt voor de katalyserende werking van hulp, de samenhang tussen buitenlandse hulp en binnenlandse overheidsbestedingen (en de rol van belastingheffing). Daarnaast zouden ook de mogelijkheden voor grotere complementariteit tussen bilaterale hulp en de activiteiten van NGOs meer aandacht verdienen. De vraag naar effectiviteit verschuift hiermee in de richting van de optimale modaliteiten-mix die er aan bijdraagt dat partners in staat worden gesteld om hun zelfredzaamheid te versterken. Op termijn is dan het beoogde resultaat dat lokale organisaties zich ook lokaal financieren, en dat de bijdrage vanuit ontwikkelingssamenwerking structureel kan verminderen.
7. Er wordt te weinig met evaluaties gedaan?
Het gebruik van inzichten uit evaluaties zou beter gebruikt moeten worden bij de indiening en beoordeling van nieuwe ontwikkelingsprogramma’s. Veel voorstellen zijn nog steeds erg input (aanbod)gericht en de omslag naar resultaatgericht denken is nog maar zeer beperkt gemaakt. Nieuwe beleidsvoorstellen zijn zelden gebaseerd op een grondige analyse van de ‘resultaten uit het verleden’. Het uiteindelijke doel van evidence-based policy-making ligt nog ver weg en is vermoedelijk ook nooit volledig haalbaar vanwege de vele andere (politieke) motieven die aan ontwikkelingsbeleid ten grondslag liggen. Dat laat echter onverlet dat van professionals in het veld verwacht mag worden dat zij gefundeerde keuzes maken over de inzet van OS middelen aangepast aan de specifieke lokale condities.
Er zijn de laatste jaren vele pogingen gedaan om de kloof tussen evaluatie en beleid te dichten. Een belangrijke ontwikkeling is de toepassing van Randomized Control Trials (RCTs) in lopende ontwikkelingsprogramma’s, waarbij specifieke diensten (bv. schoolvoeding, muskietennetten, microkrediet) aan willekeurig gekozen deelnemers worden verschaft – soms onder verschillende voorwaarden – zodat achteraf inzicht wordt verworven in de wijze waarop mensen deze activiteiten al dan niet inpassen in hun eigen bestaan[6]. Hiermee kunnen belangrijke lessen worden getrokken over de manier waarop interventies aansluiten bij de eigen dynamiek van arme huishoudens. Een meer op experimenteren geënt systeem van ontwikkelingssamenwerking kan een belangrijke bijdrage leveren aan de verbetering van de kwaliteit van de hulp.
Een andere manier om het gebruik van evaluaties te versterken is om de toegankelijkheid van evaluatieresultaten te vergroten. Op bijna alle beleidsterreinen zijn inmiddels wel evaluaties verricht (het OECD-DAC Evaluation Resource Centre DERec omvat al zo’n 1500 studies[7]), en er bestaat grote behoefte aan meer syntheses waarin de ‘geleerde lessen’ op systematische wijze worden samengebracht. In internationaal verband werken 3ie (International Initiative on Impact Evaluation[8]) en NONIE (Network of Networks on Impact Evaluation[9]) hard in deze richting.
Waarheen zal dit ons brengen? Na decennialange discussie over de vraag ‘helpt hulp?’ wordt het steeds duidelijker dat de bijdrage van hulp bescheiden is en op z’n best over een langere periode zichtbaar wordt. Veel belangrijker voor nu is echter de vraag ‘welke hulp helpt? (en waar?)’ en daarmee gaat de discussie steeds meer over de keuzes tussen hulpkanalen, de samenhang tussen hulpvormen en de combinatie van binnenlandse en externe middelen die bijdragen aan de hoofddoelstellingen van het beleid (i.c. armoedebestrijding en zelfredzaamheid).
Ruerd Ruben
Directeur, Inspectie Ontwikkelingssamenwerking & Beleidsevaluatie (IOB)
Ministerie van Buitenlandse Zaken
[1] OECD-DAC Evalnet (2010). Better Aid: Evaluation in Development Agencies. Paris: OECD.
[2] Zie ook: L.Pritchett (2002). It pays to be ignorant: A simple political economy of rigorous program evaluation. The Journal of Policy Reform 5 (4): 251-269. Hierin wordt gewezen op de systematische onderinvestering in (rigoureus) effectenonderzoek omdat daarmee de politieke speelruimte van beleidsmakers beperkt zou worden.
[3] F.L. Leeuw & G.H.C. van Gils (2010). Leren van Evalueren. Onderzoek naar het gebruik van evaluatieonderzoek bij het ministerie van Buitenlandse Zaken. Den Haag: MinBuza.
[4] M. Ravallion (2001). The Mystery of the Vanishing Benefits: An Introduction to Impact Evaluation. World Bank Economic Review 15 (1): 115-140.
[5] Zie bv.: IOB impactevaluaties ‘Water & Sanitation’ (IOB # 305 en #315), Primary Education in Uganda (IOB # 311), Primary Education in Zambia (IOB # 312), downloadable www.minbuza.nl/iob.
[6] A. Banerjee & E. Duflo (2011). Poor Economics: A Radical Rethinking of the Way to Fight Global Poverty. New York: Public Affairs.
[7] http://www.oecd.org/document/63/0,3746,en_35038640_35039563_35067327_1_1_1_1,00.html
[8] http://www.3ieimpact.org
[9] http://www.worldbank.org/ieg/nonie
Vindt u deze bijdrage de moeite waard? Geef ons dan uw fair share.
Doe een donatie via Paypal
Neem een abonnement en blijf op de hoogte van alles wat er speelt in de ontwikkelingssector.
Helaas begrijp ik het punt van intensiteit van evaluaties dwz de kosten van evaluaties nog niet. Zo heeft het IOB enkele jaren geleden een onderzoek gedaan naar de Wereldbank. Ben even de titel van het onderzoek kwijt. Maar zijn deze IOB evaluatie kosten dan ook gerelateerd aan het bilaterale ODA budget terwijl het een mulitialteraal kanaal betreft? En waar valt een evaluatie van het biodiversiteitsbeleid (2009)door IOB dan onder? Een evaluatie die alle kanalen betreft.
[Reageer op deze reactie]
Zeer interessante discussie maar er zijn twee componenten aan de ‘cohesie’ kwestie geloof ik. Het spijt me maar ik blijf een missen. Belangrijk voor aankomende discussies in Busan, Bellagio etc., is dat een, en ook hier, veel aandacht krijgt en is redelijk makkelijk om te bespreken (en is van directe interesse voor grote groepen mensen dus wordt veel besproken) en de andere is een weeskind. Moeilijk te bespreken en iets waar weinig mensen verantwoordelijkheid voor moeten dragen of inzicht in hebben. (Daarom dus de eerdere punt dat het ondergeschoven wordt tot momenten van implosie of (zeer) groot risico daarvan als geen thuis gevonden kan worden voor residual risk).
1. Cohesie 1: tussen (sub-)sector beleids cyclusen en laten we ons het noemen ‘maatschappelijke baten cohesie’ (cohesie in en de mobilisatie van bereidheid om betaald te worden uit openbare bronnen)
2. Cohesie 2: tussen (sub-)sector budget cyclusen en laten we ons het ‘maatschappelijke kosten cohesie’ (cohesie in de mobilisatie van beriedhied om te batalen aan openbare bronnen).
In deze multi-level governance probleem van harmonie vinden tussen twee (tegen over elkaar en onvermijdelijke in conflict) cohesie subcomponenten van de overall dus ‘harmonie’ kwestie, heeft de VN en meewerkende OS stakeholders daar aan verbonden/geallieerd een groot uitdaging over de komende jaren. Dit ‘harmonie’ processie is al moeilijk genoeg in PFM processen op nationaal niveau.
De jure en de facto autoriteit voor cohesie tussen deze subcomponenten van de macro-cohesie kwestie berusten nog steeds bij nation states. Dus terwijl politicologen en sociologen mogen praten van “governance without government” (deskundighied in subcomponent 1) dit heeft limieten (werkelijkheden in subcomponent 2). A long-term feedback loop to the ‘governed’. Een ‘sociaal’ perspectief in discussie en evaluatie in OS op een mondiaal niveau of naar mondiaal doelen is dan puur abstractie en ik vind dit moeilijk terug te vinden in de discussie. Gezien huidige uitdagingen in openbare financiën in het westen dit is nu niet meer een academische vraag voor verdere discussies over ‘aid effectiveness’.
Dus nog twee vragen misschien:
8: What is the (true) perspective of any OS evaluation and is this consistent with (all) accountability systems (over different time scales) at the level of those whose resources are actually being use/evaluated? (Less pretention more ambition?)
9: Is it possible to talk of evaluating Aid Effectiveness if we can no longer be sure that we know what (sovereign), context relevant Development Effectivess is?
[Reageer op deze reactie]
Even een korte reactie op de zinvolle opmerkingen van Paul Hassing:
(1) Intensiteit van Evaluaties
De veronderstelling dat genoemde percentages van het budget die worden besteed aan evaluaties kunnen worden opgeteld is ONJUIST. Het IOB evaluatiebudgetbudget is gerelateerd aan de bilaterale ODA (incl. Europese hulp); het MFS evaluatiebudget staat in verhouding tot de MFS middelen. Uiteraard wordt het evaluatiebudget gerelateerd aan het betreffende evaluandum. Overigens is de intensiteit van evaluatiewerk niet volledig af te meten aan het budget. Wellicht interessant is dat USAID in haar nieuwe beleidsnota stelt dat elk project 3-5% van het budget apart moet zetten voor evaluaties!
(2) Resultaat
Resultaatmeting vraagt uiteraard om een oordeel over de doelmatigheid en doeltreffendheid. Het is juist dat een omvangrijk gedeelte van de (door organisaties, directies en posten) uitgezette evaluaties hiertoe niet in staat blijken te zijn. Deze ‘(pseudo)evaluaties kunnen dan niet worden gebruikt voor beleidsdoorlichting. Wij onderschrijven de mening dat het ongewenst is dat evaluaties eindigen met de constatering: ‘er is onvoldoende basis om conclusies te trekken over het resultaatbereik’. Het is beter om dat vroegtijdig te constateren en de evaluatie niet uit te voeren.
(3) Veranderende prioriteiten
Dit is een goed punt. IOB heeft eerder wel studies verricht naar Exit-processen en voorspellingen gedaan over de gevolgen van de overgang van projecthulp naar programma-ondersteuning (o.m. toename van hulp aan sociale sectoren). Dit is later door de WRR inderdaad bevestigd. Er staat nu een studie gepland naar de duurzaamheid van de Nederlandse OS. Het belang van hulpcontinuiteit en voorspelbaarheid ( als onderdeel van de Parijs verklaring) vereist meer aandacht. Hopelijk komt dit aspect aan de orde in de komende discussies rondom Busan.
(4) Coherentie van beleid
Ook dit is een valide punt. In de IOB Afrikastudie is hieraan wel enige aandacht gegeven (handelsbeleid), maar dit aspect verdient meer expliciete attentie. Er staan enkele studies op stapel waarin de samenhang van buitenlands en OS-beleid met handelspolitiek en klimaatbeleid nader worden beschouwd.
Ruerd Ruben
Directeur IOB
[Reageer op deze reactie]
Met belangstelling en waardering heb ik deze bijdrage van Ruerd Ruben gelezen. Enkele kanttekeningen uit mijn eigen ervaring. Dat is uit de aaard der zake weinig wetenschappelijk maar geeft misschien een wat andere ”belichting”:
1/ Ontwikkelingssamenwerking wordt te veel geevalueerd.
Hoewel de percentages verheldering geven over de intensiteit waarmee OS wordt geevalueerd, worden toch verkeerde percentages met elkaar vergeleken. Als er gesteld wordt dat het IOB slechts 0.1% van het ODA budget gebruikt voor evaluaties, wordt er verondersteld dat dit zeer gering is. Dat is niet juist omdat de IOB evaluaties bovenop en additioneel zijn aan de met ODA middelen gefinancierde projectenevaluaties. Dus komen de kosten van de IOB evaluaties boven op die van het maatschappelijk middenveld (0.8%) en bovenop die van de IFI’s (1.5-2.0%). Het is niet correct om beide getallen tegenover elkaar te zetten. Deze percentages horen opgeteld te worden en dan vergeleken te worden met evaluatie kosten in andere sectoren en andere landen. Ik weet wel dat IOB al jaren vindt dat ze (terecht) te weinig middelen krijgen maar dat tonen ze zo niet aan.
2/ Evaluaties zijn er om alleen van te leren.
Ik weet niet of ik het betoog goed heb begrepen maar de noodzaak om meer aan resultaatmetingen te doen kwam voort uit de polieke notie om tegemoet te komen aan de kritiek over de veronderstelde lage effectiviteit van ontwikkelingshulp. Helaas komt het nog vaak voor dat evaluaties vaag blijven over de gerealiseerde effectiviteit. Ik heb in mijn werk meegemaakt dat een concrete benoeming van een lage effectiviteit wordt omzeild met een reeks van (wollige) aanbevelingen om de activiteit (projectmatig of procesmatig) een hogere effectiviteit te bezorgen in de vervolg fase. En dat sluit goed aan bij onze positieve instelling over de activiteit (ja, anders waren we er natuurlijk nooit aan begonnen) en/of het (politieke) belang om een activiteit voort te zetten. Ik ben het dus eens met het gestelde onder punt 3/ Meer evaluaties dragen bij aan de kwaliteit.
4/ Evaluatie komen meestal te laat.
Vergeten wordt in de argumentatie aan te geven wat de invloed is van voortdurend veranderende prioriteiten van het Nederlandse OS beleid. Daardoor worden nogal eens de doelstellingen van een lopend project of programma na een aantal jaren aangepast. Geen ownership die daar een einde aan heeft kunnen maken. De evaluaties van IOB (ik ken ze zeker niet allemaal) komen maar zelden tot de conclusie dat de veranderende prioriteiten van het Nederlandse OS beleid tot een aanpassing van de project doelstellingen hebben geleid die mede oorzaak waren van een lage effectiviteit. Want de veranderende doelstellingen zijn tenslotte door de uitvoerende partij omarmd, nietwaar? Dat het er zo inschikkelijk en vriendelijk bij deze aanpassingen meestal niet aan toe gaat, laat zich raden.
7/ Er wordt te weinig met evaluatie gedaan.
Jammer dat hier niet gerefereerd wordt aan de coherentie van beleid. Dat er bijv. geen evaluaties plaatsvinden van de mate waarin het interne Europese beleid en dat van Nederland zelf ontwikkelingsdoelen negatief of positief beinvloeden. Het zou bijv. denkbaar kunnen zijn dat veranderingen in beleid hier en binnen de EU meer invloed hebben op ontwikkelingslanden dan het beleid dat met OS wordt nagestreefd. Dat is wellicht voor IOB en de Nederlandse politiek nog een stapje te ver. Helaas.
[Reageer op deze reactie]
Wat mij opvalt sinds de Millennium ‘re-positioning’ van de Aid in de beleids- en collectief financieringsmarkt, van ‘steun-aan-sustainable-growth’ tot ‘direct-armhoedebestrijding’ (BandAid), zijn met namen twee dingen:
1. De impliciete en expliciete doelen van deze ‘New School’ van Aid zijn heel erg duidelijk en heel erg ‘global’. Tegelijk (als gevolg?) een deep en breed kloof is ontstaan tussen deze doelen en enige uitvoerbare werkelijkheid – in Uzbekistan tot Uganda – krijgen we (moeten we voordragen) ‘global best practice’ (‘globalony’ as i once heard it called). We zien nu hoe moeilijk volhoudbare transfer unions zijn niet allen binnen landen en gemeenschappen maar ook tussen redelijk homogene europese staten – tussen ‘global citizenry’?! Puur ‘(social) marketing’ fantasy voor een product dat niet te leveren is (en bestuur dat geloofwaardigheid verliest zal uiteindelijk meer verliesen) – I hope the editor’s heroes are listening….
2. verschuiving van ‘accounting en finance (public and private)’ resource allocation principes, regels, procedures, en dus ook ‘prioritizing skills’ en zelfs staff ‘values’, naar ‘participatieve’ regels, procedures en ‘networking skills’ and ‘values’…., en natuurlijk gigantische, Babalachtige, aanvraag documenten ( en dus appraisal dat valt niet later mee te nemen in evaluation). Bestuur gereduceert tot ‘discourse spelletjes’ en communicatie strategen en – niet geheel toevallig – en verwaring (en in sommige instanties belangen verstrengeling) tussen functies van ‘purchasing’ (finance) en ‘providing’ verschillende ‘diensten’ onder OS. Van oudsheer een kwestie in OS ‘R&D’ (als een van de laatste overheid breed trouwens) en de ‘Instituten’ wereld maar dan best behoorlijk uitgebreed naar operations activiteiten onder MFS I en II. Maak de grote NGOs nu echt betere development banks of ‘social verzekeraars’.
Ik kijk naar de interne maar natuurlijk onafhankelijk evaluatie van IOB dus uit en hoop dat er ook gesproken werd met mensen die wel vooraf zagen dat de New School aanpak ook tot veel tranen zou leiden (i can help point you in the right direction if you could not find any). Misschien is het zelf mogelijk onder de sceptici en ketters die de Millennium brandstapels van ‘verouderde waardes en skills’ overlevde nog voorbelden te vinden van werkwijzen die voldoen aan beiden: de (nogal grensloze) fonds-werving en ‘communicatie’ behoeftens van ‘de sector’ en; de noodzaak om te zorgen dat individuele organisaties en activiteiten on the ground where it matters ook de integere (local volhoudbaar) micro-socio-economisch baksteenen vormen voor toenemende (in plaats van misschien afnemende) macro-socio-economisch stabiliteit. In het binnen en buitenland zou dit trouwens nuttig kunnen zijn.
In the meantime I am advising my OS friends (op vrijwillig basis) to do something similar to that i have been giving many health and education sector clients in emerging markets over the years when reform (en dus consultants) becomes an implicit reality as much as an explicit inevitability (i.e. collective finance always runs out eventually… And in my experience in more than 30 countries worldwide when risk can no longer be aggregated to a higher collective (credible financial) authority expansion turns to implosion (hence incidentally my money is on now on ‘continentalisation’ becoming the new ‘globalisation’ strategic context)). Digession aside; You do not have to be commercial to be entrepreneurial or business-like. Revenue en ‘lobby’ en ‘marketing’ focus is a necessary but not sufficient condition to survival and success in the long-term. And development and governance are VERY long term games. Manage (diversify) your risk if you also want a chance of surviving tough times…. and they always come.
In the argo of the moment perhaps, the real challenge is to make a ‘linkse business’ from your ‘linkse hobby’. De facto en de jure is nu al veel mogelijk. Nu nog een leuke naam waar de ‘public information supply chain’ aan de slag mee kan. For the political animals amongst them, nothing beats the delicious pleasure of dissimulating dissimulation. For those interested in just getting stuff done where it counts, the majority, the advice works even better purely at face value.
So while this article will no doubt be a valuable contribution to a wider ‘aid effectiveness’ assault over the coming months the ‘maatschappelijk debat’ has now moved on. This is now a debate for cognoscenti. If we want to reengage a jaded and now highly sceptical (and broke and highly endebted) public, nothing short of a total re-branding of ‘anything-that-even-sounds-like-aid’ will suffice.
Any suggestions?
Apologies for the long post.
[Reageer op deze reactie]
Een erg belangrijke bijdrage aan de discussie….
Om goed te evalueren moeten dus heldere en duidelijke targets worden gesteld. En daaraan ontbreekt het vaak. Ook door wazige subsidie kaders wordt dit versterkt. Is MFS2 nou bedoeld om het maatschappelijk middenveld te versterken of om armoede te bestrijden? Wat is het centrale doel? Als je kiest om het maatschappelijk middelveld te versterken, moet je vrijheid geven aan het maatschappelijk middenveld en heb je minder grip op armoedebestrijding. Als rechtstreeks op armoedebestrijding ingestoken wordt (en daarop afgerekend), moet je accepteren dat maatschappelijk organisaties zich minder goed ontwikkelen richting zelfstandige organisaties.
Daarnaast houden NGOs inderdaad veel te lang vast aan bepaalde projecten (ik heb mezelf binnen Fairfood niet populair gemaakt met het afschaffen van o.a. ‘ons’ wereldvoedseldag project, waar gezellig de hele sector naar toe kwam (hetgeen niet het vooraf gestelde doel was))…. Directies moeten meer doorpakken met het stoppen van projecten als resultaten niet behaald zijn (hetgeen helder kan worden door een goede evaluatie).
[Reageer op deze reactie]
leendert beije Reply:
oktober 22nd, 2011 at 12:08
Frank van der Linde op 22 oktober 2011 schreef in Vice Versa, het vakblad over ontwikkelingssamenwerking. Daarin leverde hij een zijns inziens belangrijke bijdrage aan de discussie omtrent doelen die NGO’s zich stellen.
Als reactie daarop en tevens als feestrede, schrijft Leendert Beije:
Welk doel heeft de mens zichzelf gesteld, als hij, midden in de herfst van zijn leven, de zaken op een rijtje zet?
Het middenveld waarin hij als speler staat opgesteld blijkt, zonder dat hij er zich van bewust is, niet langer opgewassen tegen een inderdaad wazig subsidiekader als het ABP.
Laat ik dat illustreren aan de hand van de volgende parabel:
Op het speelterrein van alle kinderen onder de zon geef ik een pass naar iemand bij mij in de buurt. Helaas kan ik door opkomende mist de richting van mijn actie niet juist bepalen. Het doel is onduidelijk.
We staan inmiddels met 3 nul achter. Een armoedige situatie.
Wat te doen? Ons middenveld versterken kunnen we niet. We hebben letterlijk geen doel voor ogen.
Dan, ineens, verdwijnt de mist. Mijn voorzet blijkt bij een speler van de tegenpartij te zijn terechtgekomen.
Gelukkig heeft de keeper op tijd ingegrepen. Een counter van onze kant zorgt ervoor dat we onze achterstand deels kunnen wegwerken.
Met 2 tegen 1 verlaten we het veld.
Deze les heb ik geleerd: het maatschappelijk middenveld versterken is belangrijker dan alleen maar proberen het gevolg van onzuivere doelen, lees: armoedebestrijding, te tackelen. Wat dat betreft is een opkomende mist misschien wel onze redding.
Opdat je, in de herfst van je leven, mag genieten van wat ons elke dag weer ten deel valt, de uitnodiging deze fles te openen en te proosten op een lang en gelukkig leven.
Gefeliciteerd met je verjaardag.
Een kus van Joke en Leendert.
[Reageer op deze reactie]