Evaluatie van de impact van door de gemeenschap geleide totale sanitatieprogramma's in Mali (CLTS)

Bij de beschreven evaluatiestudie zijn 121 gemeenschappen betrokken in de regio Koulikoro op het platteland van Mali. De interventie werkt op de volgende manier: gemeenschappen worden gefaciliteerd (door middel van overheids- en NGO-personeel) om hun eigen beoordeling en analyse van open defecatie (ODF) uit te voeren en hun eigen actie te ondernemen om open defecatievrij (ODF) te worden.

In Mali is de status Open Defecation Free (ODF) als volgt gedefinieerd: "elk gezin heeft een latrine die is uitgerust met een deksel dat de verspreiding van vliegen uit de pits beperkt; alle leden van het gezin gebruiken uitsluitend zo'n latrine om te poepen; elk latrine is uitgerust met een handenwasinrichting (water + zeep / water + asemmer)".

Om het causale effect van CLTS te schatten, moeten de onderzoekers een valide nulscenario opstellen om te berekenen wat er zou zijn gebeurd zonder de interventie. Willekeurige toewijzing zorgt ervoor dat behandelde en onbehandelde gemeenschappen gemiddeld dezelfde waarneembare en niet-waarneembare delen delen. Willekeurige toewijzing aan behandeling lost ook het belangrijkste selectieprobleem op dat in evaluaties wordt aangetroffen, waarbij degenen die worden geselecteerd om het programma te ontvangen, andere eigenschappen kunnen hebben dan degenen die in de eerste plaats niet werden geselecteerd. Deze verschillen kunnen worden veroorzaakt door waarneembare attributen, meer welvarende gemeenschappen, meer betrokken leiders, beter weer, enz. kunnen meer bereid zijn om deel te nemen aan CLTS-programma's, of ook door niet-waarneembare dimensies. Wat belangrijker is, is dat dergelijke verschillen van invloed kunnen zijn op de resultaten die de onderzoekers willen meten. Willekeurige toewijzing aan het programma elimineert selectiebias, omdat het ervoor zorgt dat gemeenschappen die het programma ontvangen gemiddeld vergelijkbaar zijn met degenen die het niet ontvangen.

Hoewel willekeurige toewijzing op gemeenschapsniveau plaatsvindt, zijn de basisanalyse-eenheden van deze evaluatie huishoudens. De onderzoekers zijn geïnteresseerd in de gezondheidsresultaten van kinderen onder de vijf jaar, omdat diarree een van de belangrijkste oorzaken van kindersterfte is. Ook zijn de onderzoekers geïnteresseerd in het kijken naar morbiditeit en schoolbezoek voor schoolgaande kinderen. Ten slotte zou verbeterde sanitaire voorzieningen moeten leiden tot een herverdeling van de tijdsbesteding op het niveau van de huishoudens. Daarnaast zijn de onderzoekers zeer geïnteresseerd in het kijken naar variabelen die direct verband houden met het slagen/mislukken van de interventie. De onderzoekers zullen met name toezicht houden op het gebruik van de latrine, de waterkwaliteit en de algemene hygiëne. Het team zal kunnen bepalen of het gebrek aan impact op de gezondheidsresultaten te wijten is aan een gebrek aan gebruik van latrines ondanks hun beschikbaarheid, of dat het te wijten is aan een gebrek aan handhygiëne ondanks het gebruik van latrines.

UNICEF constateert in gebieden waar het programma al is geïmplementeerd dat de migratie relatief laag is, dus veel verloop verwachten de onderzoekers niet. Deze afname van diarree kan worden verwacht, zelfs als het dorp niet volledig ODF wordt, maar de opnameniveaus lager zijn.

De evaluatie omvat het verzamelen van gegevens op twee tijdstippen: a) baseline, vóór de uitvoering van het programma, b) follow-up 12 maanden na de uitvoering van het programma om effecten op langere termijn en duurzaamheid te beoordelen. De onderzoekers zouden panelgegevens kunnen verzamelen op gemeenschaps- en huishoudensniveau.

Hoewel willekeurige toewijzing het mogelijk maakt om gemiddelde resultaten tussen gemeenschappen te vergelijken, zouden de onderzoekers ook multivariate regressieanalyses uitvoeren om de precisie van onze schattingen en controle voor mogelijke verschillen vóór de behandeling te verbeteren. Panelgegevens maken het mogelijk om, indien nodig, een verschil in verschilontwerp te gebruiken, en ook om initiële (vóór de interventie) kenmerken van huishoudens en gemeenschappen op te nemen. Standaardfouten worden geclusterd op gemeenschapsniveau.

De gemeenschappen die in het onderzoek zijn opgenomen, begrijpen en stemmen ermee in om deel uit te maken van het onderzoek, wat betekent dat ze ermee instemmen om meteen of twee jaar later met CLTS aan sanitaire kwesties te werken. Randomisatie zal worden voltooid nadat de basislijn is uitgevoerd. UNICEF en het Directorate of Sanitation of Koulikoro (DNACPN) zullen het activeringsproces uitvoeren in de 60 gemeenschappen die aan de behandelgroep zijn toegewezen.

Een van de grootste zorgen van willekeurige toewijzing is de mogelijke besmetting van de controlegroep. Dit gebeurt bijvoorbeeld wanneer er interacties zijn tussen leden van CLTS-gemeenschappen en leden van controlegemeenschappen. Dit is een probleem in aanwezigheid van gedeelde activiteiten. Het probleem is dat deze interacties veranderingen in de controlegroep kunnen veroorzaken. In het uiterste geval ervaren controlegemeenschappen en CLTS-gemeenschappen dezelfde verandering, dan kunnen de onderzoekers geen enkel effect ontdekken. De onderzoekers zorgen ervoor dat de studiegemeenschappen geografische buffers hebben, zodat de interactie naar verwachting niet erg hoog zal zijn. Om te controleren op interactie tussen familieleden die in verschillende gemeenschappen wonen, voegde het team verschillende vragen toe aan de enquêtes en documenteerde het de mate van interactie. Een andere zorg die vaak naar voren komt bij gerandomiseerde experimenten is dat controle-eenheden vergelijkbare voordelen kunnen halen uit andere interventies. De onderzoekers zullen controledorpen controleren om ervoor te zorgen dat dit niet gebeurt en documenteren dit aspect van het ontwerp.

UNICEF is van plan om tijdens de interventieperiode (eerste 3 maanden) strikt te monitoren. Het onderzoeksteam is van plan dit werk aan te vullen door relevante indicatoren van interventiecompliance te meten tijdens de interventieperiode en na afloop van de interventie.

De onderzoekers zullen zorgvuldig aandacht besteden aan de variatie in effecten tussen verschillende groepen, zodat de behandeling kan worden beïnvloed door geslachts- en leeftijdsindicatoren, reeds bestaande kenmerken van gemeenschappen in termen van collectieve besluitvorming, onder andere om te identificeren hoe deze factoren kunnen leg uit waarom sommige mensen of sommige gemeenschappen meer baat hebben bij het programma dan andere. Kijken naar heterogeniteit in programma-effecten helpt ook om licht te werpen op het mechanisme achter het succes (of falen) van programma's.

Dit is een van de eerste evaluaties waarbij gebruik wordt gemaakt van impactevaluatietechnieken met kwantitatieve gegevens [en willekeurige toewijzing] van CLTS-programma's in ontwikkelingslanden. Het zal ook een aanvulling vormen op reeds bestaand bewijsmateriaal. Een ander voordeel van deze evaluatie is dat er zorgvuldig wordt gekeken naar de gedragsresultaten die ten grondslag liggen aan de invoering van betere sanitaire praktijken en die vaak over het hoofd worden gezien in evaluaties met betrekking tot sanitaire voorzieningen, die meer gericht zijn op gezondheidsresultaten. Het is algemeen aanvaard dat betere sanitaire voorzieningen de gezondheid verbeteren, maar er is nog steeds veel discussie over wat een kosteneffectieve manier kan zijn om een ​​sanitatie-interventie uit te voeren. Het succes van de uitvoering zal sterk afhangen van het feit of het programma knelpunten kan identificeren die de invoering van betere sanitaire praktijken in de weg staan ​​en of het de geïdentificeerde problemen kan oplossen.