Evaluering av virkningen av fellesskapsledede totalsaneringsprogrammer i Mali (CLTS)

Evalueringsstudien som er beskrevet involverer 121 lokalsamfunn i regionen Koulikoro i landlige Mali. Intervensjonen fungerer på følgende måte: lokalsamfunn blir tilrettelagt (ved hjelp av ansatte fra myndighetene og frivillige organisasjoner) til å gjennomføre sin egen vurdering og analyse av åpen avføring (OD) og iverksette sine egne tiltak for å bli fri for åpen avføring (ODF).

I Mali har statusen Open Defecation Free (ODF) blitt definert som følger: "hver familie har en latrine utstyrt med et deksel som begrenser spredningen av fluer fra gropene; alle medlemmer av familien bruker utelukkende slik latrine for å gjøre avføring; hver latrine er utstyrt med håndvask (vann + såpe / vann + askebøtte)".

For å estimere årsakseffekten av CLTS må forskerne konstruere en gyldig kontrafaktisk for å beregne hva som ville ha skjedd uten intervensjonen. Tilfeldig tildeling sikrer at behandlede og ubehandlede samfunn i gjennomsnitt deler de samme observerbare og uobserverbare. Tilfeldig tildeling til behandling overvinner også hovedutvelgelsesproblemet som finnes i evalueringer, der de som blir valgt ut til å motta programmet kan ha andre egenskaper enn de som ikke ble valgt i utgangspunktet. Disse forskjellene kan være forårsaket av observerbare attributter, mer velstående samfunn, mer engasjerte ledere, bedre vær, etc, kan være mer villige til å engasjere seg i CLTS-programmer, eller av uobserverbare dimensjoner også. Det som er viktigere er at slike forskjeller kan påvirke resultatene etterforskerne ønsker å måle. Tilfeldig tildeling til programmet eliminerer seleksjonsskjevhet fordi det sikrer at fellesskap som mottar programmet i gjennomsnitt ligner på de som ikke mottar det.

Selv om tilfeldig tildeling er på samfunnsnivå, er de grunnleggende analyseenhetene i denne evalueringen husholdninger. Etterforskerne er interessert i helseutfall for barn under fem år, fordi diaré er blant hovedårsakene til barnedødelighet. Forskerne er også interessert i å se på sykelighet og skolegang for barn i skolealder. Til slutt skal forbedrede sanitærforhold gi en omfordeling av tidsbruken på husholdningsnivå. I tillegg er forskerne svært interessert i å se på variabler som er direkte relatert til intervensjonens suksess/fiasko. Spesielt vil etterforskerne overvåke latrinebruk, vannkvalitet, generell hygiene. Teamet vil kunne avgjøre om manglende påvirkning på helseutfall skyldes manglende latrinbruk til tross for tilgjengelighet, eller om det skyldes mangel på håndhygiene til tross for bruk av latriner.

UNICEF har observert i områder hvor programmet allerede er iverksatt at migrasjonen er relativt lav, så forskerne forventer ikke mye avgang. Denne nedgangen i diaré kan forventes selv om landsbyen ikke blir fullstendig ODF, men opptaket er lavere.

Evalueringen omfatter innsamling av data på to tidspunkter: a) baseline, før programimplementering, b) oppfølging 12 måneder etter programimplementering for å vurdere langsiktige effekter og bærekraft. Etterforskerne ville være i stand til å samle paneldata på lokalsamfunnet og på husholdningsnivå.

Mens tilfeldig tildeling gjør det mulig å sammenligne gjennomsnittlige utfall på tvers av samfunn, ville etterforskerne også utføre multivariat regresjonsanalyse for å forbedre presisjonen til våre estimater og kontroll for eventuelle potensielle forskjeller før behandling. Paneldata gjør det mulig å bruke en forskjell i forskjellsdesign, om nødvendig, og også å inkludere innledende (før intervensjonen) karakteristika for husholdninger og lokalsamfunn. Standardfeil vil bli gruppert på fellesskapsnivå.

Samfunnene som er inkludert i studien forstår og godtar å være en del av studien, noe som betyr at de aksepterer å jobbe med sanitærproblemer med CLTS enten umiddelbart eller to år senere. Randomisering vil bli fullført etter at baseline er utført. UNICEF og Sanitetsdirektoratet i Koulikoro (DNACPN) vil gjennomføre den utløsende prosessen i de 60 samfunnene som er tildelt behandlingsgruppen.

En av hovedbekymringene ved tilfeldig tildeling er potensiell forurensning av kontrollgruppen. Dette skjer for eksempel når det er interaksjoner mellom medlemmer av CLTS-fellesskap og medlemmer av kontrollfellesskap. Dette er et problem i nærvær av delte aktiviteter. Problemet er at disse interaksjonene kan forårsake endringer i kontrollgruppen. I ytterste konsekvens opplever kontrollmiljøer og CLTS-miljøer den samme endringen, da vil forskerne ikke kunne oppdage noen effekt. Forskerne skal sørge for at studiemiljøene har geografiske buffere, slik at interaksjonen ikke forventes å være særlig høy. For å se etter interaksjon mellom familiemedlemmer som bor i ulike lokalsamfunn, la teamet til flere spørsmål i undersøkelsene og dokumentere omfanget av interaksjoner. En annen bekymring som ofte oppstår ved randomiserte eksperimenter er at kontrollenheter kan motta lignende fordeler fra andre intervensjoner. Etterforskerne vil overvåke kontrolllandsbyer for å sikre at dette ikke skjer og dokumentere dette aspektet av designet.

UNICEF planlegger å gjennomføre streng overvåking i intervensjonsperioden (første 3 måneder). Forskerteamet planlegger å supplere dette arbeidet ved å måle relevante indikatorer på intervensjonsoverholdelse i intervensjonsperioden og etter avsluttet intervensjon.

Etterforskerne vil gi nøye oppmerksomhet til variasjonen i påvirkninger på tvers av ulike grupper, slik at behandling kan samhandles med kjønns- og aldersindikatorer, eksisterende kjennetegn ved lokalsamfunn når det gjelder kollektiv beslutningstaking, blant annet for å identifisere hvordan disse faktorene kan forklare hvorfor noen mennesker eller noen lokalsamfunn tjener mer enn andre på programmet. Å se på heterogenitet i programeffekter hjelper også med å belyse mekanismen bak programmets suksess (eller fiasko).

Dette er en av de første evalueringene som bruker effektevalueringsteknikker med kvantitative data [og tilfeldig tildeling] av CLTS-programmer i utviklingsland. Det vil også utfylle allerede eksisterende bevis. En annen fordel med denne evalueringen er at den vil se nøye på atferdsmessige utfall som ligger bak innføringen av bedre sanitærpraksis og som ofte blir oversett i evalueringer knyttet til sanitet, som har en tendens til å fokusere mer på helseutfall. Det er allment akseptert at bedre sanitærforhold forbedrer helsen, men det er fortsatt mye debatt om hva en kostnadseffektiv måte å levere en sanitærintervensjon kan være. Suksess i levering vil i stor grad avhenge av om programmet er i stand til å identifisere flaskehalser som hindrer innføring av bedre sanitærpraksis og om det er i stand til å løse problemene som er identifisert.