Evaluación del impacto de los programas de saneamiento total liderados por la comunidad en Malí (CLTS)

El estudio de evaluación descrito involucra a 121 comunidades en la región de Koulikoro en las zonas rurales de Malí. La intervención funciona de la siguiente manera: se facilita a las comunidades (por medio del personal del gobierno y de las ONG) para que realicen su propia evaluación y análisis de la defecación al aire libre (OD) y tomen sus propias medidas para convertirse en libres de la defecación al aire libre (ODF).

En Malí, el estatus libre de defecación al aire libre (ODF) se ha definido de la siguiente manera: "cada familia tiene una letrina equipada con una cubierta que limita la proliferación de moscas de los pozos; todos los miembros de la familia utilizan exclusivamente dicha letrina para defecar; cada letrina está equipada con un dispositivo de lavado de manos (agua + jabón / agua + cubo de cenizas)".

Para estimar el efecto causal de CLTS, los investigadores necesitan construir un contrafactual válido para calcular lo que habría sucedido en ausencia de la intervención. La asignación aleatoria garantiza que, en promedio, las comunidades tratadas y no tratadas compartan los mismos observables y no observables. La asignación aleatoria al tratamiento también supera el principal problema de selección que se encuentra en las evaluaciones, donde aquellos que son seleccionados para recibir el programa pueden tener atributos diferentes a los que no fueron seleccionados en primer lugar. Estas diferencias pueden ser causadas por atributos observables, comunidades más ricas, líderes más comprometidos, mejor clima, etc., pueden estar más dispuestos a participar en programas SANTOLIC, o también por dimensiones no observables. Lo que es más importante es que tales diferencias pueden estar afectando los resultados que los investigadores quieren medir. La asignación aleatoria al programa elimina el sesgo de selección porque asegura que, en promedio, las comunidades que reciben el programa son similares a las que no lo reciben.

Aunque la asignación aleatoria es a nivel comunitario, las unidades básicas de análisis de esta evaluación son los hogares. Los investigadores están interesados ​​en los resultados de salud de los niños menores de cinco años, porque la diarrea es una de las principales causas de mortalidad infantil. Además, los investigadores están interesados ​​en observar la morbilidad y la asistencia escolar de los niños en edad escolar. Finalmente, se supone que el saneamiento mejorado produce una redistribución en el uso del tiempo a nivel del hogar. Además, los investigadores están muy interesados ​​en observar las variables que están directamente relacionadas con el éxito/fracaso de la intervención. En particular, los investigadores monitorearán el uso de letrinas, la calidad del agua y la higiene general. El equipo podrá determinar si la falta de impacto en los resultados de salud se debe a la falta de uso de letrinas a pesar de su disponibilidad, o si se debe a la falta de higiene de manos a pesar del uso de letrinas.

UNICEF ha observado en áreas donde el programa ya se ha implementado que la migración es relativamente baja, por lo que los investigadores no esperan mucha deserción. Se puede esperar esta disminución de la diarrea incluso si la aldea no se convierte completamente en ODF, pero los niveles de absorción son más bajos.

La evaluación comprende la recopilación de datos en dos puntos en el tiempo: a) línea de base, antes de la implementación del programa, b) seguimiento 12 meses después de la implementación del programa para evaluar los efectos a largo plazo y la sostenibilidad. Los investigadores podrían recopilar datos de panel a nivel de la comunidad y del hogar.

Si bien la asignación aleatoria permite comparar los resultados promedio entre las comunidades, los investigadores también realizarían un análisis de regresión multivariable para mejorar la precisión de nuestras estimaciones y controlar cualquier posible diferencia previa al tratamiento. Los datos de panel permiten el uso de un diseño de diferencias en diferencias, si es necesario, y también incluir características iniciales (antes de la intervención) de los hogares y las comunidades. Los errores estándar se agruparán a nivel comunitario.

Las comunidades incluidas en el estudio entienden y aceptan ser parte del estudio, lo que significa que aceptan trabajar en temas de saneamiento con SANTOLIC ya sea de inmediato o dos años después. La aleatorización se completará después de realizar la línea de base. UNICEF y la Dirección de Saneamiento de Koulikoro (DNACPN) realizarán el proceso de activación en las 60 comunidades asignadas al grupo de tratamiento.

Una de las principales preocupaciones de la asignación aleatoria es la posible contaminación del grupo de control. Esto sucede, por ejemplo, cuando hay interacciones entre los miembros de las comunidades SANTOLIC y los miembros de las comunidades de control. Este es un problema en presencia de actividades compartidas. El problema es que estas interacciones pueden provocar cambios en el grupo de control. En el extremo, las comunidades de control y las comunidades de SANTOLIC experimentan el mismo cambio, entonces los investigadores no podrán detectar ningún efecto. Los investigadores se asegurarán de que las comunidades de estudio tengan zonas de amortiguamiento geográficas, por lo que no se espera que la interacción sea muy alta. Para verificar la interacción entre los miembros de la familia que viven en diferentes comunidades, el equipo agregó varias preguntas en las encuestas y documentó el alcance de las interacciones. Otra preocupación que a menudo surge con los experimentos aleatorios es que las unidades de control pueden estar recibiendo beneficios similares de otras intervenciones. Los investigadores monitorearán las aldeas de control para asegurarse de que esto no suceda y documentarán este aspecto del diseño.

UNICEF planea realizar un seguimiento estricto durante el período de intervención (primeros 3 meses). El equipo de investigación planea complementar este trabajo midiendo indicadores relevantes del cumplimiento de la intervención durante el período de intervención y después del final de la intervención.

Los investigadores prestarán especial atención a la variación de los impactos entre diferentes grupos, por lo que el tratamiento puede interactuar con indicadores de género y edad, características preexistentes de las comunidades en términos de toma de decisiones colectivas, entre otros, para identificar cómo estos factores pueden Explique por qué algunas personas o algunas comunidades ganan más que otras con el programa. Observar la heterogeneidad en los impactos del programa también ayuda a arrojar luz sobre el mecanismo detrás del éxito (o fracaso) del programa.

Esta es una de las primeras evaluaciones que utiliza técnicas de evaluación de impacto con datos cuantitativos [y asignación aleatoria] de programas SANTOLIC en el mundo en desarrollo. También complementará la evidencia ya existente. Otra ventaja de esta evaluación es que analizará cuidadosamente los resultados de comportamiento que están detrás de la adopción de mejores prácticas de saneamiento y que a menudo se pasan por alto en las evaluaciones relacionadas con el saneamiento, que tienden a centrarse más en los resultados de salud. Es ampliamente aceptado que un mejor saneamiento mejora la salud, sin embargo, todavía hay mucho debate sobre cuál puede ser una forma rentable de realizar una intervención de saneamiento. El éxito en la entrega dependerá en gran medida de si el programa es capaz de identificar los cuellos de botella que impiden la adopción de mejores prácticas de saneamiento y si es capaz de resolver los problemas identificados.