Atouts pour l'évaluation de l'indépendance (AFI)

L'évaluation des Atouts pour l'Indépendance (AFI) est en cours sur deux sites. Les deux sites sont situés dans les principales régions métropolitaines du sud-ouest des États-Unis, desservant des populations de clients qui sont à 60-75 % hispaniques. Les deux ont des caractéristiques de programme similaires : des périodes d'épargne maximales de 24 mois et des montants d'épargne correspondants pouvant atteindre 1 000 $. Importantes pour l'estimation des différences de caractéristiques de conception, il existe également des différences clés dans les paramètres du programme : les heures requises d'éducation financière et les taux de correspondance de l'IDA. Les sites ont inscrit leurs échantillons sur une période de 19 mois allant de janvier 2013 à juillet 2014. Les membres de l'échantillon de chaque site ont été assignés au hasard à deux groupes de taille égale : un groupe de traitement (ceux qui peuvent entrer dans le programme IDA du site) et un groupe de contrôle (ceux qui ne peuvent pas entrer).

ÉTUDE D'IMPACT

L'étude d'impact est le principal volet quantitatif de la recherche. La collecte et l'analyse des données fourniront des estimations de l'effet de la participation de l'IDA sur les résultats à court et à long terme des clients, tels que mesurés sur des périodes de suivi de 12 mois, 36 mois et 60 mois.

Les résultats des participants seront mesurés au moment de l'assignation aléatoire et 12, 36 et 60 mois après l'assignation aléatoire. Les mesures qui se rapportent aux effets à court terme du programme comprennent le montant des économies et l'évitement des difficultés matérielles. Ce sont les effets les plus susceptibles d'apparaître au cours de la première année. Les mesures supplémentaires comprennent le statut d'emploi, les revenus, la réception de prestations publiques sous condition de ressources et la valeur nette. À long terme, des effets sur l'accession à la propriété, la propriété d'entreprise et le niveau d'études secondaires sont susceptibles d'apparaître.

Un domaine inexploré des effets à court terme des CID est l'utilisation d'une épargne inégalée pour répondre aux besoins d'urgence. Aux premiers stades de la participation à l'AFI, les ménages peuvent établir une habitude d'épargne mais peuvent avoir besoin de puiser dans leur épargne pour des dépenses imprévues ou pour compenser une baisse imprévue de leurs revenus. L'effet hypothétique de ces retraits inégalés des dépôts de l'IDA est un évitement des difficultés matérielles en matière d'alimentation et de santé. Cet effet sera estimé à l'aide d'un petit ensemble de questions d'enquête au niveau des ménages, y compris certains éléments tirés du module thématique sur le bien-être des adultes de l'Enquête sur le revenu et la participation aux programmes (SIPP).

RTI International a développé un outil d'inscription d'échantillons basé sur le Web pour le personnel du projet IDA sur chaque site à utiliser pour administrer le consentement éclairé, un questionnaire de base et une affectation aléatoire pour chaque candidat éligible à l'étude. Le questionnaire de référence de 30 minutes de l'étude a recueilli des informations dans les modules d'enquête suivants : données démographiques, utilisation des services financiers, résidence actuelle, emploi, revenus et dépenses du ménage, expérience et actifs financiers, dettes, difficultés matérielles, engagement et perspectives sociaux, et informations de localisation. (aux fins de recontacter le répondant pour les enquêtes de suivi). Les données administratives fournies par le site fourniront des covariables de base supplémentaires et (pour les cas de traitement) des informations descriptives sur les ouvertures, les dépôts, les retraits (appariés et non appariés) et les soldes de l'IDA.

Notez que les mesures au niveau de la personne sont spécifiques au "membre principal du ménage": la première personne de son ménage à postuler au programme IDA pendant la période d'inscription à l'étude. Cette personne est le répondant pour le questionnaire de référence et les enquêtes de suivi. Si d'autres membres (secondaires) du même ménage demandent ultérieurement à participer au programme IDA du site, ils ne sont pas soumis séparément à une affectation aléatoire (et ne s'ajoutent pas au décompte de l'échantillon), mais sont considérés comme ayant été affectés au même groupe d'échantillon ( traitement ou contrôle) en tant que membre principal. Les résultats au niveau du ménage sont mesurés pour le ménage auquel appartient le membre principal.

Les enquêtes de suivi obtiennent les résultats et d'autres mesures contextuelles. Les sondages durent 30 minutes et sont menés par téléphone, sur le Web ou par un intervieweur en personne. Le répondant est le membre principal de l'échantillon, la même personne qui a demandé à participer au projet AFI et qui a rempli le formulaire de consentement éclairé et le questionnaire de base. Les enquêtes obtiennent des données sur les mesures des résultats, dans les mêmes rubriques thématiques que celles présentées précédemment pour le questionnaire de base.

L'estimation des impacts du programme utilisera des techniques conventionnelles de régression multivariée selon les propriétés statistiques de la variable dépendante (continue, dichotomique ou multinomiale). Pour chaque mesure de résultat, le paramètre clé à estimer est le coefficient du statut attribué au hasard (traitement versus contrôle) du cas. Ce coefficient indique la différence traitement-contrôle ajustée par régression dans le résultat mesuré. Toutes les équations d'estimation comprendront des covariables mesurées au moyen du questionnaire de base. L'effet du programme estimé est l'effet en intention de traiter (ITT), comparant les résultats entre les cas du groupe témoin et tous les cas du groupe de traitement, que le cas de traitement ouvre ou non un compte IDA. En d'autres termes, cette procédure donne une estimation de l'effet de l'offre de participation à l'IDA, car tous les membres du groupe de traitement n'ouvriront pas d'IDA. Nous estimerons également l'effet traitement sur les traités (TOT) (c'est-à-dire l'impact du programme sur ceux qui le terminent).

En abordant la première question de recherche - l'impact de la participation à l'AFI sur les résultats qu'elle est conçue pour traiter (par exemple, l'épargne et les achats d'actifs) - nous estimerons l'effet du programme séparément par site ainsi qu'à partir de l'échantillon regroupé combinant les données des deux des sites. Les données d'échantillon regroupées fourniront l'estimation unique la plus précise de l'étude de l'effet du programme, en utilisant pleinement toutes les observations d'échantillon disponibles.

La deuxième question de recherche - concernant l'effet sur d'autres domaines de résultats que le programme pourrait influencer (par exemple, les difficultés matérielles, l'utilisation de produits financiers alternatifs, le bien-être économique) - sera également abordée en estimant les effets sur l'échantillon regroupé et séparément par site.

Sous la question de recherche 3, nous testerons les impacts différentiels du programme par sous-groupes de participants. Les sous-groupes d'intérêt seront identifiés à partir des données de référence. Nous prévoyons que ces sous-groupes refléteront des différences telles que l'âge, le niveau de revenu initial, l'endettement initial, le niveau d'éducation initial ou le statut initial d'accession à la propriété.

ÉTUDE DE MISE EN ŒUVRE

L'étude de mise en œuvre décrira et documentera comment le projet AFI est conçu, mis en œuvre et exploité dans les sites bénéficiaires participants. Cette information fournira le contexte pour comprendre les résultats de l'analyse d'impact. La principale approche de collecte de données impliquait des visites sur place chez les bénéficiaires de l'AFI, qui comprenaient des entretiens avec les principaux administrateurs, le personnel et les parties prenantes ; observations des services bénéficiaires ; et l'examen des documents et données pertinents.

Les visites sur place des bénéficiaires sélectionnés de l'AFI ont duré deux jours chacune et ont eu lieu en 2014. Sur place, nous avons mené des entretiens semi-structurés en personne avec des personnes occupant différents rôles afin d'obtenir un éventail de points de vue sur le projet AFI, notamment le personnel des bénéficiaires de l'IDA, des prestataires d'éducation financière et des représentants d'organisations partenaires.

Les entretiens examinent les problèmes liés à la conception et à la mise en œuvre du projet AFI, les défis auxquels les projets sont confrontés et leurs stratégies pour les surmonter, ainsi que d'autres facteurs qui peuvent ne pas être pris en compte dans l'analyse quantitative mais qui peuvent affecter les résultats du projet. Les questions sur la conception et la mise en œuvre s'inspirent des informations recueillies lors de la sélection du site, de la formation sur le site, des affectations aléatoires initiales et des appels de suivi, et couvrent si, comment et pourquoi des changements de projet se sont produits. Grâce à la sélection des sites et aux entretiens sur place avec le personnel, nous avons obtenu des informations sur la stabilité et la capacité organisationnelles, le niveau de complexité du projet IDA, le nombre d'employés et le degré d'implication du personnel, et le recrutement des participants. Les questions spécifiques comprenaient : Quelles activités de sensibilisation avez-vous menées pour informer les individus de votre projet IDA ? Quelles formes de soutien au programme sont fournies aux titulaires de comptes IDA ? À quelle fréquence le personnel du projet AFI est-il en contact avec les participants après l'ouverture d'un compte ? Quels services de programme non IDA étaient disponibles pour les membres du groupe de comparaison par l'intermédiaire de votre organisation ? Pensez-vous qu'il y a des effets importants (positifs ou négatifs) de votre projet AFI sur les participants au-delà des résultats mesurés que nous suivons à travers l'évaluation ?

En plus d'interroger les répondants sur les défis auxquels ils sont confrontés, les entretiens avec les administrateurs de projet et le personnel de l'IDA approfondissent les défis tels que l'aide aux participants pour atteindre des objectifs d'épargne réalistes, la navigation dans les exigences de diverses sources et exigences de financement, la collecte de fonds non fédéraux et la gestion de fonds limités. pour frais administratifs. Les entretiens explorent également les facteurs externes ou les circonstances particulières susceptibles d'affecter les résultats du projet. Ces informations seront essentielles à la fois pour l'interprétation des résultats de l'analyse d'impact et pour la généralisation des résultats à d'autres sites. Il sera fondamentalement important de comprendre pourquoi un programme a produit ses effets estimés sur les participants et si ces effets pourraient être reproduits ailleurs. Enfin, les entretiens donnent aux répondants l'occasion d'identifier les résultats intangibles, qu'ils soient positifs ou négatifs, qu'ils jugent importants mais qui peuvent ne pas être pris en compte dans l'analyse d'impact formelle, et aident à identifier les histoires des participants à partager.

Au cours des visites sur place, nous avons observé des cours d'éducation financière et d'autres interactions entre les participants au projet pour saisir ce qui se passe réellement pendant la prestation de services du projet. Les observations étaient guidées par des sujets prédéterminés correspondant aux problèmes spécifiques de l'étude, et les observateurs étaient aussi discrets que possible. Les observations donneront un aperçu de la façon dont des aspects particuliers du projet peuvent influencer les résultats des participants.

L'étude de mise en œuvre comprendra également un examen des documents pour comprendre comment la structure administrative et la conception du projet AFI peuvent influencer les résultats du projet. Une documentation écrite du nombre et des rôles du personnel et des bénévoles impliqués dans le projet IDA et dans l'organisation elle-même, les règles du projet et les buts et objectifs généraux du projet définiront le contexte pour identifier les variables qui pourraient affecter les résultats des participants. Les supports de communication du projet fournis aux participants au projet, tels que les dépliants de recrutement, les supports d'orientation et les lettres de bienvenue du programme, seront collectés pour comprendre les messages du projet. De plus, nous obtenons des données que les projets collectent, telles que des données sur l'utilisation des services.