Attività per la valutazione dell'indipendenza (AFI)

La valutazione Assets for Independence (AFI) viene condotta in due siti. Entrambi i siti si trovano nelle principali aree metropolitane degli Stati Uniti sudoccidentali e servono popolazioni di clienti che sono per il 60-75% ispaniche. Entrambi hanno alcune caratteristiche del programma simili: periodi di risparmio massimi di 24 mesi e importi di risparmio abbinabili fino a $ 1.000. Importanti per stimare le differenze nelle caratteristiche del progetto, ci sono anche differenze fondamentali nei parametri del programma: ore richieste di educazione finanziaria e tassi di corrispondenza IDA. I siti hanno registrato i loro campioni entro un periodo di 19 mesi da gennaio 2013 a luglio 2014. I membri del campione in ciascun sito sono stati assegnati in modo casuale a due gruppi di uguali dimensioni: un gruppo di trattamento (quelli in grado di entrare nel programma IDA del sito) e un gruppo di controllo (quelli che non sono in grado di entrare).

STUDIO D'IMPATTO

Lo studio di impatto è la principale componente quantitativa della ricerca. La raccolta e l'analisi dei dati forniranno stime dell'effetto della partecipazione all'IDA sui risultati dei clienti a breve e lungo termine, misurati attraverso periodi di follow-up di 12 mesi, 36 mesi e 60 mesi.

I risultati dei partecipanti saranno misurati al momento dell'assegnazione casuale e 12, 36 e 60 mesi dopo l'assegnazione casuale. Le misure che riguardano gli effetti del programma a breve termine includono la quantità di risparmi e l'evitamento delle difficoltà materiali. Questi sono gli effetti che più probabilmente emergeranno entro il primo anno. Ulteriori misure includono lo stato occupazionale, i guadagni, la ricevuta di benefici pubblici testati e il patrimonio netto. A lungo termine, è probabile che emergano effetti sulla proprietà della casa, sulla proprietà aziendale e sul livello di istruzione secondaria.

Un'area inesplorata degli effetti a breve termine degli IDA è l'utilizzo di risparmi ineguagliati per soddisfare le esigenze di emergenza. Nelle prime fasi della partecipazione all'AFI, le famiglie possono stabilire un'abitudine al risparmio, ma potrebbero aver bisogno di attingere ai propri risparmi per spese impreviste o per compensare un calo imprevisto del reddito. L'effetto ipotizzato di tali ineguagliati ritiri dei depositi IDA è l'evitamento di difficoltà materiali in termini di cibo e salute. Questo effetto sarà stimato utilizzando una piccola serie di domande del sondaggio a livello familiare, inclusi alcuni elementi tratti dal modulo di attualità sul benessere degli adulti del Survey of Income and Program Participation (SIPP).

RTI International ha sviluppato uno strumento di iscrizione campione basato sul web per il personale del progetto IDA in ciascun sito da utilizzare nella somministrazione del consenso informato, un questionario di riferimento e un'assegnazione casuale per ciascun candidato idoneo allo studio. Il questionario di base di 30 minuti dello studio ha raccolto informazioni nei seguenti moduli di indagine: dati demografici, uso di servizi finanziari, residenza attuale, occupazione, reddito e spese familiari, esperienza finanziaria e patrimonio, debiti, difficoltà materiali, impegno sociale e prospettive e informazioni sull'individuazione (allo scopo di ricontattare l'intervistato per sondaggi di follow-up). I dati amministrativi forniti dal sito forniranno ulteriori covariate di base e (per i casi di trattamento) informazioni descrittive su aperture, depositi, prelievi (congrui e non abbinati) e saldi IDA.

Si noti che le misure a livello di persona sono specifiche per il "membro della famiglia principale": il primo individuo della sua famiglia che fa domanda per il programma IDA durante il periodo di iscrizione allo studio. Questa persona è l'intervistato per il questionario di base e per i sondaggi di follow-up. Se successivamente altri membri (secondari) della stessa famiglia chiedono di entrare nel programma IDA del sito, non sono soggetti separatamente ad assegnazione casuale (e non si aggiungono al conteggio del campione) ma sono considerati come assegnati allo stesso gruppo campione ( trattamento o controllo) come membro primario. I risultati a livello familiare sono misurati per la famiglia a cui appartiene il membro principale.

I sondaggi di follow-up ottengono risultati e altre misure contestuali. I sondaggi durano 30 minuti e vengono condotti tramite telefono, web o un intervistatore di persona. Il rispondente è il membro primario del campione, lo stesso individuo che ha presentato domanda per entrare nel progetto AFI e che ha completato il modulo di consenso informato e il questionario di riferimento. I sondaggi ottengono dati sulle misure di esito, all'interno delle stesse intestazioni tematiche mostrate in precedenza per il questionario di riferimento.

La stima degli impatti del programma utilizzerà tecniche di regressione multivariata convenzionali a seconda delle proprietà statistiche della variabile dipendente (continua, dicotomica o multinomiale). Per ogni misura di esito, il parametro chiave da stimare è il coefficiente sullo stato assegnato in modo casuale (trattamento contro controllo) del caso. Questo coefficiente indica la differenza trattamento-controllo aggiustata per la regressione nel risultato misurato. Tutte le equazioni di stima includeranno le covariate misurate attraverso il questionario di riferimento. L'effetto del programma stimato è l'effetto intent-to-treat (ITT), confrontando i risultati tra i casi del gruppo di controllo e tutti i casi del gruppo di trattamento, indipendentemente dal fatto che il caso di trattamento apra un account IDA. In altre parole, questa procedura fornisce una stima dell'effetto dell'offerta di partecipazione all'IDA, in quanto non tutti i membri del gruppo di trattamento apriranno gli IDA. Stimeremo anche l'effetto del trattamento sul trattato (TOT) (ovvero l'impatto del programma su coloro che lo completano).

Nell'affrontare la prima domanda di ricerca - l'impatto della partecipazione AFI sui risultati che è progettato per affrontare (ad esempio, risparmi e acquisti di attività) - stimeremo l'effetto del programma separatamente per sito e dal campione aggregato combinando i dati di entrambi siti. I dati del campione raggruppati forniranno la stima singola più precisa dello studio dell'effetto del programma, utilizzando pienamente tutte le osservazioni del campione disponibili.

Anche la seconda domanda di ricerca, riguardante l'effetto su altri domini di risultati che il programma potrebbe influenzare (ad esempio, difficoltà materiali, uso di prodotti finanziari alternativi, benessere economico), sarà affrontata stimando gli effetti sul campione raggruppato e separatamente per sito.

Sotto la domanda di ricerca 3 testeremo gli impatti differenziali del programma per sottogruppi di partecipanti. I sottogruppi di interesse saranno identificati dai dati di riferimento. Prevediamo che questi sottogruppi rifletteranno differenze quali l'età, il livello di reddito iniziale, l'indebitamento iniziale, il livello di istruzione iniziale o lo stato iniziale di proprietario di una casa.

STUDIO DI IMPLEMENTAZIONE

Lo studio di implementazione descriverà e documenterà come il progetto AFI è progettato, implementato e gestito nei siti beneficiari partecipanti. Queste informazioni forniranno il contesto per comprendere i risultati dell'analisi dell'impatto. Il principale approccio alla raccolta dei dati prevedeva visite in loco ai beneficiari dell'AFI che includevano interviste con amministratori chiave, personale e parti interessate; osservazioni dei servizi del beneficiario; e revisioni di documenti e dati pertinenti.

Le visite in loco ai beneficiari AFI selezionati sono state di due giorni ciascuna e sono avvenute nel corso del 2014. Mentre eravamo sul posto, abbiamo condotto interviste di persona semi-strutturate con persone in ruoli diversi per ottenere una gamma di prospettive sul progetto AFI, tra cui personale beneficiario dell'IDA, fornitori di educazione finanziaria e rappresentanti di organizzazioni partner.

Le interviste esaminano le questioni relative alla progettazione e all'implementazione del progetto AFI, le sfide che i progetti devono affrontare e le loro strategie per superarle, e altri fattori che potrebbero non essere colti nell'analisi quantitativa ma che potrebbero influenzare i risultati del progetto. Le domande sulla progettazione e l'implementazione attingono dalle informazioni raccolte durante la selezione del sito, la formazione del sito, gli incarichi casuali iniziali e le chiamate di monitoraggio e riguardano se, come e perché si sono verificate modifiche al progetto. Attraverso la selezione del sito e le interviste in loco con il personale, abbiamo ottenuto informazioni sulla stabilità e la capacità organizzativa, il livello di complessità del progetto IDA, il numero del personale e la quantità di coinvolgimento del personale e il reclutamento dei partecipanti. Domande specifiche includevano: Quali attività di sensibilizzazione hai condotto per informare le persone del tuo progetto IDA? Quali forme di supporto del programma sono fornite ai titolari di account IDA? Con quale frequenza lo staff del progetto AFI è in contatto con i partecipanti dopo che hanno aperto un account? Quali servizi del programma non IDA erano disponibili per i membri del gruppo di confronto attraverso la tua organizzazione? Ritieni che ci siano effetti importanti (positivi o negativi) del tuo progetto AFI sui partecipanti al di là dei risultati misurati che stiamo monitorando attraverso la valutazione?

Oltre a chiedere agli intervistati le sfide che devono affrontare, le interviste con gli amministratori e il personale del progetto IDA approfondiscono sfide come aiutare i partecipanti a raggiungere obiettivi di risparmio realistici, navigare tra i requisiti di diverse fonti e requisiti di finanziamento, raccogliere fondi non federali e far fronte a fondi limitati per le spese amministrative. Le interviste esplorano anche fattori esterni o circostanze speciali che possono influenzare i risultati del progetto. Queste informazioni saranno vitali sia per l'interpretazione dei risultati dell'analisi di impatto sia per la generalizzabilità dei risultati ad altri siti. Sarà di fondamentale importanza capire perché un programma ha prodotto i suoi effetti stimati sui partecipanti e se tali effetti potrebbero essere replicati altrove. Infine, le interviste offrono agli intervistati l'opportunità di identificare i risultati intangibili, positivi o negativi, che ritengono significativi ma che potrebbero non essere catturati nell'analisi formale dell'impatto e aiutano a identificare le storie dei partecipanti da condividere.

Durante le visite in loco, abbiamo osservato le lezioni di educazione finanziaria e altre interazioni tra i partecipanti al progetto per catturare ciò che sta effettivamente accadendo durante l'erogazione dei servizi del progetto. Le osservazioni sono state guidate da argomenti predeterminati che corrispondono a specifici problemi di studio e gli osservatori sono stati il ​​più discreti possibile. Le osservazioni forniranno approfondimenti su come particolari aspetti del progetto possono influenzare i risultati dei partecipanti.

Lo studio di implementazione includerà anche una revisione del documento per capire come la struttura amministrativa del progetto AFI e la progettazione del progetto possono influenzare i risultati del progetto. La documentazione scritta del numero e dei ruoli del personale e dei volontari coinvolti nel progetto IDA e nell'organizzazione stessa, le regole del progetto e gli scopi e gli obiettivi generali del progetto definiranno il contesto per l'identificazione delle variabili che potrebbero influenzare i risultati dei partecipanti. I materiali di comunicazione del progetto forniti ai partecipanti al progetto, come volantini per il reclutamento, materiali di orientamento e lettere di benvenuto del programma, saranno raccolti per comprendere i messaggi del progetto. Inoltre, stiamo ottenendo i dati che i progetti stanno raccogliendo, come i dati sull'utilizzo dei servizi.