Aktiver til uafhængighedsvurdering (AFI)

Assets for Independence (AFI) evalueringen udføres på to steder. Begge steder er placeret i større storbyområder i det sydvestlige USA og betjener kundepopulationer, der er 60-75 procent latinamerikanske. Begge har nogle lignende programfunktioner: maksimale opsparingsperioder på 24 måneder og matchbare opsparingsbeløb på op til $1.000. Vigtigt for at estimere forskelle i designfunktioner, der er også vigtige forskelle i programparametre: krævede timers økonomisk uddannelse og IDA-matchrater. Stederne tilmeldte deres prøver inden for en 19-måneders periode fra januar 2013 til juli 2014. Prøvemedlemmer på hvert sted blev tilfældigt fordelt til to lige store grupper: en behandlingsgruppe (dem, der kunne deltage i stedets IDA-program) og en kontrolgruppe (dem, der ikke kunne komme ind).

KONSEKVENSUNDERSØGELSE

Effektundersøgelsen er den primære kvantitative komponent i forskningen. Dataindsamlingen og analysen vil give estimater af effekten af ​​IDA-deltagelse på kort- og langsigtede klientresultater, målt gennem 12-måneders, 36-måneders og 60-måneders opfølgningsperioder.

Deltagerresultater vil blive målt på tidspunktet for tilfældig tildeling og 12, 36 og 60 måneder efter tilfældig tildeling. Foranstaltninger, der vedrører kortsigtede programeffekter, omfatter mængden af ​​besparelser og materielle vanskeligheder undgåelse. Det er de virkninger, der med størst sandsynlighed vil opstå inden for det første år. Yderligere foranstaltninger omfatter beskæftigelsesstatus, indtjening, indtægtstestet offentlig ydelsesmodtagelse og nettoformue. På lang sigt vil der sandsynligvis opstå effekter på boligejerskab, virksomhedsejerskab og ungdomsuddannelse.

Et uudforsket område med kortsigtede virkninger af IDA'er er brugen af ​​uovertrufne besparelser til at imødekomme nødbehov. I de tidlige stadier af AFI-deltagelse kan husholdninger etablere en opsparingsvane, men kan være nødt til at trække på deres opsparing til uventede udgifter eller for at opveje et uventet fald i indkomsten. Den hypotesemæssige effekt af sådanne uovertrufne tilbagetrækninger af IDA-indskud er en undgåelse af materielle vanskeligheder inden for mad og sundhed. Denne effekt vil blive estimeret ved hjælp af et lille sæt undersøgelsesspørgsmål på husstandsniveau, herunder nogle emner hentet fra det aktuelle modul for voksnes velvære i Survey of Income and Program Participation (SIPP).

RTI International har udviklet et webbaseret prøvetilmeldingsværktøj til IDA-projektpersonale på hvert sted til brug ved administration af informeret samtykke, et baseline-spørgeskema og tilfældig tildeling for hver undersøgelseskvalificeret ansøger. Undersøgelsens 30-minutters baseline-spørgeskema indsamlede oplysninger i følgende undersøgelsesmoduler: demografi, brug af finansielle tjenester, nuværende bopæl, beskæftigelse, husstandsindkomst og -udgifter, økonomisk erfaring og aktiver, gæld, materielle vanskeligheder, socialt engagement og udsigter og lokalisering af information (med det formål at genkontakte respondenten med henblik på opfølgende undersøgelser). Site-leverede administrative data vil give yderligere basislinje-kovariater og (for behandlingssager) beskrivende information om IDA-åbninger, indskud, udbetalinger (matchede og umatchede) og saldi.

Bemærk, at foranstaltninger på personniveau er specifikke for det "primære husstandsmedlem": den første person fra hans/hendes husstand, der ansøger om IDA-programmet i studieoptagelsesperioden. Denne person er respondenten for baseline-spørgeskemaet og opfølgende undersøgelser. Hvis andre (sekundære) medlemmer af samme husstand efterfølgende ansøger om at komme ind i webstedets IDA-program, er de ikke særskilt genstand for tilfældig tildeling (og føjes ikke til stikprøveantallet), men anses for at være blevet tildelt samme prøvegruppe ( behandling eller kontrol) som det primære medlem. Udfald på husstandsniveau måles for den husstand, som det primære medlem tilhører.

De opfølgende undersøgelser opnår resultater og andre kontekstuelle mål. Undersøgelserne tager 30 minutter og udføres via telefon, web eller en personlig interviewer. Respondenten er det primære stikprøvemedlem, den samme person, som ansøgte om at deltage i AFI-projektet, og som udfyldte den informerede samtykkeformular og baseline-spørgeskemaet. Undersøgelserne indhenter data om resultatmål inden for de samme aktuelle overskrifter som vist tidligere for baseline-spørgeskemaet.

Estimeringen af ​​programmets virkninger vil bruge konventionelle multivariate regressionsteknikker, alt efter de statistiske egenskaber af den afhængige variabel (kontinuerlig, dikotom eller multinomial). For hvert resultatmål er nøgleparameteren, der skal estimeres, koefficienten på den tilfældigt tildelte (behandling versus kontrol) status for sagen. Denne koefficient angiver den regressionsjusterede behandlingskontrolforskel i det målte resultat. Alle estimeringsligninger vil inkludere kovariater målt gennem baseline-spørgeskemaet. Den estimerede programeffekt er intention-to-treat-effekten (ITT), der sammenligner resultaterne mellem kontrolgruppetilfælde og alle behandlingsgruppetilfælde, uanset om behandlingssagen åbner en IDA-konto. Med andre ord giver denne procedure et skøn over effekten af ​​tilbuddet om IDA-deltagelse, da ikke alle behandlingsgruppemedlemmer vil åbne IDA'er. Vi vil også estimere effekten af ​​behandling-på-behandlet (TOT) (dvs. virkningen af ​​programmet på dem, der gennemfører det).

Når vi behandler det første forskningsspørgsmål – indvirkningen af ​​AFI-deltagelse på de resultater, den er designet til at adressere (f.eks. opsparing og køb af aktiver) – vil vi estimere programeffekten separat efter sted såvel som fra den samlede stikprøve ved at kombinere data fra begge websteder. De samlede prøvedata vil give undersøgelsens mest præcise enkeltestimat af programeffekten, fuldt ud udnytte alle tilgængelige prøveobservationer.

Det andet forskningsspørgsmål - vedrørende effekten på andre resultatdomæner, som programmet kan påvirke (f.eks. materielle vanskeligheder, anvendelse af alternative finansielle produkter, økonomisk velvære) - vil også blive behandlet ved at estimere effekter på den samlede prøve og separat efter sted.

Under forskningsspørgsmål 3 vil vi teste for differentielle programpåvirkninger af deltagerundergrupper. Undergrupperne af interesse vil blive identificeret ud fra basisdataene. Vi forventer, at disse undergrupper vil afspejle sådanne forskelle som alder, oprindeligt indkomstniveau, indledende gældsætning, indledende uddannelsesniveau eller oprindelig boligejerstatus.

IMPLEMENTERINGSUNDERSØGELSE

Implementeringsundersøgelsen vil beskrive og dokumentere, hvordan AFI-projektet er designet, implementeret og drevet på de deltagende bevillingsmodtagere. Disse oplysninger vil give konteksten til at forstå resultaterne fra konsekvensanalysen. Den primære tilgang til dataindsamling involverede besøg på stedet til AFI-modtagere, der omfattede interviews med nøgleadministratorer, medarbejdere og interessenter; observationer af tilskudsmodtagertjenester; og gennemgange af relevante dokumenter og data.

Besøgene på stedet hos de udvalgte AFI-modtagere var på to dage hver og fandt sted i 2014. Mens vi var på stedet, gennemførte vi semistrukturerede personlige interviews med enkeltpersoner i forskellige roller for at opnå en række perspektiver på AFI-projektet, herunder IDA-bevillingsmodtagere, finansiel uddannelsesudbydere og repræsentanter for partnerorganisationer.

Interviewene undersøger spørgsmål relateret til design og implementering af AFI-projektet, udfordringer, projekter står over for og deres strategier for at overvinde dem, og andre faktorer, der måske ikke fanges i den kvantitative analyse, men som kan påvirke projektresultater. Spørgsmål om design og implementering stammer fra information indsamlet under valg af sted, træning af sted, indledende tilfældige opgaver og overvågningsopkald og dækker, om, hvordan og hvorfor projektændringer er sket. Gennem valg af sted og interviews på stedet med personalet, indhentede vi information om organisatorisk stabilitet og kapacitet, niveauet af IDA-projektets kompleksitet, antallet af medarbejdere og mængden af ​​personaleinvolvering og rekruttering af deltagere. Specifikke spørgsmål inkluderede: Hvilke opsøgende aktiviteter gennemførte du for at informere enkeltpersoner om dit IDA-projekt? Hvilke former for programstøtte ydes til IDA-kontoholdere? Hvor ofte er AFI-projektmedarbejdere i kontakt med deltagere, efter at de har åbnet en konto? Hvilke ikke-IDA-programtjenester var tilgængelige for medlemmer af sammenligningsgruppen gennem din organisation? Føler du, at der er nogle vigtige effekter (positive eller negative) af dit AFI-projekt på deltagerne ud over de målte resultater, vi sporer gennem evalueringen?

Ud over at spørge respondenterne om de udfordringer, de står over for, undersøger interviews med IDA-projektadministratorer og personale yderligere udfordringer, såsom at hjælpe deltagere med at nå realistiske besparelsesmål, navigere i kravene fra forskellige finansieringskilder og krav, rejse ikke-føderale midler og håndtere begrænsede midler til administrative omkostninger. Interviewene undersøger også eksterne faktorer eller særlige omstændigheder, der kan påvirke projektets resultater. Denne information vil være afgørende både for at fortolke resultaterne fra konsekvensanalysen og for at generalisere resultaterne til andre steder. Det vil være fundamentalt vigtigt at forstå, hvorfor et program har resulteret i dets estimerede effekter på deltagerne, og om sådanne effekter kan gentages andre steder. Endelig giver interviewene respondenterne mulighed for at identificere immaterielle resultater, hvad enten de er positive eller negative, som de føler er væsentlige, men som måske ikke fanges i den formelle konsekvensanalyse, og hjælper med at identificere deltagernes historier at dele.

Under besøgene på stedet observerede vi kurser i finansiel undervisning og andre interaktioner mellem projektdeltagere for at fange, hvad der faktisk sker under levering af projektydelser. Observationerne blev styret af forudbestemte emner, der knytter sig til de specifikke undersøgelsesspørgsmål, og observatører var så diskrete som muligt. Observationerne vil give indsigt i, hvordan særlige projektaspekter kan påvirke deltagernes resultater.

Implementeringsundersøgelsen vil også omfatte en dokumentgennemgang for at forstå, hvordan AFI-projektets administrative struktur og projektdesign kan påvirke projektresultater. Skriftlig dokumentation af antallet og rollerne for medarbejdere og frivillige involveret i IDA-projektet og i selve organisationen, projektregler og overordnede projektmål og -mål vil sætte konteksten for at identificere variabler, der kan påvirke deltagernes resultater. Projektkommunikationsmateriale, der leveres til projektdeltagere, såsom rekrutteringsfoldere, orienteringsmateriale og programvelkomstbreve, vil blive indsamlet for at forstå projektmeddelelser. Derudover indhenter vi data, som projekterne indsamler, såsom data om serviceudnyttelse.