Eiendeler for uavhengighetsvurdering (AFI)

Assets for Independence (AFI)-evalueringen gjennomføres på to steder. Begge nettstedene er lokalisert i store storbyområder i det sørvestlige USA, og betjener kundepopulasjoner som er 60-75 prosent latinamerikanske. Begge har noen lignende programfunksjoner: maksimale spareperioder på 24 måneder og matchbare sparebeløp på opptil $1000. Viktig for å estimere designfunksjonsforskjeller, det er også viktige forskjeller i programparametere: nødvendige timer med økonomisk utdanning og IDA-matchpriser. Nettstedene registrerte prøvene sine innen en 19-måneders periode fra januar 2013 til juli 2014. Prøvemedlemmer på hvert sted ble tilfeldig tildelt to like store grupper: en behandlingsgruppe (de som kunne gå inn i stedets IDA-program) og en kontrollgruppe (de som ikke kunne komme inn).

KONSEKVENSSTUDIE

Konsekvensstudien er den primære kvantitative komponenten i forskningen. Datainnsamlingen og analysen vil gi estimater av effekten av IDA-deltakelse på kort- og langsiktige klientresultater, målt gjennom 12-måneders, 36-måneders og 60-måneders oppfølgingsperioder.

Deltakerresultater vil bli målt på tidspunktet for tilfeldig tildeling og 12, 36 og 60 måneder etter tilfeldig tildeling. Tiltak som gjelder kortsiktige programeffekter inkluderer mengde innsparinger og materielle vanskeligheter unngåelse. Dette er effektene som mest sannsynlig vil dukke opp i løpet av det første året. Ytterligere tiltak inkluderer sysselsettingsstatus, inntekt, behovsprøvd offentlig ytelse og nettoformue. På lang sikt vil det sannsynligvis dukke opp effekter på boligeierskap, bedriftseierskap og oppnåelse av videregående utdanning.

Et uutforsket område med kortsiktige effekter av IDAer er bruken av uovertruffen besparelser for å møte nødsbehov. I de tidlige stadiene av AFI-deltakelse kan husholdninger etablere en sparevane, men kan trenge å trekke på sparepengene sine for uventede utgifter eller for å kompensere for et uventet fall i inntekt. Den antatte effekten av slike uovertrufne uttak av IDA-innskudd er en unngåelse av materielle vanskeligheter med mat og helse. Denne effekten vil bli estimert ved å bruke et lite sett med undersøkelsesspørsmål på husholdningsnivå, inkludert noen elementer hentet fra den aktuelle modulen for voksnes velvære i Survey of Income and Program Participation (SIPP).

RTI International har utviklet et nettbasert prøveregistreringsverktøy for IDA-prosjektansatte på hvert nettsted for å bruke til å administrere informert samtykke, et grunnleggende spørreskjema og tilfeldig tildeling for hver studiekvalifisert søker. Studiens 30-minutters baseline spørreskjema samlet informasjon i følgende undersøkelsesmoduler: demografi, bruk av finansielle tjenester, nåværende bosted, sysselsetting, husholdningsinntekter og utgifter, økonomisk erfaring og eiendeler, gjeld, materielle vanskeligheter, sosialt engasjement og utsikter, og lokalisering av informasjon (med det formål å ta kontakt med respondenten på nytt for oppfølgingsundersøkelser). Administrative data fra nettstedet vil gi ytterligere basislinjekovariater og (for behandlingstilfeller) beskrivende informasjon om IDA-åpninger, innskudd, uttak (matchede og umatchede) og saldoer.

Merk at tiltak på personnivå er spesifikke for "primærhusholdningsmedlemmet": den første personen fra hans/hennes husstand som søker om IDA-programmet i løpet av studieregistreringsperioden. Denne personen er respondenten for baseline spørreskjema og oppfølgingsundersøkelser. Hvis andre (sekundære) medlemmer av samme husstand i ettertid søker om å delta i nettstedets IDA-program, er de ikke gjenstand for tilfeldig tildeling separat (og legger ikke til prøvetellingen), men anses å ha blitt tildelt samme utvalgsgruppe ( behandling eller kontroll) som hovedmedlem. Utfall på husholdningsnivå måles for husholdningen som hovedmedlemmet tilhører.

Oppfølgingsundersøkelsene innhenter utfall og andre kontekstuelle mål. Undersøkelsene tar 30 minutter og gjennomføres via telefon, web eller en personlig intervjuer. Respondenten er det primære utvalgsmedlemmet, den samme personen som søkte om å delta i AFI-prosjektet og som fylte ut skjemaet for informert samtykke og spørreskjemaet. Undersøkelsene innhenter data om utfallsmål, innenfor de samme aktuelle overskriftene som vist tidligere for baseline-spørreskjemaet.

Estimeringen av programeffekter vil bruke konvensjonelle multivariate regresjonsteknikker som passer til de statistiske egenskapene til den avhengige variabelen (kontinuerlig, dikotom eller multinomisk). For hvert utfallsmål er nøkkelparameteren som skal estimeres koeffisienten på den tilfeldig tilordnede (behandling versus kontroll) statusen til saken. Denne koeffisienten indikerer den regresjonsjusterte behandlingskontrollforskjellen i det målte resultatet. Alle estimeringsligninger vil inkludere kovariater målt gjennom baseline spørreskjemaet. Den estimerte programeffekten er intent-to-treat-effekten (ITT), som sammenligner resultatene mellom kontrollgruppetilfeller og alle behandlingsgruppetilfeller, uavhengig av om behandlingstilfellet åpner en IDA-konto. Hvis det er sagt noe annet, gir denne prosedyren et estimat på effekten av tilbudet om IDA-deltakelse, da ikke alle behandlingsgruppemedlemmer vil åpne IDA. Vi vil også estimere effekten av behandling-på-behandlet (TOT) (dvs. effekten av programmet på de som fullfører det).

Når vi behandler det første forskningsspørsmålet – virkningen av AFI-deltakelse på resultatene den er utformet for å adressere (f.eks. sparing og kjøp av eiendeler) – vil vi estimere programeffekten separat etter nettsted så vel som fra det samlede utvalget ved å kombinere data fra begge nettsteder. De samlede prøvedataene vil gi studiens mest nøyaktige enkeltestimat av programeffekten, og utnytte alle tilgjengelige prøveobservasjoner fullt ut.

Det andre forskningsspørsmålet – angående effekten på andre utfallsdomener som programmet kan påvirke (f.eks. materielle vanskeligheter, alternativ finansiell produktbruk, økonomisk velvære) – vil også bli adressert ved å estimere effekter på den samlede prøven og separat etter sted.

Under forskningsspørsmål 3 vil vi teste for differensielle programeffekter av deltakerundergrupper. Undergruppene av interesse vil bli identifisert fra basisdataene. Vi forventer at disse undergruppene vil reflektere slike forskjeller som alder, innledende inntektsnivå, innledende gjeld, innledende utdanningsnivå eller opprinnelig boligeierskapsstatus.

IMPLEMENTERINGSSTUDIE

Implementeringsstudien vil beskrive og dokumentere hvordan AFI-prosjektet er utformet, implementert og operert på de deltakende bevilgningsmottakerne. Denne informasjonen vil gi konteksten for å forstå funn fra konsekvensanalysen. Den viktigste tilnærmingen til datainnsamling innebar besøk på stedet til AFI-bevilgningene som inkluderte intervjuer med sentrale administratorer, ansatte og interessenter; observasjoner av tilskuddsmottakertjenester; og gjennomganger av relevante dokumenter og data.

Stedsbesøkene til de utvalgte AFI-mottakerne var to dager hver og fant sted i løpet av 2014. Mens vi var på stedet, gjennomførte vi semi-strukturerte personlige intervjuer med enkeltpersoner i forskjellige roller for å få en rekke perspektiver på AFI-prosjektet, inkludert IDA-bevilgende ansatte, finansiell utdanningsleverandører og representanter for partnerorganisasjoner.

Intervjuene undersøker problemstillinger knyttet til utformingen og gjennomføringen av AFI-prosjektet, utfordringer prosjekter står overfor og deres strategier for å overvinne dem, og andre faktorer som kanskje ikke fanges opp i den kvantitative analysen, men som kan påvirke prosjektresultatene. Spørsmål om design og implementering trekker fra informasjon samlet under stedsvalg, stedsopplæring, innledende tilfeldige oppdrag og overvåkingssamtaler, og dekker om, hvordan og hvorfor prosjektendringer har skjedd. Gjennom valg av sted og intervjuer på stedet med ansatte, innhentet vi informasjon om organisatorisk stabilitet og kapasitet, nivå på IDA-prosjektets kompleksitet, antall ansatte og mengden medarbeiderinvolvering, og rekruttering av deltakere. Spesifikke spørsmål inkluderte: Hvilke oppsøkende aktiviteter gjennomførte du for å informere enkeltpersoner om ditt IDA-prosjekt? Hvilke former for programstøtte gis til IDA-kontoholdere? Hvor ofte er AFI-prosjektmedarbeidere i kontakt med deltakere etter at de har åpnet en konto? Hvilke ikke-IDA-programtjenester var tilgjengelige for medlemmer av sammenligningsgruppen gjennom organisasjonen din? Føler du at det er noen viktige effekter (positive eller negative) av AFI-prosjektet ditt på deltakerne utover de målte resultatene vi sporer gjennom evalueringen?

I tillegg til å spørre respondentene om utfordringene de står overfor, undersøker intervjuer med IDA-prosjektadministratorer og ansatte ytterligere utfordringer som å hjelpe deltakerne med å oppnå realistiske sparemål, navigere i kravene til ulike finansieringskilder og krav, skaffe ikke-føderale midler og takle begrensede midler for administrative kostnader. Intervjuene utforsker også eksterne faktorer eller spesielle forhold som kan påvirke prosjektresultatene. Denne informasjonen vil være avgjørende både for å tolke konsekvensanalysefunnene og for å generalisere funnene til andre nettsteder. Det vil være grunnleggende viktig å forstå hvorfor et program har resultert i sine estimerte effekter på deltakerne og om slike effekter kan replikeres andre steder. Til slutt gir intervjuene respondentene en mulighet til å identifisere immaterielle utfall, enten de er positive eller negative, som de føler er viktige, men som kanskje ikke fanges opp i den formelle konsekvensanalysen, og hjelper til med å identifisere deltakerhistorier å dele.

Under besøkene på stedet observerte vi finansundervisningsklasser og andre prosjekt-deltaker-interaksjoner for å fange opp hva som faktisk skjer under levering av prosjekttjenester. Observasjonene ble styrt av forhåndsbestemte emner som tilordnet de spesifikke studieproblemene, og observatører var så lite påtrengende som mulig. Observasjonene vil gi innsikt i hvordan bestemte prosjektaspekter kan påvirke deltakernes resultater.

Implementeringsstudien vil også inkludere en dokumentgjennomgang for å forstå hvordan AFI-prosjektets administrative struktur og prosjektdesign kan påvirke prosjektresultatene. Skriftlig dokumentasjon av antall og roller til ansatte og frivillige involvert i IDA-prosjektet og i selve organisasjonen, prosjektregler og overordnede prosjektmål og -mål vil sette konteksten for å identifisere variabler som kan påvirke deltakerresultatene. Prosjektkommunikasjonsmateriell gitt til prosjektdeltakere, for eksempel rekrutteringsflyers, orienteringsmateriell og velkomstbrev til programmet, vil bli samlet inn for å forstå prosjektmeldinger. I tillegg innhenter vi data som prosjektene samler inn, for eksempel data om tjenesteuttak.