Activa voor onafhankelijkheidsevaluatie (AFI)

De Assets for Independence (AFI)-evaluatie wordt op twee locaties uitgevoerd. Beide vestigingen bevinden zich in de grootstedelijke gebieden van het zuidwesten van de VS en bedienen klanten die voor 60-75 procent uit Latijns-Amerikanen bestaan. Beide hebben een aantal vergelijkbare programmakenmerken: maximale spaarperiodes van 24 maanden en bijpassende spaarbedragen tot $ 1.000. Belangrijk voor het inschatten van verschillen in ontwerpkenmerken, er zijn ook belangrijke verschillen in programmaparameters: vereiste uren financiële educatie en IDA-matchpercentages. De sites namen hun monsters op binnen een periode van 19 maanden van januari 2013 tot en met juli 2014. Steekproefleden op elke locatie werden willekeurig toegewezen aan twee groepen van gelijke grootte: een behandelingsgroep (degenen die het IDA-programma van de locatie konden invoeren) en een controlegroep (degenen die niet konden deelnemen).

IMPACT-ONDERZOEK

De impactstudie is het primaire kwantitatieve onderdeel van het onderzoek. De gegevensverzameling en -analyse zullen schattingen opleveren van het effect van IDA-deelname op korte- en langetermijnresultaten van klanten, zoals gemeten via follow-upperioden van 12 maanden, 36 maanden en 60 maanden.

De resultaten van de deelnemers worden gemeten op het moment van de willekeurige toewijzing en 12, 36 en 60 maanden na de willekeurige toewijzing. Maatregelen die betrekking hebben op programma-effecten op korte termijn zijn onder meer de hoeveelheid besparingen en het vermijden van materiële problemen. Dit zijn de effecten die zich het meest waarschijnlijk voordoen in het eerste jaar. Aanvullende maatregelen zijn onder meer de arbeidsstatus, het inkomen, de inkomensafhankelijke uitkering en het vermogenssaldo. Op de lange termijn zullen er waarschijnlijk effecten optreden op het eigenwoningbezit, het bezit van een bedrijf en het behalen van het secundair onderwijs.

Een onontgonnen gebied van kortetermijneffecten van IDA's is het gebruik van ongeëvenaarde besparingen om aan noodbehoeften te voldoen. In de vroege stadia van AFI-deelname kunnen huishoudens een spaargewoonte aanleren, maar moeten ze mogelijk hun spaargeld aanspreken voor onverwachte uitgaven of om een ​​onverwachte inkomensdaling te compenseren. Het veronderstelde effect van dergelijke ongeëvenaarde opnames van IDA-stortingen is het vermijden van materiële problemen op het gebied van voedsel en gezondheid. Dit effect zal worden geschat aan de hand van een kleine reeks enquêtevragen op huishoudensniveau, waaronder enkele items uit de themamodule over het welzijn van volwassenen van de enquête naar inkomen en programmaparticipatie (SIPP).

RTI International heeft een webgebaseerde tool voor voorbeeldinschrijving ontwikkeld voor IDA-projectmedewerkers op elke locatie om te gebruiken bij het toedienen van geïnformeerde toestemming, een basisvragenlijst en willekeurige toewijzing voor elke kandidaat die in aanmerking komt voor onderzoek. De 30 minuten durende basisvragenlijst van het onderzoek verzamelde informatie in de volgende enquêtemodules: demografie, gebruik van financiële diensten, huidige verblijfplaats, werk, gezinsinkomen en -uitgaven, financiële ervaring en bezittingen, schulden, materiële ontberingen, sociale betrokkenheid en vooruitzichten, en lokalisatie-informatie (om opnieuw contact op te nemen met de respondent voor vervolgenquêtes). Door de site verstrekte administratieve gegevens zullen aanvullende baseline-covariaten en (voor behandelingsgevallen) beschrijvende informatie verschaffen over IDA-openingen, stortingen, opnames (gematcht en niet-gematcht) en saldi.

Merk op dat maatregelen op persoonsniveau specifiek zijn voor het "primair lid van het huishouden": de eerste persoon uit zijn/haar huishouden die zich aanmeldt voor het IDA-programma tijdens de inschrijvingsperiode voor de studie. Deze persoon is de respondent voor de basisvragenlijst en vervolgonderzoeken. Als andere (secundaire) leden van hetzelfde huishouden vervolgens een aanvraag indienen om deel te nemen aan het IDA-programma van de site, worden ze niet afzonderlijk onderworpen aan een willekeurige toewijzing (en tellen ze niet mee aan het aantal steekproeven), maar worden ze geacht te zijn toegewezen aan dezelfde steekproefgroep ( behandeling of controle) als primair lid. De uitkomsten op huishoudensniveau worden gemeten voor het huishouden waartoe het primaire lid behoort.

De vervolgenquêtes verkrijgen resultaten en andere contextuele maatregelen. De enquêtes duren 30 minuten en worden uitgevoerd via telefoon, internet of een persoonlijke interviewer. De respondent is het primaire steekproeflid, dezelfde persoon die zich heeft aangemeld om deel te nemen aan het AFI-project en die het formulier voor geïnformeerde toestemming en de basisvragenlijst heeft ingevuld. De enquêtes verkrijgen gegevens over uitkomstmaten, binnen dezelfde themarubrieken als eerder weergegeven voor de basisvragenlijst.

Bij de schatting van de effecten van het programma zullen conventionele multivariate regressietechnieken worden gebruikt, afhankelijk van de statistische eigenschappen van de afhankelijke variabele (continu, dichotoom of multinominaal). Voor elke uitkomstmaat is de belangrijkste te schatten parameter de coëfficiënt op de willekeurig toegewezen (behandeling versus controle) status van de casus. Deze coëfficiënt geeft het voor regressie gecorrigeerde verschil tussen behandeling en controle in de gemeten uitkomst aan. Alle schattingsvergelijkingen bevatten covariabelen die zijn gemeten via de basislijnvragenlijst. Het geschatte programma-effect is het intent-to-treat (ITT)-effect, waarbij de uitkomsten worden vergeleken tussen gevallen in de controlegroep en alle gevallen in de behandelingsgroep, ongeacht of de behandelingszaak een IDA-account opent. Anders gezegd, deze procedure levert een inschatting op van het effect van het aanbod van IDA-deelname, aangezien niet alle leden van de behandelgroep IDA's zullen openen. We zullen ook het treatment-on-the-treated (TOT) effect schatten (d.w.z. de impact van het programma op degenen die het voltooien).

Bij het beantwoorden van de eerste onderzoeksvraag - de impact van AFI-deelname op de resultaten die het moet aanpakken (bijv. sparen en aankopen van activa) - schatten we het programma-effect afzonderlijk per locatie en op basis van de gepoolde steekproef door gegevens van beide te combineren sites. De gepoolde steekproefgegevens zullen de meest nauwkeurige enkele schatting van het programma-effect van het onderzoek opleveren, waarbij alle beschikbare steekproefwaarnemingen volledig worden benut.

De tweede onderzoeksvraag - met betrekking tot het effect op andere resultaatdomeinen die het programma zou kunnen beïnvloeden (bijv. materiële tegenspoed, gebruik van alternatieve financiële producten, economisch welzijn) - zal ook worden aangepakt door de effecten op de gepoolde steekproef en afzonderlijk per locatie te schatten.

Onder onderzoeksvraag 3 zullen we testen op differentiële programma-effecten door deelnemende subgroepen. De van belang zijnde subgroepen zullen worden geïdentificeerd op basis van de basisgegevens. We verwachten dat deze subgroepen verschillen zullen weerspiegelen zoals leeftijd, aanvankelijk inkomensniveau, aanvankelijke schuldenlast, aanvankelijk opleidingsniveau of aanvankelijk eigenwoningbezit.

IMPLEMENTATIE STUDIE

De implementatiestudie zal beschrijven en documenteren hoe het AFI-project wordt ontworpen, geïmplementeerd en beheerd in de deelnemende locaties van de begunstigden. Deze informatie zal de context bieden voor het begrijpen van bevindingen uit de impactanalyse. De belangrijkste benadering van gegevensverzameling omvatte bezoeken ter plaatse aan de AFI-begunstigden, inclusief interviews met belangrijke beheerders, personeel en belanghebbenden; observaties van diensten van begunstigden; en beoordelingen van relevante documenten en gegevens.

De locatiebezoeken aan de geselecteerde AFI-begunstigden duurden elk twee dagen en vonden plaats in 2014. Ter plaatse hebben we semi-gestructureerde persoonlijke interviews gehouden met personen in verschillende rollen om een ​​scala aan perspectieven op het AFI-project te verkrijgen, waaronder personeel van IDA-begunstigden, aanbieders van financiële voorlichting en vertegenwoordigers van partnerorganisaties.

De interviews onderzoeken kwesties die verband houden met het ontwerp en de implementatie van het AFI-project, de uitdagingen waarmee projecten worden geconfronteerd en hun strategieën om deze te overwinnen, en andere factoren die mogelijk niet worden vastgelegd in de kwantitatieve analyse, maar die de projectresultaten kunnen beïnvloeden. Vragen over ontwerp en implementatie zijn gebaseerd op informatie die is verzameld tijdens locatieselectie, locatietraining, eerste willekeurige toewijzingen en monitoringoproepen, en behandelen of, hoe en waarom projectwijzigingen hebben plaatsgevonden. Door de selectie van de locatie en de interviews met het personeel ter plaatse, verkregen we informatie over de stabiliteit en capaciteit van de organisatie, de mate van complexiteit van het IDA-project, het aantal personeelsleden en de mate van betrokkenheid van het personeel, en de werving van deelnemers. Specifieke vragen waren onder meer: ​​Welke outreach-activiteiten heeft u uitgevoerd om individuen te informeren over uw IDA-project? Welke vormen van programmaondersteuning worden verstrekt aan IDA-accounthouders? Hoe vaak hebben AFI-projectmedewerkers contact met deelnemers nadat ze een rekening hebben geopend? Welke niet-IDA-programmaservices waren via uw organisatie beschikbaar voor leden van de vergelijkingsgroep? Heb je het gevoel dat er belangrijke effecten (positief of negatief) zijn van je AFI-project op deelnemers die verder gaan dan de gemeten resultaten die we volgen via de evaluatie?

Naast het vragen van respondenten naar de uitdagingen waarmee ze worden geconfronteerd, gaan interviews met IDA-projectbeheerders en -medewerkers dieper in op uitdagingen zoals het helpen van deelnemers om realistische besparingsdoelen te bereiken, het navigeren door de vereisten van verschillende financieringsbronnen en -vereisten, het werven van niet-federale fondsen en het omgaan met beperkte fondsen voor administratieve kosten. In de interviews wordt ook ingegaan op externe factoren of bijzondere omstandigheden die van invloed kunnen zijn op de projectresultaten. Deze informatie is van vitaal belang voor zowel de interpretatie van de bevindingen van de impactanalyse als voor de generaliseerbaarheid van de bevindingen naar andere sites. Het zal van fundamenteel belang zijn om te begrijpen waarom een ​​programma heeft geresulteerd in de geschatte effecten op deelnemers en of dergelijke effecten elders kunnen worden gerepliceerd. Ten slotte bieden de interviews de respondenten de mogelijkheid om immateriële resultaten te identificeren, zowel positief als negatief, die volgens hen significant zijn, maar die mogelijk niet worden vastgelegd in de formele impactanalyse, en helpen ze bij het identificeren van verhalen van deelnemers om te delen.

Tijdens de locatiebezoeken observeerden we lessen financiële educatie en andere interacties tussen projectdeelnemers om vast te leggen wat er werkelijk gebeurt tijdens de levering van projectdiensten. Waarnemingen werden geleid door vooraf bepaalde onderwerpen die verband hielden met de specifieke studiekwesties, en waarnemers waren zo onopvallend mogelijk. De observaties zullen inzicht geven in hoe bepaalde projectaspecten de resultaten van deelnemers kunnen beïnvloeden.

De implementatiestudie omvat ook een documentbeoordeling om te begrijpen hoe de administratieve structuur van het AFI-project en het projectontwerp de projectresultaten kunnen beïnvloeden. Schriftelijke documentatie van het aantal en de rollen van medewerkers en vrijwilligers die betrokken zijn bij het IDA-project en in de organisatie zelf, projectregels en algemene projectdoelen en -doelstellingen zullen de context bepalen voor het identificeren van variabelen die de resultaten van deelnemers kunnen beïnvloeden. Projectcommunicatiemateriaal dat aan projectdeelnemers wordt verstrekt, zoals wervingsfolders, oriëntatiemateriaal en welkomstbrieven van het programma, zal worden verzameld om projectberichten te begrijpen. Daarnaast verkrijgen we gegevens die de projecten verzamelen, zoals gegevens over het gebruik van diensten.