Vermögenswerte zur Unabhängigkeitsbewertung (AFI)

Die Evaluierung von Assets for Independence (AFI) wird an zwei Standorten durchgeführt. Beide Standorte befinden sich in großen Ballungsräumen im Südwesten der USA und bedienen Kunden, die zu 60–75 Prozent hispanischen Ursprungs sind. Beide verfügen über ähnliche Programmmerkmale: maximale Sparzeiträume von 24 Monaten und anpassbare Sparbeträge von bis zu 1.000 US-Dollar. Wichtig für die Abschätzung der Unterschiede in den Designmerkmalen sind auch wichtige Unterschiede in den Programmparametern: erforderliche Stunden an Finanzbildung und IDA-Übereinstimmungsquoten. Die Standorte haben ihre Proben innerhalb eines 19-monatigen Zeitraums von Januar 2013 bis Juli 2014 registriert. Die Stichprobenmitglieder an jedem Standort wurden nach dem Zufallsprinzip zwei gleich großen Gruppen zugeteilt: einer Behandlungsgruppe (diejenigen, die am IDA-Programm des Standorts teilnehmen konnten) und einer Kontrollgruppe (diejenigen, die nicht teilnehmen konnten).

AUSWIRKUNGSSTUDIE

Die Wirkungsstudie ist der primäre quantitative Bestandteil der Forschung. Die Datenerfassung und -analyse wird Schätzungen der Auswirkungen der IDA-Teilnahme auf kurz- und langfristige Kundenergebnisse liefern, gemessen über 12-monatige, 36-monatige und 60-monatige Nachbeobachtungszeiträume.

Die Ergebnisse der Teilnehmer werden zum Zeitpunkt der zufälligen Zuweisung sowie 12, 36 und 60 Monate nach der zufälligen Zuweisung gemessen. Zu den Maßnahmen, die sich auf kurzfristige Programmeffekte beziehen, gehören die Höhe der Einsparungen und die Vermeidung materieller Härten. Dies sind die Auswirkungen, die am wahrscheinlichsten innerhalb des ersten Jahres auftreten. Zu den weiteren Messgrößen gehören der Beschäftigungsstatus, das Einkommen, der bedürftigkeitsabhängige Bezug von Sozialleistungen und das Nettovermögen. Langfristig dürften sich Auswirkungen auf Wohneigentum, Unternehmenseigentum und Sekundarschulbildung ergeben.

Ein unerforschter Bereich der kurzfristigen Auswirkungen von IDAs ist die Verwendung unerreichter Ersparnisse zur Deckung von Notfällen. In den frühen Phasen der AFI-Teilnahme entwickeln Haushalte möglicherweise eine Spargewohnheit, müssen jedoch möglicherweise auf ihre Ersparnisse zurückgreifen, um unerwartete Ausgaben zu tätigen oder einen unerwarteten Einkommensrückgang auszugleichen. Der hypothetische Effekt solcher beispielloser Abhebungen von IDA-Einlagen ist die Vermeidung materieller Härten in den Bereichen Ernährung und Gesundheit. Dieser Effekt wird mithilfe einer kleinen Reihe von Umfragefragen auf Haushaltsebene geschätzt, einschließlich einiger Elemente aus dem Themenmodul „Wohlbefinden von Erwachsenen“ des Survey of Income and Program Participation (SIPP).

RTI International hat für IDA-Projektmitarbeiter an jedem Standort ein webbasiertes Stichprobenregistrierungstool entwickelt, das bei der Verwaltung der Einwilligung nach Aufklärung, eines Basisfragebogens und einer zufälligen Zuordnung für jeden studienberechtigten Bewerber verwendet werden kann. Der 30-minütige Basisfragebogen der Studie sammelte Informationen in den folgenden Umfragemodulen: Demografie, Nutzung von Finanzdienstleistungen, aktueller Wohnort, Beschäftigung, Haushaltseinkommen und -ausgaben, finanzielle Erfahrung und Vermögenswerte, Schulden, materielle Not, soziales Engagement und soziale Aussichten sowie das Auffinden von Informationen (zum Zweck der erneuten Kontaktaufnahme mit dem Befragten für Folgebefragungen). Von der Website bereitgestellte Verwaltungsdaten liefern zusätzliche Basiskovariaten und (für Behandlungsfälle) beschreibende Informationen zu IDA-Eröffnungen, Einzahlungen, Abhebungen (abgeglichen und nicht abgeglichen) und Salden.

Beachten Sie, dass Maßnahmen auf Personenebene spezifisch für das „primäre Haushaltsmitglied“ sind: die erste Person aus ihrem Haushalt, die sich während des Studieneinschreibungszeitraums für das IDA-Programm bewirbt. Diese Person ist der Befragte für den Basisfragebogen und die Folgeumfragen. Wenn andere (sekundäre) Mitglieder desselben Haushalts später die Teilnahme am IDA-Programm des Standorts beantragen, unterliegen sie nicht separat der Zufallszuordnung (und werden nicht zur Stichprobenzählung addiert), sondern gelten als derselben Stichprobengruppe zugeordnet ( Behandlung oder Kontrolle) als primäres Mitglied. Die Ergebnisse auf Haushaltsebene werden für den Haushalt gemessen, zu dem das primäre Mitglied gehört.

Die Folgebefragungen ermitteln Ergebnisse und andere kontextbezogene Maßnahmen. Die Umfragen dauern 30 Minuten und werden per Telefon, Internet oder durch einen persönlichen Interviewer durchgeführt. Der Befragte ist das primäre Stichprobenmitglied, also dieselbe Person, die sich für die Teilnahme am AFI-Projekt beworben und die Einverständniserklärung und den Basisfragebogen ausgefüllt hat. Die Umfragen erfassen Daten zu Ergebnismaßen innerhalb derselben thematischen Überschriften wie zuvor für den Basisfragebogen gezeigt.

Zur Schätzung der Programmauswirkungen werden herkömmliche multivariate Regressionstechniken verwendet, die den statistischen Eigenschaften der abhängigen Variablen (kontinuierlich, dichotom oder multinomial) angemessen sind. Für jedes Ergebnismaß ist der zu schätzende Schlüsselparameter der Koeffizient des zufällig zugewiesenen Status (Behandlung versus Kontrolle) des Falles. Dieser Koeffizient gibt den regressionsbereinigten Unterschied zwischen Behandlung und Kontrolle im gemessenen Ergebnis an. Alle Schätzgleichungen umfassen Kovariaten, die anhand des Basisfragebogens gemessen werden. Der geschätzte Programmeffekt ist der Intent-to-Treat-Effekt (ITT), der die Ergebnisse zwischen Fällen der Kontrollgruppe und allen Fällen der Behandlungsgruppe vergleicht, unabhängig davon, ob der Behandlungsfall ein IDA-Konto eröffnet. Anders ausgedrückt liefert dieses Verfahren eine Schätzung der Wirkung des Angebots zur IDA-Teilnahme, da nicht alle Mitglieder der Behandlungsgruppe IDAs eröffnen werden. Wir werden auch den Treatment-on-the-Treaded (TOT)-Effekt abschätzen (d. h. die Auswirkungen des Programms auf diejenigen, die es absolvieren).

Bei der Beantwortung der ersten Forschungsfrage – der Auswirkung der AFI-Beteiligung auf die Ergebnisse, die sie ansprechen soll (z. B. Ersparnisse und Vermögenswertkäufe) – werden wir die Programmwirkung getrennt nach Standort sowie anhand der gepoolten Stichprobe abschätzen, indem wir die Daten beider kombinieren Websites. Die gepoolten Stichprobendaten liefern die genaueste Einzelschätzung der Programmwirkung in der Studie und nutzen dabei alle verfügbaren Stichprobenbeobachtungen vollständig aus.

Die zweite Forschungsfrage – hinsichtlich der Auswirkungen auf andere Ergebnisbereiche, die das Programm beeinflussen könnte (z. B. materielle Not, Nutzung alternativer Finanzprodukte, wirtschaftliches Wohlergehen) – wird ebenfalls durch die Schätzung der Auswirkungen auf die gepoolte Stichprobe und getrennt nach Standorten behandelt.

Im Rahmen der Forschungsfrage 3 werden wir die unterschiedlichen Programmauswirkungen der Teilnehmeruntergruppen testen. Die interessierenden Untergruppen werden anhand der Basisdaten identifiziert. Wir gehen davon aus, dass diese Untergruppen Unterschiede wie Alter, anfängliches Einkommensniveau, anfängliche Verschuldung, anfängliches Bildungsniveau oder anfänglichen Wohneigentumsstatus widerspiegeln.

UMSETZUNGSSTUDIE

In der Umsetzungsstudie wird beschrieben und dokumentiert, wie das AFI-Projekt an den Standorten der teilnehmenden Stipendiaten konzipiert, umgesetzt und betrieben wird. Diese Informationen liefern den Kontext für das Verständnis der Ergebnisse der Wirkungsanalyse. Der wichtigste Datenerfassungsansatz umfasste Besuche vor Ort bei den AFI-Stipendiaten, einschließlich Interviews mit wichtigen Administratoren, Mitarbeitern und Interessenvertretern; Beobachtungen zu Leistungen des Stipendiaten; und Überprüfung relevanter Dokumente und Daten.

Die Besuche vor Ort bei den ausgewählten AFI-Stipendiaten dauerten jeweils zwei Tage und fanden im Jahr 2014 statt. Während wir vor Ort waren, führten wir halbstrukturierte persönliche Interviews mit Einzelpersonen in unterschiedlichen Rollen, um verschiedene Perspektiven auf das AFI-Projekt zu erhalten, darunter Mitarbeiter von IDA-Stipendiaten, Anbieter von Finanzbildung und Vertreter von Partnerorganisationen.

In den Interviews werden Fragen im Zusammenhang mit der Gestaltung und Umsetzung des AFI-Projekts, Herausforderungen, mit denen Projekte konfrontiert sind, und ihre Strategien zu deren Bewältigung sowie andere Faktoren untersucht, die möglicherweise nicht in der quantitativen Analyse erfasst werden, sich aber auf die Projektergebnisse auswirken können. Fragen zu Design und Implementierung basieren auf Informationen, die bei der Standortauswahl, der Standortschulung, den ersten zufälligen Zuweisungen und Überwachungsanrufen gesammelt wurden, und beziehen sich darauf, ob, wie und warum Projektänderungen stattgefunden haben. Durch die Auswahl des Standorts und die Interviews mit den Mitarbeitern vor Ort erhielten wir Informationen über die Stabilität und Kapazität der Organisation, den Grad der Komplexität des IDA-Projekts, die Anzahl der Mitarbeiter und den Umfang der Mitarbeiterbeteiligung sowie die Rekrutierung von Teilnehmern. Zu den spezifischen Fragen gehörten: Welche Outreach-Aktivitäten haben Sie durchgeführt, um Einzelpersonen über Ihr IDA-Projekt zu informieren? Welche Formen der Programmunterstützung werden IDA-Kontoinhabern angeboten? Wie oft stehen AFI-Projektmitarbeiter nach der Kontoeröffnung mit den Teilnehmern in Kontakt? Welche Nicht-IDA-Programmdienste standen den Mitgliedern der Vergleichsgruppe über Ihre Organisation zur Verfügung? Sind Sie der Meinung, dass Ihr AFI-Projekt über die gemessenen Ergebnisse hinaus, die wir im Rahmen der Evaluierung verfolgen, wichtige Auswirkungen (positiv oder negativ) auf die Teilnehmer hat?

Neben der Befragung der Befragten zu den Herausforderungen, mit denen sie konfrontiert sind, werden in Interviews mit IDA-Projektadministratoren und -mitarbeitern weitere Herausforderungen untersucht, z. B. die Unterstützung der Teilnehmer bei der Erreichung realistischer Sparziele, die Bewältigung der Anforderungen verschiedener Finanzierungsquellen und -anforderungen, die Beschaffung nichtstaatlicher Mittel und der Umgang mit begrenzten Mitteln für Verwaltungskosten. In den Interviews werden auch externe Faktoren oder besondere Umstände untersucht, die sich auf die Projektergebnisse auswirken können. Diese Informationen sind sowohl für die Interpretation der Ergebnisse der Wirkungsanalyse als auch für die Übertragbarkeit der Ergebnisse auf andere Standorte von entscheidender Bedeutung. Es wird von grundlegender Bedeutung sein zu verstehen, warum ein Programm zu den geschätzten Auswirkungen auf die Teilnehmer geführt hat und ob diese Auswirkungen an anderer Stelle wiederholt werden könnten. Schließlich geben die Interviews den Befragten die Möglichkeit, immaterielle Ergebnisse, ob positiv oder negativ, zu identifizieren, die ihrer Meinung nach bedeutsam sind, die jedoch möglicherweise nicht in der formellen Wirkungsanalyse erfasst werden, und helfen dabei, Geschichten der Teilnehmer zu identifizieren, die sie teilen können.

Während der Besuche vor Ort beobachteten wir Finanzbildungskurse und andere Interaktionen zwischen Projektteilnehmern, um zu erfassen, was während der Erbringung der Projektdienstleistungen tatsächlich passiert. Die Beobachtungen orientierten sich an vorgegebenen Themen, die den spezifischen Studienthemen entsprechen, und die Beobachter waren so unauffällig wie möglich. Die Beobachtungen werden Erkenntnisse darüber liefern, wie bestimmte Projektaspekte die Ergebnisse der Teilnehmer beeinflussen können.

Die Implementierungsstudie umfasst auch eine Überprüfung der Dokumente, um zu verstehen, wie die Verwaltungsstruktur und das Projektdesign des AFI-Projekts die Projektergebnisse beeinflussen können. Eine schriftliche Dokumentation der Anzahl und Rollen der am IDA-Projekt und der Organisation selbst beteiligten Mitarbeiter und Freiwilligen, der Projektregeln sowie der allgemeinen Projektziele und -vorgaben bildet den Kontext für die Identifizierung von Variablen, die sich auf die Ergebnisse der Teilnehmer auswirken könnten. Projektkommunikationsmaterialien, die den Projektteilnehmern zur Verfügung gestellt werden, wie z. B. Rekrutierungsflyer, Orientierungsmaterialien und Programmbegrüßungsschreiben, werden gesammelt, um die Projektbotschaften zu verstehen. Darüber hinaus beziehen wir Daten ein, die die Projekte sammeln, etwa Daten zur Leistungsinanspruchnahme.