Ativos para Avaliação de Independência (AFI)

A avaliação do Assets for Independence (AFI) está sendo realizada em dois locais. Ambos os sites estão localizados nas principais áreas metropolitanas do sudoeste dos EUA, atendendo a populações de clientes que são 60-75 por cento hispânicos. Ambos têm alguns recursos de programa semelhantes: períodos máximos de economia de 24 meses e valores de economia combináveis ​​de até $ 1.000. Importante para estimar as diferenças de recursos de design, também existem diferenças importantes nos parâmetros do programa: horas necessárias de educação financeira e taxas de correspondência da AID. Os sites registraram suas amostras em um período de 19 meses, de janeiro de 2013 a julho de 2014. Os membros da amostra em cada local foram distribuídos aleatoriamente em dois grupos de tamanho igual: um grupo de tratamento (aqueles capazes de entrar no programa IDA do local) e um grupo de controle (aqueles que não puderam entrar).

ESTUDO DE IMPACTO

O estudo de impacto é o principal componente quantitativo da pesquisa. A coleta e análise de dados fornecerão estimativas do efeito da participação da IDA nos resultados dos clientes de curto e longo prazo, medidos em períodos de acompanhamento de 12, 36 e 60 meses.

Os resultados dos participantes serão medidos no momento da atribuição aleatória e 12, 36 e 60 meses após a atribuição aleatória. As medidas que dizem respeito aos efeitos do programa de curto prazo incluem a quantidade de economia e a prevenção de dificuldades materiais. Esses são os efeitos com maior probabilidade de surgir no primeiro ano. Medidas adicionais incluem status de emprego, rendimentos, recebimento de benefícios públicos comprovados por recursos e patrimônio líquido. A longo prazo, é provável que surjam efeitos sobre a propriedade da casa própria, propriedade do negócio e conclusão do ensino secundário.

Uma área inexplorada dos efeitos de curto prazo das AIDs é o uso de economias incomparáveis ​​para atender às necessidades de emergência. Nos estágios iniciais da participação em AFI, as famílias podem estabelecer um hábito de poupança, mas podem precisar recorrer a suas economias para gastos inesperados ou para compensar uma queda inesperada na renda. O efeito hipotético dessas retiradas inigualáveis ​​de depósitos da AID é evitar dificuldades materiais em alimentação e saúde. Esse efeito será estimado usando um pequeno conjunto de perguntas de pesquisa em nível familiar, incluindo alguns itens extraídos do módulo tópico de bem-estar adulto da Pesquisa de Renda e Participação em Programas (SIPP).

A RTI International desenvolveu uma ferramenta de inscrição de amostra baseada na web para a equipe do projeto IDA em cada local para usar na administração de consentimento informado, um questionário de linha de base e designação aleatória para cada candidato elegível para o estudo. O questionário de linha de base de 30 minutos do estudo reuniu informações nos seguintes módulos de pesquisa: demografia, uso de serviços financeiros, residência atual, emprego, renda e despesas domésticas, experiência e ativos financeiros, dívidas, dificuldades materiais, engajamento e perspectivas sociais e localização de informações (para fins de novo contato com o respondente para pesquisas de acompanhamento). Os dados administrativos fornecidos pelo site fornecerão covariáveis ​​de linha de base adicionais e (para casos de tratamento) informações descritivas sobre aberturas, depósitos, saques (combinados e não compensados) e saldos da IDA.

Observe que as medidas em nível de pessoa são específicas para o "membro principal da família": o primeiro indivíduo de sua família a se inscrever no programa IDA durante o período de inscrição no estudo. Essa pessoa é o respondente do questionário de linha de base e das pesquisas de acompanhamento. Se outros membros (secundários) da mesma família subseqüentemente se inscreverem para entrar no programa IDA do local, eles não estão sujeitos separadamente à designação aleatória (e não são adicionados à contagem da amostra), mas são considerados como tendo sido designados para o mesmo grupo de amostra ( tratamento ou controle) como o membro principal. Os resultados no nível familiar são medidos para o domicílio ao qual o membro principal pertence.

As pesquisas de acompanhamento obtêm resultados e outras medidas contextuais. As pesquisas levam 30 minutos e são realizadas por telefone, web ou entrevistador pessoalmente. O respondente é o membro da amostra principal, o mesmo indivíduo que se inscreveu para entrar no projeto AFI e que preencheu o formulário de consentimento informado e o questionário de linha de base. As pesquisas obtêm dados sobre medidas de resultados, dentro dos mesmos tópicos mostrados anteriormente para o questionário de linha de base.

A estimativa dos impactos do programa usará técnicas convencionais de regressão multivariada conforme apropriado para as propriedades estatísticas da variável dependente (contínua, dicotômica ou multinomial). Para cada medida de resultado, o parâmetro-chave a ser estimado é o coeficiente do status do caso atribuído aleatoriamente (tratamento versus controle). Este coeficiente indica a diferença de controle de tratamento ajustada por regressão no resultado medido. Todas as equações de estimativa incluirão covariáveis ​​medidas por meio do questionário de linha de base. O efeito do programa estimado é o efeito de intenção de tratar (ITT), comparando os resultados entre os casos do grupo de controle e todos os casos do grupo de tratamento, independentemente de o caso de tratamento abrir uma conta IDA. Dito de outra forma, este procedimento fornece uma estimativa do efeito da oferta de participação no IDA, pois nem todos os membros do grupo de tratamento abrirão IDAs. Também estimaremos o efeito do tratamento sobre o tratado (TOT) (ou seja, o impacto do programa naqueles que o completam).

Ao abordar a primeira questão de pesquisa – o impacto da participação da AFI nos resultados que ela pretende abordar (por exemplo, poupança e compra de ativos) – estimaremos o efeito do programa separadamente por local, bem como da amostra agrupada que combina dados de ambos sites. Os dados de amostra agrupados fornecerão a estimativa única mais precisa do efeito do programa do estudo, utilizando totalmente todas as observações de amostra disponíveis.

A segunda questão de pesquisa - sobre o efeito em outros domínios de resultado que o programa pode influenciar (por exemplo, dificuldades materiais, uso alternativo de produtos financeiros, bem-estar econômico) - também será abordada pela estimativa dos efeitos na amostra agrupada e separadamente por local.

Na questão de pesquisa 3, testaremos os impactos diferenciais do programa por subgrupos de participantes. Os subgrupos de interesse serão identificados a partir dos dados da linha de base. Antecipamos que esses subgrupos refletirão diferenças como idade, nível de renda inicial, endividamento inicial, nível educacional inicial ou status inicial de casa própria.

ESTUDO DE IMPLEMENTAÇÃO

O estudo de implementação descreverá e documentará como o projeto AFI é projetado, implementado e operado nos sites participantes dos donatários. Esta informação fornecerá o contexto para entender os resultados da análise de impacto. A principal abordagem de coleta de dados envolveu visitas in loco aos beneficiários da AFI, que incluíram entrevistas com os principais administradores, funcionários e partes interessadas; observações de serviços concedidos; e revisões de documentos e dados relevantes.

As visitas in loco aos bolsistas AFI selecionados duraram dois dias cada e ocorreram durante o ano de 2014. Enquanto estávamos no local, conduzimos entrevistas presenciais semiestruturadas com indivíduos em diferentes funções para obter uma variedade de perspectivas sobre o projeto AFI, incluindo funcionários donatários da IDA, provedores de educação financeira e representantes de organizações parceiras.

As entrevistas examinam questões relacionadas ao desenho e implementação do projeto AFI, desafios enfrentados pelos projetos e suas estratégias para superá-los, e outros fatores que podem não ser capturados na análise quantitativa, mas que podem afetar os resultados do projeto. Questões sobre design e implementação extraem informações coletadas durante a seleção do local, treinamento do local, atribuições aleatórias iniciais e chamadas de monitoramento e cobrem se, como e por que as mudanças no projeto ocorreram. Por meio da seleção do local e das entrevistas no local com a equipe, obtivemos informações sobre estabilidade e capacidade organizacional, nível de complexidade do projeto IDA, número e quantidade de funcionários envolvidos e recrutamento de participantes. As perguntas específicas incluíam: Que atividades de divulgação você realizou para informar as pessoas sobre seu projeto IDA? Que formas de apoio ao programa são fornecidas aos correntistas da IDA? Com que frequência a equipe do projeto AFI entra em contato com os participantes depois que eles abrem uma conta? Que serviços de programas não pertencentes à IDA estavam disponíveis para os membros do grupo de comparação por meio de sua organização? Você sente que há algum efeito importante (positivo ou negativo) de seu projeto AFI nos participantes além dos resultados medidos que estamos rastreando através da avaliação?

Além de perguntar aos entrevistados sobre os desafios que enfrentam, as entrevistas com os administradores e funcionários do projeto da IDA aprofundam os desafios, como ajudar os participantes a atingir metas realistas de economia, navegar pelos requisitos de diversas fontes e requisitos de financiamento, levantar fundos não federais e lidar com fundos limitados para custos administrativos. As entrevistas também exploram fatores externos ou circunstâncias especiais que podem afetar os resultados do projeto. Esta informação será vital tanto para a interpretação dos resultados da análise de impacto como para a generalização dos resultados para outros locais. Será de fundamental importância entender por que um programa resultou em seus efeitos estimados sobre os participantes e se tais efeitos podem ser replicados em outros lugares. Finalmente, as entrevistas dão aos entrevistados uma oportunidade de identificar resultados intangíveis, positivos ou negativos, que eles consideram significativos, mas que podem não ser capturados na análise de impacto formal, e ajudam a identificar as histórias dos participantes para compartilhar.

Durante as visitas ao local, observamos aulas de educação financeira e outras interações dos participantes do projeto para capturar o que realmente está acontecendo durante a prestação de serviços do projeto. As observações foram guiadas por tópicos predeterminados que mapeiam as questões específicas do estudo, e os observadores foram o mais discretos possível. As observações fornecerão informações sobre como aspectos específicos do projeto podem influenciar os resultados dos participantes.

O estudo de implementação também incluirá uma revisão de documentos para entender como a estrutura administrativa do projeto AFI e o desenho do projeto podem influenciar os resultados do projeto. A documentação escrita do número e das funções da equipe e dos voluntários envolvidos no projeto IDA e na própria organização, as regras do projeto e as metas e objetivos gerais do projeto definirão o contexto para a identificação de variáveis ​​que podem afetar os resultados dos participantes. Os materiais de comunicação do projeto fornecidos aos participantes do projeto, como folhetos de recrutamento, materiais de orientação e cartas de boas-vindas do programa, serão coletados para entender as mensagens do projeto. Além disso, estamos obtendo dados que os projetos estão coletando, como dados sobre a contratação de serviços.