Aumentando o Alcance de Programas Promissores de Prevenção do Abandono: Examinando as Trocas entre Escala e Eficácia

As equipes de pesquisa do Laboratório de Educação da Universidade de Chicago e do Laboratório Criminal de Nova York estão realizando um estudo randomizado controlado durante os anos acadêmicos de 2016-17 e 2017-18 para desenvolver colaborações anteriores com as Escolas Públicas de Chicago (CPS), o Departamento da Cidade de Nova York of Education e SAGA Innovations que descobriram que a tutoria intensiva, individualizada e durante o dia escolar da SAGA pode gerar ganhos muito grandes nos resultados acadêmicos em um curto período de tempo, mesmo entre alunos que estão muitos anos atrás do nível da série. Esta pesquisa sugere a promessa dessa abordagem para melhorar as habilidades acadêmicas e o desempenho educacional de jovens desfavorecidos, mesmo depois de atingirem a adolescência. No entanto, para realmente afetar os resultados em nível local e nacional, o SAGA teria que ser implementado em uma escala muito maior do que os pesquisadores conseguiram estudar em Chicago. No entanto, pouco se sabe sobre como escalar intervenções promissoras. Este estudo busca construir a ciência do aumento de escala, examinando até que ponto esse programa de tutoria individualizado pode ser implementado em uma escala ainda maior e explorando explicitamente as compensações entre eficácia e escala.

O programa SAGA Innovations expande a inovação reconhecida nacionalmente de tutoria em alta dosagem, desenvolvida na escola charter da Match Education em Boston. O programa de tutoria atende como um curso programado, Laboratório de Matemática, uma vez por dia durante o horário escolar normal e é fornecido além da aula regular de matemática do aluno. Os alunos trabalham dois a um (dois alunos com um tutor) com o mesmo tutor profissional em tempo integral durante todo o ano letivo. O conteúdo das sessões de tutoria está alinhado com o que os alunos estão aprendendo em seus cursos regulares de matemática, mas também é direcionado para abordar lacunas individuais no conhecimento de matemática. Também seguindo o modelo original desenvolvido pela Match Education, os tutores SAGA usam avaliações formativas internas frequentes do progresso do aluno para individualizar a instrução.

Um estudo randomizado controlado anterior conduzido pela equipe de pesquisa da Universidade de Chicago descobriu que um ano dessa intervenção, entregue em AY2013-14 nas Escolas Públicas de Chicago, gerou entre um e dois anos extras de crescimento acadêmico em matemática, além do que o estudante normal do ensino médio americano aprende em um ano (Cook et al., 2015; Reardon, 2011). Os efeitos estimados para o desempenho em matemática são da ordem de 0,19 a 0,30 desvios padrão, dependendo do teste exato e da norma usada. A intervenção também melhorou as notas dos alunos em matemática em 0,58 pontos em uma escala de 1 a 4 pontos, em comparação com uma média de controle de 1,77. Esses ganhos são particularmente importantes devido à crescente evidência sobre a importância da matemática especificamente para o sucesso escolar de curto e médio prazo e para resultados de vida de longo prazo, como emprego e renda (Duncan et al., 2007).

Este estudo tem como objetivo basear-se nas avaliações anteriores dos pesquisadores sobre o programa e fornecer informações sobre a capacidade desse programa de atender aos jovens em uma escala muito maior. Especificamente, este estudo visa responder as seguintes perguntas de pesquisa:

1. Qual é o efeito da implementação de um programa de tutoria individualizado baseado em evidências em larga escala?
2. Qual é a relação entre o efeito do programa e a escala em que o programa é implementado?

Os locais de implementação são divididos em dois conjuntos: locais em Chicago, nos quais os alunos são randomizados para receber aulas particulares (aqui denominadas escolas "escalonadas") e locais em Chicago e na cidade de Nova York, onde os diretores têm a liberdade de escolher quais alunos recebem tutoria (doravante referida como "escolas de retorno").

Para estudar a questão de pesquisa nº 1, os investigadores aproveitarão o poder da amostragem aleatória para estudar a ampliação desse programa sem realmente ter que implementar o programa em uma escala muito maior. A primeira questão de pesquisa busca medir a qualidade média do programa ampliado em Chicago, no qual os pesquisadores utilizarão dados das escolas ampliadas. Alunos em escolas de expansão e de retorno são designados aleatoriamente para tutores. No entanto, os alunos nas escolas ampliadas têm duas randomizações adicionais - (1) randomização do candidato do tutor e (2) randomização da designação de tratamento. Para o primeiro recurso, a equipe de pesquisa está fazendo com que o SAGA recrute tutores em excesso, como se estivessem implementando em uma escala maior do que a pretendida nas escolas de expansão. Os investigadores, então, selecionam aleatoriamente um em cada três candidatos a tutores e meio para continuar no processo de contratação padrão da SAGA, e as posições nas escolas ampliadas são preenchidas apenas por esses tutores selecionados aleatoriamente. Como os alunos são designados aleatoriamente para tratamento nessas escolas ampliadas, os investigadores serão capazes de medir os efeitos do programa em cerca de três vezes e meia a escala na qual o programa está sendo implementado nessas escolas.

Para medir os efeitos do tratamento para a questão de pesquisa nº 1, a equipe de pesquisa estimará os impactos da intenção de tratar (ITT) e do tratamento nos impactos tratados (TOT). Os pesquisadores estimarão o efeito ITT da seguinte forma:

Y=B0 + B1T + B2X + E

onde Y é o resultado de interesse, T indica alunos que são designados aleatoriamente para ter a chance de participar do programa de tutoria, X é um conjunto de controles de linha de base (que inclui especificamente bloco de randomização, gênero, idade, dificuldade de aprendizagem, livre/ status de almoço reduzido, raça, nível de série inicial, GPA, número de As/Bs/Cs/Ds/Fs no ano anterior, resultados de testes padronizados de matemática e leitura do ano anterior, dias ausentes da escola, incidentes disciplinares incluindo suspensões e prisões , e um sinalizador binário para alunos com GPA e dados de frequência ausentes), E é um termo de erro aleatório e B0, B1, B2 são parâmetros a serem estimados. A atribuição aleatória de T garante que, sob suposições padrão, a estimativa de mínimos quadrados ordinários (OLS) produz uma estimativa imparcial do ITT como a estimativa de B1, ou o efeito de ser oferecido a participação no programa de tutoria SAGA. Como todos os alunos que foram randomizados para o programa foram emparelhados com tutores que foram randomizados por meio do processo descrito acima, nosso efeito ITT (e subsequentemente, TOT) medirá especificamente o efeito do programa quando administrado em três vezes e meia a escala como ela está sendo administrada atualmente.

O ITT mede o efeito de ser oferecida a chance de participar. Como os alunos designados para tratamento não são obrigados a participar do programa, o ITT pode não medir o efeito da participação. A equipe de pesquisa medirá o efeito da participação usando a atribuição aleatória de T como um instrumento de participação. Se todos os participantes forem selecionados aleatoriamente (ou seja, se não houver alunos de controle autorizados a participar do programa de tutoria), esse método calcula o efeito do tratamento no tratado (TOT) ou o efeito da participação para o grupo de alunos que escolha participar.

Para obter informações sobre a questão de pesquisa nº 2 acima, que busca determinar a relação entre a escala e os efeitos do programa, os tutores em todos os locais são classificados pela liderança do SAGA com base na qualidade relativa esperada. A equipe de pesquisa então randomizará pares de alunos para tutores em um esforço para identificar o efeito de um tutor nos resultados dos alunos. Usando essa metodologia, os pesquisadores podem estudar se a classificação do tutor prevê o tamanho dos efeitos do programa. Como a equipe de pesquisa assume que o programa contrataria tutores na ordem de sua classificação, dependendo do número de vagas de tutor que eles precisavam preencher, essa análise esclarecerá a relação entre escala e eficácia.

Para analisar o impacto de ser atribuído a um tutor de uma determinada classificação (ou seja, a estimativa ITT da questão de pesquisa nº 2), os investigadores executarão modelos de regressão que regredirão os resultados acadêmicos na classificação do tutor. Nosso principal resultado de interesse são os resultados de testes padronizados de matemática. Nossa análise primária modelará os resultados como uma função linear da classificação do tutor. Como uma análise exploratória secundária, estimaremos a forma da relação entre os resultados e a classificação do tutor usando o seguinte exercício de validação cruzada de exclusão:

1. Estime a relação não parametricamente executando uma regressão no nível do aluno do resultado (primário: resultados de testes padronizados de matemática) em um conjunto completo de efeitos fixos separados para cada classificação de tutor. Chame o coeficiente do efeito fixo do tutor ranqueado r, γ ̂_r.
2. Para classificação r=1,…,R: Estime usando os dados do nível do aluno a relação entre o resultado e a classificação do tutor como um polinômio de ordem p=0, 1, 2, …, 10 mantendo os alunos designados a tutores classificados r fora da amostra. Use os coeficientes dos termos polinomiais para prever γ ̂_r e chame isso de f ̂_p (r). Salve o erro ao quadrado para cada polinômio: (f ̂_p (r)-γ ̂_r )^2.
3. Selecione o polinômio p que minimiza ∑_(r=1)^R(f ̂_p (r)-γ ̂_r )^2 .
4. Relate a relação estimada entre o resultado e a classificação usando a ordem de polinômio selecionada.

Além das funções de classificação do tutor, cada regressão incluirá efeitos fixos de bloco que capturam como os pares de alunos foram atribuídos aleatoriamente aos tutores. Os blocos incluem grupos de alunos dentro de uma sala de aula com restrições especiais compartilhadas (por exemplo, sem restrições, precisando de um tutor que fale espanhol ou precisando de um tutor qualificado para cursos avançados de matemática). Outras covariáveis ​​no modelo serão as mesmas incluídas em nossa análise ITT e TOT para a questão de pesquisa nº 1, observada acima, para medir o efeito do programa quando administrado em três vezes e meia a escala conforme é atualmente sendo administrado.

À medida que os alunos trocam de tutores por vários motivos, os pesquisadores também precisarão calcular a estimativa TOT para observar o impacto de ser designado e realmente trabalhar com um tutor de uma determinada classificação. Para isso, os investigadores usarão a classificação do tutor atribuído aleatoriamente como um instrumento para a média ponderada da classificação do tutor, onde o peso atribuído à classificação de cada tutor é igual à proporção do tempo (medido em dias) que o aluno passou com aquele tutor . Os investigadores usarão dados de atendimento diário para criar essa média ponderada. Esse método ajudará os investigadores a entender se trabalhar com um tutor de classificação mais alta significa que um aluno realmente recebe instrução de melhor qualidade ou se existe uma relação adicional entre a classificação do tutor e a qualidade real.

Usaremos apenas os resultados observados para a análise. Se um resultado estiver ausente em mais de 5% da amostra, também relataremos o efeito do tratamento sobre a observação ou não do resultado. Quando as covariáveis ​​de linha de base estiverem ausentes, imputaremos os valores ausentes com zero e incluiremos um indicador de falta como um controle de linha de base adicional.