Aumentare la portata dei promettenti programmi di prevenzione dell'abbandono scolastico: esaminare i compromessi tra portata ed efficacia

I team di ricerca dell'University of Chicago Education Lab e del Crime Lab di New York stanno conducendo uno studio controllato randomizzato durante gli anni accademici 2016-17 e 2017-18 per sfruttare le precedenti collaborazioni con le Chicago Public Schools (CPS), il dipartimento di New York City of Education e SAGA Innovations che hanno scoperto che il tutoraggio intensivo, individualizzato, durante la giornata scolastica di SAGA può generare grandi guadagni nei risultati accademici in un breve periodo di tempo, anche tra gli studenti che sono molti anni indietro rispetto al livello scolastico. Questa ricerca suggerisce la promessa di questo approccio per migliorare le capacità accademiche e il rendimento scolastico dei giovani svantaggiati, anche una volta raggiunta l'adolescenza. Tuttavia, per influenzare veramente i risultati a livello locale e nazionale, SAGA dovrebbe essere implementato su una scala molto più ampia di quella che i ricercatori sono stati in grado di studiare a Chicago. Eppure si sa poco su come portare su larga scala gli interventi promettenti. Questo studio cerca di costruire la scienza dello scale-up, esaminando la misura in cui questo programma di tutoraggio individualizzato può essere implementato su una scala ancora maggiore ed esplorando esplicitamente i compromessi tra efficacia e scala.

Il programma SAGA Innovations amplia l'innovazione riconosciuta a livello nazionale del tutoraggio quotidiano ad alto dosaggio sviluppato nella charter school di Match Education a Boston. Il programma di tutoraggio si riunisce come un corso programmato, Math Lab, una volta al giorno durante la normale giornata scolastica, e viene fornito in aggiunta alla normale lezione di matematica di uno studente. Gli studenti lavorano due contro uno (due studenti con un tutor) con lo stesso tutor professionale a tempo pieno per l'intero anno scolastico. Il contenuto delle sessioni di tutoraggio è in linea con ciò che gli studenti stanno imparando nei loro normali corsi di matematica, ma è anche mirato a colmare le lacune individuali nella conoscenza della matematica. Seguendo anche il modello originale sviluppato da Match Education, i tutor SAGA utilizzano frequenti valutazioni formative interne dei progressi degli studenti per individualizzare l'istruzione.

Un precedente studio controllato randomizzato condotto dal gruppo di ricerca dell'Università di Chicago ha rilevato che un anno di questo intervento, svolto nell'a.a. 2013-14 nelle scuole pubbliche di Chicago, ha generato da uno a due anni in più di crescita accademica in matematica, oltre a quanto un normale studente delle scuole superiori statunitensi impara in un anno (Cook et al., 2015; Reardon, 2011). Gli effetti stimati per il rendimento in matematica sono dell'ordine di deviazioni standard da 0,19 a 0,30, a seconda del test esatto e della norma utilizzata. L'intervento ha anche migliorato i voti degli studenti in matematica di 0,58 punti su una scala da 1 a 4, rispetto a una media di controllo di 1,77. Questi progressi sono particolarmente importanti a causa delle prove crescenti sull'importanza della matematica specificamente per il successo scolastico a breve e medio termine e per i risultati a lungo termine della vita come l'occupazione e i guadagni (Duncan et al., 2007).

Questo studio mira a basarsi sulle precedenti valutazioni del programma da parte dei ricercatori e fornirà informazioni sulla capacità di questo programma di servire i giovani su una scala molto più ampia. In particolare, questo studio si propone di rispondere alle seguenti domande di ricerca:

1. Qual è l'effetto dell'implementazione di un programma di tutoraggio individualizzato basato sull'evidenza su scala più ampia?
2. Qual è la relazione tra l'effetto del programma e la scala alla quale il programma viene attuato?

I siti di implementazione sono divisi in due gruppi: siti a Chicago in cui gli studenti vengono randomizzati per ricevere tutoraggio (di seguito denominati scuole "scale-up") e siti a Chicago e New York City in cui i presidi hanno la massima discrezionalità di scegliere quali studenti ricevono tutoraggio (di seguito denominato "scuole di ritorno").

Per studiare la domanda di ricerca n. 1, i ricercatori trarranno vantaggio dal potere del campionamento casuale per studiare lo scale-up di questo programma senza dover effettivamente implementare il programma su una scala molto più ampia. La prima domanda di ricerca cerca di misurare la qualità media del programma potenziato a Chicago, in cui i ricercatori utilizzeranno i dati delle scuole potenziate. Gli studenti sia nelle scuole superiori che in quelle di ritorno sono entrambi assegnati in modo casuale ai tutor. Tuttavia, gli studenti delle scuole di scale-up hanno due randomizzazioni aggiuntive: (1) randomizzazione del candidato tutor e (2) randomizzazione dell'assegnazione del trattamento. Per il primo lungometraggio, il team di ricerca sta chiedendo a SAGA di reclutare eccessivamente i tutor come se stessero implementando su una scala più ampia di quella prevista nelle scuole in espansione. Gli investigatori selezionano quindi a caso un candidato tutor su tre e mezzo per continuare attraverso il processo di assunzione standard di SAGA, e le posizioni nelle scuole di scale-up sono occupate solo da questi tutor selezionati a caso. Poiché gli studenti vengono assegnati in modo casuale al trattamento in queste scuole in espansione, i ricercatori saranno in grado di misurare gli effetti del programma a circa tre volte e mezzo la scala in cui il programma viene implementato in queste scuole.

Per misurare gli effetti del trattamento per la domanda di ricerca n. 1, il team di ricerca stimerà sia l'intenzione di trattare (ITT) che l'impatto del trattamento sui trattati (TOT). I ricercatori stimeranno l'effetto ITT come segue:

Y=B0 + B1T + B2X + E

dove Y è l'esito di interesse, T indica gli studenti assegnati in modo casuale a cui viene offerta la possibilità di partecipare al programma di tutoring, X è un insieme di controlli di base (che include nello specifico blocco di randomizzazione, sesso, età, difficoltà di apprendimento, libero/ stato del pranzo ridotto, razza, livello scolastico di riferimento, GPA, numero di As/Bs/Cs/Ds/Fs nell'anno precedente, punteggi dei test standardizzati di matematica e lettura dell'anno precedente, giorni di assenza da scuola, incidenti disciplinari incluse sospensioni e arresti , e un flag binario per gli studenti con dati GPA e frequenza mancanti), E è un termine di errore casuale e B0, B1, B2 sono parametri da stimare. L'assegnazione casuale di T assicura che, in base a ipotesi standard, la stima dei minimi quadrati ordinari (OLS) fornisca una stima imparziale dell'ITT come stima di B1, o l'effetto dell'offerta di partecipazione al programma di tutoraggio SAGA. Poiché tutti gli studenti che sono stati randomizzati nel programma sono stati abbinati a tutor che sono stati randomizzati tramite il processo sopra descritto, il nostro effetto ITT (e successivamente TOT) misurerà in modo specifico l'effetto del programma quando somministrato a tre volte e mezzo la bilancia così come è attualmente somministrata.

L'ITT misura l'effetto dell'offerta della possibilità di partecipare. Poiché gli studenti assegnati al trattamento non sono tenuti a partecipare al programma, l'ITT potrebbe non misurare l'effetto della partecipazione. Il gruppo di ricerca misurerà l'effetto della partecipazione utilizzando l'assegnazione casuale di T come strumento per la partecipazione. Se tutti i partecipanti sono stati selezionati in modo casuale (ovvero se non ci sono studenti di controllo che possono partecipare al programma di tutoraggio) questo metodo calcola l'effetto del trattamento sul trattato (TOT), ovvero l'effetto della partecipazione per il gruppo di studenti che scegli di partecipare.

Per ottenere informazioni sulla domanda di ricerca n. 2 di cui sopra, che cerca di determinare la relazione tra la scala del programma e gli effetti, i tutor in tutti i siti sono classificati dalla leadership SAGA in base alla relativa qualità attesa. Il gruppo di ricerca quindi randomizzerà le coppie di studenti ai tutor nel tentativo di identificare l'effetto di un tutor sui risultati degli studenti. Utilizzando questa metodologia, i ricercatori possono studiare se la classifica dei tutor prevede la dimensione degli effetti del programma. Poiché il gruppo di ricerca presume che il programma assumerà i tutor nell'ordine della loro graduatoria a seconda del numero di posti tutor che dovevano occupare, questa analisi farà luce sulla relazione tra scala ed efficacia.

Per analizzare l'impatto dell'assegnazione a un tutor di un particolare grado (ovvero la stima ITT della domanda di ricerca n. 2), i ricercatori eseguiranno modelli di regressione che regrediscono i risultati accademici in base al grado di tutor. Il nostro principale risultato di interesse sono i punteggi dei test standardizzati di matematica. La nostra analisi primaria modellerà i risultati come una funzione lineare del rango del tutor. Come analisi esplorativa secondaria, stimeremo la forma della relazione tra i risultati e il grado del tutor utilizzando il seguente esercizio di validazione incrociata leave-one-out:

1. Stimare la relazione in modo non parametrico eseguendo una regressione a livello di studente del risultato (primario: punteggi dei test standardizzati di matematica) su una serie completa di effetti fissi separati per ogni livello di tutor. Chiamare il coefficiente sull'effetto fisso del tutor classificato rth, γ ̂_r.
2. Per rango r=1,…,R: Stimare utilizzando i dati a livello di studente la relazione tra il risultato e il rango del tutor come un polinomio di ordine p=0, 1, 2, …, 10 tenendo gli studenti assegnati ai tutor classificati r fuori del campione. Usa i coefficienti dei termini polinomiali per prevedere γ ̂_r e chiamalo f ̂_p (r). Salva l'errore al quadrato per ogni polinomio: (f ̂_p (r)-γ ̂_r )^2.
3. Seleziona il polinomio p che minimizza ∑_(r=1)^R(f ̂_p (r)-γ ̂_r )^2 .
4. Riporta la relazione stimata tra il risultato e il rango utilizzando l'ordine selezionato del polinomio.

Oltre alle funzioni di rango del tutor, ogni regressione includerà effetti di blocco fissi che catturano il modo in cui le coppie di studenti sono state assegnate casualmente ai tutor. I blocchi includono gruppi di studenti all'interno di una classe con restrizioni speciali condivise (ad es. senza restrizioni, bisogno di un tutor di lingua spagnola o bisogno di un tutor qualificato per corsi avanzati di matematica). Altre covariate nel modello saranno le stesse di quelle incluse nella nostra analisi ITT e TOT per la domanda di ricerca n. attualmente in corso di somministrazione.

Poiché gli studenti cambiano tutor per una serie di motivi, i ricercatori dovranno anche calcolare la stima TOT per esaminare l'impatto dell'essere assegnati e lavorare effettivamente con un tutor di una determinata classifica. Per fare ciò, i ricercatori utilizzeranno il grado del tutor assegnato in modo casuale come strumento per il grado medio ponderato del tutor, dove il peso attribuito al grado di ciascun tutor è uguale alla proporzione del tempo (misurato in giorni) che lo studente ha trascorso con quel tutor . Gli investigatori utilizzeranno i dati sulla frequenza giornaliera per creare questa media ponderata. Questo metodo aiuterà gli investigatori a capire se lavorare con un tutor di livello superiore significa che uno studente riceve effettivamente un'istruzione di migliore qualità o se esiste un'ulteriore relazione tra il grado del tutor e la qualità effettiva.

Useremo solo i risultati osservati per l'analisi. Se manca un risultato per più del 5 percento del campione, riporteremo anche l'effetto del trattamento sull'osservazione o meno del risultato. Quando mancano le covariate della linea di base, imputeremo i valori mancanti con zero e includeremo un indicatore di mancanza come controllo di base aggiuntivo.