Zwiększanie zasięgu obiecujących programów zapobiegania porzucaniu nauki: analiza kompromisów między skalą a skutecznością

Zespoły badawcze University of Chicago Education Lab i Crime Lab New York przeprowadzają randomizowaną próbę kontrolną w latach akademickich 2016-17 i 2017-18 w oparciu o wcześniejszą współpracę z Chicago Public Schools (CPS), Departamentem Miasta Nowy Jork of Education oraz SAGA Innovations, które odkryły, że intensywne, zindywidualizowane nauczanie SAGA w ciągu dnia szkolnego może przynieść bardzo duże korzyści w wynikach akademickich w krótkim czasie, nawet wśród uczniów, którzy mają wiele lat opóźnienia w nauce. Badania te wskazują na obietnicę tego podejścia w zakresie poprawy umiejętności akademickich i osiągnięć edukacyjnych młodzieży znajdującej się w niekorzystnej sytuacji, nawet po osiągnięciu przez nią okresu dojrzewania. Aby jednak rzeczywiście wpłynąć na wyniki na poziomie lokalnym i krajowym, SAGA musiałby zostać wdrożony na znacznie większą skalę, niż naukowcy byli w stanie badać w Chicago. Jednak niewiele wiadomo o tym, jak podjąć obiecujące interwencje na dużą skalę. Niniejsze badanie ma na celu zbudowanie nauki o zwiększaniu skali poprzez zbadanie, w jakim stopniu ten zindywidualizowany program nauczania może zostać wdrożony na jeszcze większą skalę oraz poprzez wyraźne zbadanie kompromisów między skutecznością a skalą.

Program SAGA Innovations stanowi rozwinięcie uznanej w całym kraju innowacji polegającej na korepetycjach w dużych dawkach w ciągu dnia, opracowanej w szkole czarterowej Match Education w Bostonie. Program korepetycji odbywa się jako zaplanowany kurs, Math Lab, raz dziennie podczas normalnego dnia szkolnego i jest zapewniany jako dodatek do zwykłych zajęć z matematyki ucznia. Uczniowie pracują w systemie dwóch na jednego (dwóch uczniów z jednym korepetytorem) z tym samym pełnoetatowym, profesjonalnym korepetytorem przez cały rok szkolny. Treść zajęć korepetycyjnych jest dostosowana do tego, czego uczniowie uczą się na regularnych kursach matematyki, ale ma również na celu uzupełnienie indywidualnych luk w wiedzy matematycznej. Również zgodnie z oryginalnym modelem opracowanym przez Match Education, nauczyciele SAGA często stosują wewnętrzne oceny kształtujące postępów uczniów w celu zindywidualizowania nauczania.

Poprzednia randomizowana, kontrolowana próba przeprowadzona przez zespół badawczy z University of Chicago wykazała, że ​​jeden rok tej interwencji, przeprowadzonej w AY2013-14 w Chicago Public Schools, wygenerował od jednego do dwóch dodatkowych lat akademickiego wzrostu w matematyce, ponad to, co przeciętny uczeń szkoły średniej w USA uczy się w ciągu jednego roku (Cook i in., 2015; Reardon, 2011). Szacunkowe efekty osiągnięć z matematyki są rzędu od 0,19 do 0,30 odchylenia standardowego, w zależności od dokładnego testu i zastosowanych norm. Interwencja poprawiła również oceny uczniów z matematyki o 0,58 punktu w skali od 1 do 4 punktów, w porównaniu ze średnią kontrolną wynoszącą 1,77. Zyski te są szczególnie ważne ze względu na coraz więcej dowodów na znaczenie matematyki dla krótko- i średnioterminowych sukcesów w szkole oraz dla długoterminowych wyników życiowych, takich jak zatrudnienie i zarobki (Duncan i in., 2007).

Niniejsze badanie ma na celu oparcie się na wcześniejszych ocenach programu przez badaczy i zapewni wgląd w zdolność tego programu do służenia młodzieży na znacznie większą skalę. W szczególności niniejsze badanie ma na celu udzielenie odpowiedzi na następujące pytania badawcze:

1. Jaki jest efekt wdrożenia zindywidualizowanego programu korepetycji opartego na dowodach na większą skalę?
2. Jaki jest związek między efektem programu a skalą jego realizacji?

Ośrodki wdrożeniowe są podzielone na dwa zestawy: ośrodki w Chicago, w których uczniowie są losowo przydzielani do udziału w korepetycjach (zwane dalej szkołami „większej skali”) oraz ośrodki w Chicago i Nowym Jorku, w których dyrektorzy mają podstawową swobodę wyboru uczniów, którzy otrzymają korepetycje (zwane dalej „szkołami powracającymi”).

Aby przestudiować pytanie badawcze nr 1, badacze wykorzystają moc losowego doboru próby w celu zbadania zwiększenia skali tego programu bez konieczności wdrażania programu na znacznie większą skalę. Pierwsze pytanie badawcze ma na celu zmierzenie średniej jakości powiększonego programu w Chicago, w którym badacze wykorzystają dane z powiększonych szkół. Uczniowie zarówno ze szkół rozwijających się, jak i powracających są losowo przydzielani do tutorów. Jednak uczniowie w szkołach typu scale-up mają dwie dodatkowe randomizacje - (1) randomizację kandydatów na opiekunów i (2) randomizację przydziału leczenia. W przypadku pierwszej funkcji zespół badawczy prowadzi zbyt dużą rekrutację nauczycieli SAGA, tak jakby wdrażali ją na większą niż zamierzona skalę w powiększonych szkołach. Następnie śledczy losowo wybierają jednego na trzech i pół kandydatów na korepetytorów, aby kontynuować standardowy proces rekrutacji SAGA, a stanowiska w szkołach typu scale-up są obsadzane tylko przez tych losowo wybranych korepetytorów. Ponieważ uczniowie są losowo przydzielani do leczenia w tych powiększonych szkołach, badacze będą mogli zmierzyć efekty programu na około trzy i pół raza skalę, w jakiej program jest wdrażany w tych szkołach.

Aby zmierzyć efekty leczenia dla pytania badawczego nr 1, zespół badawczy oszacuje zarówno zamiar leczenia (ITT), jak i wpływ leczenia na leczone (TOT). Naukowcy oszacują efekt ITT w następujący sposób:

Y=B0 + B1T + B2X + E

gdzie Y jest wynikiem zainteresowania, T oznacza uczniów, którzy zostali losowo przydzieleni do udziału w programie korepetycji, X to zestaw podstawowych kontroli (który w szczególności obejmuje blok randomizacji, płeć, wiek, trudności w uczeniu się, wolne/ obniżony status obiadowy, rasa, podstawowy poziom ocen, GPA, liczba As/Bs/Cs/Ds/Fs w poprzednim roku, wyniki standaryzowanych testów z matematyki i czytania z poprzedniego roku, dni nieobecności w szkole, incydenty dyscyplinarne, w tym zawieszenia i aresztowania , oraz flaga binarna dla uczniów z brakującymi ocenami GPA i frekwencją), E to błąd losowy, a B0, B1, B2 to parametry, które należy oszacować. Losowe przypisanie T zapewnia, że ​​przy standardowych założeniach estymacja metodą zwykłych najmniejszych kwadratów (OLS) daje nieobciążone oszacowanie ITT jako oszacowanie B1 lub efekt zaproponowania udziału w programie korepetycji SAGA. Ponieważ wszyscy uczniowie, którzy zostali losowo przydzieleni do programu, zostali sparowani z korepetytorami, którzy zostali wybrani losowo w ramach procesu opisanego powyżej, nasz efekt ITT (a następnie TOT) będzie konkretnie mierzyć efekt programu, gdy zostanie zastosowany trzyipółkrotnie skali w takiej formie, w jakiej jest obecnie administrowana.

ITT mierzy efekt oferowanej szansy uczestnictwa. Ponieważ studenci przydzieleni do leczenia nie są zobowiązani do udziału w programie, ITT może nie mierzyć efektu uczestnictwa. Zespół badawczy zmierzy efekt uczestnictwa za pomocą losowego przydziału T jako instrumentu uczestnictwa. Jeśli wszyscy uczestnicy zostali wybrani losowo (tj. jeśli nie ma studentów kontrolnych, którzy mogą uczestniczyć w programie korepetycji), metoda ta oblicza wpływ leczenia na leczonych (TOT), czyli efekt uczestnictwa dla grupy studentów, którzy wybrać udział.

Aby uzyskać wgląd w powyższe pytanie badawcze nr 2, które ma na celu określenie związku między skalą programu a efektami, korepetytorzy we wszystkich ośrodkach są klasyfikowani według przywództwa SAGA w oparciu o względną oczekiwaną jakość. Następnie zespół badawczy przydzieli losowo pary uczniów do korepetytorów, starając się określić wpływ korepetytora na wyniki uczniów. Korzystając z tej metodologii, badacze mogą badać, czy ranking tutorów przewiduje wielkość efektów programu. Ponieważ zespół badawczy zakłada, że ​​program będzie zatrudniał korepetytorów w kolejności ich rankingu w zależności od liczby miejsc dla korepetytorów, których muszą obsadzić, analiza ta rzuci światło na związek między skalą a skutecznością.

Aby przeanalizować wpływ przydziału do opiekuna o określonej randze (tj. oszacowanie ITT pytania badawczego nr 2), badacze uruchomią modele regresji, które regresują wyniki akademickie na rangę nauczyciela. Naszym głównym przedmiotem zainteresowania są wyniki standaryzowanych testów matematycznych. Nasza podstawowa analiza będzie modelować wyniki jako funkcję liniową rangi tutora. W ramach dodatkowej analizy eksploracyjnej oszacujemy kształt relacji między wynikami a rangą tutora, korzystając z następującego ćwiczenia walidacji krzyżowej:

1. Oszacuj zależność nieparametrycznie, przeprowadzając regresję wyniku na poziomie ucznia (podstawowy: wyniki standaryzowanych testów matematycznych) na pełnym zestawie oddzielnych efektów stałych dla każdej rangi nauczyciela. Wywołaj współczynnik stałego efektu korepetytora z r-tą rangą, γ ̂_r.
2. Dla rangi r=1,…,R: Oszacuj, korzystając z danych na poziomie ucznia, związek między wynikiem a rangą tutora jako wielomian rzędu p=0, 1, 2, …, 10, utrzymując uczniów przypisanych do tutorów w rankingu r out próbki. Użyj współczynników z wyrażeń wielomianowych, aby przewidzieć γ ̂_r i nazwij to f ̂_p (r). Zapisz błąd kwadratowy dla każdego wielomianu: (f ̂_p (r)-γ ̂_r )^2.
3. Wybierz wielomian p, który minimalizuje ∑_(r=1)^R(f ̂_p (r)-γ ̂_r )^2 .
4. Podaj szacunkową zależność między wynikiem a rangą, używając wybranego rzędu wielomianu.

Oprócz funkcji rangi nauczyciela, każda regresja będzie zawierać stałe efekty blokowe, które uchwycą, w jaki sposób pary uczniów zostały losowo przydzielone do nauczycieli. Bloki obejmują grupy uczniów w klasie ze wspólnymi specjalnymi ograniczeniami (np. bez ograniczeń, potrzebujący korepetytora mówiącego po hiszpańsku lub korepetytora posiadającego kwalifikacje do prowadzenia zaawansowanych kursów matematyki). Inne współzmienne w modelu będą takie same, jak te uwzględnione w naszej analizie ITT i TOT dla pytania badawczego nr 1, wspomnianego powyżej, w celu zmierzenia efektu programu zastosowanego w trzyipółkrotnie większej skali niż jest obecnie podawany.

Ponieważ uczniowie zmieniają korepetytorów z różnych powodów, badacze będą musieli również obliczyć oszacowanie TOT, aby przyjrzeć się wpływowi przydzielenia i faktycznej pracy z korepetytorem o określonej randze. W tym celu badacze wykorzystają rangę losowo przydzielonego korepetytora jako instrument do obliczania średniej ważonej rangi korepetytora, gdzie waga przypisywana randze każdego korepetytora jest równa proporcji czasu (mierzonego w dniach), jaki uczeń spędził z tym korepetytorem . Śledczy wykorzystają dane dotyczące dziennej obecności, aby utworzyć tę średnią ważoną. Ta metoda pomoże badaczom zrozumieć, czy praca z nauczycielem o wyższej randze oznacza, że ​​uczeń faktycznie otrzymuje nauczanie lepszej jakości, czy też istnieje dodatkowy związek między rangą nauczyciela a rzeczywistą jakością.

Do analizy wykorzystamy tylko obserwowane wyniki. Jeśli brakuje wyniku dla więcej niż 5 procent próbki, zgłosimy również wpływ leczenia na to, czy wynik jest obserwowany. Gdy brakuje współzmiennych linii bazowej, przypiszemy brakujące wartości zero i uwzględnimy wskaźnik braków jako dodatkową kontrolę linii bazowej.