Randomizowana klastrowa próba kontrolna gry PAX Good Behavior w szwedzkich szkołach podstawowych

Projekt

Przeprowadzona zostanie randomizowana, kontrolowana próba klastrowa, w której losowo przydzielono około 28 szkół (klastrów) z łącznie 84 nauczycielami/salami lekcyjnymi, które przeszły szkolenie i superwizję w PAX GBG lub otrzymały równie dużo szkolenia i superwizji w celu wdrożenia jednej z interwencji kontrolnych.

Nauczyciele w obu ramionach będą wdrażać i stosować interwencję, do której zostali losowo przydzieleni w pierwszym roku, a następnie zaczną wdrażać również drugą interwencję, kontynuując korzystanie z pierwszej. Kiedy środek bazowy ma miejsce pod koniec klasy 2, a początkowa interwencja jest wdrażana dla uczniów w klasie 3, uczniowie w tych klasach otrzymają tylko jedną interwencję, ponieważ przechodzą do gimnazjum, w którym żadna z metod nie jest stosowana. Zamiast tego nauczyciel zacznie od nowa z nowymi uczniami w klasie 1 i zastosuje w stosunku do nich obie metody. Podgrupa uczniów, która otrzyma tylko jedną interwencję, zachowa w ten sposób randomizowany, kontrolowany projekt również dla długoterminowych obserwacji.

Procedura

Idealnie byłoby, gdyby połowa klas została zapisana do rozpoczęcia interwencji/interwencji kontrolnej w semestrze wiosennym, a połowa w semestrze jesiennym. Ma to na celu kontrolę okazjonalnego efektu momentu w czasie roku szkolnego i roku kalendarzowego, w którym wprowadzana jest interwencja.

Wiarygodne interwencje kontrolne wymagające takiej samej ilości szkoleń i superwizji zostaną wykorzystane do kontroli niespecyficznych skutków wdrożenia nowej metody. Umożliwia również promocję badania wśród szkół i nauczycieli jako sposobu na wdrożenie i porównanie kilku przydatnych metod, choć do różnych celów, co pomaga uniknąć zbyt wysokich oczekiwań lub efektu placebo dla PAX oraz zminimalizować ewentualne rozczarowanie i efekty nocebo do konieczności czekania rok przed rozpoczęciem korzystania z PAX. Szkoła będzie miała możliwość wyboru jednej z dwóch interwencji kontrolnych – aplikacji matematycznej „Licz na mnie!” lub kolegialnej społeczności uczącej się. Służy to dwóm celom; (1) możliwość wyboru jeszcze bardziej zmniejszy ryzyko nocebo lub niezadowolenia, jeśli nie zostanie przydzielona losowo do PAX oraz (2) umożliwi udział większej liczbie szkół, jeśli jedna z interwencji kontrolnych zostanie uznana za niepraktyczną do wdrożenia. Ponieważ uważa się, że żadna z interwencji kontrolnych nie ma takich samych konkretnych skutków jak PAX, a przynajmniej nie w takim samym stopniu, obie będą działać jako kontrole niespecyficznych skutków.

Łącznie siedem działań zostanie zastosowanych w odniesieniu do uczniów, nauczycieli i klas w ciągu dwóch lat, z wartością wyjściową (Pomiar 0) na koniec semestru przed rozpoczęciem wdrażania (Semestr 0) i głównym punktem końcowym (Pomiar 4 ) rok później. Aby zmniejszyć obciążenie dla nauczycieli i uczniów, pełen zakres pomiarów wyników zostanie przeprowadzony tylko w dwóch przypadkach (pomiar 0 i pomiar 4), a w przeciwnym razie dla uczniów i nauczycieli zostanie zastosowany ograniczony zestaw pomiarów (w przypadku działań na poziomie klasy, cały zestaw środków będzie zawsze stosowany). Zredukowany zestaw mierników samooceny dla nauczycieli będzie obejmował stres związany z pracą (główny wynik), zarządzanie klasą, ogólny stres, problemy ze snem, zdolność do pracy oraz zaobserwowane negatywne/pozytywne skutki wdrażanej metody. Dla uczniów zredukowany zestaw będzie zawierał pytania dotyczące samopoczucia (miara podstawowa). Nauczyciele będą również mierzyć samopoczucie każdego ucznia w każdym punkcie pomiarowym.

Dla punktów pomiarowych obowiązywać będą następujące przedziały czasowe:

Pomiar 0 (M0) - semestr przed pierwszym semestrem wdrożeniowym, 4-tygodniowe okno administracyjne kończące się na dwa tygodnie przed końcem semestru.

Pomiar 1 (M1) - pierwszy semestr wdrożeniowy, 6-tygodniowe okienko administracyjne rozpoczynające się dwa tygodnie po rozpoczęciu semestru (a najlepiej dwa tygodnie po zakończeniu szkolenia interwencyjnego).

Pomiar 2 (M2) - pierwszy semestr wdrożeniowy, 4-tygodniowe okno administracyjne kończące się na dwa tygodnie przed końcem semestru).

Pomiar 3 (M3) - drugi semestr wdrożeniowy, 4-tygodniowe okno administracyjne rozpoczynające się dwa tygodnie po rozpoczęciu semestru).

Pomiar 4 (M4) - pierwszorzędowy punkt końcowy, drugi semestr realizacji, 4-tygodniowe okno administracyjne kończące się na dwa tygodnie przed końcem semestru.

Pomiar 5 (M5) - trzeci semestr wdrożeniowy, 4-tygodniowe okno administracyjne kończące się na dwa tygodnie przed końcem semestru.

Pomiar 6 (M6) - czwarty semestr wdrożeniowy, 4-tygodniowe okno administracyjne kończące się na dwa tygodnie przed końcem semestru.

Uczestnicy i rekrutacja

Szkoły, nauczyciele, sale lekcyjne i inni pracownicy szkoły

Randomizacja klastrów zostanie przeprowadzona na poziomie szkoły i z kolei zadecyduje, którzy nauczyciele i uczniowie zostaną włączeni. Szkoły będą rekrutowane przez ustaloną sieć trenerów PAX GBG w Szwecji, a grupy badawcze będą miały inne powiązania z sieciami związanymi ze szkołami, a rekrutacja będzie miała zasięg ogólnokrajowy. Szkoły będą rekrutowane z co najmniej dwóch różnych regionów i co najmniej czterech różnych gmin (kommuner), aby zwiększyć możliwość uogólnienia wyników. W sumie zostanie włączonych około 28 szkół, w zależności od liczby uczestniczących klas z każdej szkoły.

W sumie projekt obejmie 84 klasy, w których spodziewana jest liczba do 100 nauczycieli (ponieważ niektóre klasy mają więcej niż jednego nauczyciela).

Pozostały personel szkoły jest rekrutowany wyłącznie w celu udziału w jakościowej ocenie oczekiwań i doświadczeń związanych z interwencjami. Ich wybór będzie pragmatyczny i teoretycznie doprowadzi do nasycenia danych jakościowych, z maksymalnie czterema dodatkowymi pracownikami z każdej szkoły.

Uczniowie i ich udział w interwencjach i zbieranie danych

W sumie 2200 uczniów zostanie włączonych, po około 26 uczniów z każdej klasy. W interwencji wezmą udział wszyscy uczniowie klasy związanej z nauczycielami/salami objętymi interwencją, ponieważ wszystkie one są realizowane w ramach regularnego funkcjonowania/nauczania w szkole i skupiają się na sposobie prowadzenia przez nauczycieli nauczania i kierowania klasą i klasą oraz jest nie ma możliwości wykluczenia konkretnych uczniów. Uczniowie mogą jednak zostać włączeni do gromadzenia danych na trzy różne sposoby:

• Dane od uczniów do rodziców/opiekunów, którzy podpisali świadomą zgodę, będą zawierały dane z ich samooceny, z ocen nauczycieli oraz z rejestrów powiązanych z numerem identyfikacyjnym, który z kolei może być powiązany z ich numerem ubezpieczenia społecznego (numer osoby).
• Dane o uczniach, których rodzice nie wypełnili zgody, nadal będą zbierane, ale bez numeru identyfikacyjnego lub innego identyfikatora, co uniemożliwia powiązanie ich z konkretnym uczniem, a tym samym uczynienie danych anonimowymi. Z tymi danymi powiązane są tylko interwencje, do których uczeń został losowo przydzielony, oraz moment, w którym zebrano dane.
• Rodzice/opiekunowie i sam uczeń zostaną poinformowani, że uczniowie nie muszą wypełniać samooceny, jeśli poinformują o tym nauczyciela lub badaczy. Uczniowie będą o tym informowani przed każdą samooceną.

Randomizacja

Aby status społeczno-ekonomiczny (SES) szkół nie różnił się zbytnio, każda szkoła zostanie sklasyfikowana jako niska, średnia lub wysoka SES, a następnie, gdy w kohorcie znajdzie się wystarczająca liczba szkół, zostanie losowo wybrana zgodnie z jednym z trzy odpowiadające im losowo blokowane listy z rozmiarami bloków zmieniającymi się losowo między 2, 4 i 6. Randomizacją zajmie się niezależna strona trzecia, Karolinska Trial Alliance, aby zapewnić, że badacze nie będą w stanie ocenić list ani w inny sposób przewidzieć wyników randomizacji.

Interwencje

Procedura wdrażania będzie podobna dla każdej interwencji, z mniejszymi dostosowaniami w celu dopasowania do specyficznych potrzeb każdej metody. Każdy rozpoczyna się od krótkiej wstępnej pisemnej informacji o interwencjach, po której następuje jeden do dwóch dni szkolenia/edukacji dla nauczycieli. Następnie odbywa się regularny nadzór osobisty lub przez wideo/telefon, w zależności od praktycznych aspektów i ewentualnych ograniczeń wynikających z pandemii Covid-19. Superwizja zawsze obejmuje jakąś formę obserwacji i monitorowania stosowania metody przez superwizora, jako źródło dalszych informacji dla superwizji. Łącznie zaplanowano 6 sesji superwizyjnych: 4 sesje w pierwszym semestrze wdrożeniowym (odbywające się odpowiednio w I-IV kwartale semestru, począwszy od 2 sesji indywidualnych, następnie 1 sesji grupowej i 1 sesji indywidualnej) oraz 2 sesje w drugim semestrze wdrożeniowym (odpowiednio w I i II półroczu, 1 sesja grupowa i 1 sesja indywidualna). Nauczyciele we wszystkich grupach będą również mogli otrzymać krótszą superwizję na żądanie lub dodatkowe sesje superwizyjne zainicjowane przez superwizora, jeśli uznają to za konieczne.

Gra Dobre Zachowanie PAX

PAX Good Behavior Game (GBG) opiera się na swoim prekursorskim programie Good Behavior Game (GBG), który szkoli nauczycieli w zakresie stosowania zasad społecznego uczenia się w celu maksymalizacji zadaniowych i prospołecznych zachowań dzieci oraz zminimalizowania występowania destrukcyjnych i nietypowych zachowań. zachowania zadaniowe. PAX GBG składa się z dziesięciu konkretnych narzędzi, które nauczyciele są szkoleni w zakresie wprowadzania ich do praktyki zarządzania klasą. Program wprowadza werbalne i wizualne wskazówki, które ułatwiają zachowania prospołeczne i uważne. Jednym z głównych elementów programu jest gra PAX, co oznacza, że ​​dzieci – skupiając się na zwykłych zadaniach szkolnych, takich jak matematyka – grają w zespołach, w których każdy Zespół stara się popełnić jak najmniej naruszeń zasad obowiązujących w klasie w określonym czasie. Zespoły, którym uda się osiągnąć z góry określone cele, otrzymują nagrodę (często zabawną i pożądaną czynność), która służy wzmocnieniu zachowań prospołecznych i zadaniowych.

Superwizja prowadzona jest indywidualnie z każdym nauczycielem (4 sesje) oraz w grupie (2 sesje) i obejmuje obserwację przez trenera PAX wykładu prowadzonego przez nauczyciela przed każdą sesją superwizyjną.

Liczyć na mnie! (warunek kontrolny)

Liczyć na mnie! to adaptacyjna aplikacja ucząca biegłości w dodawaniu i odejmowaniu faktów (tj. faktów matematycznych), równości, komponowaniu i rozkładaniu liczb oraz kilku innych podstawowych umiejętności matematycznych nauczanych w pierwszych klasach szkoły. Liczyć na mnie! jest osadzona w grze przygodowej, w której dziecko ma awatara, który podróżuje przez różne światy/platformy, wykorzystując swoje umiejętności matematyczne. Dziecko zaczyna w domu awatara, w środowisku przypominającym dom, gdzie odkrywa magiczną mapę, która przenosi je do innego świata zwanego Numberia. Podczas przygód w Numberii dziecko dowiaduje się, że posiada pewne umiejętności, zwane mocami matematyczno-magicznymi, które posłużą do wyzwolenia Numberii od złego Księcia Pazura, który schwytał wszystkie piękne rzeczy (np. ptaki śpiewające w lesie ).

Liczyć na mnie! został opracowany w ramach analizy behawioralnej przy użyciu nieliniowego procesu programowania pierwotnie opracowanego przez Tiemanna i Markle'a, a później nieco zmienionego przez innych badaczy podczas tworzenia Headsprout Early Reading i Headsprout Reading Comprehension. Do zbudowania ćwiczeń wykorzystano elementy projektu instruktażowego autorstwa Tiemanna i Markle'a, instrukcje jawne oraz model instrukcji generatywnej Morningside. Ćwiczenia matematyczne zawierają co najmniej jedną z trzech powtarzających się faz stosowanych we wszystkich szkoleniach: fazę modelowania, prowadzenia i płynności. Modelowanie nowych umiejętności obejmuje animacje i ręcznie rysowane przykłady wraz z instrukcjami dźwiękowymi i wymaga częstych reakcji uczniów bez określonego czasu. Ćwiczenie z przewodnikiem nowo wymodelowanych umiejętności pomaga uczniom osiągnąć wysoki poziom dokładności bez wyczucia czasu. Wreszcie, budowanie płynności ma na celu rozwijanie biegłości w danej umiejętności przy użyciu wyczucia czasu. Fazy ​​przewodnika i płynności zawierają elementy grywalizacji. Aplikacja została naukowo oceniona wśród szwedzkich uczniów szkół podstawowych o niskich wynikach, którzy wykazali znaczną poprawę umiejętności matematycznych wśród dzieci, które korzystały z aplikacji, z największą poprawą wśród dzieci o niższych zdolnościach poznawczych.

Przed rozpoczęciem wdrożenia, sesja nauczycieli koncentruje się na funkcjonalności i zawartości aplikacji oraz sposobie, w jaki odpowiada ona planowi nauczania matematyki dla klasy, którą prowadzą. Sesja szkoleniowa obejmie metody wprowadzenia aplikacji w klasie, posuwania się naprzód i pokonywania typowych wyzwań. Nauczyciele będą zachęcani do rozpoczęcia korzystania z aplikacji w klasie bezpośrednio po sesji szkoleniowej. Nauczycielom zostanie zalecone korzystanie z aplikacji co najmniej 4 razy w tygodniu, każdorazowo po około 15 minut.

Superwizja będzie prowadzona indywidualnie oraz w grupach i będzie częściowo oparta na raportach monitorujących opiekunów dotyczących stopnia i sposobu wykorzystania aplikacji.

Kolegialna społeczność ucząca się (warunek kontrolny)

Muijs i współpracownicy zdefiniowali pięć cyklicznych etapów profesjonalnego uczenia się nauczycieli. Pierwszym krokiem jest ocena braków w umiejętnościach lub wiedzy uczniów, przy użyciu różnych źródeł danych (np. testów, ocen, ankiet, wywiadów z uczniami). Drugim krokiem jest zastanowienie się, jakie umiejętności powinien nabyć nauczyciel, aby pomóc uczniom osiągnąć cele. Trzecim krokiem jest pogłębienie wiedzy i umiejętności zawodowych. Czwarty krok to zaangażowanie uczniów w nową praktykę, aw piątym kroku ocena wpływu nowej praktyki na wyniki uczniów.

Według Timperleya i innych badaczy możliwym formatem tego rodzaju uczenia się jest kolegialna społeczność ucząca się, w której nauczyciele korzystają z pomocy swoich rówieśników na każdym z tych etapów w uporządkowany sposób. Na przykład sposobem na pogłębienie wiedzy ukrytej lub proceduralnej (w kroku drugim) jest odwiedzenie kolegi podczas zajęć i dokonanie obserwacji jego praktyki w klasie.

Timperley zwraca uwagę na znaczenie posiadania profesjonalnego superwizora dla utrzymania struktury procesu uczenia się. Częstą pułapką, której superwizor pomaga nauczycielowi uniknąć, jest odwrócenie uwagi od profesjonalnego uczenia się i zamiast tego ugruntowanie obecnych praktyk nauczycielskich, zamiast uczenia się nowych umiejętności.

Kolegialne społeczności uczące się mogą koncentrować się na praktycznie każdym rodzaju umiejętności nauczyciela. Obecna interwencja zapewnia materiał, który pozwala skoncentrować się na następujących zagadnieniach: 1) ocenianie kształtujące, 2) formułowanie i kontynuacja prac domowych w celu zaangażowania uczniów, 3) nauczanie wiedzy faktograficznej w celu ułatwienia uczniom wyższego rozumowania. Tematy te zostały wybrane tak, aby naśladować nakładanie się treści PAX GBG, ale nadal są bardzo istotne dla nauczycieli.

Interwencja będzie oparta na zasobach internetowych i 6 sesjach superwizyjnych z zadaniami pomiędzy nimi. Superwizja i obserwacja będą połączone w ten sposób, że superwizor początkowo obserwuje, kiedy nauczyciele prowadzą superwizję grupową ze swoimi kolegami, a następnie udziela natychmiastowej informacji zwrotnej całej grupie. Następnie następuje dalsze omówienie metody i krótkie, trwające od 10 do 15 minut indywidualne sesje z każdym nauczycielem.

Środki

Dane podstawowe oraz skuteczność i wyniki realizacji interwencji zostaną ocenione za pomocą szeregu różnych środków opisanych poniżej. Harmonogram środków opisano w tabeli 1 powyżej, aw niektórych przypadkach bardziej szczegółowo omówiono poniżej.

Dodatkowe miary tła na linii bazowej (M0) dla szkół, sal lekcyjnych i nauczycieli Opisane tutaj miary nie są jedynymi stosowanymi jako dane tła, ale te konkretnie mierzone tylko na linii bazowej.

SES dla każdego okręgu szkolnego mierzony średnimi dochodami rodziców i średnim poziomem wykształcenia rodziców (na podstawie danych ze Szwedzkiego Urzędu Statystycznego) Liczba uczniów, nauczycieli i dodatkowych pracowników pomocy w każdej klasie Zapotrzebowanie ucznia na dodatkową pomoc i dodatkowe zasoby, jak również obecność diagnozy neurorozwojowej.

Dodatkowe podskale kwestionariusza COPSOQ-III Wymagania ilościowe, Tempo pracy, Wpływ w pracy, Przewidywalność, Wsparcie społeczne ze strony przełożonego, Wsparcie społeczne ze strony współpracowników, Poczucie wspólnoty w pracy.

Dodatkowe pozycje z TALIS, pytania o zatrudnienie i innych nauczycieli w szkole.

Miary skuteczności

Efekty wdrożenia PAX będą oceniane na poziomie szkoły, nauczyciela, klasy i ucznia.

Środki skoncentrowane na klasie

Obserwacje klas przez przeszkolonego obserwatora będą prowadzone podczas dwóch lub trzech lekcji w tych samych lub ustępujących dniach, przez minimum 20 minut na każde zajęcia. Aby zwiększyć standaryzację miernika, uwzględnione zostaną tylko lekcje skupiające się na przedmiotach teoretycznych. Obserwacje będą oparte na harmonogramie obserwacji, który został już przetestowany w pilotażowej próbie PAX i zostaną nieco zmodyfikowane w oddzielnym projekcie przed wdrożeniem w bieżącej próbie. Harmonogram będzie koncentrować się na bezpośredniej obserwacji następujących aspektów: 1) uczniowie są na zadaniu/poza zadaniem (główny wynik), 2) liczba zachowań destrukcyjnych uczniów, 3) czas przejścia między różnymi zadaniami oraz 4) liczba pozytywnych /negatywne interakcje nauczyciel-uczeń. Obserwacje będą prowadzone przez przeszkolonych obserwatorów i nigdy nie identyfikują pojedynczych uczniów, a tym samym generują anonimowe dane. Płeć ucznia zostanie jednak zarejestrowana do oceny (1) - (4), aby umożliwić przeprowadzenie analiz dotyczących płci.

Po każdej obserwowanej lekcji zarówno obserwatorzy, jak i nauczyciele ocenią obserwowany wykład za pomocą kwestionariusza, który jest opracowywany wraz z harmonogramem obserwacji, skupiając się na ogólnych ocenach aspektów, takich jak nasilenie zachowań destrukcyjnych w klasie, poziom hałasu w klasie, stopień skupienia klasa była w trakcie wykładu itp. Ponownie, dane te zostaną ocenione na poziomie klasy, bez możliwości identyfikacji poszczególnych studentów.

W ciągu jednego tygodnia związanego z ustalonymi terminami pomiarów w każdej klasie zbierane będą dane o poziomie hałasu. Poziom hałasu będzie oceniany za pomocą urządzenia pomiarowego, które zostanie umieszczone w klasie bez zakłócania środowiska klasy. Urządzenie będzie mierzyć i zapamiętywać bardzo krótkie fragmenty dźwięku w losowych odstępach wynoszących średnio trzy sekundy, uniemożliwiając identyfikację źródła i treści aktywności dźwiękowej (np. usłyszenie rozmowy), ale wystarczające do obliczenia poziomu decybeli w różnych zakresach częstotliwość. Zatem te dane są również anonimowe.

Frekwencja w szkole i zapotrzebowanie na dodatkowy personel w klasie będą mierzone na poziomie klasy.

Tematyka wpływu interwencji na klasę, zarówno pozytywna, jak i negatywna, zostanie podjęta w ramach wywiadów jakościowych z nauczycielami i pozostałymi pracownikami szkoły (opisanych w części dotyczącej działań wdrożeniowych). Omówią to również cztery pytania do nauczyciela w M3, M4 i M6, które skłonią ich do opisania pozytywnych i negatywnych skutków interwencji w odniesieniu do (a) ich samych i (b) uczniów od ostatniego pomiaru punkt. Uczniowie zostaną również zapytani o ich stosunek do PAX/interwencji kontrolnej.

Mierniki zdrowia i pracy nauczycieli

Szereg miar samooceny zostanie zebranych od nauczycieli za pomocą bezpiecznej platformy służącej do prowadzenia terapii psychologicznych online i wymagającej dwuetapowego uwierzytelnienia. Środki będą obejmować samoocenę środków związanych ze zdrowiem, samoocenę danych związanych z pracą oraz dane oparte na rejestrze dotyczące opieki zdrowotnej i konsumpcji leków na receptę.

Działania skoncentrowane na uczniach

Uczniowie odpowiadają na kwestionariusze samooceny z pomocą przeszkolonych asystentów badawczych, którzy upewnią się, że uczniowie zrozumieli pytania i alternatywne odpowiedzi oraz zminimalizują ryzyko, że będą przeszkadzać sobie nawzajem lub wpływać na siebie nawzajem. Dostępne są różne sposoby administrowania baterią kwestionariuszy (podawanie za pomocą papieru i długopisu lub tabletu w całej klasie, w mniejszych grupach lub indywidualnie, z wydawaniem instrukcji przez administratora, czasem także z użyciem wcześniej nagranej instrukcji), aby móc dostosować do tego, co byłoby najbardziej wykonalne dla konkretnej klasy. Uczniowie ocenią swoje zdrowie i samopoczucie. Nauczyciele wypełnią skalę dysregulacji (5 pozycji) Kwestionariusza Mocnych stron i Trudności. Dane z rejestrów posłużą do analizy korzystania przez uczniów z opieki zdrowotnej i leków na receptę, a także potrzeby wychodzenia rodziców z pracy w celu opieki nad chorym dzieckiem. Osiągnięcia dzieci w nauce z matematyki i języka szwedzkiego będą mierzone za pomocą standardowych testów.

Środki wykonawcze

Warunki wstępne dla procesu wdrażania zostaną ocenione za pomocą zbierania danych ilościowych i jakościowych. Częściowo ustrukturyzowane wywiady jakościowe zostaną przeprowadzone z losowo wybranymi 25-50% wszystkich uczestniczących nauczycieli. Celem wywiadów jest naświetlenie aspektów, które nie zostaną uchwycone przez wystandaryzowane instrumenty, zarówno pod względem skuteczności interwencji, jak i jakości jej realizacji. Przewodnik po wywiadach powstaje w ramach mniejszego projektu pilotażowego. Rozmowy będą prowadzone przez telefon lub wideo i będą trwały średnio około 20 minut. Rozmowy kwalifikacyjne zostaną przeprowadzone trzykrotnie z każdym wybranym nauczycielem: bezpośrednio po szkoleniu PAX, w M2 i M4 (patrz specyfikacja punktów pomiarowych powyżej). Wywiady będą nagrywane, transkrybowane i analizowane przy użyciu jakościowej analizy treści.

Oczekiwania i doświadczenia wdrożonej interwencji

W celu poznania oczekiwań, doświadczeń i efektów wdrożonej interwencji, nauczyciele i inni pracownicy szkoły kilkakrotnie wypełnią Kwestionariusz Rozwoju Działania Normalizacyjnego (NoMAD). Te same wymiary będą również badane poprzez przeprowadzanie wywiadów i zbieranie obiektywnych danych, takich jak długoterminowe stosowanie interwencji zgodnie z obserwacjami w klasie, odsetek kwalifikujących się nauczycieli korzystających z interwencji w każdej szkole itp.

Wierność interwencji

Wierność nauczycieli metodzie będzie mierzona poprzez bezpośrednią obserwację prowadzoną przez superwizora oraz za pomocą narzędzia samooceny wierności, które nauczyciele będą wypełniać.

Zdarzenia niepożądane

Informacje o zdarzeniach niepożądanych będą gromadzone począwszy od M3 w postaci pytań otwartych, które nauczyciele wypełniają na platformie. Pytania dotyczące negatywnych skutków będą również zawarte w wywiadach jakościowych.

Analizy statystyczne

Moc statystyczna 80% dla objawów psychicznych uczniów (wielkość efektu międzygrupowego oszacowana na podstawie badania pilotażowego równa d=0,6) może zostać osiągnięta za pomocą losowego projektu skupień obejmującego 28 szkół, 3 klasy na szkołę i 25 uczniów w każdej klasy (łącznie 2100 uczniów), oczekiwaną utratę danych na poziomie 20% oraz efekty grupowania, znane z podobnych uczniów w środowiskach szkolnych rho2=0,1 (poziom szkoły) i rho3=0,25 (poziom nauczyciela). Ponieważ liczba uczniów może przekraczać 25, spodziewamy się, że całkowita liczba uczniów objętych programem wyniesie 2200.

Pierwszorzędowym punktem końcowym wyników będzie roczna obserwacja (M4), zanim nauczyciele zaczną stosować również metodę, do której nie byli początkowo przydzieleni losowo. Miary skupiające się na zdrowiu, samopoczuciu i środowisku pracy/nauki nauczycieli i uczniów, a także miary dotyczące klas, które są gromadzone wielokrotnie, zostaną przeanalizowane za pomocą hierarchicznego ogólnego modelu liniowego z maksymalnie trzema zagnieżdżonymi poziomami (szkoła , klasa/nauczyciel i uczeń). Różnica w nachyleniu zmian w czasie między grupą PAX a interwencjami kontrolnymi zostanie przetestowana dla każdej zmiennej wynikowej. Zestaw modeli efektów mieszanych zostanie przeprowadzony w celu wykrycia czynników (czynników tła i czynników związanych z wdrożeniem), które mają wpływ na wyniki wdrożenia (wierność, akceptowalność, stosowność itp.). Modele efektów mieszanych zostaną również wykorzystane do wykrycia, czy zmienne związane z wdrażaniem (np. gotowość do zmian, wierność, akceptowalność itp.) wpływają na główne wyniki badania (np. zdrowie, samopoczucie nauczycieli i uczniów oraz środowisko pracy/nauki). .

Anonimowe dane uczniów zostaną wykorzystane na dwa sposoby: (1) do analiz brakujących danych poprzez porównanie poziomów i zmian w danych anonimowych z danymi możliwymi do zidentyfikowania oraz (2) do przeprowadzenia analiz wrażliwości, w których wszystkie dane są analizowane pod kątem czasu i interwencji tylko na poziomie grupy, tj. ignorowanie informacji o szkole, klasie i uczniu, nawet jeśli takie istnieją. Metody statystyczne będą zatem miały mniejszą moc, ale z drugiej strony dane pochodzące od większej liczby uczniów będą mogły zostać wykorzystane, a ponieważ ilość brakujących danych będzie mniejsza niż w przypadku głównych analiz, ryzyko błędu wynikającego z nielosowej utraty danych będzie mniejsze . W przypadku danych anonimowych, jeśli zostaną zebrane dane od mniej niż 10 uczniów w jednym punkcie czasowym i interwencji, dane zostaną odrzucone i całkowicie usunięte, aby zachować bezpieczny margines możliwości pośredniego powiązania danych z uczen.

Opłacalność

Zdrowie psychiczne nauczycieli mierzone za pomocą GHQ-12 zostanie przeliczone na lata życia skorygowane o jakość (QALY:s). Jakość życia związana ze zdrowiem uczniów, mierzona za pomocą CHU9D, zostanie wykorzystana do obliczenia QALY:s. Koszty wdrożenia (np. czas na szkolenie i superwizję) zostaną obliczone łącznie z możliwymi oszczędnościami związanymi ze zmniejszeniem absencji chorobowej nauczycieli, a także zapotrzebowaniem na dodatkowy personel w szkołach oraz zmniejszeniem zapotrzebowania na zasoby zdrowotne uczniów . Całkowite QALY w okresie obserwacji będą badane przy użyciu metody powierzchni pod krzywą. Różnice w wynikach zdrowotnych między grupą interwencyjną a grupą kontrolną zostaną przeanalizowane przy użyciu modeli regresji. Koszty i oszczędności zostaną porównane z korzyściami wyrażonymi w QALY, zarówno dla nauczycieli, jak i uczniów. Wyniki zostaną przedstawione jako wskaźnik efektywności kosztowej i zilustrowane planem efektywności kosztowej, który pokaże niepewność wyników, jeśli chodzi o koszty i skutki zdrowotne interwencji i grupy kontrolnej.