Teste randomizado do Programa de Ação Positiva nas Escolas de Chicago e Extensão para a 8ª Série

Este projeto é um dos sete em um teste multi-site de diferentes programas que foi implementado nacionalmente. A Oregon State University (OSU) e a University of Illinois at Chicago (UIC) estão conduzindo um estudo randomizado escolar para avaliar a eficácia do programa Positive Action (PA) para descobrir como o programa funciona, para determinar a eficácia do programa Positive Action Programa de ação para reduzir comportamentos negativos (incluindo comportamentos relacionados à saúde), aumentar comportamentos positivos e melhorar o desempenho acadêmico de alunos do ensino fundamental. O programa de Ação Positiva foi concebido para promover o desenvolvimento social e de caráter (respeito, responsabilidade, altruísmo, virtude cívica, comportamento pró-social) de forma a reduzir o comportamento antissocial (violência, uso de substâncias, delinquência) e melhorar o desempenho escolar (frequência, pontuação em testes ). Quatorze escolas elegíveis selecionadas durante o inverno de 2004 são compostas por 7 pares combinados (tratamento e controle); as escolas foram pareadas em uma 'pontuação de risco' composta por múltiplas características escolares. Alunos da 3ª série no ano letivo de 2004-05, seus pais, professores e diretores foram pesquisados ​​na linha de base (outono de 2004), primavera e outono de 2005, primavera de 2006 e primavera de 2007. A avaliação é baseada em vários tipos de processo, variável mediadora e dados de resultados de registros escolares (frequência, transitoriedade, notas, desempenho em testes, ações disciplinares e suspensões e mudanças nas características da população escolar e estudantil), registros de alunos, pesquisas de alunos, pesquisas de pais , avaliações e pesquisas de professores e pesquisas de administradores, coletadas de escolas em ambas as condições (exceto informações sobre a execução do programa Ação Positiva). O trabalho que está sendo feito na OSU está confinado à supervisão geral do Dr. Flay de todos os aspectos do projeto e análise de dados usando dados não identificados recebidos do Dr. DuBois na UIC e redação de artigos de pesquisa. O trabalho que está sendo feito na UIC, dirigido pelo Dr. David DuBois, inclui todo o trabalho de intervenção, coleta de dados, entrada de dados e algumas análises de dados e redação de relatórios. O U.S. Department of Education/IES contratou um empreiteiro nacional, Mathematica Policy Research, Inc. (MPR) para realizar pesquisas básicas em todos os locais do teste multi-site até a primavera de 2007. Além disso, a OSU/UIC está administrando uma pesquisa de alunos específica do local que complementa as pesquisas de vários locais durante todas as ondas de coleta de dados. Como o financiamento do projeto seguiu a mudança do Dr. Flay de UIC para OSU em setembro de 2005, OSU IRB fornece uma revisão para o projeto geral. A partir de abril de 2008, o novo financiamento permite a continuação do estudo até março de 2012 e segue o grupo-alvo de alunos até o final da 8ª série, conforme eles e seus professores e diretores são pesquisados ​​no outono de 2008, primavera de 2009 e novamente junto com seus pais na primavera 2010. A coleta de dados para o estudo de continuação também inclui a coleta de altura e peso das crianças e dados de avaliação do processo de alunos e professores. Não haverá envolvimento do MPR. A coleta de dados foi concluída em junho de 2010.

Taxas de consentimento e mobilidade:

O consentimento dos pais foi obtido antes que os alunos, pais ou professores concluíssem as pesquisas quando os alunos estavam na 3ª série. Setenta e nove por cento dos pais forneceram consentimento na linha de base. Os alunos que ingressaram no estudo em ondas posteriores foram consentidos naquele momento; as taxas de consentimento para eles variaram de 65% a 78% para as Ondas 2-5. Todos os alunos foram readmitidos para a segunda fase de financiamento na Wave 6 (início da 7ª série); as taxas de consentimento foram menores nas Ondas 6 a 8 (≈ 58 a 64%). Isso é consistente com estudos anteriores que descobriram que as taxas de consentimento caem à medida que os níveis de ensino aumentam. As porcentagens de pais consentidos que forneceram relatórios sobre seus filhos foram 72,3%, 58,9%, 52,2%, 50,5% e 72,9% nas Ondas 1, 2, 4, 5 e 8, respectivamente. Dois fatores que provavelmente aumentaram a taxa de resposta dos pais na Onda 8 foram (1) um aumento no incentivo financeiro para preencher o relatório dos pais e (2) um período intensivo de contato telefônico com as famílias para observar o aumento do incentivo e incentivar a conclusão da pesquisa. As porcentagens de alunos consentidos para os quais os professores concluíram as avaliações foram 74,6%, 74,8%, 72,4%, 78,3%, 74,4% e 92,7% para as Ondas 1, 2, 4, 5, 7 e 8, respectivamente. Na Onda 8, introduzimos um incentivo adicional em nível de escola para taxas de 100% de conclusão da pesquisa de professores, o que provavelmente resultou no aumento das avaliações de professores concluídos. Padrões de mobilidade foram identificados usando resultados de uma análise de classe latente na qual uma solução de 5 classes foi considerada a mais adequada para os dados: 1) residentes (duração média do estudo de 5,72 anos, N = 158), 2) participantes temporários (1,30 anos, apenas na 4ª ou 5ª séries; N=196), 3) ingressantes tardios (1,38 anos; N=308); 4) abandono precoce (0,94 anos; N=263) e 5) abandono tardio (3,23 anos; N=287).

Análises estatísticas planejadas:

Como o estudo foi focado em grupos, avaliamos os alunos que ingressaram nas escolas após o início do estudo (ingressantes), mas não acompanhamos os alunos individuais que pararam de frequentar as escolas do estudo (desistentes). Do ponto de vista dos alunos, ao longo do tempo eles podem ser considerados uma "dinâmica" (ou seja, em mudança) coorte de série. Modelos multiníveis serão usados ​​para levar em consideração a variação nos níveis da escola e do aluno. Os dados ausentes serão abordados usando a suposição de falta aleatória (MAR), pois é improvável que uma única variável não medida ou um conjunto de variáveis ​​preveja a falta para todos os alunos que deixaram ou ingressaram nas escolas experimentais após a randomização. nível (ocasiões de medição aninhadas em alunos aninhados em escolas) modelo de curva de crescimento para analisar os efeitos do tratamento em vários resultados no nível do aluno. Esses modelos levarão em conta todas as observações e modelarão as diferenças escolares. Essa abordagem permite uma análise completa das múltiplas ondas de dados disponíveis e leva em consideração os padrões de mudança ao longo do tempo. Os modelos de curva de crescimento de interceptação aleatória serão estimados primeiro. Seguindo o modelo de interceptação aleatória, um modelo de coeficiente aleatório será executado para testar se há variação significativa na mudança do aluno ao longo do tempo, em vez de todos os alunos em cada condição terem o mesmo padrão de mudança. Um teste Qui-quadrado (LR) de Razão de Verossimilhança será usado para comparar o ajuste do modelo com e sem o coeficiente aleatório. Se um modelo com um coeficiente de tempo aleatório fornecer um ajuste significativamente melhor para um determinado resultado, ele será relatado como o modelo final. Os efeitos da intervenção nas escalas coletadas apenas nas ondas posteriores (Ondas 5 ou 6 em diante) serão testados com a interceptação definida no ponto final (Onda 8) com o termo de condição indicando uma possível diferença nos efeitos na última (Onda 8).

Como apenas 14 escolas estão neste estudo e o efeito de AF é testado no nível da escola em um estudo randomizado por cluster, conduziremos várias análises de sensibilidade. Primeiro, avaliaremos a significância estatística da estimativa do coeficiente de PA e seu erro padrão usando a distribuição t com 12 graus de liberdade: 14 escolas - 1 (o efeito da condição) - 1 = 12 df, proporcionando uma abordagem mais conservadora. Uma segunda abordagem será uma análise em nível de pares, estimada como um modelo de quatro níveis: ocasiões de medição aninhadas nos alunos, aninhadas nas escolas, aninhadas nos pares combinados.

Além dos dados da pesquisa em nível de aluno, várias medidas de arquivo em nível de escola serão analisadas. Como esses dados estão no nível da escola, os modelos de curva de crescimento serão de dois níveis (observações dentro das escolas) em vez de três níveis. Devido à pequena quantidade de dados (o número de escolas vezes o número de ondas) e as limitações de poder resultantes, essas análises usarão apenas o modelo de interceptação aleatória.

Faremos um teste de moderação por gênero e por mobilidade estudantil. Os testes de moderação revelarão para quem o programa tem seus efeitos; ou seja, esses testes nos permitirão avaliar se os efeitos do programa diferem por gênero ou mobilidade da criança. Não testaremos a moderação por etnia porque é altamente confundida com a escola, com 3 pares de escolas com matrículas predominantemente afro-americanas e 2 pares de escolas com matrículas predominantemente hispânicas.

Embora todas as 14 escolas tenham sido mantidas durante o CRCT, a população estudantil neste teste foi altamente móvel. Assim, é importante testar os potenciais efeitos moderadores dos padrões de mobilidade estudantil. Uma abordagem recente para analisar padrões de mobilidade é a análise de classe latente (LCA). Os padrões de mobilidade descritos acima podem então ser testados como um moderador dos efeitos do programa; isto é, examinar se os alunos com diferentes padrões de mobilidade têm diferentes efeitos do programa.

As análises de mediação permitirão examinar os mecanismos de ação do programa de PA. Vamos primeiro estimar o efeito bivariado de X em Y sem o mediador incluído no modelo. Em seguida, estimaremos simultaneamente o efeito direto de X sobre Y com o mediador incluído no modelo, bem como o efeito mediado, que consiste no efeito de X sobre M × M sobre Y.