Eficácia de uma intervenção de leitura intensiva de dois anos para alunos de inglês do ensino médio com dificuldades de leitura (TCLD)

Hipótese Primária: Os alunos que recebem a intervenção RISE superarão aqueles que recebem instrução Business as Usual (BAU) em elementos relacionados à leitura, incluindo leitura de palavras, fluência e compreensão no final do segundo ano de tratamento.

Hipótese Secundária: Os alunos que receberam a intervenção RISE superarão aqueles que receberam instrução Business as Usual (BAU) em medidas de leitura de palavras e fluência de leitura após um ano de tratamento.

Visão geral do projeto de pesquisa

Os participantes da Coorte 1 serão recrutados no outono de 2018 (6ª e 7ª séries) e os participantes da Coorte 2 serão recrutados no outono de 2020 (6ª e 7ª séries). Os participantes que atenderem aos critérios de elegibilidade serão designados aleatoriamente para uma das duas condições: (1) a intervenção RISE (uma aula de 45 a 50 minutos, 5 dias por semana) ou (2) uma condição de comparação BAU. Alunos identificados como portadores de deficiência e recebendo educação especial que, de outra forma, atendam a todos os critérios, terão permissão para participar do estudo e intervenções adicionais serão documentadas. Os professores de tratamento são contratados e treinados pelos investigadores. Os participantes na condição de controle normalmente participam de uma aula eletiva durante esse período de aula (por exemplo, culinária, música) e, às vezes, de uma aula de preparação para o teste estadual de alto risco. Os professores serão designados para uma escola e responsáveis ​​por fornecer instrução aos alunos em grupos que variam de 3 a 12 alunos.

participantes

A amostra do Projeto 3 será composta por alunos da 6ª e 7ª séries de seis escolas de nível médio a alto nível de pobreza em Austin/San Antonio e em Houston com um grande número de alunos que estão aprendendo inglês como segunda língua. Para avaliar a hipótese primária, será realizado um estudo de controle randomizado integrando duas coortes não sobrepostas de participantes (intervenção de dois anos). Os investigadores identificarão os participantes da amostra usando registros escolares existentes e conforme descrito nos critérios de inclusão/exclusão.

A Coorte 1 consistirá de 410 Els com dificuldades significativas de leitura, 205 designados para Intervenção (RISE) e 205 para a condição de comparação BAU sem intervenção começando no outono de 2018 (Ano 1) e continuando em sua condição designada no ano 2 (alunos 7º ou 8º ano da série). A Coorte 2 será uma amostra não sobreposta de 410 alunos identificados usando os mesmos critérios de inclusão/exclusão e também designados aleatoriamente para intervenção (RISE) ou condição de comparação sem intervenção BAU e permanecendo nessa condição até o ano 2. Os alunos designados para controle podem receber BAU serviços (documentados pelo pesquisador) de suas escolas, mas não receberão intervenção de leitura fornecida pelo pesquisador. Essas duas coortes (N = 820 alunos) fornecerão uma amostra para potencializar totalmente a análise de dados.

Medidas e Procedimentos de Avaliação

Os dados do Projeto 3 são coletados em 4 momentos (início e final do ano para o ano 1 e ano 2) para cada coorte, permitindo uma análise dos efeitos do tratamento após um e dois anos de tratamento (ver descrição da intervenção). A equipe de pesquisa responsável pela contratação, treinamento e supervisão da coleta de dados nas escolas e pelo recrutamento de escolas e participantes é experiente e trabalha em conjunto há 10 anos. Os coletores de dados são cegos para a condição atribuída aleatoriamente aos participantes.

As medidas de resultados primários e secundários são descritas na seção 9 (medidas de resultados).

Procedimentos de Intervenção

A intervenção é descrita em detalhes na seção 8 (Grupos, Grupos e Intervenções).

Fidelidade de Implementação. A fidelidade da implementação será avaliada no mínimo três vezes por ano por professor de intervenção. Todos os professores de intervenção gravarão em áudio todas as aulas de intervenção. Uma amostra aleatória de gravações será selecionada e os principais indicadores de adesão à implementação da intervenção e qualidade da implementação serão avaliados por um codificador. Todos os codificadores serão treinados e a confiabilidade será estabelecida antes da codificação independente.

Professores de Intervenção. Em cada local, pessoal altamente treinado contratado e supervisionado pelos investigadores realizará todos os tratamentos. Esses professores receberão 20 horas de treinamento antes da implementação e, em seguida, treinamento contínuo e suporte no local por pelo menos 10 horas por mês. Todos os tratamentos serão fornecidos diariamente em grupos de cerca de 8 a 11 alunos por 50 minutos por dia.

Condição de Comparação Business as Usual (BAU). Os alunos designados para a condição BAU ou de comparação participarão de uma aula eletiva que inclui opções como música, culinária, filme, tempo de estudo ou preparação para testes de alto risco. Esses alunos participarão do programa educacional normativo completo em suas escolas, mas não receberão nenhuma instrução da equipe de pesquisa.

Gestão de dados

Aquisição de dados. A equipe de gerenciamento de dados criará formulários de aquisição de dados e diretrizes para o preenchimento desses formulários. Quando forem necessárias modificações nos procedimentos ou formulários, a equipe de gerenciamento de dados comunicará essas alterações à equipe de cada local e garantirá que os manuais de procedimentos e formulários sejam atualizados adequadamente. A equipe de gerenciamento de dados também trabalhará para garantir a consistência no layout dos formulários, na revisão dos formulários e na numeração dos formulários. A equipe de gerenciamento de dados e estatística também trabalha com gerentes de dados para realizar auditorias de dados para garantir que as taxas de erro sejam insignificantes para todos os campos de dados.

Gestão de dados. A equipe de gerenciamento de dados conduz todas as atividades de design, gerenciamento e coleta de banco de dados de uma maneira que resulte na gravação de todos os dados do projeto no data warehouse do Texas Institute for Measurement, Evaluation and Statistics (TIMES). O warehouse foi projetado para máxima integridade e padronização de dados dentro e entre projetos, enquanto permite a flexibilidade necessária entre projetos TIMES em seus projetos e medidas e métodos específicos. O uso do warehouse como a principal estrutura de dados de gerenciamento de projetos aumenta a padronização entre os projetos. O warehouse também constrói automaticamente uma trilha de auditoria eletrônica de todas as atividades de gerenciamento de dados que resultam na modificação de um único elemento de dados, o que, juntamente com a padronização, é essencial para o controle de qualidade em bancos de dados eletrônicos.

Análise de dados

Estratégia Global, Metodologia e Análises. As características descritivas dos dados serão examinadas antes da análise. Variáveis ​​dependentes não normais serão transformadas (logarítmicas, raiz quadrada, inversa, etc.) conforme necessário e apropriado. Outliers serão identificados usando análise de z-score modificada e tratados caso a caso de acordo com sua alavancagem e influência em modelos específicos. As suposições de que os erros são normalmente distribuídos, homocedásticos e independentes entre unidades de amostragem e níveis do modelo serão avaliadas pela análise de resíduos. Resíduos em níveis mais altos são normalmente assumidos como normais multivariados e independentes de erros de nível mais baixo. Os investigadores irão aumentar as análises residuais com diagnósticos de influência. A heterogeneidade será abordada de acordo com sua(s) fonte(s) aparente(s), usando transformações não lineares de variáveis ​​preditoras e/ou dependentes conforme apropriado e necessário. Os investigadores abordarão a hipótese de pesquisa primária no contexto de grupos múltiplos (intervenção RISE v. BAU), regressão multinível e modelos de equações estruturais (SEM).

Plano Analítico. Múltiplos grupos, regressões multiníveis e SEMs serão ajustados para estimar o efeito principal do tratamento em 1) leitura de palavras e resultados de fluência após 1 ano de intervenção e leitura de palavras, fluência e compreensão após 2 anos de intervenção Para cada modelo, as pontuações pré-teste serão ser centralizados conforme apropriado e usados ​​como covariáveis ​​de nível 1. As médias do nível escolar no pré-teste serão incluídas como "efeitos contextuais" para minimizar a variabilidade do nível escolar, melhorando o poder estatístico. Os principais efeitos do tratamento (assumindo um modelo de intenção de tratar) serão estimados no nível do aluno, comparando as médias pós-teste condicional para o grupo RISE e o grupo BAU no contexto de modelos aninhados. Os índices de ajuste para o modelo específico do grupo (ou seja, médias pós-teste únicas estimadas para cada grupo) e o modelo restrito (ou seja, médias pós-teste fixadas como iguais entre tratamentos e grupos) serão comparados e a diferença (Δχ2) será testada contra o valor crítico que corresponde à diferença em graus de liberdade entre os modelos (Δdf). Os tamanhos de efeito serão calculados como Hedges g.

Potência e tamanho do efeito. A simulação de dados foi utilizada para estimar o poder estatístico para o efeito principal nos resultados dos alunos. Estes são exemplos que podem ser aplicados em todos os resultados primários e secundários. Para estimar o poder, o aninhamento no local e nos níveis de coorte é ignorado, pois as correlações intraclasse em estudos anteriores em escolas semelhantes foram insignificantes ao controlar o pré-teste. Além disso, o aninhamento parcial foi ignorado com base em descobertas anteriores para coortes múltiplas, intervenções plurianuais e projetos parcialmente aninhados implementados nesses dois locais. Ao bloquear nas escolas e ao controlar as covariáveis ​​no nível da escola, os efeitos de agrupamento do local, coorte e pequenos grupos instrucionais foram triviais para resultados relacionados à compreensão (0,00-0,01 para a intervenção de 2 anos com aninhamento parcial). A variabilidade no tamanho do efeito não diferiu estatisticamente de 0 (σδ2 < 0,0001), sugerindo efeitos de tratamento fixos.

As análises de poder assumiram uma amostra de tempo 1 de 820 alunos em 6 escolas (n=205/escola). No modelo populacional, os investigadores designaram casos aleatoriamente para tratamento ou BAU nas escolas. Os investigadores especificaram o abandono do aluno como 0,10 anualmente para ambas as condições em locais e coortes sem atrito diferencial por condição ou por interações envolvendo condição, sugerindo uma amostra de aproximadamente 740 alunos no período de avaliação 2 (primavera ano 1) e 670 no período de avaliação 4 (primavera ano 2). Uma taxa de atrito anual de 10% é consistente com estudos anteriores conduzidos pela equipe de pesquisa em escolas semelhantes. Os investigadores modelaram uma covariável de nível escolar para o pré-teste para maximizar o poder. Em trabalhos anteriores, as medidas de pré-teste dos resultados de leitura do aluno (isto é, leitura de palavras, compreensão, etc.) foram responsáveis ​​por cerca de 75% da variação do resultado. As pontuações de leitura pós-teste foram modeladas como normais multivariadas com uma média de 0 e variância de 1 na população não tratada. Para a subpopulação designada para tratamento, a média pós-teste foi fixada em 0,20, o que representa uma diferença média padronizada em nível populacional entre tratamento e controle). Um efeito de tratamento relacionado à alfabetização de 0,20 representa um impacto significativo nessa população, tanto nas medidas de leitura em nível de palavra quanto na compreensão de leitura, ortografia e resultados de escrita.

No modelo de amostra, os investigadores estimaram as médias pós-teste como parâmetros livres nas condições de tratamento e comparação, usando valores populacionais como valores iniciais. A probabilidade de rejeitar a hipótese nula quando ela é falsa (isto é, poder estatístico) foi de 0,99 ao modelar os efeitos como fixos (σδ2 = 0) para amostras de 740 e 670. O viés para o estimador72 foi inferior a 1%. Sob as mesmas suposições, uma diferença média padronizada de 0,10 foi associada a um poder de pelo menos 0,80. As estimativas de poder foram calculadas para testes independentes de significância estatística. No entanto, muitos dos contrastes acima não são independentes. Para controlar o erro tipo 1 inflado associado a comparações múltiplas, os investigadores propõem a abordagem da Etapa M para modelos de efeitos mistos e multiníveis e dados hierárquicos, que aproveita a estrutura de dependência de estatísticas de teste individuais e oferece uma abordagem mais poderosa do que alternativas para lidar erro familiar em dados aninhados.