Evaluación del Modelo de Colaboración de Investigación a Políticas (RPC)

Objetivo: El objetivo de este estudio es examinar la efectividad de un modelo para apoyar el uso de evidencia de investigación por parte de los formuladores de políticas dentro de un ensayo controlado aleatorio (RCT) empleando análisis cualitativos y cuantitativos de encuestas, entrevistas y datos de observación para comprender el uso de investigación en política y colaboración. El uso de la investigación de los legisladores se evaluará con múltiples métodos, incluidos (1) autoinforme a través de un protocolo de encuesta, (2) actividad legislativa (es decir, proyectos de ley presentados y declaraciones oficiales) y (3) entrevistas cualitativas. Además, las entrevistas y encuestas evaluarán la eficacia, la habilidad y el compromiso informados por los investigadores en las políticas públicas, y la medida en que su trabajo está informado por el proceso de políticas.

Intervención: La Colaboración de investigación a política (RPC) se basa en la literatura teórica y empírica que sugiere la necesidad de (a) traducir la investigación relevante a las prioridades políticas actuales, y (b) facilitar interacciones productivas entre los formuladores de políticas y los investigadores. El RPC es un modelo manual no partidista implementado por una organización intermediaria que cultiva las relaciones entre los investigadores y las oficinas legislativas. La implementación ocurre en dos fases que involucran una serie de siete actividades interrelacionadas. Durante la fase de desarrollo de capacidades, el RPC tiene como objetivo apoyar simultáneamente el desarrollo de habilidades de intermediario de conocimiento honesto del investigador con capacitación y orientación, al mismo tiempo que realiza evaluaciones iterativas de necesidades con oficinas del Congreso con respecto a sus prioridades actuales y deseo de evidencia de investigación. En la fase de colaboración, los investigadores con experiencia relevante se fusionan en equipos de respuesta rápida que se combinan con las oficinas legislativas. A través de una serie de interacciones con andamios, el modelo RPC se utiliza para cultivar relaciones productivas entre investigadores y formuladores de políticas y respaldar las respuestas a las solicitudes legislativas. Evaluar la efectividad del RPC es el enfoque del presente estudio.

Diseño del estudio:

Este estudio emplea análisis tanto cualitativos como cuantitativos de encuestas, entrevistas y datos de observación dentro del contexto de un ECA. Tres preguntas generales de investigación guían este trabajo y se alinean con los tres componentes diferentes del estudio: autoinforme a través de una encuesta cuantitativa, observación del uso de la investigación a través de actividad legislativa codificada y etnografía a través de entrevistas en profundidad y observaciones de los participantes.

1. ¿Cómo impacta el RPC a los investigadores y al personal legislativo? (Autoinforme)

   1. ¿Informan los investigadores de mejores competencias políticas y motivación para realizar investigaciones relevantes para las políticas?
   2. ¿Informará el personal legislativo aumentos en las actitudes positivas, el conocimiento, la aplicación prevista y el uso real de la evidencia de la investigación?
   3. ¿Podría variar el impacto sobre los participantes legislativos y de investigación en función de los aspectos de su relación de colaboración (por ejemplo, mejorada por la confianza mutua)?

2. ¿Cómo impacta el RPC en la actividad legislativa? (Observación)

   a) ¿Aumentarán las oficinas del Congreso el uso de pruebas de investigación en actividades legislativas (es decir, proyectos de ley, declaraciones oficiales)?

3. ¿Cómo podrían relacionarse las percepciones y experiencias de colaboración a través del RPC con diferentes formas de uso de evidencia entre investigadores y formuladores de políticas? (Etnografía)

   1. ¿Cuáles son las barreras y facilitadores de la participación en el RPC?
   2. ¿En qué tipos de interacciones entre investigadores y formuladores de políticas influye el RPC?
   3. ¿Cómo afecta el RPC las suposiciones de los participantes sobre los demás, las interacciones entre ellos y sus intenciones?
   4. ¿Qué tipos de uso de evidencia respalda la participación de RPC?

Marco de muestreo Todos los componentes del estudio se basan en un marco de muestreo inicial a través del cual se les pedirá a los investigadores y al personal del Congreso que opten por participar en el RPC que participen en el estudio; aquellos que acepten participar en el estudio serán asignados al azar para la intervención completa de RPC o un grupo de control de toque ligero que recibe poca participación directa. Este estudio sobremuestreará para combatir la deserción anticipada. La muestra final incluye 96 oficinas del Congreso (48 en RPC, 48 en el grupo de control) y 226 investigadores (151 en RPC, 75 en el grupo de control). Estas muestras se derivaron de una población identificada de participantes de intervención elegibles.

• Se identificará una población de oficinas legislativas relevantes (Senado y Cámara) en función de la cantidad de proyectos de ley sobre niños/familia que el legislador haya (co)patrocinado. El proceso de selección al azar se estratificará para asegurar una representación partidista proporcional y una representación de legisladores que varían en actividad relacionada con el bienestar infantil. Antes de la aleatorización, a la población de legisladores relevantes se le asignará una clasificación de actividad basada en la cantidad de veces que un legislador ha patrocinado un proyecto de ley de política infantil/familiar. Las Clasificaciones de actividad variarán del 1 al 10, de modo que el 10 % de los legisladores que (co)patrocinaron la menor cantidad de proyectos de ley ocuparán el puesto 1, y el 10 % de los legisladores que copatrocinaron la mayor cantidad de proyectos de ley ocupará el puesto 10. El reclutamiento y el muestreo estratificado a lo largo de un continuo de actividades sobre política infantil/familiar mejorarán la representación bipartidista de la muestra. También ayudan con la representación bipartidista los esfuerzos de divulgación dirigidos que se intensifican a lo largo de las líneas del partido si la participación se vuelve sesgada.
• Los investigadores que trabajen en investigaciones relevantes sobre niños/familias serán identificados a través de instituciones de investigación, redes profesionales y servidores de listas, búsquedas bibliográficas y referencias de otros investigadores. Los investigadores incluyen profesionales orientados a la investigación y evaluadores de programas de entornos académicos y no académicos que estén interesados ​​en traducir su experiencia con los formuladores de políticas. Después de optar por participar en una intervención de participación política, se les pide a los investigadores que participen en el estudio. Los participantes del estudio serán asignados al azar para recibir el RPC o la condición de control.

Componente 1 del estudio: evaluación cuantitativa del impacto del RPC autoinformado Se utilizará una encuesta estructurada para evaluar la capacidad de los investigadores para participar en los procesos de políticas públicas. Un protocolo de encuesta correspondiente evaluará las actitudes, el conocimiento, la intención y el comportamiento informado del personal legislativo con respecto al uso de la evidencia de la investigación. Se preguntará tanto a los investigadores como al personal legislativo sobre la naturaleza de sus interacciones colaborativas entre sí. Las encuestas se realizarán aproximadamente cada tres meses. Los constructos de la encuesta se describen en las medidas de resultado. Los datos faltantes se manejarán con imputación múltiple porque esta es la mejor práctica cuando los datos no faltan al azar. Se utilizarán modelos multinivel para examinar las trayectorias individuales en las variables de resultado. La regresión múltiple examinará los cambios entre puntos de tiempo seleccionados; por ejemplo, si las habilidades políticas informadas por los investigadores mejoran entre la línea de base y después de las capacitaciones. Estos análisis nos permitirán examinar si la participación de RPC está asociada con aumentos en (1) la eficacia informada de los investigadores para comprometerse con los formuladores de políticas, (2) el interés y la disposición del personal legislativo para usar la evidencia de la investigación, y (3) tanto los investigadores como los formuladores de políticas. Sentimiento positivo hacia el trabajo conjunto. Los análisis longitudinales nos permitirán explorar aún más la trayectoria de las variables de resultado a lo largo del tiempo (p. ej., mejores competencias de los investigadores, uso de la investigación por parte de los legisladores), modelando específicamente el cambio en el uso de la evidencia y otros resultados de interés. Todos los análisis de los resultados de los investigadores y del personal legislativo tienen una potencia de al menos un 90 % para detectar tamaños de efecto de 0,2 o más (análisis de potencia realizado con diseño óptimo más pruebas empíricas).

Componente 2 del estudio: Evaluación cuantitativa del impacto observado del RPC en la actividad legislativa Para complementar la evaluación cuantitativa del cambio autoinformada, se observará el uso de evidencia de investigación en las actividades legislativas antes y después de la participación en el RPC. Los datos serán seleccionados, extraídos y codificados antes de los análisis cuantitativos con indicadores derivados de códigos deductivos. Los datos legislativos se seleccionarán en función del uso de palabras clave que indiquen relevancia para el niño/la familia. Dado que cada proyecto de ley comprenderá más texto del que es factible codificar con los métodos cualitativos tradicionales, las disposiciones relevantes se extraerán antes de la codificación (aquellas que contienen palabras clave). Además, todos los títulos de las subsecciones de cada proyecto de ley de muestra se revisarán para determinar su relevancia potencial y se extraerán si se usa evidencia de investigación pero no se capturan de otra manera mediante palabras clave. Los datos sobre la actividad legislativa se codificarán con base en un libro de códigos detallado informado por hallazgos previos sobre cómo los legisladores han utilizado la investigación y en la legislación. Este esquema de codificación será aplicado por dos codificadores y el libro de códigos será revisado y especificado hasta que la confiabilidad entre codificadores alcance al menos .70 y se haya codificado el 30% de los datos para el primer período de tiempo. Posteriormente, los codificadores capacitados codificarán individualmente y un investigador principal tomará una muestra aleatoria del 10% de estos para garantizar la coherencia en la calidad de la codificación. Estos códigos se convertirán en indicadores cuantitativos del uso de la investigación, que se describen en medidas de resultados. La actividad legislativa se evaluará anualmente. Los análisis de regresión de Poisson multivariados evaluarán el cambio en el uso de la investigación en códigos temáticos de (1) proyectos de ley y (2) declaraciones oficiales entre las condiciones de intervención y control del RPC. Los análisis de moderación explorarán más a fondo hasta qué punto los cambios en la actividad legislativa dependen de la naturaleza de las experiencias de colaboración, otros datos de encuestas (p. ej., las percepciones de los legisladores sobre el valor de la investigación) y las características de los legisladores (p. ej., afiliación partidaria, años de edad). .

Componente de estudio 3: Evaluación etnográfica del modelo RPC El componente cualitativo de este estudio está estrechamente relacionado con el trabajo cuantitativo y busca comprender mejor las experiencias de los participantes de RPC y los procesos subyacentes al uso de evidencia de investigación en el contexto de RPC. Usando métodos participativos y etnográficos, los datos se recopilarán de dos fuentes: (1) entrevistas semiestructuradas de participantes del ensayo y personal de RPC, y (2) observaciones de capacitaciones de investigadores y reuniones de investigadores y personal. Los participantes de la entrevista serán seleccionados del grupo de participantes del estudio asignados al azar para recibir el RPC, incluidos 11 investigadores del RPC y 11 miembros del personal de la oficina del Congreso del RPC que serán entrevistados antes de su participación en el RPC, y 11 investigadores del RPC y 11 miembros del personal de la oficina del Congreso que será entrevistado después de las actividades de colaboración a través del RPC. Además, se entrevistará a 3 miembros del personal del RPC antes y después del RPC. Para obtener información adicional sobre las operaciones y el impacto de RPC, se realizarán observaciones de capacitaciones para investigadores, reuniones formales e interacciones informales entre investigadores y personal del Congreso, y reuniones que ocurren como parte de cualquier colaboración de RPC. Siguiendo las mejores prácticas etnográficas, se realizarán "observaciones abiertas" de reuniones clave y eventos de capacitación para enriquecer las entrevistas con más información sobre cómo interactúan los asistentes y cómo responden al RPC. Las notas de campo y las transcripciones se analizarán con un análisis temático y un análisis político interpretativo que explora diferentes racionalidades y retóricas al discutir la evidencia utilizada en la colaboración.