Evaluierung des Research to Policy Collaboration-Modells (RPC)

Ziel: Ziel dieser Studie ist es, die Wirksamkeit eines Modells zur Unterstützung der Nutzung von Forschungsergebnissen durch politische Entscheidungsträger im Rahmen einer randomisierten kontrollierten Studie (RCT) zu untersuchen, wobei sowohl qualitative als auch quantitative Analysen von Umfrage-, Interview- und Beobachtungsdaten eingesetzt werden, um die Verwendung von Forschungsergebnissen zu verstehen Forschung in Politik und Zusammenarbeit. Der Forschungseinsatz von Gesetzgebern wird mit mehreren Methoden bewertet, darunter (1) Selbstbericht über ein Umfrageprotokoll, (2) gesetzgeberische Aktivitäten (d. h. eingebrachte Gesetzentwürfe und offizielle Erklärungen) und (3) qualitative Interviews. Darüber hinaus werden in Interviews und Umfragen die berichtete Wirksamkeit, Kompetenz und das Engagement der Forscher in der öffentlichen Politik sowie das Ausmaß bewertet, in dem ihre Arbeit vom politischen Prozess beeinflusst wird.

Intervention: Die Research-to-Policy Collaboration (RPC) basiert auf theoretischer und empirischer Literatur, die auf die Notwendigkeit hinweist, (a) Forschungsergebnisse zu übersetzen, die für aktuelle politische Prioritäten relevant sind, und (b) produktive Interaktionen zwischen politischen Entscheidungsträgern und Forschern zu erleichtern. Das RPC ist ein überparteiliches, manuelles Modell, das von einer zwischengeschalteten Organisation umgesetzt wird und die Beziehungen zwischen Forschern und gesetzgebenden Ämtern pflegt. Die Umsetzung erfolgt in zwei Phasen mit einer Reihe von sieben miteinander verbundenen Aktivitäten. Während der Phase des Kapazitätsaufbaus zielt das RPC gleichzeitig darauf ab, die Entwicklung ehrlicher Wissensvermittlerfähigkeiten der Forscher durch Schulung und Coaching zu unterstützen und gleichzeitig iterative Bedarfsanalysen mit Kongressbüros hinsichtlich ihrer aktuellen Prioritäten und ihres Wunsches nach Forschungsergebnissen durchzuführen. In der Kooperationsphase werden Forscher mit einschlägigem Fachwissen zu Schnellreaktionsteams zusammengeführt, die mit den gesetzgebenden Ämtern zusammengebracht werden. Durch eine gerüstartige Reihe von Interaktionen wird das RPC-Modell verwendet, um produktive Beziehungen zwischen Forschern und politischen Entscheidungsträgern zu pflegen und Antworten auf gesetzgeberische Anfragen zu unterstützen. Die Bewertung der Wirksamkeit des RPC steht im Mittelpunkt der aktuellen Studie.

Studiendesign:

Diese Studie verwendet sowohl qualitative als auch quantitative Analysen von Umfrage-, Interview- und Beobachtungsdaten im Rahmen einer RCT. Drei übergreifende Forschungsfragen leiten diese Arbeit und stehen im Einklang mit den drei verschiedenen Komponenten der Studie: Selbstbericht über eine quantitative Umfrage, Beobachtung der Forschungsnutzung über kodierte Gesetzgebungsaktivitäten und Ethnographie über ausführliche Interviews und Teilnehmerbeobachtungen.

1. Welche Auswirkungen hat das RPC auf Forscher und gesetzgebende Mitarbeiter? (Selbstbericht)

   1. Berichten Forscher über verbesserte politische Kompetenzen und Motivation für die Durchführung politikrelevanter Forschung?
   2. Wird das gesetzgebende Personal über eine Zunahme der positiven Einstellung gegenüber, des Wissens über, der beabsichtigten Anwendung und der tatsächlichen Verwendung von Forschungsergebnissen berichten?
   3. Könnten sich die Auswirkungen auf Gesetzgebungs- und Forschungsteilnehmer je nach Aspekten ihrer Kooperationsbeziehung (z. B. verstärkt durch gegenseitiges Vertrauen) unterscheiden?

2. Wie wirkt sich das RPC auf die Gesetzgebungstätigkeit aus? (Überwachung)

   a) Werden Kongressämter verstärkt Forschungsergebnisse bei gesetzgeberischen Aktivitäten (z. B. Gesetzentwürfen, offiziellen Stellungnahmen) nutzen?

3. Wie könnten Wahrnehmungen und Erfahrungen der Zusammenarbeit im Rahmen des RPC mit unterschiedlichen Formen der Evidenznutzung durch Forscher und politische Entscheidungsträger zusammenhängen? (Ethnographie)

   1. Was sind die Hindernisse und Erleichterungen für die Teilnahme am RPC?
   2. Welche Arten von Interaktionen zwischen Forschern und politischen Entscheidungsträgern beeinflusst das RPC?
   3. Wie beeinflusst der RPC die Annahmen der Teilnehmer übereinander, ihre Interaktionen untereinander und ihre Absichten?
   4. Welche Arten der Beweisverwendung werden durch die RPC-Teilnahme unterstützt?

Stichprobenrahmen Alle Studienkomponenten basieren auf einem anfänglichen Stichprobenrahmen, durch den Forscher und Kongressmitarbeiter, die sich für die Teilnahme am RPC entscheiden, zur Teilnahme an der Studie aufgefordert werden. Diejenigen, die einer Teilnahme an der Studie zustimmen, werden entweder für die vollständige RPC-Intervention oder für eine Light-Touch-Kontrollgruppe, die wenig direktes Engagement erhält, randomisiert. In dieser Studie werden Überstichproben durchgeführt, um der erwarteten Fluktuation entgegenzuwirken. Die endgültige Stichprobe umfasst 96 Kongressbüros (48 im RPC, 48 in der Kontrollgruppe) und 226 Forscher (151 im RPC, 75 in der Kontrollgruppe). Diese Proben wurden aus einer identifizierten Population geeigneter Interventionsteilnehmer abgeleitet.

• Basierend auf der Anzahl der Kinder-/Familiengesetze, die der Gesetzgeber (mit)unterstützt hat, wird eine Population relevanter gesetzgebender Ämter (Senat und Repräsentantenhaus) ermittelt. Das zufällige Auswahlverfahren wird geschichtet, um eine proportionale parteiische Vertretung und Vertretung von Gesetzgebern mit unterschiedlichen Aktivitäten im Zusammenhang mit dem Wohlergehen von Kindern sicherzustellen. Vor der Randomisierung wird der Population der relevanten Gesetzgeber ein Aktivitätsranking zugewiesen, das auf der Häufigkeit basiert, mit der ein Gesetzgeber einen Gesetzentwurf zur Kinder-/Familienpolitik gesponsert hat. Die Aktivitätsrankings liegen zwischen 1 und 10, sodass 10 % der Gesetzgeber, die die wenigsten Gesetzentwürfe (mit)unterstützt haben, auf Platz 1 stehen und 10 % der Gesetzgeber, die die meisten Gesetzentwürfe mitunterstützt haben, auf Platz 10 stehen. Durch Rekrutierung und geschichtete Stichprobenziehung über ein Kontinuum von Aktivitäten zur Kinder-/Familienpolitik hinweg wird die parteiübergreifende Repräsentation der Stichprobe verbessert. Auch gezielte Outreach-Bemühungen, die sich entlang der Parteigrenzen intensivieren, wenn die Beteiligung ungleich ist, unterstützen die parteiübergreifende Vertretung.
• Forscher, die an relevanter Kinder-/Familienforschung arbeiten, werden über Forschungseinrichtungen, professionelle Netzwerke und Listservs, Literaturrecherchen und Empfehlungen anderer Forscher identifiziert. Zu den Forschern zählen forschungsorientierte Praktiker und Programmevaluatoren aus akademischen und nichtakademischen Bereichen, die daran interessiert sind, ihr Fachwissen an politische Entscheidungsträger weiterzugeben. Nachdem sie sich für die Teilnahme an einer Intervention zur politischen Einbindung entschieden haben, werden die Forscher gebeten, an der Studie teilzunehmen. Die Studienteilnehmer werden randomisiert und erhalten entweder die RPC oder die Kontrollbedingung.

Studienkomponente 1: Quantitative Bewertung der selbstberichteten RPC-Auswirkungen Eine strukturierte Umfrage wird verwendet, um die Fähigkeit der Forscher zu bewerten, sich an politischen Prozessen zu beteiligen. Ein entsprechendes Umfrageprotokoll bewertet die Einstellungen, Kenntnisse, Absichten und gemeldeten Verhaltensweisen des Gesetzgebungspersonals in Bezug auf die Verwendung von Forschungsergebnissen. Sowohl Forscher als auch gesetzgebende Mitarbeiter werden nach der Art ihrer kollaborativen Interaktionen untereinander befragt. Die Befragungen werden etwa alle drei Monate durchgeführt. Umfragekonstrukte werden in Ergebnismaßen beschrieben. Fehlende Daten werden mit mehrfacher Imputation behandelt, da dies die beste Vorgehensweise ist, wenn Daten nicht zufällig fehlen. Mithilfe der Mehrebenenmodellierung werden individuelle Trajektorien in Ergebnisvariablen untersucht. Bei der multiplen Regression werden Veränderungen zwischen ausgewählten Zeitpunkten untersucht. zum Beispiel, ob sich die von den Forschern berichteten politischen Fähigkeiten zwischen dem Studienbeginn und den darauffolgenden Schulungen verbessern. Mithilfe dieser Analysen können wir untersuchen, ob die RPC-Beteiligung mit einem Anstieg (1) der von Forschern gemeldeten Wirksamkeit bei der Zusammenarbeit mit politischen Entscheidungsträgern, (2) dem Interesse und der Bereitschaft des Legislativpersonals, Forschungsergebnisse zu nutzen, und (3) der Wirksamkeit sowohl von Forschern als auch politischen Entscheidungsträgern verbunden ist. positive Stimmung gegenüber der Zusammenarbeit. Längsschnittanalysen werden es uns darüber hinaus ermöglichen, die Entwicklung von Ergebnisvariablen im Laufe der Zeit zu untersuchen (z. B. verbesserte Kompetenzen von Forschern, Nutzung der Forschung durch Gesetzgeber) und dabei insbesondere Veränderungen in der Evidenznutzung und andere interessante Ergebnisse zu modellieren. Alle Analysen der Ergebnisse von Forschern und gesetzgebenden Mitarbeitern basieren auf einer Stärke von mindestens 90 %, um Effektstärken von 0,2 oder mehr zu erkennen (Stärkeanalyse durchgeführt mit optimalem Design plus empirischer Evidenz).

Studienkomponente 2: Quantitative Bewertung der beobachteten RPC-Auswirkungen auf die Gesetzgebungstätigkeit. Um die selbstberichtete quantitative Bewertung von Veränderungen zu ergänzen, wird die Verwendung von Forschungsergebnissen in Gesetzgebungsaktivitäten vor und nach der RPC-Teilnahme beobachtet. Die Daten werden vor der quantitativen Analyse mit Indikatoren ausgewählt, extrahiert und codiert, die aus deduktiven Codes abgeleitet werden. Legislative Daten werden auf der Grundlage der Verwendung von Schlüsselwörtern ausgewählt, die eine Relevanz für das Kind/die Familie angeben. Da jeder Gesetzentwurf mehr Text umfassen wird, als mit traditionellen qualitativen Methoden kodiert werden kann, werden relevante Bestimmungen vor der Kodierung extrahiert (solche, die Schlüsselwörter enthalten). Darüber hinaus werden alle Unterabschnittstitel für jeden ausgewählten Gesetzentwurf auf potenzielle Relevanz überprüft und extrahiert, wenn Forschungsergebnisse verwendet, aber nicht anderweitig durch Schlüsselwörter erfasst werden. Daten zur Gesetzgebungstätigkeit werden auf der Grundlage eines detaillierten Codebuchs kodiert, das auf früheren Erkenntnissen darüber basiert, wie die Forschung von politischen Entscheidungsträgern und in der Gesetzgebung genutzt wurde. Dieses Codierungsschema wird von zwei Codierern angewendet und das Codebuch wird überarbeitet und weiter spezifiziert, bis die Intercoder-Zuverlässigkeit mindestens 0,70 erreicht und 30 % der Daten für den ersten Zeitraum codiert wurden. Anschließend programmieren geschulte Programmierer individuell und ein leitender Ermittler wird 10 % davon nach dem Zufallsprinzip beproben, um eine einheitliche Kodierungsqualität sicherzustellen. Diese Codes werden in quantitative Indikatoren der Forschungsnutzung umgewandelt, die in Ergebnismaßen beschrieben werden. Die gesetzgeberische Tätigkeit wird jährlich bewertet. Multivariate Poisson-Regressionsanalysen werden die Veränderung der Forschungsnutzung in thematischen Codes von (1) Gesetzentwürfen und (2) offiziellen Erklärungen zwischen den RPC-Interventions- und Kontrollbedingungen bewerten. Moderationsanalysen werden weiter untersuchen, inwieweit Änderungen in der Gesetzgebungstätigkeit von der Art der Kooperationserfahrungen, anderen Umfragedaten (z. B. der Wahrnehmung der politischen Entscheidungsträger über den Wert der Forschung) und den Merkmalen des Gesetzgebers (z. B. Parteizugehörigkeit, Alter) abhängen. .

Studienkomponente 3: Ethnografische Bewertung des RPC-Modells Die qualitative Komponente dieser Studie ist eng mit der quantitativen Arbeit verknüpft und zielt darauf ab, die Erfahrungen der RPC-Teilnehmer und Prozesse, die der Verwendung von Forschungsergebnissen im RPC-Kontext zugrunde liegen, besser zu verstehen. Mithilfe partizipatorischer und ethnografischer Methoden werden Daten aus zwei Quellen gesammelt: (1) halbstrukturierten Interviews mit Studienteilnehmern und RPC-Mitarbeitern und (2) Beobachtungen von Forscherschulungen und Forscher-Mitarbeiter-Treffen. Die Interviewteilnehmer werden aus dem Pool von Studienteilnehmern ausgewählt, die nach dem Zufallsprinzip dem RPC zugewiesen werden, darunter 11 RPC-Forscher und 11 Mitarbeiter des RPC-Kongressbüros, die vor ihrer Beteiligung am RPC befragt werden, sowie 11 RPC-Forscher und 11 Mitarbeiter des Kongressbüros werden im Anschluss an Kooperationsaktivitäten über das RPC interviewt. Darüber hinaus werden 3 RPC-Mitarbeiter vor und nach dem RPC interviewt. Um zusätzliche Einblicke in die RPC-Operationen und -Auswirkungen zu gewinnen, werden Beobachtungen von Schulungen für Forscher, formellen Treffen und informellen Interaktionen zwischen Forschern und Kongressmitarbeitern sowie Treffen durchgeführt, die im Rahmen einer RPC-Zusammenarbeit stattfinden. Gemäß ethnografischer Best Practices werden „offene Beobachtungen“ wichtiger Meetings und Schulungsveranstaltungen durchgeführt, um die Interviews mit weiteren Informationen darüber zu bereichern, wie die Teilnehmer interagieren und wie sie auf den RPC reagieren. Feldnotizen und Transkripte werden mit einer thematischen Analyse und einer interpretativen Politikanalyse analysiert, die verschiedene Rationalitäten und Rhetoriken bei der Diskussion der in der Zusammenarbeit verwendeten Beweise untersucht.