Utvärdering av modellen Research to Policy Collaboration (RPC)

Syfte: Syftet med denna studie är att undersöka effektiviteten av en modell för att stödja beslutsfattares användning av forskningsbevis inom en randomiserad kontrollerad studie (RCT) som använder både kvalitativa och kvantitativa analyser av undersöknings-, intervju- och observationsdata för att förstå användningen av forskning inom politik och samverkan. Lagstiftarnas forskningsanvändning kommer att bedömas med flera metoder, inklusive (1) självrapportering via ett undersökningsprotokoll, (2) lagstiftningsverksamhet (d.v.s. införda lagförslag och officiella uttalanden) och (3) kvalitativa intervjuer. Dessutom kommer intervjuer och undersökningar att bedöma forskarnas rapporterade effektivitet, skicklighet och engagemang i offentlig politik, och i vilken utsträckning deras arbete är informerat av policyprocessen.

Intervention: Research-to-Policy Collaboration (RPC) bygger på teoretisk och empirisk litteratur som tyder på behovet av att (a) översätta forskning som är relevant för nuvarande politiska prioriteringar och (b) underlätta produktiva interaktioner mellan beslutsfattare och forskare. RPC är en opartisk, manuell modell implementerad av en förmedlande organisation som odlar relationer mellan forskare och lagstiftande kontor. Implementeringen sker i två faser som involverar en serie av sju relaterade aktiviteter. Under kapacitetsuppbyggnadsfasen syftar RPC samtidigt till att stödja forskares utveckling av ärlig kunskapsmäklarkompetens med utbildning och coachning, samtidigt som de genomför iterativa behovsbedömningar med kongressens kontor angående deras nuvarande prioriteringar och önskan om forskningsbevis. I samverkansfasen slås forskare med relevant expertis samman till snabbinsatsteam som matchas med lagstiftande kontor. Genom en rad byggnadsställningar av interaktioner används RPC-modellen för att odla produktiva relationer mellan forskare och beslutsfattare och stödja svar på lagstiftningsförfrågningar. Att utvärdera effektiviteten av RPC är i fokus för den aktuella studien.

Studera design:

Denna studie använder både kvalitativa och kvantitativa analyser av undersöknings-, intervju- och observationsdata inom ramen för en RCT. Tre övergripande forskningsfrågor vägleder detta arbete och överensstämmer med studiens tre olika komponenter – självrapportering via en kvantitativ undersökning, observation av forskningsanvändning via kodad lagstiftningsverksamhet samt etnografi via djupintervjuer och deltagarobservationer.

1. Hur påverkar RPC forskare och lagstiftande personal? (Självrapportering)

   1. Rapporterar forskarna förbättrade policykompetenser och motivation för att bedriva policyrelevant forskning?
   2. Kommer lagstiftande personal att rapportera ökningar av positiva attityder till, kunskap om, avsedd tillämpning och faktisk användning av forskningsbevis?
   3. Kan inverkan på lagstiftande och forskningsdeltagare variera som en funktion av aspekter av deras samarbetsförhållande (t.ex. förstärkt av ömsesidigt förtroende)?

2. Hur påverkar RPC lagstiftningsverksamheten? (Observation)

   a) Kommer kongressens kontor att öka sin användning av forskningsbevis i lagstiftningsverksamhet (d.v.s. lagförslag, officiella uttalanden)?

3. Hur kan uppfattningar och erfarenheter av samarbete genom RPC relateras till olika former av evidensanvändning bland forskare och beslutsfattare? (Etnografi)

   1. Vilka är hindren och underlättar för deltagande i RPC?
   2. Vilka typer av interaktioner mellan forskare och beslutsfattare påverkar RPC?
   3. Hur påverkar RPC deltagarnas antaganden om varandra, interaktioner med varandra och deras avsikter?
   4. Vilka typer av bevisanvändning stöds av RPC-deltagande?

Samplingsramverk Alla studiekomponenter bygger på ett inledande urvalsramverk genom vilket forskare och kongresspersonal som väljer att delta i RPC kommer att uppmanas att delta i studien; de som går med på att delta i studien kommer att randomiseras för antingen den fullständiga RPC-interventionen eller en lätt-touch-kontrollgrupp som får lite direkt engagemang. Denna studie kommer att översampla för att bekämpa förväntad utslitning. Det slutliga urvalet inkluderar 96 kongresskontor (48 i RPC, 48 i kontrollgruppen) och 226 forskare (151 i RPC, 75 i kontrollgruppen). Dessa prover härrörde från en identifierad population av berättigade interventionsdeltagare.

• En population av relevanta lagstiftande kontor (senat och hus) kommer att identifieras baserat på antalet barn-/familjeräkningar som lagstiftaren har (med)sponsrat. Den slumpmässiga urvalsprocessen kommer att stratifieras för att säkerställa proportionell partisk representation och representation av lagstiftare som varierar i verksamhet relaterad till barnskydd. Före randomisering kommer befolkningen av relevanta lagstiftare att tilldelas en aktivitetsrankning baserat på antalet gånger en lagstiftare har sponsrat en barn-/familjepolicy. Aktivitetsrankningarna kommer att variera från 1-10 så att 10 % av lagstiftarna som (med)sponsrat minst räkningar kommer att rankas 1, och 10 % av lagstiftarna som medsponsrat flest räkningar kommer att rankas 10. Rekrytering och stratifierad urval över ett kontinuum av aktiviteter på barn-/familjepolitik kommer att förbättra bipartisan representation av urvalet. Också hjälp med bipartisan representation är riktade uppsökande insatser som intensifieras längs partilinjer om deltagandet blir skevt.
• Forskare som arbetar med relevant barn-/familjeforskning kommer att identifieras via forskningsinstitutioner, professionella nätverk och listservrar, litteratursökningar och remisser från andra forskare. Forskare inkluderar forskningsinriktade praktiker och programutvärderare från både akademiska och icke-akademiska miljöer som är intresserade av att översätta sin expertis med beslutsfattare. Efter att ha valt att delta i en policyintervention ombeds forskarna att delta i studien. Studiedeltagare kommer att randomiseras för att få RPC eller kontrollvillkoret.

Studiekomponent 1: Kvantitativ utvärdering av självrapporterad RPC-effekt En strukturerad undersökning kommer att användas för att bedöma forskarnas förmåga att engagera sig i offentliga politiska processer. Ett motsvarande undersökningsprotokoll kommer att bedöma lagstiftande personals attityder, kunskap, avsikt och rapporterade beteende när det gäller användningen av forskningsbevis. Både forskare och lagstiftande personal kommer att tillfrågas om arten av deras samverkan med varandra. Undersökningar kommer att genomföras ungefär var tredje månad. Undersökningskonstruktioner beskrivs i utfallsmått. Saknade data kommer att hanteras med multipel imputering eftersom detta är bästa praxis när data inte saknas slumpmässigt. Flernivåmodellering kommer att användas för att undersöka individuella banor i utfallsvariabler. Multipel regression kommer att undersöka förändringar mellan valda tidpunkter; till exempel om forskarnas rapporterade policykunskaper förbättras mellan baslinjen och efter utbildningar. Dessa analyser kommer att göra det möjligt för oss att undersöka om RPC-deltagande är förknippat med ökningar av (1) forskarnas rapporterade effektivitet att engagera sig med beslutsfattare, (2) lagstiftande personals intresse och vilja att använda forskningsbevis, och (3) både forskarnas och beslutsfattares positiva känslor för att arbeta tillsammans. Longitudinella analyser kommer vidare att tillåta oss att utforska banan för utfallsvariabler över tid (t.ex. förbättrad forskarkompetens, lagstiftarnas användning av forskning) specifikt modellering av förändringar i evidensanvändning och andra resultat av intresse. Analyser av resultat från forskare och lagstiftande personal är alla drivna på minst 90 % nivå för att upptäcka effektstorlekar på 0,2 eller mer (effektanalys utförd med Optimal Design plus Empirical Evidence).

Studiekomponent 2: Kvantitativ utvärdering av observerade RPC-effekter på lagstiftningsverksamhet För att komplettera den självrapporterade kvantitativa bedömningen av förändring, kommer användning av forskningsbevis i lagstiftningsaktiviteter att observeras före och efter RPC-deltagande. Data kommer att väljas ut, extraheras och kodas före kvantitativa analyser med indikatorer härledda från deduktiva koder. Lagstiftningsdata kommer att väljas baserat på användningen av nyckelord som indikerar relevans för barn/familj. Eftersom varje lagförslag kommer att innehålla mer text än vad som är möjligt att koda med traditionella kvalitativa metoder, kommer relevanta bestämmelser att extraheras innan kodning (de som innehåller nyckelord). Vidare kommer alla underavsnittsrubriker för varje provad räkning att granskas för potentiell relevans och extraheras om forskningsbevis används men inte fångas på annat sätt av nyckelord. Data om lagstiftningsverksamhet kommer att kodas baserat på en detaljerad kodbok med information från tidigare rön om hur forskning har använts av beslutsfattare och i lagstiftning. Detta kodningsschema kommer att tillämpas av två kodare och kodboken kommer att revideras och specificeras ytterligare tills interkoderns tillförlitlighet når minst 0,70 och 30 % av datan för den första tidsperioden har kodats. Därefter kommer utbildade kodare att koda individuellt och en ledande utredare kommer att slumpmässigt ta ett urval av 10 % av dessa för att säkerställa konsekvens i kodningskvaliteten. Dessa koder kommer att omvandlas till kvantitativa indikatorer på forskningsanvändning, vilka beskrivs i resultatmått. Lagstiftningsverksamheten kommer att utvärderas årligen. Multivariata Poisson-regressionsanalyser kommer att bedöma förändringar i forskningsanvändning i tematiska koder för (1) räkningar och (2) officiella uttalanden mellan RPC-interventionen och kontrollförhållandena. Modereringsanalyser kommer ytterligare att undersöka i vilken utsträckning förändringar i lagstiftningsverksamheten beror på arten av samarbetserfarenheter, andra undersökningsdata (t.ex. beslutsfattares uppfattningar om värdet av forskning) och lagstiftarens egenskaper (t.ex. partitillhörighet, ålder) .

Studiekomponent 3: Etnografisk utvärdering av RPC-modellen Den kvalitativa komponenten i denna studie är nära kopplad till det kvantitativa arbetet och försöker bättre förstå RPC-deltagares erfarenheter och processer som ligger till grund för användningen av forskningsbevis i RPC-sammanhang. Med hjälp av deltagande och etnografiska metoder kommer data att samlas in från två källor: (1) semistrukturerade intervjuer av försöksdeltagare och RPC-personal, och (2) observationer av forskarutbildningar och forskar-personalmöten. Intervjudeltagare kommer att tas ur poolen av studiedeltagare som slumpmässigt tilldelas RPC, inklusive 11 RPC-forskare och 11 RPC-kongresskontorspersonal som kommer att intervjuas innan de deltar i RPC, och 11 RPC-forskare och 11 kongresskontorspersonal som kommer att intervjuas efter samarbetsaktiviteter via RPC. Dessutom kommer 3 RPC-personal att intervjuas före och efter RPC. För att få ytterligare insikt om RPC:s verksamhet och påverkan kommer observationer att genomföras av utbildningar för forskare, formella möten och informella interaktioner mellan forskare och kongresspersonal, och möten som sker som en del av RPC-samarbete. I enlighet med etnografiska bästa praxis kommer "öppna observationer" av viktiga möten och utbildningsevenemang att genomföras för att berika intervjuerna med mer information om hur deltagare interagerar och hur de svarar på RPC. Fältanteckningar och utskrifter kommer att analyseras med tematisk analys och en tolkningspolitisk analys som utforskar olika rationaliteter och retorik när man diskuterar bevis som används i samarbetet.