Evaluatie van het Research to Policy Collaboration Model (RPC)

Doelstelling: Het doel van deze studie is om de effectiviteit te onderzoeken van een model ter ondersteuning van het gebruik door beleidsmakers van onderzoeksbewijs binnen een gerandomiseerde gecontroleerde studie (RCT), waarbij gebruik wordt gemaakt van zowel kwalitatieve als kwantitatieve analyses van enquête-, interview- en observatiegegevens om het gebruik van onderzoek in beleid en samenwerking. Het onderzoeksgebruik van wetgevers zal worden beoordeeld met behulp van meerdere methoden, waaronder (1) zelfrapportage via een enquêteprotocol, (2) wetgevende activiteiten (d.w.z. ingediende wetsvoorstellen en officiële verklaringen) en (3) kwalitatieve interviews. Daarnaast zullen interviews en enquêtes de gerapporteerde doeltreffendheid, vaardigheden en betrokkenheid van onderzoekers bij het overheidsbeleid beoordelen, en de mate waarin hun werk wordt geïnformeerd door het beleidsproces.

Interventie: De Research-to-Policy Collaboration (RPC) bouwt voort op theoretische en empirische literatuur die de noodzaak suggereert om (a) onderzoek dat relevant is voor huidige beleidsprioriteiten te vertalen, en (b) productieve interacties tussen beleidsmakers en onderzoekers te vergemakkelijken. De RPC is een niet-partijgebonden, handmatig model dat wordt geïmplementeerd door een intermediaire organisatie die relaties onderhoudt tussen onderzoekers en wetgevende instanties. De implementatie vindt plaats in twee fasen met een reeks van zeven onderling samenhangende activiteiten. Tijdens de fase van capaciteitsopbouw streeft de RPC er tegelijkertijd naar om de ontwikkeling van eerlijke kennismakelaarvaardigheden door onderzoekers te ondersteunen met training en coaching, terwijl het ook iteratieve behoeftebeoordelingen uitvoert met congreskantoren met betrekking tot hun huidige prioriteiten en behoefte aan onderzoeksbewijs. In de samenwerkingsfase worden onderzoekers met relevante expertise samengevoegd tot snelle reactieteams die worden gekoppeld aan wetgevende bureaus. Het RPC-model wordt gebruikt door middel van een reeks interacties in steigers om productieve relaties tussen onderzoeker en beleidsmaker te cultiveren en reacties op wetgevingsverzoeken te ondersteunen. Het evalueren van de effectiviteit van de RPC is de focus van de huidige studie.

Studie ontwerp:

Deze studie maakt gebruik van zowel kwalitatieve als kwantitatieve analyses van enquête-, interview- en observatiegegevens binnen de context van een RCT. Drie overkoepelende onderzoeksvragen leiden dit werk en sluiten aan bij de drie verschillende componenten van de studie: zelfrapportage via een kwantitatief onderzoek, observatie van onderzoeksgebruik via gecodeerde wetgevende activiteit en etnografie via diepte-interviews en participerende observaties.

1. Welke invloed heeft de RPC op onderzoekers en wetgevend personeel? (Zelfrapportage)

   1. Rapporteren onderzoekers verbeterde beleidscompetenties en motivatie voor het uitvoeren van beleidsrelevant onderzoek?
   2. Zal wetgevend personeel een toename melden in de positieve houding ten opzichte van, de kennis over, de beoogde toepassing en het daadwerkelijke gebruik van onderzoeksbewijs?
   3. Zou de impact op wetgevende en onderzoeksdeelnemers kunnen variëren als functie van aspecten van hun samenwerkingsrelatie (bijvoorbeeld versterkt door wederzijds vertrouwen)?

2. Welke invloed heeft de RPC op wetgevende activiteiten? (Observatie)

   a) Zullen congresbureaus meer gebruik maken van onderzoeksbewijs bij wetgevende activiteiten (d.w.z. wetsvoorstellen, officiële verklaringen)?

3. Hoe kunnen percepties en ervaringen van samenwerking via de RPC verband houden met verschillende vormen van bewijsgebruik onder onderzoekers en beleidsmakers? (Etnografie)

   1. Wat zijn de barrières en facilitators van deelname aan de RPC?
   2. Welke soorten interacties tussen onderzoekers en beleidsmakers beïnvloedt de RPC?
   3. Hoe beïnvloedt de RPC de aannames van deelnemers over elkaar, interacties met elkaar en hun intenties?
   4. Welke soorten gebruik van bewijsmateriaal worden ondersteund door RPC-deelname?

Steekproefkader Alle studieonderdelen zijn gebaseerd op een initieel steekproefkader waarmee onderzoekers en congresmedewerkers die ervoor kiezen om deel te nemen aan de RPC, zullen worden gevraagd om deel te nemen aan de studie; degenen die ermee instemmen om aan het onderzoek deel te nemen, worden gerandomiseerd voor ofwel de volledige RPC-interventie of een lichte controlegroep die weinig directe betrokkenheid krijgt. Deze studie zal oversampling uitvoeren om verwachte uitval tegen te gaan. De uiteindelijke steekproef omvat 96 congresbureaus (48 in RPC, 48 in controlegroep) en 226 onderzoekers (151 in RPC, 75 in controlegroep). Deze steekproeven zijn afgeleid van een geïdentificeerde populatie van in aanmerking komende interventiedeelnemers.

• Een populatie van relevante wetgevende ambten (Senaat en Huis) zal worden geïdentificeerd op basis van het aantal kinder-/gezinswetten dat de wetgever heeft (mede) gesponsord. Het willekeurige selectieproces zal worden gestratificeerd om te zorgen voor evenredige partijdige vertegenwoordiging en vertegenwoordiging van wetgevers die variëren in activiteiten met betrekking tot kinderwelzijn. Voorafgaand aan randomisatie krijgt de populatie van relevante wetgevers een activiteitenrangschikking toegewezen op basis van het aantal keren dat een wetgever een wetsontwerp voor kind- en gezinsbeleid heeft gesponsord. Activiteitsranglijsten zullen variëren van 1-10, zodat 10% van de wetgevers die de minste wetsvoorstellen (mede) hebben gesponsord, op nummer 1 zullen staan, en 10% van de wetgevers die de meeste wetsvoorstellen hebben mede-ingediend, op nummer 10 zullen staan. Rekrutering en gestratificeerde steekproeven over een continuüm van activiteiten op het gebied van kind-/gezinsbeleid zullen de tweeledige vertegenwoordiging van de steekproef verbeteren. Ook helpen bij tweeledige vertegenwoordiging zijn gerichte outreach-inspanningen die langs partijlijnen toenemen als deelname scheef wordt.
• Onderzoekers die werken aan relevant kind-/gezinsonderzoek worden geïdentificeerd via onderzoeksinstellingen, professionele netwerken en listservs, literatuuronderzoek en verwijzingen van andere onderzoekers. Onderzoekers zijn onder meer onderzoeksgerichte praktijkmensen en programmabeoordelaars uit zowel academische als niet-academische omgevingen die geïnteresseerd zijn in het vertalen van hun expertise met beleidsmakers. Na toestemming om deel te nemen aan een interventie voor beleidsbetrokkenheid, wordt onderzoekers gevraagd om deel te nemen aan het onderzoek. Studiedeelnemers worden gerandomiseerd om de RPC of de controleconditie te ontvangen.

Studiecomponent 1: kwantitatieve evaluatie van zelfgerapporteerde RPC-impact Een gestructureerd onderzoek zal worden gebruikt om het vermogen van onderzoekers om deel te nemen aan openbare beleidsprocessen te beoordelen. Een bijbehorend onderzoeksprotocol zal de houding, kennis, intentie en gemeld gedrag van wetgevend personeel met betrekking tot het gebruik van onderzoeksbewijs beoordelen. Zowel onderzoekers als wetgevend personeel zullen worden gevraagd naar de aard van hun samenwerkingsinteracties met elkaar. Ongeveer om de drie maanden zal er een enquête worden gehouden. Enquêteconstructies worden beschreven in uitkomstmaten. Ontbrekende gegevens worden behandeld met meervoudige toerekening, omdat dit de beste praktijk is wanneer gegevens niet willekeurig ontbreken. Modellering op meerdere niveaus zal worden gebruikt om individuele trajecten in uitkomstvariabelen te onderzoeken. Meervoudige regressie onderzoekt veranderingen tussen geselecteerde tijdstippen; bijvoorbeeld of de gerapporteerde beleidsvaardigheden van onderzoekers verbeteren tussen baseline en na trainingen. Met deze analyses kunnen we onderzoeken of RPC-deelname verband houdt met een toename van (1) gerapporteerde doeltreffendheid van onderzoekers om met beleidsmakers om te gaan, (2) de interesse en bereidheid van wetgevend personeel om onderzoeksbewijs te gebruiken, en (3) zowel onderzoekers als beleidsmakers. positief gevoel over samenwerken. Longitudinale analyses zullen ons verder in staat stellen om het traject van uitkomstvariabelen in de loop van de tijd te verkennen (bijv. Verbeterde competenties van onderzoekers, gebruik van onderzoek door wetgevers) - met name modellering van veranderingen in het gebruik van bewijsmateriaal en andere interessante uitkomsten. Analyses van de resultaten van onderzoekers en wetgevend personeel zijn allemaal gepowerd op een niveau van ten minste 90% om effectgroottes van 0,2 of groter te detecteren (power-analyse uitgevoerd met Optimaal ontwerp plus empirisch bewijs).

Studiecomponent 2: Kwantitatieve evaluatie van waargenomen RPC-impact op wetgevende activiteit Als aanvulling op de zelfgerapporteerde kwantitatieve beoordeling van verandering, zal het gebruik van onderzoeksgegevens in wetgevende activiteiten worden geobserveerd voor en na RPC-deelname. Gegevens worden geselecteerd, geëxtraheerd en gecodeerd voorafgaand aan kwantitatieve analyses met indicatoren die zijn afgeleid van deductieve codes. Wetgevende gegevens worden geselecteerd op basis van het gebruik van trefwoorden die de relevantie voor kind/gezin aangeven. Aangezien elk wetsvoorstel meer tekst zal bevatten dan mogelijk is om te coderen met traditionele kwalitatieve methoden, zullen relevante bepalingen worden geëxtraheerd voorafgaand aan de codering (degenen die trefwoorden bevatten). Verder zullen alle titels van subsecties voor elke gesamplede factuur worden beoordeeld op mogelijke relevantie en worden geëxtraheerd als onderzoeksbewijs wordt gebruikt maar niet op andere wijze wordt vastgelegd door trefwoorden. Gegevens over wetgevende activiteiten zullen worden gecodeerd op basis van een gedetailleerd codeboek dat is gebaseerd op eerdere bevindingen over hoe onderzoek is gebruikt door beleidsmakers en in wetgeving. Dit coderingsschema zal worden toegepast door twee codeurs en het codeboek zal worden herzien en verder gespecificeerd totdat de intercodeurbetrouwbaarheid ten minste 0,70 bereikt en 30% van de gegevens voor de eerste tijdsperiode is gecodeerd. Vervolgens zullen getrainde codeerders individueel coderen en een hoofdonderzoeker zal willekeurig 10% hiervan bemonsteren om consistentie in codeerkwaliteit te garanderen. Deze codes worden omgezet in kwantitatieve indicatoren van onderzoeksgebruik, die worden beschreven in uitkomstmaten. De wetgevende activiteit zal jaarlijks worden beoordeeld. Multivariate Poisson-regressieanalyses zullen veranderingen in onderzoeksgebruik beoordelen in thematische codes van (1) rekeningen en (2) officiële verklaringen tussen de RPC-interventie- en controlecondities. Moderatieanalyses zullen verder onderzoeken in hoeverre veranderingen in wetgevende activiteit afhangen van de aard van samenwerkingservaringen, andere enquêtegegevens (bijv. de perceptie van beleidsmakers van de waarde van onderzoek) en kenmerken van wetgevers (bijv. aansluiting bij een partij, leeftijd). .

Studiecomponent 3: etnografische evaluatie van het RPC-model De kwalitatieve component van deze studie is nauw verbonden met het kwantitatieve werk en probeert de ervaringen van RPC-deelnemers en processen die ten grondslag liggen aan het gebruik van onderzoeksbewijs in de RPC-context beter te begrijpen. Met behulp van participatieve en etnografische methoden zullen gegevens worden verzameld uit twee bronnen: (1) semi-gestructureerde interviews met proefdeelnemers en RPC-personeel, en (2) observaties van onderzoekerstrainingen en onderzoekers-personeelsbijeenkomsten. Interviewdeelnemers zullen worden bemonsterd uit de pool van studiedeelnemers die willekeurig zijn toegewezen om de RPC te ontvangen, waaronder 11 RPC-onderzoekers en 11 RPC-congresbureaumedewerkers die zullen worden geïnterviewd voorafgaand aan hun betrokkenheid bij de RPC, en 11 RPC-onderzoekers en 11 congresbureaumedewerkers die zal worden geïnterviewd naar aanleiding van samenwerkingsactiviteiten via de RPC. Daarnaast zullen 3 RPC-medewerkers voorafgaand aan en na de RPC worden geïnterviewd. Om meer inzicht te krijgen in de RPC-operaties en impact, zullen observaties worden uitgevoerd van trainingen voor onderzoekers, formele bijeenkomsten en informele interacties tussen onderzoekers en congrespersoneel, en bijeenkomsten die plaatsvinden als onderdeel van elke RPC-samenwerking. Volgens etnografische best practices zullen "open observaties" van belangrijke vergaderingen en trainingsevenementen worden gehouden om de interviews te verrijken met meer informatie over hoe deelnemers met elkaar omgaan en hoe ze reageren op de RPC. Veldnotities en transcripties zullen worden geanalyseerd met thematische analyse en een interpretatieve beleidsanalyse die verschillende rationaliteiten en retoriek onderzoekt bij het bespreken van bewijs dat in de samenwerking wordt gebruikt.