Evaluering av Research to Policy Collaboration Model (RPC)

Mål: Målet med denne studien er å undersøke effektiviteten av en modell for å støtte beslutningstakeres bruk av forskningsbevis i en randomisert kontrollert studie (RCT) ved å bruke både kvalitative og kvantitative analyser av undersøkelses-, intervju- og observasjonsdata for å forstå bruken av forskning innen politikk og samarbeid. Lovgiveres forskningsbruk vil bli vurdert med flere metoder, inkludert (1) egenrapportering via en undersøkelsesprotokoll, (2) lovgivende aktivitet (dvs. innførte lovforslag og offisielle uttalelser), og (3) kvalitative intervjuer. I tillegg vil intervjuer og undersøkelser vurdere forskernes rapporterte effektivitet, ferdigheter og engasjement i offentlig politikk, og i hvilken grad deres arbeid er informert av policyprosessen.

Intervensjon: Research-to-Policy Collaboration (RPC) bygger på teoretisk og empirisk litteratur som antyder behovet for å (a) oversette forskning som er relevant for gjeldende politiske prioriteringer, og (b) legge til rette for produktiv interaksjon mellom beslutningstakere og forskere. RPC er en ikke-partisan, manuell modell implementert av en mellomliggende organisasjon som dyrker relasjoner mellom forskere og lovgivende kontorer. Implementering skjer i to faser som involverer en serie på syv sammenhengende aktiviteter. Under kapasitetsbyggingsfasen har RPC samtidig som mål å støtte forskeres utvikling av ærlige kunnskapsmeglerferdigheter med opplæring og coaching, samtidig som de gjennomfører iterative behovsvurderinger med kongresskontorer angående deres nåværende prioriteringer og ønske om forskningsbevis. I samarbeidsfasen blir forskere med relevant kompetanse slått sammen til hurtiginnsatsteam som matches med lovgivende kontorer. Gjennom en stillasserie av interaksjoner, brukes RPC-modellen til å dyrke produktive forsker-politiker-relasjoner og støtte svar på lovforespørsler. Evaluering av effektiviteten til RPC er fokus for den nåværende studien.

Studere design:

Denne studien benytter både kvalitative og kvantitative analyser av undersøkelses-, intervju- og observasjonsdata innenfor rammen av en RCT. Tre overordnede forskningsspørsmål styrer dette arbeidet og stemmer overens med studiens tre ulike komponenter – egenrapportering via en kvantitativ undersøkelse, observasjon av forskningsbruk via kodet lovgivningsaktivitet, og etnografi via dybdeintervjuer og deltakerobservasjoner.

1. Hvordan påvirker RPC forskere og lovgivende ansatte? (Selvrapportering)

   1. Rapporterer forskere forbedret politikkkompetanse og motivasjon for å drive politikkrelevant forskning?
   2. Vil lovgiverne rapportere økninger i positive holdninger til, kunnskap om, tiltenkt anvendelse og faktisk bruk av forskningsbevis?
   3. Kan innvirkningen på lovgivende og forskningsdeltakere variere som en funksjon av aspekter ved deres samarbeidsforhold (f.eks. styrket av gjensidig tillit)?

2. Hvordan påvirker RPC lovgivende aktivitet? (Observasjon)

   a) Vil kongresskontorer øke bruken av forskningsbevis i lovgivende aktiviteter (dvs. lovforslag, offisielle uttalelser)?

3. Hvordan kan oppfatninger og opplevelser av samarbeid gjennom RPC forholde seg til ulike former for evidensbruk blant forskere og beslutningstakere? (Etnografi)

   1. Hva er barrierene og tilretteleggerne for deltakelse i RPC?
   2. Hvilke typer interaksjoner mellom forskere og beslutningstakere påvirker RPC?
   3. Hvordan påvirker RPC deltakernes antakelser om hverandre, interaksjoner med hverandre og deres intensjoner?
   4. Hvilke typer bevisbruk støttes av RPC-deltakelse?

Sampling Framework Alle studiekomponenter trekker fra et innledende utvalgsrammeverk der forskere og kongressansatte som velger å delta i RPC vil bli bedt om å delta i studien; de som samtykker i å delta i studien vil bli randomisert for enten full RPC-intervensjon eller en lett-touch-kontrollgruppe som mottar lite direkte engasjement. Denne studien vil overprøve for å bekjempe forventet slitasje. Det endelige utvalget inkluderer 96 kongresskontorer (48 i RPC, 48 i kontrollgruppen) og 226 forskere (151 i RPC, 75 i kontrollgruppen). Disse prøvene ble hentet fra en identifisert populasjon av kvalifiserte intervensjonsdeltakere.

• En populasjon av relevante lovgivende kontorer (Senat og Hus) vil bli identifisert basert på antall barne-/familieregninger lovgiver har (med)sponset. Den tilfeldige utvelgelsesprosessen vil bli stratifisert for å sikre proporsjonal partirepresentasjon og representasjon av lovgivere som varierer i aktivitet knyttet til barnevern. Før randomisering vil populasjonen av relevante lovgivere bli tildelt en aktivitetsrangering basert på antall ganger en lovgiver har sponset en barne-/familiepolitikkregning. Aktivitetsrangeringer vil variere fra 1-10, slik at 10 % av lovgivere som (med)sponsorte færrest lovforslag vil bli rangert som 1. og 10 % av lovgivere som medsponsorer flest lovforslag vil bli rangert som 10. Rekruttering og stratifisert utvalg på tvers av et kontinuum av aktivitet på barne-/familiepolitikk vil forbedre bipartisan representasjon av utvalget. Å hjelpe til med bipartisk representasjon er også målrettet oppsøkende innsats som intensiveres langs partilinjer hvis deltakelsen blir skjev.
• Forskere som arbeider med relevant barne-/familieforskning vil bli identifisert via forskningsinstitusjoner, faglige nettverk og listeserver, litteratursøk og henvisninger fra andre forskere. Forskere inkluderer forskningsorienterte praktikere og programevaluatorer fra både akademiske og ikke-akademiske miljøer som er interessert i å oversette sin ekspertise med beslutningstakere. Etter å ha valgt å delta i en intervensjon for politisk engasjement, blir forskerne bedt om å delta i studien. Studiedeltakere vil bli randomisert til å motta RPC eller kontrollbetingelsen.

Studiekomponent 1: Kvantitativ evaluering av selvrapportert RPC-påvirkning En strukturert undersøkelse vil bli brukt for å vurdere forskernes evne til å engasjere seg i offentlige politiske prosesser. En tilsvarende undersøkelsesprotokoll vil vurdere lovgivende ansattes holdninger, kunnskap, hensikt og rapporterte atferd angående bruk av forskningsbevis. Både forskere og lovgivere vil bli spurt om arten av deres samarbeidsinteraksjoner med hverandre. Undersøkelser vil bli gjennomført omtrent hver tredje måned. Undersøkelseskonstruksjoner er beskrevet i utfallsmål. Manglende data vil bli håndtert med flere imputasjoner fordi dette er beste praksis når data ikke mangler tilfeldig. Flernivåmodellering vil bli brukt for å undersøke individuelle baner i utfallsvariabler. Multippel regresjon vil undersøke endringer mellom utvalgte tidspunkter; for eksempel om forskeres rapporterte politiske ferdigheter forbedres mellom baseline og etter opplæring. Disse analysene vil tillate oss å undersøke om RPC-deltakelse er assosiert med økninger i (1) forskeres rapporterte effektivitet til å engasjere seg med beslutningstakere, (2) lovgivernes interesse og vilje til å bruke forskningsbevis, og (3) både forskeres og beslutningstakeres positive følelser for å jobbe sammen. Longitudinelle analyser vil videre tillate oss å utforske banen til utfallsvariabler over tid (f.eks. forbedret forskerkompetanse, lovgivernes bruk av forskning) - spesifikt modellering av endring i bevisbruk og andre resultater av interesse. Analyser av resultater fra forskere og lovgivere er alle drevet på minst 90 % nivå for å oppdage effektstørrelser på 0,2 eller mer (kraftanalyse utført med Optimal Design pluss empirisk bevis).

Studiekomponent 2: Kvantitativ evaluering av observert RPC-påvirkning på lovgivende aktivitet For å komplettere den selvrapporterte kvantitative vurderingen av endring, vil bruk av forskningsbevis i lovgivningsaktiviteter bli observert før og etter RPC-deltakelse. Data vil bli valgt, trukket ut og kodet før kvantitative analyser med indikatorer utledet fra deduktive koder. Lovgivningsdata vil bli valgt basert på bruk av nøkkelord som indikerer relevans for barn/familie. Siden hvert lovforslag vil inneholde mer tekst enn det som er mulig å kode med tradisjonelle kvalitative metoder, vil relevante bestemmelser trekkes ut før koding (de som inneholder nøkkelord). Videre vil alle underseksjonstitler for hver utvalgte regning gjennomgås for potensiell relevans og trekkes ut hvis forskningsbevis brukes, men ikke fanges opp ellers av nøkkelord. Data om lovgivningsaktivitet vil bli kodet basert på en detaljert kodebok informert av tidligere funn om hvordan forskning har blitt brukt av beslutningstakere og i lovgivning. Dette kodeskjemaet vil bli brukt av to kodere, og kodeboken vil bli revidert og ytterligere spesifisert inntil interkoderens pålitelighet når minst 0,70 og 30 % av dataene for den første tidsperioden er kodet. Deretter vil trente kodere kode individuelt og en ledende etterforsker vil tilfeldig prøve 10 % av disse for å sikre konsistens i kodekvalitet. Disse kodene vil bli konvertert til kvantitative indikatorer for forskningsbruk, som er beskrevet i resultatmål. Lovgivningsaktiviteten vil bli vurdert årlig. Multivariate Poisson-regresjonsanalyser vil vurdere endring i forskningsbruk i tematiske koder for (1) regninger og (2) offisielle uttalelser mellom RPC-intervensjonen og kontrollforholdene. Moderasjonsanalyser vil videre undersøke i hvilken grad endringer i lovgivningsaktivitet avhenger av arten av samarbeidserfaringer, andre undersøkelsesdata (f.eks. beslutningstakeres oppfatning av verdien av forskning) og lovgiverkarakteristikker (f.eks. partitilhørighet, alder) .

Studiekomponent 3: Etnografisk evaluering av RPC-modellen Den kvalitative komponenten i denne studien er nært knyttet til det kvantitative arbeidet og søker å bedre forstå opplevelsene til RPC-deltakere og prosesser som ligger til grunn for bruken av forskningsbevis i RPC-konteksten. Ved å bruke deltakende og etnografiske metoder vil data samles inn fra to kilder: (1) semistrukturerte intervjuer av forsøksdeltakere og RPC-ansatte, og (2) observasjoner av forskeropplæring og forsker-personalmøter. Intervjudeltakere vil bli samplet fra utvalget av studiedeltakere tilfeldig tildelt for å motta RPC, inkludert 11 RPC-forskere og 11 RPC-kongressansatte som vil bli intervjuet før deres involvering i RPC, og 11 RPC-forskere og 11 kongresskontoransatte som vil bli intervjuet etter samarbeidsaktiviteter via RPC. I tillegg vil 3 RPC-ansatte bli intervjuet før og etter RPC. For å få ytterligere innsikt i RPC-operasjonene og virkningen, vil det bli gjennomført observasjoner av opplæring for forskere, formelle møter og uformelle interaksjoner mellom forskere og kongressansatte, og møter som skjer som en del av ethvert RPC-samarbeid. Etter etnografisk beste praksis, vil "åpne observasjoner" av nøkkelmøter og treningsarrangementer bli gjennomført for å berike intervjuene med mer informasjon om hvordan deltakerne samhandler og hvordan de reagerer på RPC. Feltnotater og transkripsjoner vil bli analysert med tematisk analyse og en tolkningspolitisk analyse som utforsker ulike rasjonaliteter og retorikk når man diskuterer bevis brukt i samarbeidet.