Evaluering af Research to Policy Collaboration Model (RPC)

Formål: Formålet med denne undersøgelse er at undersøge effektiviteten af ​​en model til at understøtte politiske beslutningstageres brug af forskningsbevis inden for et randomiseret kontrolleret forsøg (RCT), der anvender både kvalitative og kvantitative analyser af undersøgelses-, interview- og observationsdata for at forstå brugen af forskning i politik og samarbejde. Lovgivernes brug af forskning vil blive vurderet med flere metoder, herunder (1) selvrapportering via en undersøgelsesprotokol, (2) lovgivende aktivitet (dvs. fremsatte lovforslag og officielle udtalelser) og (3) kvalitative interviews. Derudover vil interviews og undersøgelser vurdere forskernes rapporterede effektivitet, dygtighed og engagement i offentlig politik, og i hvilket omfang deres arbejde er informeret af den politiske proces.

Intervention: Research-to-Policy Collaboration (RPC) bygger på teoretisk og empirisk litteratur, der antyder behovet for at (a) oversætte forskning, der er relevant til aktuelle politiske prioriteter, og (b) lette produktive interaktioner mellem politiske beslutningstagere og forskere. RPC er en ikke-partipolitisk, manualiseret model implementeret af en mellemliggende organisation, der dyrker relationer mellem forskere og lovgivende kontorer. Implementering sker i to faser, der involverer en række af syv indbyrdes forbundne aktiviteter. Under kapacitetsopbygningsfasen sigter RPC samtidig på at understøtte forskeres udvikling af ærlige videnmæglerfærdigheder med træning og coaching, samtidig med at de udfører iterative behovsvurderinger med kongreskontorer vedrørende deres aktuelle prioriteter og ønske om forskningsbevis. I samarbejdsfasen samles forskere med relevant ekspertise til hurtige reaktionsteams, der matches med lovgivende kontorer. Gennem en stilladseret række af interaktioner bruges RPC-modellen til at dyrke produktive forhold mellem forskere og politikere og støtte svar på lovgivningsanmodninger. Evaluering af effektiviteten af ​​RPC er fokus for den aktuelle undersøgelse.

Studere design:

Denne undersøgelse anvender både kvalitative og kvantitative analyser af undersøgelses-, interview- og observationsdata inden for rammerne af en RCT. Tre overordnede forskningsspørgsmål styrer dette arbejde og stemmer overens med undersøgelsens tre forskellige komponenter – selvrapportering via en kvantitativ undersøgelse, observation af forskningsbrug via kodet lovgivningsaktivitet og etnografi via dybdeinterview og deltagerobservationer.

1. Hvordan påvirker RPC forskere og lovgivende medarbejdere? (Selvrapportering)

   1. Rapporterer forskere forbedrede politiske kompetencer og motivation for at udføre politikrelevant forskning?
   2. Vil lovgivende personale rapportere stigninger i positive holdninger til, viden om, tilsigtet anvendelse og faktisk brug af forskningsbevis?
   3. Kan indvirkningen på lovgivnings- og forskningsdeltagere variere som funktion af aspekter af deres samarbejdsforhold (f.eks. styrket af gensidig tillid)?

2. Hvordan påvirker RPC lovgivende aktivitet? (Observation)

   a) Vil kongreskontorer øge deres brug af forskningsbeviser i lovgivningsaktiviteter (dvs. lovforslag, officielle erklæringer)?

3. Hvordan kan opfattelser og erfaringer med samarbejde gennem RPC relateres til forskellige former for evidensbrug blandt forskere og politiske beslutningstagere? (Etnografi)

   1. Hvad er barriererne og facilitatorerne for deltagelse i RPC?
   2. Hvilke typer interaktioner mellem forskere og politiske beslutningstagere påvirker RPC?
   3. Hvordan påvirker RPC deltagernes antagelser om hinanden, interaktioner med hinanden og deres intentioner?
   4. Hvilke typer bevisbrug understøttes af RPC-deltagelse?

Sampling Framework Alle undersøgelseskomponenter trækker fra en indledende stikprøveramme, hvorigennem forskere og kongrespersonale, der vælger at deltage i RPC, vil blive bedt om at deltage i undersøgelsen; dem, der accepterer at deltage i undersøgelsen, vil blive randomiseret til enten den fulde RPC-intervention eller en let-touch kontrolgruppe, der modtager lidt direkte engagement. Denne undersøgelse vil oversample for at bekæmpe forventet nedslidning. Den endelige prøve omfatter 96 kongreskontorer (48 i RPC, 48 i kontrolgruppen) og 226 forskere (151 i RPC, 75 i kontrolgruppen). Disse prøver blev afledt fra en identificeret population af kvalificerede interventionsdeltagere.

• En population af relevante lovgivende kontorer (Senat og Hus) vil blive identificeret baseret på antallet af børne-/familieregninger, som lovgiver har (med)sponsoreret. Den tilfældige udvælgelsesprocessen vil blive stratificeret for at sikre proportional partisk repræsentation og repræsentation af lovgivere, der varierer i aktivitet relateret til børns velfærd. Forud for randomisering vil befolkningen af ​​relevante lovgivere blive tildelt en aktivitetsrangering baseret på antallet af gange, en lovgiver har sponsoreret et lovforslag om børne-/familiepolitik. Aktivitetsplaceringer vil variere fra 1-10, således at 10 % af de lovgivere, der (med)sponsorerede de færreste lovforslag, vil blive rangeret som 1. og 10 % af de lovgivere, der var medsponsorerede for flest lovforslag, vil blive rangeret som 10. Rekruttering og stratificeret prøveudtagning på tværs af et kontinuum af aktiviteter vedrørende børne-/familiepolitik vil forbedre repræsentationen af ​​stikprøven på tværs af partier. Hjælp til bipartisk repræsentation er også målrettet opsøgende indsats, der intensiveres langs partilinjer, hvis deltagelsen bliver skæv.
• Forskere, der arbejder med relevant børne-/familieforskning, vil blive identificeret via forskningsinstitutioner, faglige netværk og listservs, litteratursøgninger og henvisninger fra andre forskere. Forskere omfatter forskningsorienterede praktikere og programevaluatorer fra både akademiske og ikke-akademiske miljøer, som er interesserede i at omsætte deres ekspertise til politiske beslutningstagere. Efter at have tilmeldt sig at deltage i en politisk engagement-intervention, bliver forskere bedt om at deltage i undersøgelsen. Studiedeltagere vil blive randomiseret til at modtage RPC eller kontrolbetingelsen.

Undersøgelseskomponent 1: Kvantitativ evaluering af selvrapporteret RPC-påvirkning En struktureret undersøgelse vil blive brugt til at vurdere forskernes evne til at engagere sig i offentlige politiske processer. En tilsvarende undersøgelsesprotokol vil vurdere lovgivende personales holdninger, viden, hensigt og rapporterede adfærd vedrørende brugen af ​​forskningsbevis. Både forskere og lovgivere vil blive spurgt om arten af ​​deres samarbejdsrelationer med hinanden. Undersøgelser vil blive gennemført cirka hver tredje måned. Undersøgelseskonstruktioner er beskrevet i resultatmål. Manglende data vil blive håndteret med multiple imputation, fordi dette er bedste praksis, når data ikke mangler tilfældigt. Multilevel-modellering vil blive brugt til at undersøge individuelle baner i udfaldsvariable. Multipel regression vil undersøge ændringer mellem udvalgte tidspunkter; for eksempel om forskeres rapporterede politiske færdigheder forbedres mellem baseline og efter træning. Disse analyser vil give os mulighed for at undersøge, om RPC-deltagelse er forbundet med stigninger i (1) forskeres rapporterede effektivitet til at engagere sig med politiske beslutningstagere, (2) lovgivende personales interesse og vilje til at bruge forskningsbevis, og (3) både forskeres og politiske beslutningstageres positiv holdning til at arbejde sammen. Longitudinelle analyser vil yderligere give os mulighed for at udforske udfaldsvariablernes bane over tid (f.eks. forbedrede forskerkompetencer, lovgivernes brug af forskning) - specifikt modellering af ændringer i evidensbrug og andre resultater af interesse. Analyser af resultater fra forskere og lovgivere er alle drevet på mindst 90 % niveau for at detektere effektstørrelser på 0,2 eller derover (effektanalyse udført med Optimal Design plus Empirical Evidence).

Undersøgelseskomponent 2: Kvantitativ evaluering af observeret RPC-påvirkning på lovgivningsaktivitet For at supplere den selvrapporterede kvantitative vurdering af ændringer, vil brug af forskningsbeviser i lovgivningsaktiviteter blive observeret før og efter RPC-deltagelse. Data vil blive udvalgt, udtrukket og kodet forud for kvantitative analyser med indikatorer afledt af deduktive koder. Lovgivningsdata vil blive udvalgt baseret på brugen af ​​nøgleord, der angiver relevans for barn/familie. Da hvert lovforslag vil indeholde mere tekst, end det er muligt at kode med traditionelle kvalitative metoder, vil relevante bestemmelser blive udtrukket før kodning (dem, der indeholder nøgleord). Yderligere vil alle underafsnitstitler for hver stikprøveudtegnet regning blive gennemgået for potentiel relevans og udtrukket, hvis forskningsbevis bruges, men ikke fanges på anden måde af nøgleord. Data om lovgivningsaktivitet vil blive kodet baseret på en detaljeret kodebog baseret på tidligere resultater af, hvordan forskning er blevet brugt af politiske beslutningstagere og i lovgivning. Dette kodningsskema vil blive anvendt af to kodere, og kodebogen vil blive revideret og yderligere specificeret, indtil intercoder-pålideligheden når mindst 0,70 og 30 % af dataene for den første tidsperiode er blevet kodet. Efterfølgende vil uddannede kodere kode individuelt, og en ledende investigator vil tilfældigt stikprøve 10 % af disse for at sikre ensartet kodningskvalitet. Disse koder vil blive konverteret til kvantitative indikatorer for forskningsanvendelse, som er beskrevet i resultatmål. Lovgivningsaktiviteten vil blive vurderet årligt. Multivariate Poisson-regressionsanalyser vil vurdere ændringer i forskningsbrug i tematiske koder for (1) regninger og (2) officielle erklæringer mellem RPC-interventionen og kontrolbetingelserne. Moderationsanalyser vil yderligere undersøge, i hvilket omfang ændringer i lovgivningsaktivitet afhænger af arten af ​​samarbejdserfaringer, andre undersøgelsesdata (f.eks. politiske beslutningstageres opfattelse af værdien af ​​forskning) og lovgivers karakteristika (f.eks. partitilhørsforhold, alder) .

Studiekomponent 3: Etnografisk evaluering af RPC-modellen Den kvalitative komponent i denne undersøgelse er tæt forbundet med det kvantitative arbejde og søger bedre at forstå RPC-deltagernes erfaringer og processer, der ligger til grund for brugen af ​​forskningsbevis i RPC-konteksten. Ved hjælp af deltagende og etnografiske metoder vil data blive indsamlet fra to kilder: (1) semistrukturerede interviews af forsøgsdeltagere og RPC-medarbejdere og (2) observationer af forskeruddannelser og forsker-personalemøder. Interviewdeltagere vil blive udtaget fra puljen af ​​undersøgelsesdeltagere tilfældigt tildelt til at modtage RPC, herunder 11 RPC-forskere og 11 RPC-kongreskontorpersonale, der vil blive interviewet forud for deres involvering i RPC, og 11 RPC-forskere og 11 kongreskontorpersonale, der vil blive interviewet efter samarbejdsaktiviteter via RPC. Derudover vil 3 RPC-medarbejdere blive interviewet før og efter RPC. For at få yderligere indsigt i RPC's operationer og effekt vil der blive gennemført observationer af uddannelser for forskere, formelle møder og uformelle interaktioner mellem forskere og kongrespersonale og møder, der finder sted som en del af ethvert RPC-samarbejde. Efter etnografisk bedste praksis, vil "åbne observationer" af nøglemøder og træningsbegivenheder blive gennemført for at berige interviewene med mere information om, hvordan deltagere interagerer, og hvordan de reagerer på RPC. Feltnotater og transskriptioner vil blive analyseret med tematisk analyse og en fortolkende politisk analyse, der udforsker forskellige rationaliteter og retorik, når man diskuterer evidens brugt i samarbejdet.