A Research to Policy Collaboration Model értékelése (RPC)

Célkitűzés: Ennek a tanulmánynak az a célja, hogy megvizsgálja egy olyan modell hatékonyságát, amely támogatja a döntéshozók által a kutatási bizonyítékok felhasználását egy randomizált kontrollált vizsgálaton (RCT) belül, amely a felmérések, interjúk és megfigyelési adatok kvalitatív és kvantitatív elemzését egyaránt alkalmazza, hogy megértse a kutatás a politikában és az együttműködésben. A jogalkotók kutatási felhasználását többféle módszerrel értékelik, beleértve (1) felmérési protokollon keresztüli önbevallást, (2) jogalkotási tevékenységet (azaz benyújtott törvényjavaslatokat és hivatalos nyilatkozatokat), valamint (3) kvalitatív interjúkat. Ezen túlmenően interjúk és felmérések értékelik a kutatók hatékonyságát, készségeit és a közpolitikában való részvételét, valamint azt, hogy a szakpolitikai folyamat milyen mértékben befolyásolja munkájukat.

Beavatkozás: A Research-to-Policy Collaboration (RPC) elméleti és empirikus irodalomra épít, amely azt sugallja, hogy (a) le kell fordítani a jelenlegi politikai prioritásokkal kapcsolatos kutatásokat, és (b) elő kell segíteni a produktív interakciókat a döntéshozók és a kutatók között. Az RPC egy független, manuális modell, amelyet egy közvetítő szervezet valósít meg, amely kapcsolatokat ápol a kutatók és a törvényhozó hivatalok között. A megvalósítás két fázisban történik, hét, egymással összefüggő tevékenységből álló sorozatból. A kapacitásépítési szakaszban az RPC egyúttal arra törekszik, hogy tréningekkel és coachingokkal támogassa a kutatók becsületes tudásközvetítői készségeinek fejlesztését, valamint iteratív igényfelmérést végez a kongresszusi irodákkal az aktuális prioritások és a kutatási bizonyítékok iránti vágy tekintetében. Az együttműködési szakaszban a megfelelő szakértelemmel rendelkező kutatók gyors reagálású csapatokba tömörülnek, amelyeket a törvényhozó hivatalokkal párosítanak. Az RPC-modellt interakciók állványozott sorozatán keresztül produktív kutató-politikus kapcsolatok ápolására és a jogalkotási kérésekre adott válaszok támogatására használják. A jelenlegi tanulmány középpontjában az RPC hatékonyságának értékelése áll.

Dizájnt tanulni:

Ez a tanulmány a felmérések, interjúk és megfigyelési adatok kvalitatív és kvantitatív elemzését is alkalmazza az RCT kontextusában. Három átfogó kutatási kérdés irányítja ezt a munkát, és illeszkedik a tanulmány három különböző összetevőjéhez – önbevallás kvantitatív felmérésen keresztül, kutatási felhasználás megfigyelése kódolt jogalkotási tevékenységen keresztül, valamint néprajz mélyinterjúkon és résztvevői megfigyeléseken keresztül.

1. Hogyan hat az RPC a kutatókra és a jogalkotó személyzetre? (Önbevallás)

   1. Beszámolnak-e a kutatók a szakpolitikai kompetenciák és a szakpolitika szempontjából releváns kutatások végzésének motivációinak javulásáról?
   2. Beszámol-e a jogalkotó személyzet a kutatási bizonyítékok iránti pozitív attitűdök, ismeretek, tervezett alkalmazásuk és tényleges felhasználásuk növekedéséről?
   3. Változhat-e a jogalkotási és kutatási résztvevőkre gyakorolt ​​hatás az együttműködési kapcsolatuk szempontjaitól függően (pl. a kölcsönös bizalom fokozza)?

2. Hogyan hat az RPC a jogalkotási tevékenységre? (Megfigyelés)

   a) A kongresszusi hivatalok növelik-e a kutatási bizonyítékok felhasználását a jogalkotási tevékenységek során (pl. törvényjavaslatok, hivatalos nyilatkozatok)?

3. Hogyan kapcsolódhatnak az RPC-n keresztüli együttműködés észlelései és tapasztalatai a bizonyítékok felhasználásának különböző formáihoz a kutatók és a döntéshozók körében? (Néprajz)

   1. Melyek az RPC-ben való részvétel akadályai és elősegítői?
   2. Milyen típusú interakciókat befolyásol a kutatók és a döntéshozók között az RPC?
   3. Hogyan befolyásolja az RPC a résztvevők egymásra vonatkozó feltételezéseit, egymás közötti interakcióit és szándékaikat?
   4. Milyen típusú bizonyítékfelhasználást támogat az RPC részvétele?

Mintavételi keret Minden vizsgálati komponens egy kezdeti mintavételi keretből származik, amelyen keresztül az RPC-ben való részvételt választó kutatókat és a kongresszusi munkatársakat felkérik, hogy vegyenek részt a vizsgálatban; azokat, akik beleegyeznek, hogy részt vegyenek a vizsgálatban, véletlenszerűen besorolják a teljes RPC-beavatkozásra, vagy egy könnyű érintéssel kezelt kontrollcsoportra, amely kevés közvetlen bevonást kap. Ez a tanulmány túlzott mintavételezést végez a várható kopás leküzdése érdekében. A végső mintában 96 kongresszusi iroda (48 az RPC-ben, 48 a kontrollcsoportban) és 226 kutató (151 az RPC-ben, 75 a kontrollcsoportban) szerepel. Ezeket a mintákat a beavatkozásra jogosult résztvevők azonosított populációjából származtatták.

• A vonatkozó törvényhozó hivatalok (a szenátus és a képviselőház) sokaságát a jogalkotó által (társ)szponzorált gyermek-/családtörvény-tervezetek száma alapján határozzák meg. A véletlenszerű kiválasztási folyamat rétegzett lesz, hogy biztosítsa az arányos pártképviseletet és a gyermekjóléti tevékenységgel kapcsolatos jogalkotók képviseletét. A véletlenszerű besorolást megelőzően az érintett jogalkotók populációjához tevékenységi rangsort rendelnek annak alapján, hogy a jogalkotó hányszor szponzorált gyermek-/családpolitikai törvényjavaslatot. A tevékenységi rangsor 1-től 10-ig terjed, így a legkevesebb törvényjavaslatot (társ)támogató jogalkotók 10%-a az 1-es, a legtöbb törvényjavaslatot társtámogató jogalkotók 10%-a pedig a 10. helyre kerül. A toborzás és a rétegzett mintavétel a gyermek-/családpolitikával kapcsolatos tevékenységek folytonosságán keresztül javítani fogja a minta kétpárti reprezentációját. A kétpárti képviseletet segítik a célzott tájékoztatási erőfeszítések is, amelyek a pártok mentén fokozódnak, ha a részvétel torzul.
• A releváns gyermek-/család-kutatáson dolgozó kutatókat kutatóintézetek, szakmai hálózatok és listaszerverek, szakirodalmi keresések és más kutatók ajánlásai révén azonosítják. A kutatók között vannak kutatásorientált gyakorlati szakemberek és programértékelők akadémiai és nem akadémiai környezetből egyaránt, akik érdeklődnek szakértelmük politikai döntéshozók számára történő lefordításában. A politikai szerepvállalási beavatkozásban való részvételre való feliratkozást követően a kutatókat felkérik, hogy vegyenek részt a tanulmányban. A vizsgálatban résztvevőket véletlenszerűen besorolják, hogy megkapják az RPC-t vagy a kontrollállapotot.

1. vizsgálati komponens: Az önbeszámolt RPC-hatás kvantitatív értékelése Strukturált felmérést használnak a kutatók közpolitikai folyamatokban való részvételi képességének felmérésére. A megfelelő felmérési protokoll felméri a jogalkotó személyzet attitűdjét, tudását, szándékát és bejelentett viselkedését a kutatási bizonyítékok felhasználásával kapcsolatban. A kutatókat és a jogalkotó személyzetet egyaránt megkérdezik az egymással folytatott együttműködési interakciók természetéről. A felmérésekre körülbelül háromhavonta kerül sor. A felmérési konstrukciókat az eredménymérőkben ismertetjük. A hiányzó adatok kezelése többszörös imputációval történik, mert ez a legjobb gyakorlat, ha az adatok nem véletlenszerűen hiányoznak. Többszintű modellezést fogunk használni az egyedi pályák vizsgálatára az eredményváltozókban. A többszörös regresszió megvizsgálja a kiválasztott időpontok közötti változásokat; például, hogy a kutatók szakpolitikai készségei javulnak-e az alapállapot és a képzések után. Ezek az elemzések lehetővé teszik számunkra annak megvizsgálását, hogy az RPC részvétel összefüggésben áll-e (1) a kutatók által bejelentett hatékonyság növekedésével a döntéshozókkal való kapcsolattartásban, (2) a jogalkotói személyzet érdeklődésében és hajlandóságában a kutatási bizonyítékok felhasználására, valamint (3) mind a kutatók, mind a döntéshozók pozitív érzelmek a közös munka iránt. A longitudinális elemzések tovább lehetővé teszik számunkra, hogy feltárjuk az eredményváltozók pályáját az idő múlásával (pl. javuló kutatói kompetenciák, a jogalkotók kutatási felhasználása), specifikusan modellezve a bizonyítékfelhasználás változásait és más érdekes eredményeket. A kutatók és a jogalkotó személyzet eredményeinek elemzése legalább 90%-os szinten működik a 0,2-es vagy nagyobb hatásméretek kimutatására (az optimális tervezéssel és az empirikus bizonyítékokkal végzett teljesítményelemzés).

2. vizsgálati komponens: A megfigyelt RPC-hatás mennyiségi értékelése a jogalkotási tevékenységre A változások önbevallásos kvantitatív értékelésének kiegészítéseként a kutatási bizonyítékok felhasználását a jogalkotási tevékenységek során az RPC részvétele előtt és azt követően is megfigyeljük. Az adatokat a mennyiségi elemzések előtt kiválasztják, kivonják és kódolják a deduktív kódokból származó mutatókkal. A jogszabályi adatok kiválasztása a gyermek/család szempontjából releváns kulcsszavak alapján történik. Mivel minden törvényjavaslat több szöveget tartalmaz, mint amennyi hagyományos minőségi módszerekkel kódolható, a megfelelő rendelkezéseket a kódolás előtt kinyerjük (a kulcsszavakat tartalmazókat). Ezen túlmenően minden egyes mintában szereplő törvényjavaslat minden alszakaszcímét felülvizsgálják potenciális relevanciájuk szempontjából, és kivonják, ha kutatási bizonyítékokat használnak, de más módon nem rögzítik a kulcsszavakat. A jogalkotási tevékenységre vonatkozó adatok kódolása egy részletes kódkönyv alapján történik, amely a kutatás döntéshozók általi és jogalkotási felhasználására vonatkozó előzetes megállapítások alapján történik. Ezt a kódolási sémát két kódoló fogja alkalmazni, és a kódkönyvet felülvizsgálják és tovább pontosítják mindaddig, amíg az interkóder megbízhatósága el nem éri a legalább 0,70-et, és az első időperiódus adatainak 30%-át nem kódolják. Ezt követően a képzett kódolók egyenként kódolnak, és a vezető vizsgáló véletlenszerűen mintát vesz ezek 10%-ából, hogy biztosítsa a kódolás minőségének egységességét. Ezeket a kódokat a kutatási felhasználás kvantitatív mutatóivá alakítják át, amelyeket az eredménymutatókban írnak le. A jogalkotási tevékenységet évente értékelik. A többváltozós Poisson-regressziós elemzések értékelik a kutatási felhasználás változásait (1) számlák és (2) hivatalos nyilatkozatok tematikus kódjaiban az RPC beavatkozása és az ellenőrzés feltételei között. A moderációs elemzések tovább vizsgálják, hogy a jogalkotási tevékenység változásai mennyiben függenek az együttműködési tapasztalatok természetétől, egyéb felmérési adatoktól (pl. a döntéshozóknak a kutatás értékéről alkotott felfogása) és a jogalkotó jellemzőitől (pl. pártállás, életkor). .

3. vizsgálati komponens: Az RPC-modell etnográfiai értékelése A tanulmány kvalitatív komponense szorosan kapcsolódik a kvantitatív munkához, és az RPC résztvevőinek tapasztalatait és a kutatási bizonyítékok RPC-kontextusban történő felhasználásának hátterében álló folyamatokat kívánja jobban megérteni. Részvételi és etnográfiai módszerek alkalmazásával az adatok gyűjtése két forrásból történik: (1) a kísérlet résztvevőivel és az RPC munkatársaival készített félig strukturált interjúkból, valamint (2) a kutatói képzések és kutatói-személyzeti találkozók megfigyeléséből. Az interjú résztvevőit az RPC-ben való részvételre véletlenszerűen kiválasztott vizsgálati résztvevők köréből választják ki, köztük 11 RPC-kutatót és 11 RPC kongresszusi irodai alkalmazottat, akiket az RPC-ben való részvételük előtt meginterjúvolnak, valamint 11 RPC-kutatót és 11 kongresszusi irodai alkalmazottat. interjút készítenek az RPC-n keresztül folytatott együttműködési tevékenységeket követően. Ezenkívül az RPC 3 munkatársát meghallgatják az RPC előtt és azt követően. Annak érdekében, hogy további betekintést nyerjünk az RPC működésébe és hatásába, megfigyelésekre kerül sor a kutatók számára tartott képzések, formális találkozók és a kutatók és a kongresszusi munkatársak közötti informális interakciók, valamint az RPC-együttműködés részeként zajló találkozók során. A bevált etnográfiai gyakorlatokat követve a kulcsfontosságú találkozók és képzési események „nyílt megfigyelései” kerülnek végrehajtásra, hogy az interjúkat több információval gazdagítsák a résztvevők interakciójáról és az RPC-re adott válaszairól. A helyszíni jegyzeteket és átiratokat tematikus elemzéssel és értelmező politikai elemzéssel elemezzük, amely feltárja a különböző racionalitásokat és retorikákat az együttműködés során felhasznált bizonyítékok megvitatásakor.