Tutkimusyhteistyön mallin arviointi (RPC)

Tavoite: Tämän tutkimuksen tavoitteena on tutkia mallin tehokkuutta, jolla tuetaan poliittisten päättäjien tutkimusnäyttöä satunnaistetussa kontrolloidussa tutkimuksessa (RCT), jossa käytetään sekä kvalitatiivisia että kvantitatiivisia tutkimus-, haastattelu- ja havainnointitietojen analyyseja ymmärtääkseen politiikan ja yhteistyön tutkimusta. Lainsäätäjien tutkimuskäyttöä arvioidaan useilla menetelmillä, mukaan lukien (1) itseraportointi tutkimusprotokollan kautta, (2) lainsäädäntötoiminta (eli esitellyt lakiesitykset ja viralliset lausunnot) ja (3) kvalitatiiviset haastattelut. Lisäksi haastatteluissa ja tutkimuksissa arvioidaan tutkijoiden raportoitua tehokkuutta, taitoa ja sitoutumista julkiseen politiikkaan sekä sitä, missä määrin politiikkaprosessi vaikuttaa heidän työhönsä.

Interventio: Research-to-Policy Collaboration (RPC) perustuu teoreettiseen ja empiiriseen kirjallisuuteen, joka ehdottaa tarvetta (a) kääntää nykyisten poliittisten prioriteettien kannalta merkityksellistä tutkimusta ja (b) helpottaa tuottavaa vuorovaikutusta poliittisten päättäjien ja tutkijoiden välillä. RPC on puolueeton, manuaalinen malli, jonka toteuttaa välittäjäorganisaatio, joka kehittää suhteita tutkijoiden ja lainsäätäjien välillä. Toteutus tapahtuu kahdessa vaiheessa, joihin kuuluu seitsemän toisiinsa liittyvää toimintaa. Kapasiteetin kehittämisvaiheessa RPC pyrkii samanaikaisesti tukemaan tutkijan rehellisten tiedonvälittäjien taitojen kehittymistä koulutuksella ja valmennuksella, mutta myös suorittaa iteratiivisia tarvearviointeja kongressin toimistojen kanssa heidän tämänhetkisistä prioriteeteistaan ​​ja tutkimusnäyttöhaluistaan. Yhteistyövaiheessa asiantuntevat tutkijat yhdistetään nopean toiminnan ryhmiksi, jotka yhdistetään lainsäädäntövirastojen kanssa. RPC-mallia käytetään vuorovaikutuksen telinesarjan kautta tuottavien tutkijan ja poliitikon välisten suhteiden kehittämiseen ja vastausten tukemiseen lainsäädäntöpyyntöihin. RPC:n tehokkuuden arviointi on tämän tutkimuksen painopiste.

Opintojen suunnittelu:

Tässä tutkimuksessa käytetään sekä laadullisia että kvantitatiivisia tutkimus-, haastattelu- ja havainnointitietojen analyyseja RCT:n yhteydessä. Kolme kattavaa tutkimuskysymystä ohjaavat tätä työtä ja ovat linjassa tutkimuksen kolmen eri osa-alueen kanssa - itseraportointi kvantitatiivisen kyselyn avulla, tutkimuksen käytön havainnointi koodatun lainsäädäntötoiminnan kautta ja etnografia syvähaastattelujen ja osallistujien havaintojen kautta.

1. Miten RPC vaikuttaa tutkijoihin ja lainsäätäjiin? (Oma raportti)

   1. Raportoivatko tutkijat parantuneesta poliittisesta osaamisesta ja motivaatiosta politiikan kannalta merkityksellisen tutkimuksen tekemiseen?
   2. Raportoiko lainsäädäntöhenkilöstö positiivisen asenteen lisääntymisestä tutkimusnäyttöä kohtaan, sen tietämystä, suunniteltua soveltamista ja todellista käyttöä?
   3. Voivatko vaikutukset lainsäädäntöön ja tutkimukseen osallistuviin vaihdella heidän yhteistyösuhteensa näkökohtien mukaan (esim. keskinäisen luottamuksen vahvistama)?

2. Miten RPC vaikuttaa lainsäädäntötoimintaan? (Havainto)

   a) Lisäävätkö kongressin toimistot tutkimusaineiston käyttöä lainsäädäntötoimissa (esim. laskut, viralliset lausunnot)?

3. Miten käsitykset ja kokemukset yhteistyöstä RPC:n kautta voivat liittyä erilaisiin todisteiden käyttöön tutkijoiden ja päättäjien keskuudessa? (Etnografia)

   1. Mitkä ovat RPC:hen osallistumisen esteet ja edistäjät?
   2. Millaisia ​​tutkijoiden ja päättäjien välisiä vuorovaikutuksia RPC vaikuttaa?
   3. Miten RPC vaikuttaa osallistujien oletuksiin toistensa suhteen, vuorovaikutukseen toistensa kanssa ja heidän aikomuksiinsa?
   4. Millaisia ​​todisteiden käyttöä RPC:n osallistuminen tukee?

Otantakehys Kaikki tutkimuksen osat perustuvat alkuperäiseen otantakehykseen, jonka kautta RPC:hen osallistuvia tutkijoita ja kongressin henkilökuntaa pyydetään osallistumaan tutkimukseen. ne, jotka suostuvat osallistumaan tutkimukseen, satunnaistetaan joko täydelliseen RPC-interventioon tai kevyeen kontrolliryhmään, joka saa vain vähän suoraa sitoutumista. Tässä tutkimuksessa otetaan yliotanta ennakoitua kulumista vastaan. Lopulliseen otokseen kuuluu 96 kongressin toimistoa (48 RPC:ssä, 48 kontrolliryhmässä) ja 226 tutkijaa (151 RPC:ssä, 75 kontrolliryhmässä). Nämä näytteet johdettiin tunnistetusta tukikelpoisten interventioosallistujien populaatiosta.

• Asiaankuuluvien lainsäätäjien (senaatti ja edustajainhuone) joukko määritellään lainsäätäjän (yhteis)sponsoromien lapsi-/perhelaskujen määrän perusteella. Satunnaisvalintaprosessi ositetaan siten, että varmistetaan suhteellinen puolueellinen edustus ja erilaisten lainsäätäjien edustus lasten hyvinvointiin liittyvissä toimissa. Ennen satunnaistamista asiaankuuluvien lainsäätäjien väestölle määritetään aktiivisuusluokitus, joka perustuu siihen, kuinka monta kertaa lainsäätäjä on sponsoroinut lapsi-/perhepolitiikkalakia. Aktiviteettisijoitukset vaihtelevat 1-10 siten, että 10 % vähiten esityksiä tukeneista lainsäätäjistä sijoittuu 1:lle ja 10 % eniten esityksiä tukeneista lainsäätäjistä sijoittuu 10:ksi. Rekrytointi ja ositettu otanta lapsi-/perhepolitiikkaa koskevan toiminnan jatkumossa parantavat otoksen molemminpuolista edustusta. Myös molempien puolueiden edustusta tukevat kohdennetut etenemistyöt, jotka tehostuvat puolueiden mukaisesti, jos osallistuminen vääristyy.
• Lapsia/perheitä koskevassa tutkimuksessa työskentelevät tutkijat tunnistetaan tutkimuslaitosten, ammatillisten verkostojen ja listapalveluiden, kirjallisuushakujen ja muiden tutkijoiden lähetteiden kautta. Tutkijoiden joukossa on tutkimukseen suuntautuneita ammatinharjoittajia ja ohjelmien arvioijia sekä akateemisista että ei-akateemisista ympäristöistä, jotka ovat kiinnostuneita kääntämään asiantuntemustaan ​​poliittisten päättäjien kanssa. Sen jälkeen, kun tutkijoita pyydetään osallistumaan tutkimukseen. Tutkimukseen osallistujat satunnaistetaan saamaan RPC tai kontrolliehto.

Tutkimuskomponentti 1: Itseraportoitujen RPC-vaikutusten kvantitatiivinen arviointi Strukturoitua tutkimusta käytetään arvioimaan tutkijoiden kykyä osallistua julkisiin poliittisiin prosesseihin. Vastaava tutkimusprotokolla arvioi lainsäätäjien asenteita, tietämystä, tahtoa ja raportoitua käyttäytymistä tutkimusaineiston käytössä. Sekä tutkijoilta että lainsäätäjiltä kysytään heidän toistensa kanssa tehtävän yhteistyön luonteesta. Kyselyt tehdään noin kolmen kuukauden välein. Kyselykonstruktit on kuvattu tulosmittauksissa. Puuttuvat tiedot käsitellään useilla imputoinneilla, koska tämä on paras käytäntö, kun tietoja ei puutu satunnaisesti. Monitasomallinnusta käytetään yksittäisten tulosmuuttujien liikeratojen tutkimiseen. Moniregressio tutkii muutoksia valittujen aikapisteiden välillä; esimerkiksi paranevatko tutkijoiden raportoimat poliittiset taidot lähtötilanteen ja koulutuksen jälkeen. Näiden analyysien avulla voimme tutkia, liittyykö RPC-osallistuminen (1) tutkijoiden raportoituun tehokkuuteen olla yhteydessä poliittisiin päättäjiin, (2) lainsäätäjän kiinnostukseen ja halukkuuteen käyttää tutkimusnäyttöä ja (3) sekä tutkijoiden että poliittisten päättäjien positiivinen asenne yhteistyöhön. Pitkittäisanalyysien avulla voimme edelleen tutkia tulosmuuttujien kehityskulkua ajan myötä (esim. tutkijoiden pätevyyden paraneminen, lainsäätäjien tutkimuksen käyttö) mallintamalla erityisesti todisteiden käytön muutoksia ja muita kiinnostavia tuloksia. Kaikki tutkijoiden ja lainsäätäjien tulosten analyysit tehostetaan vähintään 90 %:n tasolla 0,2:n tai sitä suuremman vaikutuskoon havaitsemiseksi (tehoanalyysi suoritettu Optimal Design plus Empirical Evidence -ohjelmalla).

Tutkimuskomponentti 2: Havaitun RPC-vaikutuksen määrällinen arviointi lainsäädäntötoimintaan Itseraportoiman muutoksen kvantitatiivisen arvioinnin täydentämiseksi tutkimusaineiston käyttöä lainsäädäntötoimissa tarkkaillaan ennen RPC:n osallistumista ja sen jälkeen. Tiedot valitaan, erotetaan ja koodataan ennen kvantitatiivisia analyyseja deduktiivisista koodeista johdetuilla indikaattoreilla. Lainsäädäntötiedot valitaan lapsen/perheen kannalta merkityksellisten avainsanojen käytön perusteella. Koska jokainen lakiesitys sisältää enemmän tekstiä kuin on mahdollista koodata perinteisillä kvalitatiivisilla menetelmillä, asiaankuuluvat säännökset poimitaan ennen koodausta (avainsanat sisältävät). Lisäksi jokaisen otokseen valitun laskun kaikki alaosien otsikot tarkistetaan mahdollisen relevanssin varalta ja poimitaan, jos käytetään tutkimusnäyttöä, mutta niitä ei muulla tavoin kerätä avainsanoilla. Lainsäädäntötoimintaa koskevat tiedot koodataan yksityiskohtaisen koodikirjan perusteella, jossa on tietoa siitä, miten päättäjät ja lainsäädännössä on käytetty tutkimusta. Tätä koodausmenetelmää soveltaa kaksi kooderia ja koodikirjaa tarkistetaan ja tarkennetaan edelleen, kunnes interkooderin luotettavuus saavuttaa vähintään 0,70 ja 30 % ensimmäisen aikajakson datasta on koodattu. Myöhemmin koulutetut koodaajat koodaavat yksitellen, ja johtava tutkija ottaa satunnaisesti näytteen 10 % näistä varmistaakseen koodauslaadun yhdenmukaisuuden. Nämä koodit muunnetaan tutkimuskäytön kvantitatiivisiksi indikaattoreiksi, jotka kuvataan tulosmittauksissa. Lainsäädäntötoimintaa arvioidaan vuosittain. Monimuuttuja Poisson-regressioanalyysit arvioivat muutosta tutkimuskäytössä (1) laskujen ja (2) virallisten lausuntojen temaattisissa koodeissa RPC:n interventio- ja valvontaolosuhteiden välillä. Maltillisuusanalyysit selvittävät edelleen, missä määrin lainsäädäntötoiminnan muutokset riippuvat yhteistyökokemusten luonteesta, muista tutkimustiedoista (esim. päättäjien käsityksistä tutkimuksen arvosta) ja lainsäätäjän ominaisuuksista (esim. puoluesidonnaisuus, ikä). .

Tutkimuskomponentti 3: RPC-mallin etnografinen arviointi Tämän tutkimuksen laadullinen osa liittyy läheisesti kvantitatiiviseen työhön ja pyrkii ymmärtämään paremmin RPC:n osallistujien kokemuksia ja prosesseja, jotka ovat taustalla tutkimusnäyttöä RPC-kontekstissa. Osallistavia ja etnografisia menetelmiä käyttäen kerätään tietoa kahdesta lähteestä: (1) kokeeseen osallistuneiden ja RPC:n henkilökunnan puolistrukturoiduista haastatteluista ja (2) tutkijakoulutusten ja tutkija-henkilöstön tapaamisten havainnoista. Haastatteluun osallistujat valitaan tutkimukseen osallistujien joukosta, jotka on satunnaisesti määrätty saamaan RPC:n, mukaan lukien 11 RPC-tutkijaa ja 11 RPC:n kongressin toimiston työntekijää, jotka haastatellaan ennen heidän osallistumistaan ​​RPC:hen, sekä 11 RPC-tutkijaa ja 11 kongressin toimiston työntekijää, jotka haastatellaan yhteistyötoimien jälkeen RPC:n kautta. Lisäksi kolmea RPC:n työntekijää haastatellaan ennen RPC:tä ja sen jälkeen. Lisänäkemyksen saamiseksi RPC:n toiminnasta ja vaikutuksista tehdään havaintoja tutkijoiden koulutuksista, virallisista tapaamisista ja tutkijoiden ja kongressin henkilökunnan epävirallisista vuorovaikutuksista sekä tapaamisista, jotka tapahtuvat osana RPC-yhteistyötä. Etnografisten parhaiden käytäntöjen mukaisesti toteutetaan "avoimia havaintoja" tärkeimmistä kokouksista ja koulutustilaisuuksista, jotta haastattelut rikastuttavat lisää tietoa siitä, miten osallistujat ovat vuorovaikutuksessa ja kuinka he reagoivat RPC:hen. Kentän muistiinpanot ja kopiot analysoidaan temaattisella analyysillä ja tulkitsevalla politiikka-analyysillä, joka tutkii erilaisia ​​rationaaleja ja retoriikkaa, kun keskustellaan yhteistyössä käytetystä todisteesta.