Ocena modelu współpracy badawczej dla polityki (RPC)

Cel: Celem tego badania jest zbadanie skuteczności modelu wspierania decydentów w wykorzystywaniu dowodów badawczych w ramach randomizowanego badania kontrolowanego (RCT), wykorzystującego zarówno jakościowe, jak i ilościowe analizy ankiet, wywiadów i danych obserwacyjnych, aby zrozumieć wykorzystanie badania w zakresie polityki i współpracy. Wykorzystanie badań przez ustawodawców będzie oceniane za pomocą wielu metod, w tym (1) samoopisu za pośrednictwem protokołu ankiety, (2) działalności legislacyjnej (tj. wprowadzonych projektów ustaw i oficjalnych oświadczeń) oraz (3) wywiadów jakościowych. Ponadto wywiady i ankiety ocenią skuteczność, umiejętności i zaangażowanie naukowców w politykę publiczną oraz stopień, w jakim ich praca jest kształtowana przez proces polityczny.

Interwencja: Współpraca Research-to-Policy Collaboration (RPC) opiera się na literaturze teoretycznej i empirycznej, która sugeruje potrzebę (a) przełożenia badań istotnych dla bieżących priorytetów politycznych oraz (b) ułatwienia produktywnych interakcji między decydentami a naukowcami. RPC to bezstronny, zręczny model wdrażany przez organizację pośredniczącą, która kultywuje relacje między badaczami a biurami legislacyjnymi. Wdrożenie odbywa się w dwóch fazach obejmujących serię siedmiu powiązanych ze sobą działań. W fazie budowania potencjału RPC ma jednocześnie na celu wspieranie rozwoju umiejętności uczciwego brokera wiedzy przez naukowców poprzez szkolenia i coaching, a także przeprowadzanie iteracyjnych ocen potrzeb z biurami Kongresu w odniesieniu do ich bieżących priorytetów i zapotrzebowania na dowody badawcze. Na etapie współpracy badacze posiadający odpowiednią wiedzę fachową łączą się w zespoły szybkiego reagowania, które są dopasowane do urzędów legislacyjnych. Dzięki serii interakcji opartych na rusztowaniach model RPC jest wykorzystywany do kultywowania produktywnych relacji między badaczami a decydentami oraz wspierania odpowiedzi na wnioski legislacyjne. Obecne badanie skupia się na ocenie skuteczności RPC.

Projekt badania:

Badanie to wykorzystuje zarówno jakościowe, jak i ilościowe analizy ankiet, wywiadów i danych obserwacyjnych w kontekście RCT. Trzy nadrzędne pytania badawcze kierują tą pracą i są zgodne z trzema różnymi komponentami badania - samoopisem za pomocą ankiety ilościowej, obserwacją wykorzystania badań poprzez zakodowaną działalność legislacyjną oraz etnografię poprzez pogłębione wywiady i obserwacje uczestniczące.

1. W jaki sposób RPC wpływa na badaczy i personel ustawodawczy? (autoraport)

   1. Czy badacze zgłaszają poprawę kompetencji politycznych i motywacji do prowadzenia badań istotnych dla polityki?
   2. Czy personel legislacyjny zgłosi wzrost pozytywnego nastawienia do dowodów naukowych, ich wiedzy, zamierzonego zastosowania i faktycznego wykorzystania?
   3. Czy wpływ na uczestników legislacyjnych i badawczych będzie różny w zależności od aspektów ich współpracy (np. wzmocnionej wzajemnym zaufaniem)?

2. Jak RPC wpływa na działalność legislacyjną? (Obserwacja)

   a) Czy biura Kongresu zwiększą wykorzystanie dowodów naukowych w działaniach legislacyjnych (tj. rachunki, oficjalne oświadczenia)?

3. W jaki sposób postrzeganie i doświadczenia współpracy w ramach RPC mogą odnosić się do różnych form wykorzystywania dowodów przez badaczy i decydentów? (Etnografia)

   1. Jakie są bariery i ułatwienia uczestnictwa w RPC?
   2. Na jakie rodzaje interakcji między naukowcami a decydentami wpływa RPC?
   3. W jaki sposób RPC wpływa na założenia uczestników dotyczące siebie nawzajem, wzajemne interakcje i ich intencje?
   4. Jakie rodzaje wykorzystania dowodów są wspierane przez uczestnictwo w RPC?

Schemat doboru próby Wszystkie komponenty badania opierają się na wstępnym schemacie doboru próby, w ramach którego badacze i pracownicy Kongresu, którzy zdecydują się na udział w RPC, zostaną poproszeni o udział w badaniu; ci, którzy wyrażą zgodę na udział w badaniu, zostaną losowo przydzieleni do pełnej interwencji RPC lub do lekkiej grupy kontrolnej, która jest mało bezpośrednio zaangażowana. W tym badaniu zostanie zastosowana nadpróbka, aby przeciwdziałać przewidywanemu wyniszczeniu. Ostateczna próba obejmuje 96 biur kongresowych (48 w RPC, 48 w grupie kontrolnej) i 226 badaczy (151 w RPC, 75 w grupie kontrolnej). Próbki te pochodziły ze zidentyfikowanej populacji kwalifikujących się uczestników interwencji.

• Populacja odpowiednich urzędów ustawodawczych (Senatu i Izby Reprezentantów) zostanie zidentyfikowana na podstawie liczby rachunków dzieci/rodzin, które ustawodawca (współ)sponsorował. Proces losowej selekcji będzie podzielony na warstwy, aby zapewnić proporcjonalną reprezentację stronniczą i reprezentację ustawodawców, którzy zajmują się działalnością związaną z dobrostanem dzieci. Przed randomizacją populacja odpowiednich ustawodawców zostanie przypisana do rankingu działań na podstawie tego, ile razy ustawodawca sponsorował rachunek dotyczący polityki wobec dzieci/rodziny. Rankingi działań będą się wahać od 1 do 10, tak że 10% ustawodawców, którzy (współ)sponsorowali najmniej projektów ustaw, zajmie 1. miejsce, a 10% ustawodawców, którzy współsponsorowali najwięcej projektów ustaw, zajmie 10. miejsce. Rekrutacja i warstwowy dobór próby w ramach kontinuum działań w zakresie polityki dotyczącej dzieci/rodziny poprawi dwustronną reprezentację próby. Pomocą w reprezentacji ponadpartyjnej są również ukierunkowane działania informacyjne, które intensyfikują się zgodnie z liniami partyjnymi, jeśli uczestnictwo staje się wypaczone.
• Naukowcy, którzy pracują nad odpowiednimi badaniami nad dziećmi/rodzinami, zostaną zidentyfikowani za pośrednictwem instytucji badawczych, profesjonalnych sieci i listserwerów, wyszukiwania literatury i skierowań od innych badaczy. Wśród badaczy znajdują się zorientowani na badania praktycy i ewaluatorzy programów zarówno ze środowisk akademickich, jak i pozaakademickich, którzy są zainteresowani przełożeniem swojej wiedzy specjalistycznej na decydentów. Po wyrażeniu zgody na udział w interwencji dotyczącej polityki, naukowcy są proszeni o udział w badaniu. Uczestnicy badania zostaną losowo przydzieleni do otrzymania RPC lub warunku kontrolnego.

Komponent badawczy 1: Ilościowa ocena wpływu RPC zgłaszanego przez samych siebie Do oceny zdolności naukowców do angażowania się w procesy polityki publicznej zostanie wykorzystana ustrukturyzowana ankieta. Odpowiedni protokół ankiety oceni postawy, wiedzę, intencje i zgłoszone zachowania personelu legislacyjnego w zakresie wykorzystania dowodów badawczych. Zarówno naukowcy, jak i personel legislacyjny zostaną zapytani o charakter ich wzajemnych interakcji. Ankiety będą przeprowadzane mniej więcej co trzy miesiące. Konstrukcje ankiety są opisane w miarach wyniku. Brakujące dane będą obsługiwane z wielokrotnym imputacją, ponieważ jest to najlepsza praktyka, gdy brak danych nie występuje losowo. Modelowanie wielopoziomowe zostanie wykorzystane do zbadania poszczególnych trajektorii zmiennych wynikowych. Wielokrotna regresja zbada zmiany między wybranymi punktami czasowymi; na przykład, czy zgłaszane przez badaczy umiejętności w zakresie polityki poprawiają się między stanem wyjściowym a kolejnymi szkoleniami. Analizy te pozwolą nam zbadać, czy udział RPC wiąże się ze wzrostem (1) zgłaszanej przez badaczy skuteczności współpracy z decydentami, (2) zainteresowaniem i chęcią personelu legislacyjnego do wykorzystania dowodów naukowych oraz (3) zarówno naukowców, jak i decydentów pozytywne nastawienie do współpracy. Analizy podłużne pozwolą nam dalej badać trajektorię zmiennych wynikowych w czasie (np. ulepszone kompetencje badaczy, wykorzystanie badań przez prawodawców) – w szczególności modelując zmiany w wykorzystaniu dowodów i innych interesujących wyników. Wszystkie analizy wyników naukowców i personelu legislacyjnego są zasilane co najmniej na poziomie 90%, aby wykryć wielkość efektu równą 0,2 lub większą (analiza mocy przeprowadzona za pomocą optymalnego projektu i dowodów empirycznych).

Komponent badania 2: Ilościowa ocena obserwowanego wpływu RPC na działalność legislacyjną W celu uzupełnienia ilościowej oceny zmian zgłaszanej przez samych siebie, przed i po udziale RPC obserwowane będzie wykorzystanie dowodów badawczych w działaniach legislacyjnych. Dane zostaną wyselekcjonowane, wyodrębnione i zakodowane przed analizami ilościowymi ze wskaźnikami wyprowadzonymi z kodów dedukcyjnych. Dane legislacyjne zostaną wybrane na podstawie użycia słów kluczowych wskazujących na znaczenie dla dziecka/rodziny. Ponieważ każdy rachunek będzie zawierał więcej tekstu, niż jest to możliwe do zakodowania tradycyjnymi metodami jakościowymi, odpowiednie przepisy zostaną wyodrębnione przed kodowaniem (te zawierające słowa kluczowe). Ponadto wszystkie tytuły podsekcji dla każdego rachunku objętego próbą zostaną sprawdzone pod kątem potencjalnego znaczenia i wyodrębnione, jeśli zostaną wykorzystane dowody badawcze, ale nie zostaną uchwycone w inny sposób za pomocą słów kluczowych. Dane dotyczące działalności legislacyjnej będą kodowane na podstawie szczegółowego słownika opartego na wcześniejszych ustaleniach, w jaki sposób badania były wykorzystywane przez decydentów i prawodawstwo. Ten schemat kodowania będzie stosowany przez dwóch koderów, a książka kodów będzie poprawiana i doprecyzowywana, aż niezawodność interkodera osiągnie co najmniej 0,70 i 30% danych dla pierwszego okresu czasu zostanie zakodowanych. Następnie przeszkoleni programiści będą kodować indywidualnie, a główny badacz losowo pobierze próbki z 10% z nich, aby zapewnić spójność jakości kodowania. Kody te zostaną przekształcone w ilościowe wskaźniki wykorzystania badań, które są opisane w miarach wyników. Działalność legislacyjna będzie oceniana corocznie. Wielowymiarowe analizy regresji Poissona ocenią zmianę wykorzystania badawczego w kodach tematycznych (1) rachunków i (2) oficjalnych oświadczeń między interwencją RPC a warunkami kontroli. Analizy moderacji będą dalej badać, w jakim stopniu zmiany w działalności legislacyjnej zależą od charakteru doświadczeń związanych ze współpracą, innych danych ankietowych (np. .

Komponent badania 3: Etnograficzna ocena modelu RPC Komponent jakościowy tego badania jest ściśle powiązany z pracą ilościową i ma na celu lepsze zrozumienie doświadczeń uczestników RPC oraz procesów leżących u podstaw wykorzystania dowodów badawczych w kontekście RPC. Wykorzystując metody partycypacyjne i etnograficzne, dane będą zbierane z dwóch źródeł: (1) częściowo ustrukturyzowanych wywiadów z uczestnikami badania i personelem RPC oraz (2) obserwacji szkoleń naukowców i spotkań naukowców z personelem. Uczestnicy wywiadów zostaną wybrani z puli uczestników badania losowo przydzielonych do otrzymania RPC, w tym 11 badaczy RPC i 11 pracowników biura Kongresu RPC, z którymi zostaną przeprowadzone rozmowy przed zaangażowaniem się w RPC, oraz 11 badaczy RPC i 11 pracowników biura Kongresu, którzy zostaną przesłuchani po działaniach związanych ze współpracą za pośrednictwem RPC. Dodatkowo, przed i po RPC zostanie przeprowadzony wywiad z 3 pracownikami RPC. Aby uzyskać dodatkowy wgląd w działania i wpływ RPC, prowadzone będą obserwacje szkoleń dla naukowców, formalnych spotkań i nieformalnych interakcji między naukowcami a personelem Kongresu oraz spotkań, które mają miejsce w ramach współpracy RPC. Zgodnie z najlepszymi praktykami etnograficznymi zostaną przeprowadzone „otwarte obserwacje” kluczowych spotkań i wydarzeń szkoleniowych, aby wzbogacić wywiady o więcej informacji o tym, jak uczestnicy wchodzą w interakcje i jak reagują na RPC. Notatki terenowe i transkrypcje zostaną przeanalizowane za pomocą analizy tematycznej i analizy polityki interpretacyjnej, która bada różne racjonalności i retorykę podczas omawiania dowodów wykorzystanych we współpracy.