Valutazione del modello Research to Policy Collaboration (RPC)

Obiettivo: Lo scopo di questo studio è esaminare l'efficacia di un modello per supportare l'uso da parte dei responsabili politici delle prove della ricerca all'interno di uno studio controllato randomizzato (RCT) impiegando analisi sia qualitative che quantitative di sondaggi, interviste e dati osservativi per comprendere l'uso di ricerca nella politica e nella collaborazione. L'uso della ricerca da parte dei legislatori sarà valutato con molteplici metodi, tra cui (1) autovalutazione tramite un protocollo di indagine, (2) attività legislativa (ad esempio progetti di legge presentati e dichiarazioni ufficiali) e (3) interviste qualitative. Inoltre, interviste e sondaggi valuteranno l'efficacia, l'abilità e l'impegno segnalati dai ricercatori nelle politiche pubbliche e la misura in cui il loro lavoro è influenzato dal processo politico.

Intervento: la Research-to-Policy Collaboration (RPC) si basa sulla letteratura teorica ed empirica che suggerisce la necessità di (a) tradurre la ricerca relativa alle attuali priorità politiche e (b) facilitare le interazioni produttive tra responsabili politici e ricercatori. Il RPC è un modello manualizzato e apartitico implementato da un'organizzazione intermediaria che coltiva i rapporti tra ricercatori e uffici legislativi. L'implementazione avviene in due fasi che comportano una serie di sette attività correlate. Durante la fase di sviluppo delle capacità, l'RPC mira contemporaneamente a sostenere lo sviluppo da parte del ricercatore di oneste capacità di mediatore di conoscenze con formazione e coaching, conducendo anche valutazioni iterative dei bisogni con gli uffici del Congresso in merito alle loro priorità attuali e al desiderio di prove di ricerca. Nella fase di collaborazione, i ricercatori con competenze pertinenti vengono riuniti in team di risposta rapida abbinati agli uffici legislativi. Attraverso una serie di interazioni impalcate, il modello RPC viene utilizzato per coltivare relazioni produttive tra ricercatore e decisore politico e supportare le risposte alle richieste legislative. La valutazione dell'efficacia dell'RPC è al centro del presente studio.

Disegno dello studio:

Questo studio impiega analisi qualitative e quantitative di sondaggi, interviste e dati osservativi nel contesto di un RCT. Tre domande di ricerca generali guidano questo lavoro e si allineano con le tre diverse componenti dello studio: autovalutazione tramite un'indagine quantitativa, osservazione dell'uso della ricerca tramite attività legislativa codificata ed etnografia tramite interviste approfondite e osservazioni dei partecipanti.

1. In che modo l'RPC influisce sui ricercatori e sul personale legislativo? (Autovalutazione)

   1. I ricercatori riferiscono di migliorare le competenze politiche e la motivazione per condurre ricerche rilevanti per le politiche?
   2. Il personale legislativo riporterà un aumento degli atteggiamenti positivi, della conoscenza, dell'applicazione prevista e dell'uso effettivo delle prove della ricerca?
   3. L'impatto sui partecipanti legislativi e di ricerca potrebbe variare in funzione degli aspetti del loro rapporto di collaborazione (ad esempio, rafforzato dalla fiducia reciproca)?

2. In che modo l'RPC influisce sull'attività legislativa? (Osservazione)

   a) Gli uffici del Congresso aumenteranno il loro uso delle prove della ricerca nelle attività legislative (ad esempio progetti di legge, dichiarazioni ufficiali)?

3. In che modo le percezioni e le esperienze di collaborazione attraverso l'RPC possono essere correlate a diverse forme di utilizzo delle prove tra ricercatori e responsabili politici? (Etnografia)

   1. Quali sono le barriere e i facilitatori della partecipazione al RPC?
   2. Quali tipi di interazioni tra ricercatori e decisori politici influenza l'RPC?
   3. In che modo l'RPC influenza le ipotesi reciproche dei partecipanti, le interazioni reciproche e le loro intenzioni?
   4. Quali tipi di utilizzo delle prove sono supportati dalla partecipazione RPC?

Quadro di campionamento Tutti i componenti dello studio attingono da un quadro di campionamento iniziale attraverso il quale i ricercatori e il personale del Congresso che decidono di partecipare all'RPC saranno invitati a partecipare allo studio; coloro che accettano di partecipare allo studio saranno randomizzati per l'intero intervento RPC o per un gruppo di controllo a tocco leggero che riceve un coinvolgimento diretto limitato. Questo studio eseguirà un oversampling per combattere l'attrito previsto. Il campione finale comprende 96 sedi congressuali (48 in RPC, 48 in gruppo di controllo) e 226 ricercatori (151 in RPC, 75 in gruppo di controllo). Questi campioni sono stati derivati ​​da una popolazione identificata di partecipanti ammissibili all'intervento.

• Una popolazione di uffici legislativi pertinenti (Senato e Camera) sarà identificata in base al numero di progetti di legge sui bambini/famiglia che il legislatore ha (co)sponsorizzato. Il processo di selezione casuale sarà stratificato per garantire una rappresentanza di parte proporzionale e una rappresentanza dei legislatori che spaziano in attività legate al benessere dei minori. Prima della randomizzazione, alla popolazione dei legislatori pertinenti verrà assegnata una classifica delle attività in base al numero di volte in cui un legislatore ha sponsorizzato un disegno di legge sulla politica per l'infanzia/la famiglia. Le classifiche delle attività andranno da 1 a 10 in modo tale che il 10% dei legislatori che hanno (co)sponsorizzato il minor numero di progetti di legge sarà classificato 1 e il 10% dei legislatori che hanno co-sponsorizzato il maggior numero di progetti di legge sarà classificato 10. Il reclutamento e il campionamento stratificato attraverso un continuum di attività sulla politica per i bambini e la famiglia miglioreranno la rappresentazione bipartisan del campione. Anche l'aiuto alla rappresentanza bipartisan sono sforzi di sensibilizzazione mirati che si intensificano lungo le linee del partito se la partecipazione diventa distorta.
• I ricercatori che lavorano su ricerche pertinenti su bambini/famiglie saranno identificati tramite istituti di ricerca, reti professionali e listserv, ricerche bibliografiche e segnalazioni di altri ricercatori. I ricercatori includono professionisti orientati alla ricerca e valutatori di programmi provenienti da contesti sia accademici che non accademici che sono interessati a tradurre la loro esperienza con i responsabili politici. Dopo aver scelto di partecipare a un intervento di impegno politico, ai ricercatori viene chiesto di partecipare allo studio. I partecipanti allo studio saranno randomizzati per ricevere l'RPC o la condizione di controllo.

Componente dello studio 1: valutazione quantitativa dell'impatto dell'RPC autodichiarato Un'indagine strutturata verrà utilizzata per valutare la capacità dei ricercatori di impegnarsi in processi di politica pubblica. Un protocollo di indagine corrispondente valuterà gli atteggiamenti, le conoscenze, le intenzioni e il comportamento riferito del personale legislativo in merito all'uso delle prove della ricerca. Sia i ricercatori che il personale legislativo saranno interrogati sulla natura delle loro reciproche interazioni collaborative. I sondaggi saranno effettuati ogni tre mesi circa. I costrutti del sondaggio sono descritti nelle misure di risultato. I dati mancanti verranno gestiti con attribuzione multipla perché questa è la migliore pratica quando i dati non mancano in modo casuale. La modellazione multilivello verrà utilizzata per esaminare le traiettorie individuali nelle variabili di risultato. La regressione multipla esaminerà le modifiche tra punti temporali selezionati; ad esempio, se le competenze politiche segnalate dai ricercatori migliorano tra il livello di base e dopo i corsi di formazione. Queste analisi ci consentiranno di esaminare se la partecipazione del RPC è associata ad aumenti di (1) efficacia segnalata dai ricercatori nell'impegnarsi con i responsabili delle politiche, (2) interesse e volontà del personale legislativo di utilizzare le prove della ricerca e (3) sia i ricercatori che i responsabili delle politiche sentimento positivo verso la collaborazione. Le analisi longitudinali ci consentiranno inoltre di esplorare la traiettoria delle variabili di risultato nel tempo (ad esempio, migliori competenze dei ricercatori, uso della ricerca da parte dei legislatori), modellando specificamente il cambiamento nell'uso delle prove e altri risultati di interesse. Le analisi dei risultati dei ricercatori e del personale legislativo sono tutte alimentate almeno a un livello del 90% per rilevare dimensioni dell'effetto di 0,2 o superiori (analisi della potenza condotta con Optimal Design plus Empirical Evidence).

Componente 2 dello studio: valutazione quantitativa dell'impatto osservato del RPC sull'attività legislativa Per completare la valutazione quantitativa autodichiarata del cambiamento, sarà osservato l'uso delle prove della ricerca nelle attività legislative prima e dopo la partecipazione del RPC. I dati saranno selezionati, estratti e codificati prima delle analisi quantitative con indicatori derivati ​​da codici deduttivi. I dati legislativi saranno selezionati in base all'uso di parole chiave che indichino la rilevanza per il bambino/la famiglia. Poiché ogni bolletta comprenderà più testo di quanto sia possibile codificare con i metodi qualitativi tradizionali, le disposizioni pertinenti saranno estratte prima della codifica (quelle contenenti parole chiave). Inoltre, tutti i titoli delle sottosezioni per ciascuna fattura campionata verranno esaminati per potenziale pertinenza ed estratti se vengono utilizzate prove di ricerca ma non catturate altrimenti da parole chiave. I dati sull'attività legislativa saranno codificati sulla base di un codebook dettagliato informato da precedenti scoperte su come la ricerca è stata utilizzata dai responsabili politici e nella legislazione. Questo schema di codifica verrà applicato da due codificatori e il codebook sarà rivisto e ulteriormente specificato fino a quando l'affidabilità dell'intercodificatore raggiungerà almeno lo 0,70 e il 30% dei dati per il primo periodo di tempo sarà stato codificato. Successivamente, i programmatori addestrati codificheranno individualmente e un investigatore capo campionerà casualmente il 10% di questi per garantire la coerenza nella qualità della codifica. Questi codici saranno convertiti in indicatori quantitativi dell'uso della ricerca, che sono descritti nelle misure di esito. L'attività legislativa sarà valutata annualmente. Le analisi di regressione multivariata di Poisson valuteranno il cambiamento nell'uso della ricerca nei codici tematici di (1) progetti di legge e (2) dichiarazioni ufficiali tra l'intervento RPC e le condizioni di controllo. Le analisi di moderazione esploreranno ulteriormente la misura in cui i cambiamenti nell'attività legislativa dipendono dalla natura delle esperienze di collaborazione, da altri dati del sondaggio (ad esempio, le percezioni dei responsabili politici del valore della ricerca) e dalle caratteristiche del legislatore (ad esempio, affiliazione al partito, anni di età) .

Componente dello studio 3: valutazione etnografica del modello RPC La componente qualitativa di questo studio è strettamente legata al lavoro quantitativo e cerca di comprendere meglio le esperienze dei partecipanti RPC ei processi alla base dell'uso delle evidenze della ricerca nel contesto RPC. Utilizzando metodi partecipativi ed etnografici, i dati saranno raccolti da due fonti: (1) interviste semi-strutturate dei partecipanti allo studio e del personale RPC, e (2) osservazioni dei corsi di formazione dei ricercatori e degli incontri tra il personale e i ricercatori. I partecipanti al colloquio saranno campionati dal pool di partecipanti allo studio assegnati in modo casuale a ricevere l'RPC, inclusi 11 ricercatori RPC e 11 membri del personale dell'ufficio del Congresso RPC che saranno intervistati prima del loro coinvolgimento nell'RPC, e 11 ricercatori RPC e 11 membri del personale dell'ufficio del Congresso che saranno intervistati a seguito di attività di collaborazione tramite RPC. Inoltre, 3 membri del personale RPC saranno intervistati prima e dopo l'RPC. Per ottenere ulteriori informazioni sulle operazioni e sull'impatto dell'RPC, saranno condotte osservazioni su corsi di formazione per ricercatori, incontri formali e interazioni informali tra ricercatori e personale del Congresso e incontri che si verificano come parte di qualsiasi collaborazione RPC. Seguendo le migliori pratiche etnografiche, saranno condotte "osservazioni aperte" di incontri chiave ed eventi di formazione per arricchire le interviste con maggiori informazioni su come interagiscono i partecipanti e su come rispondono all'RPC. Le note sul campo e le trascrizioni saranno analizzate con un'analisi tematica e un'analisi politica interpretativa che esplora diverse razionalità e retorica quando si discutono le prove utilizzate nella collaborazione.