Évaluation du modèle de collaboration de la recherche aux politiques (RPC)

Objectif : Le but de cette étude est d'examiner l'efficacité d'un modèle pour soutenir l'utilisation par les décideurs des données de recherche dans le cadre d'un essai contrôlé randomisé (ECR) employant des analyses qualitatives et quantitatives d'enquêtes, d'entretiens et de données d'observation pour comprendre l'utilisation de recherche en politique et collaboration. L'utilisation de la recherche par les législateurs sera évaluée à l'aide de plusieurs méthodes, notamment (1) l'auto-évaluation via un protocole d'enquête, (2) l'activité législative (c'est-à-dire les projets de loi présentés et les déclarations officielles) et (3) des entretiens qualitatifs. De plus, des entretiens et des enquêtes évalueront l'efficacité, les compétences et l'engagement des chercheurs dans les politiques publiques, ainsi que la mesure dans laquelle leur travail est informé par le processus politique.

Intervention : La collaboration de la recherche à la politique (RPC) s'appuie sur la littérature théorique et empirique qui suggère la nécessité de (a) traduire la recherche pertinente aux priorités politiques actuelles et (b) faciliter les interactions productives entre les décideurs et les chercheurs. Le RPC est un modèle manuel non partisan mis en œuvre par une organisation intermédiaire qui cultive les relations entre les chercheurs et les bureaux législatifs. La mise en œuvre se déroule en deux phases impliquant une série de sept activités interdépendantes. Au cours de la phase de renforcement des capacités, le RPC vise simultanément à soutenir le développement par les chercheurs de compétences de courtier de connaissances honnêtes grâce à la formation et à l'encadrement, tout en procédant à des évaluations itératives des besoins avec les bureaux du Congrès concernant leurs priorités actuelles et leur désir de preuves de recherche. Dans la phase de collaboration, les chercheurs ayant une expertise pertinente sont regroupés dans des équipes d'intervention rapide qui sont jumelées avec les bureaux législatifs. Grâce à une série d'interactions échafaudées, le modèle RPC est utilisé pour cultiver des relations productives entre chercheurs et décideurs et soutenir les réponses aux demandes législatives. L'évaluation de l'efficacité du RPC est au centre de la présente étude.

Étudier le design:

Cette étude utilise à la fois des analyses qualitatives et quantitatives de données d'enquête, d'entretien et d'observation dans le contexte d'un ECR. Trois questions de recherche primordiales guident ce travail et s'alignent sur les trois différentes composantes de l'étude - l'auto-évaluation via une enquête quantitative, l'observation de l'utilisation de la recherche via une activité législative codée et l'ethnographie via des entretiens approfondis et des observations des participants.

1. Quel est l'impact du CPR sur les chercheurs et le personnel législatif ? (Auto-rapport)

   1. Les chercheurs signalent-ils une amélioration des compétences en matière de politiques et de la motivation pour mener des recherches pertinentes pour les politiques ?
   2. Le personnel législatif signalera-t-il une augmentation des attitudes positives envers, des connaissances, de l'application prévue et de l'utilisation réelle des données de recherche ?
   3. L'impact sur les participants à la législation et à la recherche variera-t-il en fonction des aspects de leur relation de collaboration (par exemple, renforcé par la confiance mutuelle) ?

2. Quel est l'impact du RPC sur l'activité législative ? (Observation)

   a) Les bureaux du Congrès augmenteront-ils leur utilisation des données de recherche dans les activités législatives (c'est-à-dire les projets de loi, les déclarations officielles) ?

3. Comment les perceptions et les expériences de collaboration par le biais du RPC pourraient-elles être liées aux différentes formes d'utilisation des données probantes par les chercheurs et les décideurs ? (Ethnographie)

   1. Quels sont les obstacles et les facilitateurs de la participation au RPC ?
   2. Quels types d'interactions entre les chercheurs et les décideurs le RPC influence-t-il ?
   3. Comment le RPC affecte-t-il les hypothèses des participants les uns sur les autres, les interactions les uns avec les autres et leurs intentions ?
   4. Quels types d'utilisation des données probantes sont soutenus par la participation au RPC ?

Cadre d'échantillonnage Toutes les composantes de l'étude s'appuient sur un cadre d'échantillonnage initial par lequel les chercheurs et le personnel du Congrès qui choisissent de participer au RPC seront invités à participer à l'étude ; ceux qui acceptent de participer à l'étude seront randomisés soit pour l'intervention RPC complète, soit pour un groupe témoin léger qui reçoit peu d'engagement direct. Cette étude suréchantillonnera pour lutter contre l'attrition anticipée. L'échantillon final comprend 96 bureaux du Congrès (48 en RPC, 48 en groupe témoin) et 226 chercheurs (151 en RPC, 75 en groupe témoin). Ces échantillons provenaient d'une population identifiée de participants à l'intervention éligibles.

• Une population de bureaux législatifs concernés (Sénat et Chambre) sera identifiée en fonction du nombre de projets de loi sur l'enfance/la famille que le législateur a (co) parrainés. Le processus de sélection aléatoire sera stratifié pour assurer une représentation partisane proportionnelle et une représentation des législateurs dont les activités liées au bien-être de l'enfance varient. Avant la randomisation, la population de législateurs concernés se verra attribuer un classement d'activité basé sur le nombre de fois qu'un législateur a parrainé un projet de loi sur la politique de l'enfance/de la famille. Le classement des activités ira de 1 à 10, de sorte que 10 % des législateurs qui ont (co) parrainé le moins de projets de loi seront classés 1, et 10 % des législateurs qui ont coparrainé le plus de projets de loi seront classés 10. Le recrutement et l'échantillonnage stratifié à travers un continuum d'activités sur la politique de l'enfance/de la famille amélioreront la représentation bipartite de l'échantillon. Les efforts de sensibilisation ciblés qui s'intensifient selon les partis si la participation devient biaisée contribuent également à la représentation bipartite.
• Les chercheurs qui travaillent sur des recherches pertinentes sur l'enfant/la famille seront identifiés par le biais d'institutions de recherche, de réseaux professionnels et de listes de diffusion, de recherches documentaires et de références d'autres chercheurs. Les chercheurs comprennent des praticiens axés sur la recherche et des évaluateurs de programmes issus de milieux universitaires et non universitaires qui souhaitent traduire leur expertise auprès des décideurs. Après avoir accepté de participer à une intervention d'engagement politique, les chercheurs sont invités à participer à l'étude. Les participants à l'étude seront randomisés pour recevoir le RPC ou la condition de contrôle.

Composante de l'étude 1 : Évaluation quantitative de l'impact autodéclaré du RPC Une enquête structurée sera utilisée pour évaluer la capacité des chercheurs à s'engager dans les processus de politique publique. Un protocole d'enquête correspondant évaluera les attitudes, les connaissances, l'intention et le comportement signalé du personnel législatif concernant l'utilisation des preuves issues de la recherche. Les chercheurs et le personnel législatif seront interrogés sur la nature de leurs interactions collaboratives les uns avec les autres. Des enquêtes seront menées environ tous les trois mois. Les concepts d'enquête sont décrits dans les mesures des résultats. Les données manquantes seront traitées par imputation multiple car il s'agit de la meilleure pratique lorsque les données ne manquent pas au hasard. La modélisation à plusieurs niveaux sera utilisée pour examiner les trajectoires individuelles des variables de résultats. La régression multiple examinera les changements entre certains points temporels ; par exemple, si les compétences politiques déclarées par les chercheurs s'améliorent entre le début et après les formations. Ces analyses nous permettront d'examiner si la participation au RPC est associée à une augmentation (1) de l'efficacité rapportée des chercheurs à s'engager auprès des décideurs, (2) de l'intérêt et de la volonté du personnel législatif d'utiliser les données de la recherche, et (3) de l'efficacité des chercheurs et des décideurs. sentiment positif de travailler ensemble. Les analyses longitudinales nous permettront en outre d'explorer la trajectoire des variables de résultats au fil du temps (par exemple, l'amélioration des compétences des chercheurs, l'utilisation de la recherche par les législateurs) - en modélisant spécifiquement les changements dans l'utilisation des preuves et d'autres résultats d'intérêt. Les analyses des résultats des chercheurs et du personnel législatif sont toutes alimentées au moins à un niveau de 90 % pour détecter des tailles d'effet de 0,2 ou plus (analyse de puissance réalisée avec une conception optimale plus des preuves empiriques).

Composante 2 de l'étude : Évaluation quantitative de l'impact observé du RPC sur l'activité législative Pour compléter l'évaluation quantitative autodéclarée du changement, l'utilisation des données de recherche dans les activités législatives sera observée avant et après la participation au RPC. Les données seront sélectionnées, extraites et codées avant les analyses quantitatives avec des indicateurs dérivés de codes déductifs. Les données législatives seront sélectionnées en fonction de l'utilisation de mots-clés indiquant leur pertinence pour l'enfant/la famille. Étant donné que chaque projet de loi comprendra plus de texte qu'il n'est possible de coder avec les méthodes qualitatives traditionnelles, les dispositions pertinentes seront extraites avant le codage (celles contenant des mots-clés). De plus, tous les titres de sous-section pour chaque projet de loi échantillonné seront examinés pour leur pertinence potentielle et extraits si des preuves de recherche sont utilisées mais non capturées autrement par des mots-clés. Les données sur l'activité législative seront codées sur la base d'un livre de codes détaillé informé par les résultats antérieurs de la manière dont la recherche a été utilisée par les décideurs et dans la législation. Ce schéma de codage sera appliqué par deux codeurs et le livre de codes sera révisé et précisé jusqu'à ce que la fiabilité de l'intercodeur atteigne au moins 0,70 et que 30 % des données pour la première période aient été codées. Par la suite, des codeurs formés coderont individuellement et un enquêteur principal échantillonnera au hasard 10 % d'entre eux pour assurer la cohérence de la qualité du codage. Ces codes seront convertis en indicateurs quantitatifs de l'utilisation de la recherche, qui sont décrits dans les mesures des résultats. L'activité législative sera évaluée annuellement. Des analyses de régression de Poisson multivariées évalueront l'évolution de l'utilisation de la recherche dans les codes thématiques de (1) factures et (2) déclarations officielles entre l'intervention RPC et les conditions de contrôle. Les analyses de modération exploreront plus avant la mesure dans laquelle les changements dans l'activité législative dépendent de la nature des expériences de collaboration, d'autres données d'enquête (par exemple, les perceptions des décideurs politiques de la valeur de la recherche) et des caractéristiques du législateur (par exemple, l'affiliation à un parti, les années d'âge) .

Composante 3 de l'étude : Évaluation ethnographique du modèle RPC La composante qualitative de cette étude est étroitement liée au travail quantitatif et vise à mieux comprendre les expériences des participants au RPC et les processus sous-jacents à l'utilisation des données de recherche dans le contexte du RPC. En utilisant des méthodes participatives et ethnographiques, les données seront collectées à partir de deux sources : (1) des entretiens semi-structurés des participants à l'essai et du personnel du RPC, et (2) des observations de formations de chercheurs et de réunions de chercheurs et de personnel. Les participants aux entretiens seront sélectionnés à partir du groupe de participants à l'étude assignés au hasard pour recevoir le RPC, y compris 11 chercheurs du RPC et 11 membres du personnel du bureau du Congrès du RPC qui seront interrogés avant leur participation au RPC, et 11 chercheurs du RPC et 11 membres du personnel du bureau du Congrès qui seront interviewés suite aux activités de collaboration via le RPC. De plus, 3 membres du personnel du RPC seront interrogés avant et après le RPC. Pour mieux comprendre les opérations et l'impact du RPC, des observations seront menées sur les formations pour les chercheurs, les réunions formelles et les interactions informelles entre les chercheurs et le personnel du Congrès, et les réunions qui ont lieu dans le cadre de toute collaboration RPC. Conformément aux meilleures pratiques ethnographiques, des "observations ouvertes" des réunions clés et des événements de formation seront menées pour enrichir les entretiens avec plus d'informations sur la façon dont les participants interagissent et comment ils réagissent au RPC. Les notes de terrain et les transcriptions seront analysées avec une analyse thématique et une analyse politique interprétative qui explore différentes rationalités et rhétoriques lors de la discussion des preuves utilisées dans la collaboration.