研究と政策の連携モデルの評価 (RPC)

目的: この研究の目的は、調査、インタビュー、および観察データの定性的および定量的分析の両方を使用して、ランダム化比較試験 (RCT) 内で政策立案者による研究証拠の使用をサポートするためのモデルの有効性を検証することです。政策と協力に関する研究。 議員の研究利用は、(1) 調査プロトコルによる自己報告、(2) 立法活動 (すなわち、提出された法案や公式声明)、(3) 定性的インタビューなどの複数の方法で評価されます。 さらに、インタビューと調査により、研究者が報告した有効性、スキル、公共政策への関与、および彼らの研究が政策プロセスによってどの程度情報化されているかが評価されます。

介入: 研究と政策のコラボレーション (RPC) は、(a) 現在の政策の優先事項に関連する研究を翻訳し、(b) 政策立案者と研究者間の生産的な交流を促進する必要性を示唆する理論的および実証的文献に基づいて構築されています。 RPC は、研究者と立法府の間の関係を育む中間組織によって実装される超党派のマニュアル化されたモデルです。 実装は、相互に関連する一連の 7 つのアクティビティを含む 2 つのフェーズで行われます。 能力構築段階において、RPC は同時に、トレーニングとコーチングによって研究者の誠実な知識ブローカーのスキル開発をサポートすると同時に、現在の優先事項と研究証拠への要望に関して議会事務所との繰り返しのニーズ評価を実施することを目指しています。 協力フェーズでは、関連する専門知識を持つ研究者が立法府と連携した迅速対応チームに結成されます。 RPC モデルは、足場を組んだ一連のやり取りを通じて、生産的な研究者と政策立案者の関係を育み、立法上の要請への対応をサポートするために使用されます。 RPC の有効性を評価することが現在の研究の焦点です。

研究デザイン:

この研究では、RCT のコンテキスト内で調査、インタビュー、観察データの定性的分析と定量的分析の両方を採用しています。 3 つの包括的な研究課題がこの作業を導き、研究の 3 つの異なる構成要素、つまり定量的調査による自己報告、コード化された立法活動による研究利用の観察、詳細なインタビューと参加者観察による民族誌と連携しています。

1. RPC は研究者や立法スタッフにどのような影響を与えますか? (自己申告)

   1. 研究者は、政策関連の研究を実施するための政策能力とモチベーションが向上したと報告していますか?
   2. 立法スタッフは、研究証拠の知識、意図された用途、および実際の使用に対する積極的な態度の増加を報告するでしょうか?
   3. 立法参加者や研究参加者への影響は、協力関係の側面（相互信頼による強化など）に応じて変化する可能性がありますか?

2. RPC は立法活動にどのような影響を与えますか? （観察）

   a) 議会は立法活動（すなわち、法案、公式声明）における研究証拠の利用を増やすだろうか？

3. RPC を通じたコラボレーションに関する認識や経験は、研究者や政策立案者の間でのさまざまな形態の証拠利用とどのように関係するのでしょうか? (民族誌)

   1. RPC への参加を妨げるものと促進要因は何ですか?
   2. RPC は研究者と政策立案者の間のどのような種類の相互作用に影響を与えますか?
   3. RPC は、参加者のお互いの思い込み、相互作用、意図にどのような影響を及ぼしますか?
   4. RPC への参加により、どのような種類の証拠の使用がサポートされますか?

サンプリングの枠組み すべての研究コンポーネントは、RPC への参加をオプトインした研究者および議会スタッフに研究への参加を求める初期サンプリングの枠組みから抽出されます。研究への参加に同意した人は、完全な RPC 介入グループ、または直接的な関与がほとんどない軽いタッチの対照グループのいずれかにランダムに割り当てられます。 この研究では、予想される減少に対抗するためにオーバーサンプリングが行われます。 最終サンプルには、96 の議会事務所 (RPC 48、対照グループ 48) と 226 人の研究者 (RPC 151、対照グループ 75) が含まれています。 これらのサンプルは、適格な介入参加者の特定された集団から抽出されました。

• 関連する立法府 (上院および下院) の人口は、立法者が (共同) 提案した子供/家族法案の数に基づいて特定されます。 無作為選出プロセスは、比例的な党派代表と、児童福祉に関連する活動範囲に及ぶ議員の代表を確保するために階層化される。 無作為化の前に、関連する議員の母集団には、議員が児童・家族政策法案を後援した回数に基づいて活動ランキングが割り当てられます。 活動ランキングは 1 ～ 10 の範囲で、最も少ない法案を共同提案した議員の 10% が 1 位にランクされ、最も多くの法案を共同提案した議員の 10% が 10 位にランクされます。 子ども/家族政策に関する一連の活動における採用と層別サンプリングは、サンプルの超党派の代表性を向上させるでしょう。 また、超党派の代表を支援するものとして、参加が偏った場合に党派に沿って強化される対象を絞ったアウトリーチ活動があります。
• 関連する子供/家族研究に取り組む研究者は、研究機関、専門家ネットワークとリストサーブ、文献検索、他の研究者からの紹介を通じて特定されます。 研究者には、専門知識を政策立案者に伝えることに関心のある、学術的および非学術的環境の両方からの研究指向の実践者およびプログラム評価者が含まれます。 政策関与介入への参加をオプトインした後、研究者は研究に参加するよう求められます。 研究参加者は、RPC または対照条件を受けるように無作為に割り当てられます。

研究コンポーネント 1: 自己申告による RPC の影響の定量的評価 構造化された調査を使用して、公共政策プロセスに関与する研究者の能力を評価します。 対応する調査プロトコルは、研究証拠の使用に関する立法スタッフの態度、知識、意図、および報告された行動を評価します。 研究者と立法職員の両者は、互いの協力的なやりとりの性質について質問されることになる。 調査は約3か月ごとに実施されます。 調査の構成要素は、結果の尺度で説明されています。 データがランダムに欠落していない場合、これがベスト プラクティスであるため、欠損データは複数の代入で処理されます。 マルチレベル モデリングは、結果変数の個々の軌跡を調べるために使用されます。 重回帰では、選択した時点間の変化を調べます。たとえば、研究者が報告した政策スキルがベースラインとトレーニング後との間で向上したかどうかなどです。 これらの分析により、RPC への参加が、(1) 研究者が政策立案者と関与する有効性の報告、(2) 立法職員の研究証拠の利用に対する関心と意欲、(3) 研究者と政策立案者双方の関心の増加と関連しているかどうかを調べることができる。一緒に働くことに対する前向きな感情。 縦断的分析により、時間の経過に伴う結果変数（研究者の能力の向上、議員の研究利用など）の軌跡を調査することがさらに可能になり、特に証拠の利用やその他の関心のある結果の変化をモデル化できます。 研究者と立法職員の成果の分析はすべて、少なくとも 90% のレベルで検出され、0.2 以上の効果量が検出されます (検出力分析は最適設計と経験的証拠を使用して実行されます)。

研究コンポーネント 2: 観察された RPC の立法活動への影響の定量的評価 自己報告による変化の定量的評価を補完するために、RPC 参加の前後で立法活動における研究証拠の使用が観察されます。 データは、演繹的コードから導き出された指標を使用した定量的分析の前に、選択、抽出、コード化されます。 法律データは、子供/家族との関連性を示すキーワードの使用に基づいて選択されます。 各法案は従来の定性的方法でコード化できるよりも多くのテキストで構成されているため、コード化する前に関連する条項（キーワードを含む条項）が抽出されます。 さらに、サンプルされた各請求書のサブセクションのタイトルはすべて、潜在的な関連性が検討され、研究証拠が使用されている場合は抽出されますが、それ以外の場合はキーワードによって捕捉されません。 立法活動に関するデータは、政策立案者や立法において研究がどのように利用されてきたかについての事前の調査結果に基づいて情報を与えられた詳細なコードブックに基づいてコード化されます。 このコーディング スキームは 2 人のコーダーによって適用され、インターコーダーの信頼性が少なくとも 0.70 に達し、最初の期間のデータの 30% がコーディングされるまでコードブックが修正され、さらに指定されます。 その後、訓練を受けたコーダーが個別にコードを作成し、主任調査員がその 10% をランダムにサンプリングして、コーディング品質の一貫性を確保します。 これらのコードは、研究用途の定量的指標に変換され、成果尺度で説明されます。 立法活動は毎年評価されます。 多変量ポアソン回帰分析は、(1) 法案と (2) 公式声明の主題コードにおける、RPC 介入と統制条件の間の研究利用の変化を評価します。 モデレーション分析では、立法活動の変化が協力経験の性質、他の調査データ（例えば、政策立案者の研究の価値に対する認識）、議員の特性（例えば、所属政党、年齢）にどの程度依存するかをさらに調査することになる。 。

研究要素 3: RPC モデルの民族学的評価 この研究の定性的要素は定量的研究と密接に関連しており、RPC 参加者の経験と、RPC の文脈における研究証拠の使用の基礎となるプロセスをより深く理解することを目指しています。 参加型および民族誌的手法を使用して、データは 2 つのソースから収集されます。(1) 治験参加者および RPC スタッフへの半構造化インタビュー、および (2) 研究者のトレーニングおよび研究者とスタッフの会議の観察。 インタビュー参加者は、RPC を受けるためにランダムに割り当てられた研究参加者のプールからサンプリングされます。これには、RPC に参加する前にインタビューされる RPC 研究者 11 名と RPC 議会事務局スタッフ 11 名、および RPC に参加する前にインタビューされる RPC 研究者 11 名と議会事務局スタッフ 11 名が含まれます。 RPC を介したコラボレーション活動の後にインタビューされます。 さらに、RPC スタッフ 3 名が RPC の前後に面接を受けます。 RPC の運用と影響についてさらに洞察を得るために、研究者向けのトレーニング、研究者と議会職員の間の公式会議や非公式の交流、RPC 協力の一環として行われる会議の観察が実施されます。 民族誌上のベストプラクティスに従って、主要な会議やトレーニングイベントの「公開観察」が実施され、参加者がどのように交流し、RPCにどのように反応するかについてのより多くの情報を提供してインタビューを充実させます。 フィールドノートとトランスクリプトは、テーマ分析と、共同研究で使用された証拠について議論する際のさまざまな合理性とレトリックを調査する解釈方針分析によって分析されます。