政策合作模式研究评价 (RPC)

目标：本研究的目的是检验支持决策者在随机对照试验 (RCT) 中使用研究证据的模型的有效性，该试验采用调查、访谈和观察数据的定性和定量分析，以了解使用政策与合作研究。 立法者的研究使用将通过多种方法进行评估，包括 (1) 通过调查协议进行自我报告，(2) 立法活动（即提出的法案和官方声明），以及 (3) 定性访谈。 此外，访谈和调查将评估研究人员报告的效能、技能和参与公共政策的情况，以及他们的工作在多大程度上受到政策过程的影响。

干预：研究与政策合作 (RPC) 建立在理论和实证文献的基础上，这些文献表明需要 (a) 转化与当前政策优先事项相关的研究，以及 (b) 促进决策者和研究人员之间的富有成效的互动。 RPC 是一个无党派的、手动化的模型，由一个中介组织实施，该组织培养研究人员和立法机构之间的关系。 实施分两个阶段进行，涉及一系列七项相互关联的活动。 在能力建设阶段，RPC 同时旨在通过培训和指导支持研究人员发展诚实的知识经纪人技能，同时还与国会办公室就他们当前的优先事项和对研究证据的渴望进行迭代需求评估。 在协作阶段，具有相关专业知识的研究人员被合并为与立法机关相匹配的快速反应小组。 通过脚手架式的一系列互动，RPC 模型被用来培养富有成效的研究人员与政策制定者之间的关系，并支持对立法要求的回应。 评估 RPC 的有效性是当前研究的重点。

学习规划：

本研究在随机对照试验的背景下对调查、访谈和观察数据进行定性和定量分析。 三个总体研究问题指导这项工作，并与研究的三个不同组成部分保持一致 - 通过定量调查进行自我报告，通过编码立法活动观察研究使用情况，以及通过深入访谈和参与者观察进行民族志研究。

1. RPC 如何影响研究人员和立法人员？ （自我报告）

   1. 研究人员是否报告了改进的政策能力和进行政策相关研究的动机？
   2. 立法人员是否会报告对研究证据的积极态度、知识、预期应用和实际使用的增加？
   3. 对立法和研究参与者的影响是否会随着他们合作关系的各个方面（例如，通过相互信任得到加强）而变化？

2. RPC 如何影响立法活动？ （观察）

   a) 国会办公室是否会在立法活动（即法案、官方声明）中增加对研究证据的使用？

3. 通过 RPC 进行合作的看法和经验如何与研究人员和决策者之间不同形式的证据使用相关联？ （民族志）

   1. 参与 RPC 的障碍和促进因素是什么？
   2. RPC 影响研究人员和政策制定者之间的哪些类型的互动？
   3. RPC 如何影响参与者对彼此的假设、彼此之间的交互以及他们的意图？
   4. RPC 参与支持哪些类型的证据使用？

抽样框架 所有研究组成部分均来自初始抽样框架，通过该框架将要求选择参与 RPC 的研究人员和国会工作人员参与研究；那些同意参与研究的人将被随机分配到完整的 RPC 干预组或接受很少直接参与的轻触控制组。 这项研究将过度抽样以对抗预期的减员。 最终样本包括 96 个国会办公室（RPC 48 个，对照组 48 个）和 226 个研究人员（RPC 151 个，对照组 75 个）。 这些样本来自确定的符合条件的干预参与者群体。

• 相关立法办公室（参议院和众议院）的人数将根据立法者（共同）赞助的儿童/家庭法案的数量确定。 随机选择过程将进行分层，以确保比例党派代表和从事与儿童福利相关活动的立法者的代表。 在随机化之前，相关立法者的人口将根据立法者赞助儿童/家庭政策法案的次数分配活动排名。 活动排名将从 1 到 10 不等，这样 10% 的（共同）发起法案最少的立法者将排名第 1，而 10% 共同发起法案最多的立法者将排名第 10。 在儿童/家庭政策的一系列活动中进行招募和分层抽样将提高样本的两党代表性。 还有助于两党代表的是有针对性的外展工作，如果参与变得不平衡，这些工作会沿着党派路线加强。
• 从事相关儿童/家庭研究的研究人员将通过研究机构、专业网络和邮件列表、文献搜索以及其他研究人员的推荐来确定。 研究人员包括来自学术和非学术环境的以研究为导向的从业人员和项目评估人员，他们有兴趣将他们的专业知识转化为决策者。 在选择参与政策参与干预后，研究人员被要求参与该研究。 研究参与者将随机接受 RPC 或控制条件。

研究组成部分 1：自我报告的 RPC 影响的定量评估 将使用结构化调查来评估研究人员参与公共政策流程的能力。 相应的调查协议将评估立法人员关于使用研究证据的态度、知识、意图和报告的行为。 研究人员和立法人员都将被问及他们之间协作互动的性质。 大约每三个月进行一次调查。 结果测量中描述了调查结构。 缺失数据将通过多重插补处理，因为当数据不是随机缺失时，这是最佳做法。 多级建模将用于检查结果变量中的个体轨迹。 多元回归将检查选定时间点之间的变化；例如，研究人员报告的政策技能是否在基线和培训后有所提高。 这些分析将使我们能够检查 RPC 参与是否与以下方面的增加有关：(1) 研究人员报告的与政策制定者互动的效率，(2) 立法人员使用研究证据的兴趣和意愿，以及 (3) 研究人员和政策制定者的一起工作的积极情绪。 纵向分析将进一步使我们能够探索结果变量随时间推移的轨迹（例如，研究人员能力的提高、立法者对研究的使用）——特别是对证据使用和其他感兴趣结果的变化进行建模。 研究人员和立法人员结果的分析都至少在 90% 的水平上有效，以检测 0.2 或更大的影响大小（使用优化设计和经验证据进行的功效分析）。

研究组成部分 2：观察到的 RPC 对立法活动的影响的定量评估 为了补充自我报告的变化定量评估，将在 RPC 参与之前和之后观察立法活动中研究证据的使用情况。 在使用演绎代码得出的指标进行定量分析之前，将选择、提取和编码数据。 将根据使用表明与儿童/家庭相关的关键字来选择立法数据。 由于每份法案将包含比使用传统定性方法编码可行的文本更多的文本，因此将在编码之前提取相关条款（包含关键字的条款）。 此外，如果使用研究证据但未通过关键字捕获，则将审查每个抽样法案的所有小节标题的潜在相关性并提取。 立法活动的数据将根据详细的密码本进行编码，该密码本根据有关政策制定者和立法如何使用研究的先前调查结果提供信息。 该编码方案将由两个编码器应用，并且将修改和进一步指定编码本，直到编码器间可靠性至少达到 0.70 并且第一时间段的 30% 的数据已被编码。 随后，受过训练的编码员将单独编码，首席调查员将随机抽取其中 10% 的样本，以确保编码质量的一致性。 这些代码将转化为研究使用的量化指标，在结果测量中进行描述。 立法活动将每年评估一次。 多元泊松回归分析将评估 RPC 干预和控制条件之间 (1) 法案和 (2) 官方声明的主题代码研究使用的变化。 适度分析将进一步探讨立法活动的变化在多大程度上取决于合作经验的性质、其他调查数据（例如，政策制定者对研究价值的看法）和立法者特征（例如，党派、年龄） .

研究组成部分 3：RPC 模型的民族志评估 本研究的定性部分与定量工作密切相关，旨在更好地了解 RPC 参与者的经验以及在 RPC 背景下使用研究证据的过程。 使用参与式和人种学方法，将从两个来源收集数据：(1) 试验参与者和 RPC 工作人员的半结构化访谈，以及 (2) 对研究人员培训和研究人员-工作人员会议的观察。 访谈参与者将从随机分配接受 RPC 的研究参与者中抽样，包括 11 名 RPC 研究人员和 11 名 RPC 国会办公室工作人员，他们将在参与 RPC 之前接受采访，以及 11 名 RPC 研究人员和 11 名国会办公室工作人员将在通过 RPC 开展合作活动后接受采访。 此外，将在 RPC 之前和之后采访 3 名 RPC 员工。 为了进一步了解 RPC 的运作和影响，将对研究人员培训、研究人员和国会工作人员之间的正式会议和非正式互动，以及作为任何 RPC 合作一部分​​的会议进行观察。 遵循人种学最佳实践，将对关键会议和培训活动进行“公开观察”，以通过更多有关与会者如何互动以及他们如何响应 RPC 的信息来丰富访谈。 现场笔记和成绩单将通过主题分析和解释性政策分析进行分析，在讨论合作中使用的证据时探索不同的合理性和修辞。