정책협력 모델에 대한 연구 평가 (RPC)

목적: 이 연구의 목적은 설문 조사, 인터뷰 및 관찰 데이터의 정성적 및 정량적 분석을 모두 사용하는 무작위 통제 시험(RCT) 내에서 정책 입안자들의 연구 증거 사용을 지원하는 모델의 효과를 조사하여 사용을 이해하는 것입니다. 정책 및 협업 연구. 입법자의 연구 사용은 (1) 설문 조사 프로토콜을 통한 자체 보고, (2) 입법 활동(예: 법안 및 공식 성명서 도입), (3) 정성적 인터뷰를 포함한 여러 방법으로 평가됩니다. 또한 인터뷰와 설문 조사를 통해 연구원의 보고된 효율성, 기술 및 공공 정책에 대한 참여, 그리고 그들의 작업이 정책 프로세스에 의해 영향을 받는 정도를 평가할 것입니다.

개입: RPC(Research-to-Policy Collaboration)는 (a) 현재 정책 우선 순위와 관련된 연구를 번역하고 (b) 정책 입안자와 연구자 간의 생산적인 상호 작용을 촉진할 필요성을 제안하는 이론적 및 경험적 문헌을 기반으로 합니다. RPC는 연구자와 입법 기관 간의 관계를 발전시키는 중개 조직에 의해 구현되는 초당파적이고 수동화된 모델입니다. 구현은 7개의 상호 관련된 일련의 활동을 포함하는 두 단계로 이루어집니다. 역량 구축 단계에서 RPC는 동시에 교육 및 코칭을 통해 연구원의 정직한 지식 브로커 기술 개발을 지원하는 동시에 현재 우선 순위 및 연구 증거에 대한 욕구에 대해 의회 사무실과 반복적인 요구 평가를 수행하는 것을 목표로 합니다. 협업 단계에서는 관련 전문 지식을 갖춘 연구원들이 입법부와 연결되는 신속한 대응 팀으로 통합됩니다. 스캐폴딩된 일련의 상호 작용을 통해 RPC 모델은 생산적인 연구자-정책 입안자 관계를 구축하고 입법 요청에 대한 응답을 지원하는 데 사용됩니다. RPC의 효과를 평가하는 것이 현재 연구의 초점입니다.

연구 설계:

이 연구는 RCT의 맥락에서 설문 조사, 인터뷰 및 관찰 데이터의 정성적 및 정량적 분석을 모두 사용합니다. 세 가지 가장 중요한 연구 질문이 이 작업을 안내하고 연구의 세 가지 다른 구성 요소(정량적 설문 조사를 통한 자기 보고, 코딩된 입법 활동을 통한 연구 사용 관찰, 심층 인터뷰 및 참가자 관찰을 통한 민족지학)와 일치합니다.

1. RPC는 연구원과 입법부 직원에게 어떤 영향을 미칩니까? (자기보고)

   1. 연구자들은 개선된 정책 역량과 정책 관련 연구 수행 동기를 보고합니까?
   2. 입법부 직원이 연구 증거의 지식, 의도된 적용 및 실제 사용에 대한 긍정적인 태도가 증가했다고 보고합니까?
   3. 입법부 및 연구 참여자에게 미치는 영향은 협력 관계 측면의 기능에 따라 달라질 수 있습니까(예: 상호 신뢰에 의해 강화됨)?

2. RPC는 입법 활동에 어떤 영향을 미칩니까? (관찰)

   a) 의회 사무실에서 입법 활동(예: 법안, 공식 성명서)에서 연구 증거 사용을 늘릴 예정입니까?

3. RPC를 통한 협력에 대한 인식과 경험은 연구자와 정책입안자 간의 다양한 형태의 증거 사용과 어떻게 관련될 수 있습니까? (민족지학)

   1. RPC 참여의 장벽과 촉진 요인은 무엇입니까?
   2. RPC는 연구자와 정책 입안자 사이의 어떤 유형의 상호 작용에 영향을 줍니까?
   3. RPC는 참여자의 서로에 대한 가정, 상호 작용 및 의도에 어떤 영향을 줍니까?
   4. RPC 참여로 지원되는 증거 사용 유형은 무엇입니까?

샘플링 프레임워크 모든 연구 구성 요소는 RPC에 참여하기로 선택한 연구원과 의회 직원이 연구에 참여하도록 요청받는 초기 샘플링 프레임워크에서 가져옵니다. 연구 참여에 동의한 사람들은 전체 RPC 개입 또는 직접적인 참여가 거의 없는 가벼운 터치 통제 그룹에 대해 무작위로 배정됩니다. 이 연구는 예상되는 감소를 방지하기 위해 과잉 표본 추출할 것입니다. 최종 샘플에는 96개의 의회 사무실(RPC 48개, 통제 그룹 48개)과 226명의 연구원(RPC 151개, 통제 그룹 75개)이 포함됩니다. 이러한 샘플은 자격이 있는 개입 참가자의 식별된 모집단에서 파생되었습니다.

• 관련 입법 공직(상원 및 하원)의 인구는 입법자가 (공동)발의한 아동/가족 법안의 수에 따라 식별됩니다. 무작위 선택 과정은 비례적인 당파적 대표성과 아동 복지와 관련된 활동 범위를 가진 입법자들의 대표성을 보장하기 위해 계층화될 것입니다. 무작위화에 앞서 관련 입법자의 모집단은 입법자가 아동/가족 정책 법안을 후원한 횟수를 기준으로 활동 순위가 지정됩니다. 활동 순위는 1-10 범위에서 가장 적은 법안을 (공동)발의한 의원의 10%가 1순위가 되고, 가장 많은 법안을 공동 발의한 의원의 10%가 10순위가 됩니다. 아동/가족 정책에 대한 연속적인 활동 전반에 걸친 채용 및 계층화된 샘플링은 샘플의 초당적 대표성을 향상시킬 것입니다. 또한 초당적 대표를 지원하는 것은 참여가 왜곡될 경우 정당 노선에 따라 강화되는 대상이 되는 아웃리치 노력입니다.
• 관련 아동/가족 연구를 수행하는 연구원은 연구 기관, 전문 네트워크 및 목록 서버, 문헌 검색 및 다른 연구원의 추천을 통해 식별됩니다. 연구원에는 정책 입안자와 자신의 전문 지식을 번역하는 데 관심이 있는 학술 및 비학문 환경의 연구 중심 실무자 및 프로그램 평가자가 포함됩니다. 정책 개입 개입에 참여하기로 선택한 후 연구원은 연구에 참여하도록 요청받습니다. 연구 참가자는 RPC 또는 제어 조건을 받도록 무작위 배정됩니다.

연구 구성 요소 1: 자체 보고된 RPC 영향의 정량적 평가 공공 정책 프로세스에 참여하는 연구원의 역량을 평가하기 위해 구조화된 설문 조사가 사용됩니다. 해당 설문 조사 프로토콜은 연구 증거 사용과 관련하여 입법부 직원의 태도, 지식, 의도 및 보고된 행동을 평가합니다. 연구원과 입법부 직원 모두 서로 협력적인 상호 작용의 특성에 대해 질문을 받게 됩니다. 설문조사는 약 3개월마다 실시됩니다. 조사 구조는 결과 측정에 설명되어 있습니다. 누락된 데이터는 데이터가 무작위로 누락되지 않은 경우의 모범 사례이므로 다중 대치로 처리됩니다. 다단계 모델링은 결과 변수의 개별 궤적을 조사하는 데 사용됩니다. 다중 회귀는 선택한 시점 사이의 변화를 검사합니다. 예를 들어 연구자의 보고된 정책 기술이 기준선과 교육 이후 사이에 개선되는지 여부입니다. 이러한 분석을 통해 우리는 RPC 참여가 (1) 연구자가 보고한 정책 입안자와의 관계 효율성, (2) 입법부 직원의 연구 증거 사용에 대한 관심 및 의지, (3) 연구자와 정책 입안자 모두의 증가와 관련이 있는지 여부를 조사할 수 있습니다. 함께 일하는 것에 대한 긍정적인 감정. 종단 분석을 통해 시간 경과에 따른 결과 변수의 궤적(예: 연구자 역량 향상, 입법자의 연구 사용)을 탐색할 수 있으며, 특히 증거 사용 및 기타 관심 결과의 변화를 모델링할 수 있습니다. 연구원 및 입법 직원 결과에 대한 분석은 모두 0.2 이상의 효과 크기를 감지하기 위해 90% 수준 이상으로 강화됩니다(최적 설계 및 경험적 증거로 수행된 전력 분석).

연구 구성 요소 2: 입법 활동에 대한 관찰된 RPC 영향의 정량적 평가 변화에 대한 자체 보고된 정량적 평가를 보완하기 위해 입법 활동에서 연구 증거의 사용은 RPC 참여 전후에 관찰될 것입니다. 데이터는 연역적 코드에서 파생된 지표를 사용하여 정량 분석 ​​전에 선택, 추출 및 코딩됩니다. 입법 데이터는 아동/가족과의 관련성을 나타내는 키워드의 사용을 기반으로 선택됩니다. 각 법안은 기존의 질적 방법으로 코딩할 수 있는 것보다 더 많은 텍스트로 구성되므로 코딩(키워드를 포함하는 조항) 전에 관련 조항이 추출됩니다. 또한 각 표본 청구서의 모든 하위 섹션 제목은 잠재적 관련성에 대해 검토되고 연구 증거가 사용되지만 키워드로 캡처되지 않는 경우 추출됩니다. 입법 활동에 대한 데이터는 정책입안자와 입법에서 연구가 어떻게 사용되었는지에 대한 사전 조사 결과에 의해 정보를 얻은 상세한 코드북을 기반으로 코딩됩니다. 이 코딩 체계는 두 명의 코더에 의해 적용되며 코드북은 인터코더 신뢰도가 최소 .70에 도달하고 첫 번째 기간 동안 데이터의 30%가 코딩될 때까지 수정되고 추가로 지정됩니다. 그 후 훈련된 코더가 개별적으로 코딩하고 리드 조사자가 코딩 품질의 일관성을 보장하기 위해 이들 중 10%를 무작위로 샘플링합니다. 이러한 코드는 결과 측정에 설명된 연구 사용의 정량적 지표로 변환됩니다. 입법 활동은 매년 평가됩니다. 다변량 포아송 회귀 분석은 RPC 개입과 제어 조건 사이의 (1) 청구서 및 (2) 공식 진술의 주제별 코드에서 연구 사용의 변화를 평가합니다. 조정 분석은 입법 활동의 변화가 협업 경험의 특성, 기타 설문 조사 데이터(예: 연구 가치에 대한 정책 입안자의 인식) 및 입법자의 특성(예: 소속 정당, 연령)에 따라 달라지는 정도를 추가로 탐색합니다. .

연구 구성 요소 3: RPC 모델의 민족지학적 평가 이 연구의 질적 구성 요소는 양적 작업과 밀접하게 연결되어 있으며 RPC 맥락에서 연구 증거 사용의 근간이 되는 RPC 참가자 및 프로세스의 경험을 더 잘 이해하고자 합니다. 참여 및 민족지학적 방법을 사용하여 데이터는 (1) 시험 참가자 및 RPC 직원의 반구조화된 인터뷰 및 (2) 연구원 교육 및 연구원-직원 회의 관찰의 두 가지 출처에서 수집됩니다. 인터뷰 참가자는 RPC에 참여하기 전에 인터뷰할 11명의 RPC 연구원과 11명의 RPC 의회 사무실 직원, 그리고 11명의 RPC 연구원과 11명의 의회 사무실 직원을 포함하여 RPC를 받도록 무작위로 배정된 연구 참가자 풀에서 샘플링됩니다. RPC를 통한 협업 활동 후 인터뷰를 진행합니다. 또한 3명의 RPC 직원이 RPC 전후에 인터뷰를 하게 됩니다. RPC 운영 및 영향에 대한 추가 통찰력을 얻기 위해 연구원을 위한 교육, 연구원과 의회 직원 간의 공식 회의 및 비공식 상호 작용, RPC 협력의 일부로 발생하는 회의에 대한 관찰이 수행됩니다. 민족지학적 모범 사례에 따라 주요 회의 및 교육 이벤트의 "공개 관찰"이 수행되어 참석자들이 어떻게 상호 작용하고 RPC에 어떻게 반응하는지에 대한 자세한 정보로 인터뷰를 풍부하게 할 것입니다. 현장 메모와 녹취록은 협업에 사용된 증거를 논의할 때 다양한 합리성과 수사를 탐구하는 주제별 분석 및 해석적 정책 분석으로 분석됩니다.