2024 행시 2차 조사방법론 2번 해설

1) 홍보 동영상 효과를 위한 진실험설계

① 진실험의 요건 진실험은 ㉠ 피험자를 실험집단과 통제집단에 무작위로 배정하고, ㉡ 처치를 받지 않은 통제집단과 비교하며, ㉢ 연구자가 독립변수(동영상 시청)를 직접 조작하는 세 요소를 갖춥니다. 무작위 배정으로 두 집단은 처치 이전에 모든 특성(관측되지 않은 특성 포함)에서 확률적으로 동등해지므로, 결과의 차이를 동영상의 효과로 귀속할 수 있습니다. 성숙, 역사, 선택, 회귀 같은 내적 타당도 위협 요인이 두 집단에 똑같이 작용하므로 상쇄됩니다.

② 사전사후 통제집단 설계

성인 남녀 표본을 무작위로 두 집단에 배정하고, 사전에 사업 인지도를 측정한 뒤 실험집단에만 홍보 동영상을 보여줍니다. 효과는 (O₂ − O₁) − (O₄ − O₃) 로 추정합니다. 사전검사로 두 집단의 동질성을 확인할 수 있다는 장점이 있지만, 사전검사가 사업에 대한 관심을 불러일으켜 동영상에 더 민감하게 반응하게 만드는 사전검사와 처치의 상호작용이 생기면 외적 타당도가 떨어집니다.

③ 사후 통제집단 설계

효과는 O₁ − O₂ 입니다. 인지도 측정 자체가 학습 효과를 낳기 쉬운 이 실험에서는 사전검사 효과를 원천적으로 피할 수 있어 유용합니다. 표본이 충분히 크면 무작위 배정만으로 동질성을 기대할 수 있습니다.

④ 솔로몬 4집단 설계 위 두 설계를 결합하여 네 집단(사전검사 유무 × 처치 유무)을 무작위로 구성합니다. 처치 효과와 사전검사 효과, 그리고 둘의 상호작용을 분리하여 추정할 수 있어 가장 엄격하지만, 표본과 비용이 많이 듭니다.

⑤ 설계의 확장과 평가

• 동영상의 길이(30초/2분)나 소구 방식(정보형/감성형)을 함께 비교하려면 요인설계로 확장하여 주효과와 상호작용을 분석할 수 있습니다.
• 통제집단에는 아무것도 보여주지 않기보다 사업과 무관한 동영상을 같은 시간 보여주어 '영상을 보았다는 사실' 자체의 효과를 통제합니다.
• 인지도 외에 사업 이해도, 참여 의향 등 다양한 종속변수를 측정하고, 일정 기간 후 지연 측정으로 효과의 지속성도 확인합니다.
• 실험은 내적 타당도가 높은 반면, 실험실 상황의 인위성 때문에 실제 시청 환경에서의 효과(외적 타당도)는 제한될 수 있습니다.

2) 실험 상황에서 발생하는 편향을 줄이기 위한 고려 요인

① 피험자 반응성에 따른 편향

• 호손 효과: 연구 대상이라는 사실을 의식하여 평소와 다르게 동영상을 주의 깊게 시청하거나 응답할 수 있습니다. 실험 목적을 구체적으로 밝히지 않고(일반적인 '미디어 시청 연구'로 안내), 자연스러운 시청 환경을 조성합니다.
• 요구 특성: 피험자가 연구자가 기대하는 결과를 추측하여 그에 맞게 응답할 수 있습니다. 주요 문항 사이에 다른 사업이나 기관에 관한 가림막(filler) 질문을 섞고, 실험 후 사후 설명(디브리핑)을 합니다.
• 사회적 바람직성: 공공사업에 호의적으로 응답하려는 경향은 익명 응답과 컴퓨터 자기기입 방식으로 줄입니다.

② 실험자에 따른 편향

• 실험자 기대 효과: 실험자가 의도치 않게 실험집단에 더 친절하거나 단서를 줄 수 있습니다. 실험 진행자와 피험자 모두 집단 배정을 모르게 하는 이중맹검을 적용하고, 안내 문구와 절차를 대본으로 표준화합니다.

③ 설계상 편향

• 선택 편향: 자원자만 모집하거나 집단을 임의로 나누지 않고 반드시 무작위 배정합니다. 성별·연령으로 블록을 나누어 그 안에서 무작위 배정하면 집단 간 균형이 더 좋아집니다.
• 사전검사 효과: 사후 통제집단 설계나 솔로몬 4집단 설계를 활용합니다.
• 위약(플라시보) 효과: 통제집단에 무관한 동영상을 보여주어 처치 경험 자체의 효과를 같게 만듭니다.
• 탈락: 실험 도중 이탈자가 집단별로 다르게 발생하면 동질성이 깨지므로 실험 시간을 적정하게 하고 탈락자의 특성을 분석합니다.
• 집단 간 오염(확산): 실험집단 피험자가 통제집단에게 동영상 내용을 전달하지 않도록 시간·장소를 분리합니다.

④ 측정상 편향

• 같은 측정 도구와 측정 시점을 두 집단에 똑같이 적용하고, 측정 도구의 신뢰도와 타당도를 사전에 검증합니다.
• 시청 직후 측정은 단기 기억 효과를 과대평가할 수 있으므로 지연 측정을 병행합니다.

⑤ 외적 타당도 확보

• 성별·연령·지역이 다양한 성인 표본을 구성하고, 가능하면 실제 온라인 광고 환경에서 무작위 노출을 하는 현장실험으로 실험실 결과를 보완합니다.
• 연구윤리 측면에서 피험자의 동의를 받고 기만적 요소가 있으면 사후 설명을 제공합니다.