끝까지 응답받는 설문 만들기
·
같은 척도를 쓰는 문항은 표 하나로 묶으세요. 리커트 20문항을 한 화면에 하나씩 띄우면 응답 화면이 20개가 되고, 그만큼 이탈이 늘어납니다.
응답자는 끝이 보이는 설문을 끝까지 합니다. 반대로 넘겨도 넘겨도 끝이 안 보이면 중간에 창을 닫습니다. 문항 수보다 화면 수가 더 중요한 이유입니다.
같은 척도는 표 하나로
리커트 20문항을 한 화면에 하나씩 띄우면 응답 화면이 20개입니다. 같은 척도를 쓰는 문항을 표(행렬)로 묶으면 화면 하나로 끝납니다. 응답자는 한 번 스크롤하며 체크만 하면 됩니다.
서베이루프에서는 이렇게 표로 묶은 문항을 하나의 요인 후보로 보고, 내려받는 SPSS 명령문에서 그 묶음 단위로 신뢰도 분석과 평균변수 계산을 만들어드립니다. 다만 표로 묶었다고 통계적으로 하나의 요인이 되는 것은 아닙니다. 요인 구성은 선행연구의 척도 구조를 따르고, 필요하면 요인분석으로 확인해야 합니다.
문항을 놓는 순서
- 1연구 참여 동의서. 논문 설문의 첫 장은 여기서 시작합니다.
- 2선별 문항. 대상이 아닌 사람을 일찍 걸러내야 서로 시간을 아낍니다.
- 3본 문항. 핵심 척도를 앞쪽에 둡니다. 뒤로 갈수록 응답의 성의가 떨어집니다.
- 4인구통계 문항. 성별, 연령, 학력 같은 것은 마지막에 둡니다. 처음부터 개인정보를 물으면 경계합니다.
화면 수를 세어보세요
응답자가 체감하는 길이는 문항 수가 아니라 다음 버튼을 누른 횟수입니다. 같은 30문항이라도 화면이 셋이면 짧게 느끼고 서른이면 길게 느낍니다. 설문을 다 만든 뒤 화면 수를 세어보고, 열 개가 넘으면 묶을 데가 없는지 다시 보세요.
- 화면 1: 동의서와 동의 문항
- 화면 2: 선별 문항과 인구통계 중 선별에 필요한 것
- 화면 3~5: 본 척도. 척도 하나에 화면 하나씩 표로
- 화면 6: 나머지 인구통계
척도가 셋이면 여섯 화면으로 끝납니다. 척도마다 화면을 나누는 이유는 응답자가 머릿속으로 기준을 한 번 바꿀 자리를 주기 위해서입니다. 서로 다른 개념을 한 표에 섞으면 가운데만 찍는 응답이 늘어납니다.
진행률을 보여주세요
구글폼은 설정에서 진행률 표시줄을 켤 수 있습니다. 끝이 보이면 끝까지 갑니다. 다만 화면을 지나치게 잘게 나눠두고 진행률을 켜면 오히려 역효과입니다. 막대가 조금씩만 움직이는 것을 보면 더 길게 느낍니다.
소요 시간을 미리 알려주세요
약 5분 소요라는 한 줄이 응답률을 눈에 띄게 올립니다. 다만 실제보다 짧게 적으면 중간에 배신감을 느끼고 나갑니다. 본인이 직접 한 번 답해보고 걸린 시간에 여유를 더해 적으세요.
처음 보는 문항을 읽는 속도는 만든 사람보다 느립니다. 본인이 3분에 끝냈으면 5분으로 적는 편이 맞습니다. 리커트 문항은 개당 5초에서 8초, 주관식은 한 문항에 30초 이상 잡으면 크게 어긋나지 않습니다.
휴대폰으로 한 번 열어보세요
응답자 대부분은 휴대폰으로 엽니다. 그런데 설문은 거의 다 노트북으로 만듭니다. 노트북에서 깔끔하던 리커트 표가 휴대폰에서는 가로로 잘리거나 글자가 겹칩니다. 7점 척도는 특히 자주 깨집니다.
- 리커트 표가 가로로 스크롤되지 않는지
- 선택지 글자가 줄바꿈되어 어느 칸인지 헷갈리지 않는지
- 문항 글이 너무 길어 한 화면을 넘기지 않는지
- 링크를 카톡으로 보내 실제로 눌러서 들어가지는지
역문항은 띄엄띄엄 둡니다
역문항은 불성실 응답을 걸러내는 장치입니다. 그런데 한곳에 몰아두면 눈치채고 그 구간만 반대로 찍습니다. 척도 안에 두세 개를 고르게 흩어두세요. 역문항이 어느 번호인지는 반드시 따로 적어두어야 합니다. 나중에 역코딩할 때 이 메모가 없으면 처음부터 다시 읽어야 합니다.
돌리기 전에 다섯 명에게 먼저
예비조사까지 갈 필요는 없습니다. 주변 다섯 명에게 보내 끝까지 답해보게 하고 두 가지만 물어보세요. 뜻을 모르겠던 문항이 있었는지, 몇 분 걸렸는지입니다. 이 한 번으로 거의 모든 치명적인 오타와 빠진 선택지가 잡힙니다.
자주 하는 실수
- 리커트 문항을 한 화면에 하나씩 띄우는 것. 화면 수가 그대로 이탈률이 됩니다.
- 인구통계를 맨 앞에 두는 것. 시작부터 개인정보를 물으면 경계합니다.
- 모든 문항을 필수로 거는 것. 소득이나 민감한 경험에서 창을 닫습니다.
- 서로 다른 척도를 한 표에 섞는 것. 기준이 흔들려 가운데만 찍게 됩니다.
- 휴대폰 미리보기를 안 하는 것. 표가 깨진 채로 돌아갑니다.
- 역문항을 몰아 두거나, 어느 번호였는지 적어두지 않는 것.