분산분석(ANOVA)과 사후검정 고르기
집단이 셋 이상이면 t검정을 반복하지 말고 분산분석을 씁니다. F가 유의하면 어느 집단끼리 다른지는 사후검정으로 봅니다. 등분산이면 Scheffé나 Tukey, 아니면 Games-Howell입니다.
비교할 집단이 셋 이상이면 분산분석입니다. 20대, 30대, 40대의 만족도가 다른지 같은 질문입니다. t검정을 세 번 돌리고 싶어지지만 그렇게 하면 안 됩니다.
유의수준 0.05로 비교를 세 번 하면, 모든 집단이 사실 같아도 적어도 한 번 유의하게 나올 확률이 14% 정도로 올라갑니다. 비교가 늘수록 더 커집니다. 분산분석은 이 문제를 피하면서 한 번에 검정합니다.
종류
- 일원배치 분산분석(One-way ANOVA): 독립변수가 하나입니다. 연령대에 따른 만족도 차이가 여기입니다. 논문에서 가장 많이 쓰입니다.
- 이원배치 분산분석(Two-way ANOVA): 독립변수가 둘입니다. 연령대와 성별을 함께 넣고 상호작용까지 봅니다.
- 반복측정 분산분석: 같은 사람에게 세 번 이상 잰 경우입니다. 사전, 사후, 추후 설계가 여기입니다.
- 공분산분석(ANCOVA): 통제할 연속변수가 있을 때 씁니다. 사전점수를 통제하고 사후점수를 비교하는 경우입니다.
SPSS에서 돌리기
- 1분석 > 평균 비교 > 일원배치 분산분석을 엽니다.
- 2종속변수에 만족도를, 요인에 연령대를 넣습니다.
- 3옵션에서 기술통계와 분산 동질성 검정에 체크합니다.
- 4사후분석 버튼에서 사후검정을 고릅니다.
- 5확인을 누릅니다.
F가 유의하면 끝이 아닙니다
분산분석의 F는 세 집단 중 어딘가에 차이가 있다는 것까지만 말해줍니다. 20대와 40대가 다른 것인지, 30대와 40대가 다른 것인지는 알려주지 않습니다. 그걸 보는 것이 사후검정입니다. F가 유의하지 않으면 사후검정 결과는 읽지 않습니다.
사후검정 고르기
- 등분산이 충족되면(분산 동질성 검정의 유의확률이 0.05보다 큼) Scheffé나 Tukey HSD를 씁니다. Scheffé가 더 보수적이라 차이를 잘 안 잡아내고, Tukey는 집단 크기가 같을 때 적절합니다.
- 등분산이 깨졌으면 Games-Howell이나 Dunnett T3를 씁니다. SPSS 사후분석 창의 아래쪽 등분산을 가정하지 않음 영역에 있습니다.
- Duncan과 LSD는 1종 오류를 잘 통제하지 못해 요즘 논문에서는 권하지 않는 분위기입니다.
- 집단 크기가 많이 다르면 Scheffé나 Games-Howell 쪽이 안전합니다.
효과크기
에타제곱(η²)이나 부분에타제곱을 함께 보고합니다. 0.01은 작음, 0.06은 중간, 0.14는 큼으로 해석하는 것이 널리 쓰이는 기준입니다. 일원배치에서는 집단 간 제곱합을 전체 제곱합으로 나누면 손으로도 구할 수 있습니다.
연령대에 따른 직무만족의 차이를 검정하기 위해 일원배치 분산분석을 실시한 결과 유의한 차이가 있었다(F(2,247)=7.418, p<.001, η²=.057). Levene 검정 결과 등분산 가정이 충족되어(p=.312) Scheffé 사후검정을 실시하였으며, 40대 이상(M=3.91)이 20대(M=3.48)보다 유의하게 높았고 30대와는 유의한 차이가 없었다.
자주 하는 실수
- F가 유의하지 않은데 사후검정에서 나온 차이를 보고하는 것.
- 분산 동질성 검정을 확인하지 않고 늘 Scheffé만 고르는 것.
- 집단 하나의 사례 수가 극단적으로 적은 것. 한 집단이 5명이면 그 집단과의 비교는 사실상 읽기 어렵습니다. 연령대를 묶어 집단 수를 줄이는 편이 낫습니다.
- 자유도를 빠뜨리고 F값만 적는 것. F(집단 자유도, 오차 자유도) 형태로 적습니다.