회귀분석, 돌리는 법과 결과 읽는 순서
모형 전체가 유의한지(F)부터 보고, 설명력(R²), 그리고 변수별 영향력(표준화 베타) 순서로 읽습니다. 독립변수가 둘 이상이면 다중공선성 확인이 함께 따라옵니다.
상관분석이 두 변수가 같이 움직이는지를 보는 것이라면, 회귀분석은 무엇이 무엇에 얼마나 영향을 미치는지를 봅니다. 논문에서 가설을 검정하는 단계가 대부분 여기입니다.
단순회귀와 다중회귀
- 단순회귀: 독립변수 1개. 실제 논문에서는 거의 쓰이지 않습니다.
- 다중회귀: 독립변수 2개 이상. 통제변수를 함께 넣기 때문에 대부분 여기에 해당합니다.
- 위계적 회귀: 변수를 단계로 나눠 넣고 단계마다 설명력이 얼마나 늘었는지 봅니다. 통제변수를 1단계, 관심 변수를 2단계에 넣는 방식이 흔합니다.
돌리기 전에 확인할 조건
- 종속변수가 연속형이어야 합니다. 이분형(합격/불합격)이면 로지스틱 회귀로 갑니다.
- 독립변수가 범주형이면 더미변수로 바꿔 넣습니다.
- 표본 수는 독립변수 1개당 15명에서 20명을 경험적 기준으로 씁니다.
- 선형성, 잔차의 정규성, 등분산성. 잔차 산점도와 P-P 도표로 확인합니다.
- Durbin-Watson이 2 근처면 잔차의 자기상관이 없다고 봅니다. 보통 1.5에서 2.5 사이를 무난하게 봅니다.
SPSS에서 돌리기
- 1분석 > 회귀분석 > 선형을 엽니다.
- 2종속변수와 독립변수를 넣습니다.
- 3통계량에서 추정값, 모형 적합, R 제곱 변화량, 공선성 진단, Durbin-Watson에 체크합니다.
- 4도표에서 ZRESID를 Y축, ZPRED를 X축에 넣고 정규확률도표에 체크합니다.
- 5위계적으로 넣으려면 1단계 변수를 넣고 다음을 눌러 2단계 변수를 넣습니다.
REGRESSION
/STATISTICS=COEFF OUTS R ANOVA COLLIN TOL CHANGE
/DEPENDENT 이직의도
/METHOD=ENTER 성별 연령
/METHOD=ENTER 직무만족 조직몰입
/RESIDUALS DURBIN.결과를 읽는 순서
- 1ANOVA 표의 F와 유의확률을 봅니다. 모형 전체가 유의하지 않으면 개별 계수는 해석하지 않습니다.
- 2모형 요약의 수정된 R 제곱을 봅니다. 독립변수가 여러 개면 그냥 R 제곱 대신 이쪽을 보고합니다.
- 3위계적이면 R 제곱 변화량과 그 변화가 유의한지를 봅니다. 통제변수를 넣고도 관심 변수가 설명력을 더 올렸는지가 핵심입니다.
- 4계수 표에서 표준화 베타와 유의확률을 봅니다.
- 5같은 표의 공차와 VIF로 다중공선성을 확인합니다.
B와 베타, 무엇을 적나
비표준화 계수 B는 단위가 그대로 살아 있는 값입니다. 독립변수가 1단위 늘 때 종속변수가 얼마나 변하는지를 말합니다. 표준화 계수 베타는 단위를 없앤 값이라 서로 다른 변수의 영향력을 비교할 수 있습니다.
- 어느 변수가 더 큰 영향을 주는지 비교하려면 베타를 봅니다.
- 실제 크기를 말하려면 B를 봅니다. 교육 1년 늘 때 소득이 얼마 오르는지 같은 경우입니다.
- 논문 표에는 보통 B, 표준오차, 베타, t, 유의확률을 함께 싣습니다.
- 베타는 같은 모형 안에서만 비교합니다. 다른 모형의 베타와 크기를 견주면 안 됩니다.
다중공선성
독립변수끼리 너무 비슷하면 계수가 불안정해집니다. 상관은 분명히 있는데 회귀에서는 유의하지 않게 나오거나 부호가 뒤집힙니다. VIF 10 미만, 공차 0.1 초과를 기준으로 보는 것이 가장 널리 쓰입니다.
회귀모형은 통계적으로 유의하였으며(F=42.17, p<.001), 독립변수들은 이직의도를 35.2% 설명하는 것으로 나타났다(수정된 R²=.352). 직무만족(β=-.412, p<.001)과 조직몰입(β=-.287, p=.003)은 모두 이직의도에 유의한 부적 영향을 미쳤다. 공차한계는 .68 이상, VIF는 1.47 이하로 다중공선성 문제는 없는 것으로 판단되었으며, Durbin-Watson은 1.892로 잔차의 독립성 가정을 충족하였다.
자주 하는 실수
- F가 유의하지 않은데 유의한 변수 하나를 찾아 보고하는 것.
- R 제곱이 낮다고 분석이 잘못된 것으로 보는 것. 사회과학에서 0.2에서 0.3도 흔합니다.
- 유의한 결과가 나올 때까지 변수를 바꿔 넣는 것. 모형은 이론으로 정하고 결과는 나온 대로 씁니다.
- 영향을 미친다는 표현을 인과관계로 단정하는 것. 횡단 설문 자료는 관계를 보여줄 뿐입니다.
- 통제변수의 베타가 유의하다고 그것을 연구 결과처럼 쓰는 것.