다중공선성, VIF로 확인하고 해결하기
독립변수끼리 너무 닮았을 때 생깁니다. SPSS 회귀분석에서 VIF 10 미만, 공차 0.1 초과면 흔히 쓰는 기준은 통과한 것으로 봅니다. 기준을 넘으면 변수를 빼기 전에 왜 겹치는지부터 보세요.
회귀분석을 돌렸는데 상관분석에서 분명히 관계가 있던 변수가 유의하지 않게 나오거나, 양수로 예상했던 계수가 음수로 뒤집혀 나오는 때가 있습니다. 이럴 때 가장 먼저 의심하는 것이 다중공선성입니다.
다중공선성은 독립변수들끼리 서로 너무 닮았을 때 생깁니다. 예를 들어 직무만족, 직무몰입, 조직몰입을 한꺼번에 독립변수로 넣으면 세 변수가 측정하는 것이 상당 부분 겹칩니다. 종속변수를 설명하는 몫을 서로 나눠 가지게 되어, 각 변수의 고유한 기여를 분리해내기 어려워집니다.
무엇이 망가지는가
- 회귀계수의 표준오차가 커집니다. 그만큼 t값이 작아지고 유의확률이 올라가, 실제로는 관계가 있는 변수가 유의하지 않게 나옵니다.
- 계수의 부호가 이론과 반대로 뒤집히기도 합니다.
- 표본을 조금만 바꿔도 계수가 크게 흔들립니다. 결과를 신뢰하기 어렵습니다.
- 다만 모형 전체의 설명력(R²)과 예측값은 멀쩡합니다. 망가지는 것은 개별 계수의 해석입니다.
SPSS에서 확인하는 법
- 1분석 > 회귀분석 > 선형을 엽니다.
- 2종속변수와 독립변수를 넣습니다.
- 3오른쪽 통계량 버튼을 누릅니다.
- 4공선성 진단에 체크하고 계속, 확인을 누릅니다.
- 5계수 표 오른쪽에 공차와 VIF 열이 생깁니다.
어디까지가 괜찮은가
- VIF 10 미만. 가장 널리 인용되는 기준입니다.
- 공차(Tolerance) 0.1 초과. 공차는 VIF의 역수라서 둘은 같은 말입니다. VIF 10이 공차 0.1입니다.
- 엄격하게 보는 교재는 VIF 5를 쓰기도 합니다. 분야 관행과 지도교수님 기준을 함께 확인하세요.
- 공선성 진단 표의 조건지수(Condition Index)가 30을 넘으면 함께 의심합니다.
기준을 넘었을 때
변수를 하나 빼는 것이 가장 쉬운 해결이지만 가장 마지막에 고려할 일입니다. 연구 모형에서 의미가 있어 넣은 변수를 통계 수치 때문에 빼면, 심사에서 왜 뺐느냐는 질문을 받습니다. 순서대로 보세요.
- 겹치는 변수들이 사실 같은 개념을 재고 있는 것은 아닌지 봅니다. 그렇다면 요인분석으로 묶어 하나의 변수로 만드는 쪽이 이론적으로 더 깔끔합니다.
- 상호작용항(조절효과) 때문에 생긴 공선성이라면 평균중심화(mean centering)로 대부분 사라집니다. 독립변수에서 그 변수의 평균을 빼고 곱해서 상호작용항을 만듭니다.
- 표본이 작아서 불안정한 경우도 있습니다. 표본을 더 모으면 표준오차가 줄어듭니다.
- 이론적으로 덜 중요한 변수를 뺍니다. 뺀 이유를 본문에 적습니다.
자주 보는 오해
- 상관계수가 높다고 바로 공선성 문제인 것은 아닙니다. 두 변수의 상관이 0.8이어도 VIF가 기준 안이면 그대로 갑니다. 반대로 상관이 전부 0.6 정도인데 변수가 많아서 VIF가 튀는 경우도 있습니다.
- 통제변수의 VIF가 높은 것은 상대적으로 덜 심각합니다. 해석하려는 변수가 아니기 때문입니다.
- 더미변수를 만들 때 기준 범주를 빼지 않으면 완전공선성이 생겨 SPSS가 변수를 자동으로 제외합니다. 범주가 k개면 더미는 k에서 1을 뺀 개수입니다.
독립변수 간 다중공선성을 확인한 결과 공차한계는 0.412에서 0.871, 분산팽창지수(VIF)는 1.148에서 2.427로 나타나 공차한계 0.1 이상, VIF 10 미만의 기준을 충족하여 다중공선성 문제는 없는 것으로 판단되었다.