유의확률 p값, 정확히 무슨 뜻인가

p값은 가설이 맞을 확률이 아닙니다. 귀무가설이 참이라고 가정했을 때 지금 같은 결과가 나올 확률입니다. 0.05는 분야가 합의한 관행이지 자연의 경계선이 아닙니다.

논문에서 가장 많이 쓰면서 가장 많이 틀리게 설명되는 숫자입니다. 심사에서 p값이 무슨 뜻이냐고 물었을 때 말문이 막히는 경우가 흔합니다.

p값이 아닌 것부터

  • 내 가설이 맞을 확률이 아닙니다.
  • 귀무가설이 참일 확률도 아닙니다.
  • 효과가 얼마나 큰지를 나타내는 값도 아닙니다.
  • p가 작을수록 더 중요한 발견이라는 뜻도 아닙니다.

그럼 무엇인가

귀무가설이 참이라고 가정했을 때, 지금 얻은 것만큼 또는 그보다 더 극단적인 결과가 나올 확률입니다. p가 0.03이라면 '차이가 없다는 가정이 맞다면 이런 자료가 나올 일은 100번 중 3번 정도'라는 뜻입니다. 그래서 그 가정을 유지하기 어렵다고 판단하는 것입니다.

0.05는 어디서 왔나

Fisher가 편의상 제안한 값이 관행으로 굳은 것입니다. 자연에 그어진 선이 아닙니다. 0.049와 0.051 사이에 의미 있는 차이가 있다고 믿을 근거는 없습니다. 분야에 따라 0.01이나 0.001을 쓰기도 하고, 탐색적 연구에서는 0.1을 쓰기도 합니다.

표본이 크면 거의 다 유의합니다

p값은 효과의 크기와 표본 크기를 함께 반영합니다. 표본이 충분히 크면 실질적으로 의미 없는 아주 작은 차이도 유의하게 나옵니다. 반대로 표본이 작으면 큰 차이도 유의하지 않게 나옵니다. 그래서 p값만 보고 결론을 내리면 안 되고 효과크기를 함께 봐야 합니다.

  • t검정에는 Cohen's d를 함께 적습니다.
  • 분산분석에는 에타제곱을 함께 적습니다.
  • 상관분석은 상관계수 자체가 효과크기입니다.
  • 회귀분석은 표준화 계수와 R²를 함께 봅니다.

표기 규칙

  • SPSS가 .000으로 찍어도 p=.000으로 적지 않습니다. p<.001로 적습니다.
  • 소수점 앞의 0은 생략하는 것이 APA 관행입니다. p=.032처럼 적습니다.
  • 유의하지 않아도 숫자를 적습니다. p>.05라고만 쓰기보다 p=.218처럼 실제 값을 적는 쪽이 낫습니다.
  • p는 이탤릭체로 적습니다.

유의하지 않게 나왔을 때

차이가 없다는 것을 증명한 것이 아닙니다. 차이가 있다고 말할 근거를 찾지 못했을 뿐입니다. 표본이 작아서 못 잡았을 수도 있습니다. 가설이 기각되었다고 해서 연구가 실패한 것도 아닙니다. 왜 예상과 달랐는지 논의하는 것이 논문의 몫입니다.

논문에는 이렇게 씁니다
분석 결과 두 집단 간 평균 차이는 통계적으로 유의하지 않았다(t=1.237, p=.218, Cohen's d=0.14). 이는 선행연구와 다른 결과로, 본 연구의 표본이 특정 지역에 한정되어 집단 간 이질성이 크지 않았던 점이 영향을 미쳤을 가능성이 있다.

이 작업을 대신 해드립니다

구글폼이나 엑셀로 받은 응답 파일을 올리면 변수 레이블, 값 레이블, 역문항 역코딩, 요인별 신뢰도, 요인 평균변수가 들어간 SPSS 명령문을 만들어드립니다. 지금은 무료입니다.

올린 파일은 서버로 보내지 않습니다. 계산은 브라우저 안에서만 이루어집니다.

데이터 올려보기

함께 보면 좋은 글

가이드 전체 보기