[통계] 사후검증(Post-Hoc test, 다중비교)

 사후검증 방법은 ANOVA(분산분석) 결과를 더욱 자세히 분석할 때 사용한다. ANOVA는 세 집단 이상의 평균 비교를 할 때 사용하는데 ANOVA의 귀무가설이 '모든 집단의 평균이 같다'이다. 만약, 귀무가설을 기각하게 되어 적어도 하나의 집단의 평균이 다른 집단들과 다르다고 나온다면 어떤 집단들이 서로 다른지에 대한 궁금증이 생길 것이다. 이 궁금증을 해결해 줄 수 있는 방법이 바로 사후검증 방법이다.

 

사후검증 방법으로는 크게 3가지 케이스로 나눌 수 있다.
- 모수/비모수
- 등분산/이분산
- 집단별 동일 샘플수/집단별 비동일 샘플수

먼저, 모수적 방법에서 데이터가 등분산일 때 쓰는 방법을 먼저 보자.
다양한 방법이 있지만 데이터 분석에서 흔히 쓰이는 방법들만 소개하고자 한다.

모수적/등분산
Tucky
    - 스튜던트화 범위 분포(studenttized range distribution)를 이용하여 모든 군의 짝 비교를 하는 쌍별 사후검정 방법.       - t-분포를 기초하여 비교가 이루어짐.
    - 집단별 샘플수가 동일해야 함. But, Tucky의 다른 버전인 Tucky-Kramer 방법을 이용하면 집단별 샘플 개수가 달라도 된다. 
    - 두 집단간의 차이를 인지하는 수준이 관대하기 때문에(less conservative), 'A=B, B=C, A!=C'라는 논리적으로 문제가 있는 결과가 나올 수도 있다. 그렇기 때문에 적절한 표본수를 갖추어 더 작은 표준오차에 의하여 귀무가설을 기각할 수 있는 확률을 증가시켜야 함.  
Scheffe
    - F-분포에 기반하여 각 집단들의 평균값에 대한 모든 가능한 짝들의 비교를 동시에 시행.
    - 모든 집단의 짝 비교와 조합이 가능한 소집단(집단들의 집합)들을 포함하여 조정하여 비교.
    - 집단별 샘플 갯수 같지 않아도 분석 가능
    - 다른 사후검정에 비해서 가장 보수적이고 검정력이 작음.
    - 단순히 두 집단 간의 비교 결과만 필요한 경우에는 추천되지 않음. 
    - 연구 설계 단계에서 집단 간의 차이를 예상할 수 없는 경우에 EDA 목적으로 사용됨
Bonferroni
    - t-분포에 기반한 임계값을 사용하여 검정하는 방법
    - 분산분석, 공분산분석, 다변량분석, multiple t-test 등 다양한 통계 분석 뒤에 사후검정 방법으로 사용.
    - 집단별 샘플 개수 같지 않아도 분석 가능   
    - 비모수 통계분석 이후에도 사후검정 방법으로 사용 가능.
    - 집단의 개수가 많아 시행의 수가 많거나 검정 통계량이 양의 상관관계를 가지는 경우에는 검정력이 약해짐.     
Dunnett
    - 수정된 t-test 분포(Dunnett's t-distribution)를 기반으로 하는 통계량을 사용.
    - 하나의 대조군을 가지는 연구 디자인에서 유용한 방법(대조군A와 실험군B,C,D가 있다면 A-B,A-C,A-D는 비교분석 하나 B-C, C-D와 같이 같은 조합 안에 있는 것 끼리는 비교 안 한다.).
    - 유의한 작은 그룹 간의 차이 혹은 그룹들의 조합의 차이를 검정할 정도로 검정력이 뛰어남.

모수적/이분산
Games-Howell
    - Welch 방식의 자유도를 이용하여 t-분포를 기반으로 검정하는 방법.
    - 집단 간 짝 비교를 할 때 성능이 좋음.
    - 집단 간 표본 크기가 달라도 분석 가능(다른 분석방법과 같이 유의 확률 변화 X)
    - 표본수가 작아질수록 1종 오류에 관대해지므로 각 집단의 표본 개수는 6개 이상이어야 함.
    - 정규성을 띄지 않는 데이터에도 사용 가능.
Dunnett T3
    - 준표준화된 최대 절댓값 분포를 기반으로 검정하는 방법.
    - 집단 간 표본 크기가 달라도 분석 가능.
    - 각 집단의 표본수가 50개 미만일 때 Games-Howell 보다 적절한 방법.
    - 대조군, 실험군을 비교할 때 좋음.
Dunnett C
    - 스튜던트화 범위 분포를 기반으로 검정하는 방법
    - 자유도가 높으면서 실험군의 표본 수가 50개 이상일 때 Games-Howell 보다 신뢰구간을 더 좁게 제시하며, 검정력이 더 좋음.
    - 집단 간 표본 크기가 거의 같아야 한다.
    - 정규성을 띄지 않는 데이터에도 사용 가능.
    - 자유도가 무한대에 가까워도 에러율은 1종 오류 이하로 나옴.
    - 집단의 수가 많아져서 짝 비교를 많이 할수록 유형 1 오류 확률의 증가를 고려.
 Tamhane T2
    - Multiplicative inequality 방식을 적용한 t-분포를 기반으로 검정하는 방법
    - 유의 수준 조절 방식이 Games-Howell 보다 엄격. 즉, 1종 오류 통제에 조금 더 보수적.
    - 선형 contrst(대비)는 모두 적용 가능.

 

비모수적 
Nemenyi
    - 비모수 다중 중위수 비교 시험.
    - 데이터가 서수 척도(ordinal scale) 이여야 함.
    - 각 집단에서 표본 크기가 같아야 함.
    - 비교 집단에 대한 갯수 제한이 없음.
    - 집단 간 차이가 증가할 수록 보수적으로 변함.
    - 하위집단에 대한 통계적 힘은 작음.

 

 

Ref.

Shingala, M. C., & Rajyaguru, A. (2015). Comparison of post hoc tests for unequal variance. International Journal of New Technologies in Science and Engineering, 2(5), 22-33.

Lee, S., & Lee, D. K. (2018). What is the proper way to apply the multiple comparison test?. Korean journal of anesthesiology, 71(5), 353–360. doi:10.4097/kja.d.18.00242. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6193594/