TIL_24.08.06_ 유의성 검정

A/B 검정(A/B 테스트)

두 버전 (A와 B) 중 어느 것이 더 효과적인지 평가하기 위해 사용되는 검정 방법

마케팅, 웹사이트 디자인 등에서 많이 사용됨.

사용자들을 두 그룹으로 나누고, 각 그룹에 다른 버전을 제공한 후, 반응을 비교

일반적으로 전환율, 클릭률, 구매수, 방문 기간, 방문한 페이지 수, 특정 페이지 방문 여부, 매출 등의 지표를 비교

목적

두 그룹 간의 변화가 우연이 아니라 통계적으로 유의미 한지를 확인

 

 

stats.ttest.ind

• 독립표본 t-검정을 수행하여 두 개의 독립된 집단 간 평균의 차이가 유의미한지 평가
• 두 집단의 데이터 배열을 입력 받아서 t-통계량과 p-값을 반환
  • t-통계량(statistic) : t-검정 통계량이고, 두 집단 간 평균 차이의 크기와 방향을 나타낸다

 

가설검정

• 표본데이터를 통해 모집단의 가설을 검증하는 과정
• 데이터가 특정 가설을 지지하는지 평가하는 과정
• 귀무가설(HO)과 대립가설(H1)을 설정하고, 귀무가설을 기각할지를 결정
• 데이터 분석시 두가지 전략을 취할 수 있다.
  • 확증적 자료 분석
    • 미리 가설들을 먼저 세운 다음 가설을 검증해 나가는 분석
  • 탐색적 자료분석(EDA)
    • 가설을 먼저 정하지 않고 데이터를 탐색해보면서 가설 후보들을 찾고 데이터의 특징을 찾는 것

 

통계적 유의성

• 통계적 유의성은 결과가 우연히 발생한 것이 아니라 어떤 효과가 실제로 존재함을 나타내는 지표
• p값은 귀무 가설이 참일 경우 관찰된 통계치가 나올 확률을 의미
• 일반적으로 p값이 0.05미만이면결과를 통계적으로 유의하다고 판단

신뢰구간과 가설검정

둘다 데이터의 모수(ex.평균)에 대한 정보를 구하고자 하는 것이지만 접근 방식이 다름

• 신뢰구간
  • 특정 모수가 포함될 범위를 제공
• 가설검정
  • 모수가 특정 값과 같은지 다른지 테스트

 

t-검정(가설검정의 대표적인 검정)

두 집단 간의 평균 차이가 통계적으로 유의미한지 확인하는 검정 방법

독립표본 t검정과 대응표본 t검정으로 나뉨

• 독립 표본 t검정
  • 두 독립된 그룹의 평균을 비교
• 대응표본 t검정
  • 동일한 그룹의 사전/사후 평균을 비교.

가설 검정이 실제로 어떻게 적용되어 질까

• p-value를 통한 유의성 확인
  • 두 클래스의 시험 성적 비교(독립표본 t검정)
  • 다이어트 전후 체중 비교(대응표본 t 검정)

 

 

다중검정

여러 가설을 동시에 검정할 때 발생하는 문제

각 검정마다 유의수준을 조정하지 않으면
1종 오류(귀무가설이 참인데 기각하는 오류) 발생 확률이 증가

보정 방법

• 본페로니 보정, 튜키 보정, 던넷 보정, 윌리엄스 보정 등이 있음.
  (가장 대표적이고 기본적인게 본페로니 보정)
  - 본페로니 보정하는 방법
      - 신뢰도를 p_value의 크기 만큼 나누면 본페로니 보정 적용
      - ex. alpha = 0.05
              adjusted_alpha = alpha / len(p_values)

 

 

카이제곱검정

• 범주형 데이터의 표본 분포가 모집단 분포와 일치하는지 검정(적합도 검정)하거나
• 두 범주형 변수 간의 독립성을 검정(독립성 검정)

적합도 검정

• 관찰된 분포가 기대된 분포가 일치하는지 검정
• p값이 높으면 데이터가 귀무가설에 맞음. 즉, 관찰된 데이터와 귀무가설이 적합
• p값이 낮으면 데이터가 귀무가설에 잘 맞지 않음. 즉, 관찰된 데이터와 귀무가설이 부적합

독립성 검정

• 두 범주형 변수 간의 독립성을 검정
• p값이 높으면 두 변수 간의 관계가 연관성이 없음 -> 독립성이 있음
• p값이 낮으면 두 변수 간의 관계가 연관성이 있음 -> 독립성이 없음

카이제곱 검정은 어떻게 적용되어 질까?

• 범주형 데이터의 분포 확인 및 독립성 확인을 위해 사용
  • 주사위의 각 면이 동일한 확률로 나오는지 검정(적합도 검정)
  • 성별과 직업 만족도 간의 독립성 검정(독립성 검정)

 

제 1종 오류와 제 2종 오류

제 1종 오류

• 귀무가설이 참인데 기각하는 오류
• 아무런 영향이 없는데 영향이 있다고 하는 것
• 한 단어로 위양성
• α를 경계로 귀무가설을 기각하기 때문에 제 1종 오류가 α만큼 발생
• 따라서 유의수준(α)을 정함으로써 1종 오류 제어 가능
  • 만약, 유의 수준이 0.05라면 100번중 5번 정도 일어날 수 있는
  • 제 1종 오류는 감수하겠다는 것
• 다중 검정시 제 1종 오류가 증가하는 이유?
  • 하나의 검정에서 제 1종 오류가 발생하지 않을 확률은 1-α이다.
  • 다중 검정의 개수가 커질수록 1종 오류가 증가한다. 그래서 보정을 하는 것이다.

제 2종 오류

• 귀무가설이 거짓인데 기각하지 않는 오류
• 영향이 있는데 영향이 없다고 하는 것
• 한단어로 위음성
• 제 2종 오류가 일어날 확률은 β로 정의
• 제 2종 오류가 일어나지 않을 확률은 검정력(1-β)으로 정의
• 하지만 이를 직접 통제할 수는 없음
• 그나마 통제 해볼 수 있는 방법으로는
  • 표본의 크기 n 이 커질 수록 β가 작아짐
  • α와 β는 상충관계에 있어서 너무 낮은 α를 가지게 되면 β는 더욱 높아짐

예시

• 새로운 약물이 효과가 없는데 있다고 결론 내리는 것 (제 1종 오류)
• 효과가 있는데 없다고 결론 내리는 것(제 2종 오류)