데이터를 유리하게 해석하지 마세요! 제~발🙏🏻

데이터를 유리하게 해석하지 마세요! 제~발🙏🏻

1/’실험군과 대조군을 나눠 AB 테스트를 했습니다. 테스트 결과를 보니 나의 예상 가설을 검증하지 못했어요. 인정하지 못하겠습니다🤯 검증이 될 것 같은 타겟을 다시 추려서 대조군과 비교해봤어요.

YES! 데이터 증분이 있었고, 가설이 검증되었습니다. 성과 만들었다 🎉’

…. 는 저의 이야기입니다ㅎㅎ 테스트 결과가 한 번에 나오지 않을 때, 데이터를 정제해 성과 분석에 유리하게 만드는 실수를 범하곤 합니다.

2/ 조금 더 구체적인 예시를 들어봅시다.
프로모션의 성과를 비교하기 위해 실험군과 대조군을 5:5로 분류하였습니다. 실험군에게만 프로모션 페이지를 노출하였고, 대조군에게는 노출하지 않았습니다. 프로모션의 종료 후 데이터 분석시 프로모션의 실험군 중 프로모션 참여 버튼을 눌렀던 유저군만 추출해서 대조군과 비교 분석하면 안됩니다. 왜냐하면 당.연.히 프로모션 버튼을 누른 유저군은 참여 의사가 명백한 유저군.

 

즉, 편향된 모집단으로써 당연히 대조군 보다 결과가 좋게 나올 수 밖에 없기 때문입니다.

3/이를 생존자의 편향이라고 부릅니다. 미 해군은 전투를 위해 폭격기를 강화하고자 전투에서 살아 돌아온 전투기를 조사합니다. 조사해 보니, 공격받은 부위가 엔진보다는 날개와 동체에 집중되어 있음을 발견합니다. 그래서 해당 부위를 강화하고자 했습니다. 하지만, 통계학자인 아브라함 왈드는 공격 흔적이 없는 부위를 강화해야 한다고 했습니다. 왜냐하면 엔진 등 공격 흔적이 없는 부위에 공격받은 전투기는 돌아오지 못했기 때문입니다.

4/이 관점에서 실무를 할 때도 편향된 모집단을 가지고 결과를 유리하게 해석하고 있는 것은 아닌지 주의해야 할 필요가 있습니다. 사실 이건 저한테 하는 말이기도 합니다^^;

이 관점은 업무에만 통용되진 않는다고 생각해요. 예전에 ‘맹신’했지만, 지금은 약간의 ‘불신’하고 있는 #그릿 도 마찬가지인 것 같습니다. (논란의 여지 있지만..)

#그릿 은 죽어라 노력해 결국 성공한 사례만 모아놓은 책일 수 있습니다. ‘아무것도 하지 않으면, 아무 일도 일어나지 않으니까 ’그릿 자체를 부정하진 않습니다. 다만 표집 대상을 노력해서 성공한 사람을 대상으로 했기 때문에 이 역시 생존자 편향일 수 있다는 거죠.

저 그리고 저희 팀에서 제일 경계하고 있는 것.
데이터를 너무 유리하게 해석하고 있지는 않은지? 점검해 봐도 좋을 것 같습니다🫡


#생존자편향#통계분석