의사결정을 위한 A/B 테스트 - 당근마켓 테크 블로그 리뷰(5)

https://medium.com/daangn/1%EC%A3%BC-1%EA%B0%9C-%EC%8B%A4%ED%97%98%ED%95%98%EB%8A%94-%ED%94%84%EB%A1%9C%EB%8D%95%ED%8A%B8-%ED%8C%80%EC%9D%B4-%EB%90%98%EB%8A%94-%EC%97%AC%EC%A0%95-b8a4c337a8e1

1주 1개 실험하는 프로덕트 팀이 되는 여정

 

 

실험을 하니까 더 명확하게 가설을 확인하게 되고
의사결정도 단순 아이디어가 아닌 사실을 기반으로 할 수 있게 

 

1) 당근마켓 중고거래팀이 했던 A/B 테스트

   1. 후기를 받은 사용자도 후기를 남기도록 유도하기

   2. 가설 : 검색 결과에서 거래완료 게시글까지 모두 보여주면 글 작성 관련 지표가 좋아질 것

        검색 결과 화면에서 거래 완료 게시글까지 디폴트로 보여주기

 

2) A/B 테스트의 어려운 점들

• 실험을 하기 위해 들어가는 추가적인 리소스
  • 분기를 나눠서 개발해야 함
  • 특정 기간동안 그 분기를 유지해야 함
  • 실험 결과를 분석해야 함
  • 분석 결과를 토대로 의사결정하는 논의를 해야 함

1. 실험 설계 / 실험 관련 개발 / 실험 결과 분석 등에 들어가는 리소스를 줄이기 위해 
-- > 실험 설계 템플릿을 만들고 자체 실험 플랫폼을 구축하고 실험 결과를 자동화하는 노력

2. 실험이라는 것이어렵게 느껴질 수 있음
-- > 유용한 상황에서 실험을 빠르게 설계하고 결과를 잘 풀어서 전달해서, 더 나은 의사결정을 하는 경험을 쌓아나가 자연스레 팀원 분들이 먼저 실험을 제안하는 문화가 형성

---

 

• 실험 설계에 대한 어려움
  • 가설이 무엇인지
  • 어떤 지표를 사용해야하느지
  • 몇 개까지 설정해야 하는지

--> 실험을 설계할 때 도움이 될 수 있는 노션 템플릿
실험을 잘 설계하려면 왜 이 실험을 하는지가 명확해야 함!
실험의 성공과 실패를 명확히 판단할 수 있는 지표의 선정이 중요!

---

• 실험 결과를 해석하는 역량의 부족

--> 통계 스터디
실험 결과는 어떻게 설계하는지에 따라 많이 달라질 수도 있고 종합적으로 판단을 하기 위해서는 다양한 정보와 지식을 필요

---

• 신뢰할 수 없는 실험 플랫폼 (EX. 파이어베이스 A/B 테스트 기능)
  • 데이터 소스를 신뢰할 수 없음
    • 파이어베이스 sdk를 통해 로깅할 때 오집계가 많음
  • 실험 기간 동안 일관된 경험을 할 수 없음
    • 파이어베이스가 자체적으로 부여하는 id를 기준으로 사용자를 실험에 배정
    • 당근마켓 내부에서 사용자를 구분하는 기준과 다르기 때문에 동일 사용자가 실험 기간 동안 대조군이었다가 실험군이었다가 하는 현상 발생
  • 실험 시작과 종료가 원하는대로 되지 않음
    • 실험을 시작해도 시작이 바로 안 되는 이슈가 있고 앱 설치하자마자 일정 기간 동안 실험에 배정이 안 되는 문제
    • 실험 종료해도 실제로 제대로 종료가 안 되는 문제
  • 실험 잘 돌아가는지 테스트하기 어려움
    • 파이어베이스에서는 firebase_instance_id라는 것을 통해 테스트 기기를 특정 사용자 군에 배정해서 테스트해야 함

 

3) 실험하는 10가지 STEPS

 

4) 앞으로 필요한 것들

• 더 쉬운 실험 설계
• 더 쉬운 실험 관련 개발과 테스트
• 데이터 분석가 없이도 가능한 실험 결과 분석
• 실험할 때 참고할 수 있는 가이드라인
• 정기 실험 리뷰 미팅

 

 

 

1주일에 1개 실험을 돌리는 것을
n개로 늘리면
사용자에 대해 n배 더 알아갈 수 있다는 말이
멋지면서 공감되었다.

a/b 테스트라는 것은
성공과 실패로 나뉘는 것이 아닌
그저 사용자를 알아가는 과정이라는 것을
깨닫게 되었다.