데이터 기반 의사결정- A/B 테스트

[본문]

데이터 기반 의사결정, 실패하지 않는 프로덕트 비밀 | 원티드

 

아직도 많은 조직이 ‘감에 의한’ 의사결정을 통해 프로덕트를 개발 

 

HIPPO 중심의 의사결정

Highest Paid Person’s Opinion의 약자로, ‘월급이 가장 많은 사람의 의견’이라는 의미

제품을 개발하는 많은 조직에서 아직 HIPPO에 따라 Top-down 방식으로 의사결정 진행

 

데이터 기반의 의사결정, A/B 테스트

신규 기능 출시로 인한 영향을 어떻게 정확하게 측정할 수 있을까?

실제로 구글, 아마존, 쿠팡과 같은 글로벌 테크 기업에서는 매 해 수 천, 수 만 건의 A/B 테스트를 진행

주요 기능들은 거의 매번 영향도를 측정한 후 출시,

단 1%의 지표 변화도 수천만 달러의 매출액 증감으로 이어질 수 있기에 이와 같은 검증 과정을 거치는 것은 매우 중요

 

 

넷플릭스

 

A/B 테스트를 활발히 진행하기로 유명한 기업

동일 작품이라도 계정마다 다른 포스터가 노출

이처럼 넷플릭스는 어떤 포스터를 노출하는지에 따라 클릭율이 달라질 것이라는 가설에서 시작

다양한 삽화를 노출하는 테스트를 진행

 

최근 인기가 많았던 <지금 우리 학교는>의 경우, 포스터만 무려 30종

포스터에 대한 개별 사용자 취향 또한 다를 수 있으므로

각 사용자 그룹의 특성을 반영할 수 있는 A/B 테스트를 설계하는 과정

 

 

문제 정의와 목표 설정

 

A/B 테스트는 구글, 넷플릭스와 같이 테크 리소스가 풍부한 기업에서만 진행할 수 있는 것은 아님

시중에 존재하는 여러 툴을 이용해 초기 스타트업에서도 A/B 테스트를 진행하고,

사용자 선호도를 파악하며 빠르게 MVP를 개발 가능 

여기서 중요한 것은 어떤 툴을 사용하는지가 아니라 실험을 통해 해결하고자 하는 문제를 발견하고 목표를 정의하는 과정

 

주문서 진입 → 결제 시도로 이어지는 구간에서의 전환율이 급격히 감소

해당 페이지에서 사용자가 입력해야 하는 정보가 불필요하게 많지는 않았는지,

디자인적으로 사용자에게 혼란을 주는 요소는 없었는지 등을 확인해 보며

어떤 부분을 개선해야 할지에 대한 아이디어를 얻을 수 있음

 

+

ex. 커머스 서비스

이러한 대시보드를 통해

일별 매출액, 홈페이지 진입 경로, 멤버십 별 장바구니 담기 수, 구매완료 수 등의 지표를 확인.

이 지표들에서 프로덕트 개선을 위한 아이디어를 도출