데이터 친화적 조직 문화(를 갖추려 하고 있는) 뱅크샐러드 _ 아티클 스터디
뱅크샐러드 데이터 파운데이션의 실험 플랫폼 팀
| - 데이터 파운데이션은 뱅크샐러드의 모든 조직이 데이터 기반의 의사결정을 할 수 있도록 인프라와 각 내부 서비스를 구축하고 가이드 하는 조직 - 실험 플랫폼 팀은 모든 조직이 가설을 검증하고, 정확하게 고객 임팩트를 측정할 수 있도록 실험 문화와 실험 플랫폼을 만들어나가고 있음 |
진정한 실험 조직으로의 발전
| 2020년 1분기 (약 7개의 실험) => 2020년 3분기 (100개 이상의 실험 진행) |
실험이란?
- 실험(Online controlled experiment)은 고객이 마주하는 변화의 임팩트를 측정하는 과정
- 흔히 A/B 테스트라고도 불리며, 서비스 기획과 개발을 통해 구현되는 특정 기능이 유저에게 미치는 영향을 정확하게 파악하기 위한 과정
실험의 필요성
- 제품/기능을 구현할 때 가지고 있던 가설이 실제로 맞는지 실험을 통해 검증
데이터 친화적 조직 문화 발전을 위한 노력
- 현황: 2019년 말까지는 뱅크샐러드의 사용자 데이터와 자산 데이터 등 가설과 인사이트를 뽑아낼 여러 데이터와 데이터 조회를 돕는 툴이 있었음에도 데이터 직군들만 데이터를 살펴봄
- 목표: 구성원 누구나 데이터를 기반으로 결정하는 역량 보유, 실험을 통해 고객 임팩트를 정량적으로 측정하고 검증
- 방안: 1분기 내내 각종 가이드를 만들고 데이터 관련 교육을 진행 1분기 동안 총 12개의 가이드를 만들고, 5번의 교육을 제공
- 결과: 사내 데이터 조회 횟수 증가, 간편한 실험 플랫폼 웹 배포, 데이터 기반 성과 발표
여러 교육 및 가이드를 통해 조직 구성원들이 점차 데이터를 보는 방법에 익숙
=> 많은 사람이 더 자주 데이터를 살펴보기 시작
=> 자연스럽게 Total Query 횟수와 Average Query Run per User 증가
이전에는 개발자분들이 코드로 실험을 생성하고 수정하고, github repository에서 진행 중인 실험들을 확인할 수 있었으나
실험 플랫폼 웹 배포 이후에는 누구나 실험을 생성/수정하고 진행 중인 실험을 확인할 수 있게 됨
뱅크샐러드의 전 구성원이 모여 지난 분기 성과와 다음 분기 계획을 을 공유하는 Alignment Day도 실험 결과를 중심으로 진행됨
각 스쿼드, 조직에서의 성과를 실험의 결과로 정량적으로 증명
Alignment Day에서는 각 조직이 지난 분기 동안 어떤 실험을 진행했고, 성공한 실험에 대해선 성과를 발표하고, 실패한 실험은 lesson learned를 공유
이를 통해, 서로 다른 팀끼리 실험 사례와 결과를 공유하여 다음 분기 제품 전략에 활용
이제는 어느 한 팀, 조직에서만 실험을 하는 게 아니라 전사에서 실험을 기반으로 의사 결정 하는 단계
+) 22년도 뱅크샐러드 데이터 문화 현황
https://blog.banksalad.com/pnc/team-interview-dsa/
- Data R&D팀은 Data Scientist, Data Analyst, Machine Learning Engineer로 구성
- 각각의 제품(서비스)을 담당하는 ‘스쿼드’ 조직(스쿼드 소속 Data Analyst의 경우는 특히나 제품 기획 kick-off부터 함께 참여)
* 인사이트
- 직군에 상관없이 모두가 실험을 어떻게 하는지 인지하고 있으며 직접 실험을 진행하기도 함
(특정 스쿼드에서는 구성원 12명 중 8명이 실험의 오너로서 end-to-end 과정을 모두 경험한 적이 있다고 답변. 응답한 구성원들의 직군은 Server, Web, BD, PM.)
- 포지션에 제한을 두며 업무를 Strict 하게 나누지 않음 --데이터 역량의 필요성
- 다양한 직군과의 협업이 많은 만큼 커뮤니케이션 역량..
* 개념 정리
- 대조군 / 실험군
대조군(Control Group) : 현재의 제품(또는 기능)을 대조군으로 설정
실험군(Treatment Groups): 가설을 통해 검증하고자 하는 개선된 제품 (또는 기능)을 1개 이상의 실험군들로 구성
(유사 개념: 통제집단/실험집단)
- 킥오프미팅 (Kick-off Meeting)
처음 제품기획 프로젝트를 시작하는 회의/미팅
(https://m.blog.naver.com/lucia0747/222265566117)
-액션 아이템
실행, 어떤 문제점을 해결하기 위해 구체적으로 무엇을 언제까지 누가 할 것인지를 정의하는 것
(https://blog.clap.company/1on1_actionitem/)
-A/B 테스트
사용자에게 제공되는 서비스의 두 가지 이상의 버전을 비교, 어떤 것이 더 나은 성과를 끌어내는지 판단하는 실험