회의실에서 주니어 기획자가 "제 생각에는 유저들이 이 기능을 좋아할 것 같아요"라고 말할 때마다 저는 등골이 서늘해집니다. 그 '생각'의 근거가 무엇인지 물으면 십중팔구 "그냥 직관적으로요"라거나 "요즘 트렌드라서요"라는 대답이 돌아오기 때문입니다. 냉정하게 말하겠습니다. 당신의 직감은 회사 돈을 태우는 가장 빠른 지름길입니다. 비즈니스는 점쟁이의 예언이 아니라, 철저한 데이터의 검증 위에서만 생존할 수 있습니다.
최근 한 블로그에서 소름 돋는 기록을 봤습니다. 2025년 한 해 동안 무려 301,432번의 플래시카드 복습을 수행한 한 남자의 이야기입니다. 단순히 공부를 많이 했다는 무용담으로 들리시나요? 저는 이 기록에서 데이터 기반 의사결정의 정수를 봅니다. 이 사람은 1년 365일 중 단 하루도 빠지지 않았고, 가장 긴 공백 시간이 14시간 미만이었다고 합니다. 심지어 자신이 직접 개발한 소프트웨어를 통해 학습 데이터를 관리했습니다. 여기서 우리가 주목해야 할 것은 그가 데이터를 다루는 태도입니다.
그는 학습 성취도를 기록할 때 '주관적인 난이도(쉽다/어렵다)'를 배제했습니다. 오직 '정답 여부(Pass/Fail)'라는 객관적 사실(Binary Data)만을 기록했습니다. 토스에서 대출 비교 서비스를 고도화할 때 저도 비슷한 실수를 저질렀습니다. 초기에는 사용자 설문조사나 인터뷰 같은 정성적 데이터, 즉 '사용자의 말'을 믿었습니다. "앱이 깔끔해서 쓰기 편해요"라는 말에 취해 정작 전환율(Conversion Rate)이 바닥을 치고 있다는 사실을 외면했습니다. 사용자의 기분(Subjective)이 아니라, 그들이 실제로 버튼을 눌렀는지(Objective)가 유일한 진실이었습니다. 이 남자가 자신의 느낌을 믿지 않고 오직 정답 여부만으로 알고리즘을 짠 것처럼, 프로덕트 오너(PO)는 사용자의 행동 로그만을 신뢰해야 합니다.
또한 그는 데이터를 맹신하지 않고 끊임없이 의심하고 검증했습니다. 자신의 정답률이 아침에 높고 오후 5시에 다시 높아지는 현상을 발견했지만, ChatGPT와 Gemini를 동원해 통계적 유의성을 검증했습니다. 그리고 "샘플 사이즈가 큼에도 불구하고 통계적으로 유의미하지 않다"는 결론을 내리고, 코드를 다시 들여다보며 원인을 찾으려 했습니다.
반면 우리는 어떻습니까? A/B 테스트 결과가 조금만 좋게 나와도 "대박 났다"며 샴페인을 터뜨립니다. 그 수치가 일시적인 노이즈인지, 특정 코호트(Cohort)의 편향된 결과인지 분석조차 하지 않습니다. 제가 카카오페이에서 송금 프로세스를 개선할 때, 단순히 버튼 색깔을 바꿨더니 클릭률이 올랐던 적이 있습니다. 알고 보니 디자인 개선 덕분이 아니라, 해당 버튼이 '광고 팝업'처럼 보여서 사용자들이 실수로 누른 비율(Misclick)이 높아진 것이었습니다. 겉으로 보이는 데이터 뒤에 숨겨진 맥락을 파고들지 않으면, 우리는 결국 잘못된 의사결정을 내리게 됩니다.
데이터를 본다는 것은 Amplitude나 Tableau 대시보드를 멍하니 바라보는 것이 아닙니다. 이 남자처럼 55,000개가 넘는 데이터 포인트를 1년 내내, 하루도 빠짐없이 씹어먹는 집요함이 필요합니다. "사용자가 좋아할 것 같아요"라는 말을 입에 올리기 전에, 최소한 로그 테이블에서 SQL 쿼리라도 한 번 더 날려보십시오.
물론, 매일 30만 건의 로그를 육안으로 확인하라는 뜻은 아닙니다. 하지만 적어도 당신이 만든 기능이 배포된 다음 날, 아무도 그 기능을 쓰지 않았다는 사실을 일주일 뒤 주간 보고서 쓸 때가 되어서야 아는 무능한 기획자는 되지 마십시오. 데이터는 차갑지만, 그 데이터를 대하는 당신의 태도는 누구보다 치열해야 합니다. '감'으로 일하는 시대는 끝났습니다. 숫자로 증명하지 못하면, 당신의 기획서는 그저 비싼 휴지 조각일 뿐입니다.
