솔직히 말해봅시다.
여러분이 지금 기획하고 있는 그 기능, 사용자가 정말 좋아할 거라고 확신합니까?
"느낌이 좋다"거나 "팀 내부 반응이 핫하다"는 말로 퉁치고 넘어가진 않으셨나요?
오늘은 좀 섬뜩한 이야기를 해보려 합니다.
데이터 없이 '직관'만 믿고 달리는 조직이 어떻게 무너지는지 보여주는 가장 완벽한 실패 사례니까요.
바로 1962년, 미셸 시프르(Michel Siffre)의 지하 동굴 실험입니다.
상황은 이렇습니다.
프랑스 알프스 산맥, 지하 130미터 아래.
미셸 시프르라는 지질학자가 스스로를 고립시킵니다.
시계 없음. 태양 없음. 외부 소음 차단.
유일하게 가진 건 손전등 하나와 생존 물품, 그리고 본인의 '뇌'뿐이었습니다.
목표는 단순했습니다.
"외부 자극(시간 정보)이 없을 때, 인간의 생체 리듬은 어떻게 변하는가?"
나중에 이 실험은 NASA와 미·소 우주 경쟁 시대에 우주비행사들의 장기 체류 스트레스를 연구하는 일주기생물학(Chronobiology)의 시초가 됩니다.
하지만 저는 오늘 이 실험을 철저히 '프로덕트 메트릭(Product Metric)' 관점에서 해부하려고 합니다.
시프르는 자신이 아주 멀쩡하다고 생각했습니다.
일어나서 밥 먹고, 연구하고, 다시 잠드는 규칙적인 생활을 하고 있다고 믿었죠.
그는 동료들에게 전화를 걸어(단방향 통신) 자신의 기상 시간과 식사 시간을 보고했습니다.
물론 그 전화기에는 시계가 없었습니다.
그는 자신이 완벽하게 시간을 통제하고 있다고 확신했습니다.
하지만 지상에 있던 베이스캠프의 데이터는 충격적이었습니다.
그의 '주관적 시간'은 완전히 고장 나 있었습니다.
시프르가 "이제 한 시간 정도 지났겠지?"라고 생각했을 때, 실제로는 서너 시간이 지나 있었습니다.
심지어 그의 '하루'는 24시간이 아니라 48시간으로 늘어지기도 했습니다.
한 번 깨어있는 시간이 36시간이나 지속되었는데, 본인은 그걸 평범한 12시간의 활동으로 인지했습니다.
가장 끔찍한 건 실험이 끝나는 날이었습니다.
63일째 되던 날, 동료들이 그를 데리러 내려갔습니다.
시프르는 격렬하게 저항했습니다.
"아직 25일밖에 안 지났는데 왜 벌써 실험을 중단하느냐!"
그의 뇌 속 달력은 8월 20일이 아니라 7월 중순을 가리키고 있었던 겁니다.
이게 남의 이야기 같으신가요?
판교의 수많은 회의실에서 매일 벌어지는 일입니다.
우리는 종종 '사용자 경험(UX)'을 디자이너나 기획자의 '감'으로 측정하려 듭니다.
"이 정도 로딩 속도면 충분히 빠르지 않나요?"
"이 UI면 사용자가 바로 인지할 것 같은데요?"
시프르가 동굴 속에서 시계 없이 시간을 쟀던 것과 똑같은 행동입니다.
외부의 기준점(Reference Point), 즉 정량적 데이터(Quantitative Data)가 없는 상태에서의 직관은 환각에 가깝습니다.
시프르의 뇌가 그를 보호하기 위해 현실을 왜곡했듯, 우리 뇌도 프로젝트의 실패를 인정하기 싫어서 "이 정도면 괜찮다"고 합리화합니다.
개발자들과 협업할 때 제가 가장 싫어하는 말이 있습니다.
"기능 구현은 다 됐는데, UI가 좀 이상한 것 같아요. 대충 느낌 오시죠?"
아니요, 저는 느낌 같은 거 모릅니다.
그 '이상하다'는 게 픽셀이 튀는 건지, 인터랙션 레이턴시(Latency)가 200ms를 넘어서 뚝뚝 끊기는 건지, 아니면 플로우 자체가 뎁스(Depth)가 깊어서 인지 부하가 걸리는 건지 숫자로 가져오세요.
시프르에게 필요했던 건 강인한 정신력이 아니라, 손목시계 하나였습니다.
우리에게 필요한 건 '사용자를 위한 마음' 따위의 감성이 아니라, GA(Google Analytics) 대시보드와 정확한 A/B 테스트 결과입니다.
이 실험이 주는 교훈은 명확합니다.
1. 인간의 감각은 믿을 수 없을 만큼 부정확하다.
사용자가 "빠르다"고 느끼는 것과 실제 "빠른" 것은 다릅니다. 퍼널(Funnel) 이탈률을 보지 않고 UX를 논하지 마십시오.
2. 고립은 판단력을 마비시킨다.
팀 내부에서만 "우리 거 진짜 좋다"고 자화자찬하지 마십시오. 동굴 밖으로 나가서 실제 사용자에게 프로토타입을 던지고 깨지십시오.
3. 기준점(Benchmark) 없는 프로젝트는 재앙이다.
시프르가 날짜를 25일이나 착각한 것처럼, 명확한 마일스톤과 KPI 없이 진행되는 프로젝트는 런칭 당일에야 "아직 멀었는데요?"라는 소리를 듣게 됩니다.
시프르는 훗날 인터뷰에서 이렇게 말했습니다. "지하에서의 시간은 지상의 시간과 다르게 흐른다."
우리가 만드는 프로덕트의 세계도 마찬가지입니다.
개발 서버(Staging)에서의 체감 속도와, 실제 트래픽이 몰리는 운영 서버(Production)에서의 체감 속도는 천지 차이입니다.
지금 여러분의 팀은 시계를 차고 있습니까? 아니면 칠흑 같은 어둠 속에서 감에 의존해 코드를 짜고 있습니까?
'아티스트 병'에 걸린 디자이너와 '장인 정신'에 취한 개발자가 만나면, 그 프로젝트는 시프르의 동굴이 됩니다.
제발 빛을 보세요. 데이터를 보세요.
그리고 뼈저리게 인정하십시오. 우리의 직관은 틀렸다는 것을.
