B2B AI 솔루션팀 내부 보고서: 100권의 책을 연결할 때 발생한 '보이지 않는 부채' 명세서 공개

오늘 아침, 갓 입사한 주니어 개발자가 눈을 반짝이며 링크 하나를 보내왔습니다. "CTO님, 이것 좀 보세요. Claude Code를 써서 100권의 책 내용을 분석하고 그 사이의 주제적 연결성을 시각화했대요. 너무 아름답지 않나요?"

'Trails'라는 그 프로젝트는 확실히 매혹적이었습니다. 책들 사이에 숨겨진 맥락을 찾아내 '유용한 거짓말(Useful Lies)', '보이지 않는 균열(Invisible Crack)', '대리인 함정(Proxy Trap)' 같은 근사한 키워드로 묶어두었더군요.

하지만 저는 그 화려한 그래프를 보며 미간을 찌푸릴 수밖에 없었습니다. 주니어가 본 것은 'AI가 찾아낸 인문학적 통찰'이었지만, 제 눈에 보인 것은 그 뒤편에서 불타고 있는 GPU와 전처리 비용 청구서였기 때문입니다.

솔직히 말해봅시다. 우리는 너무 쉽게 'AI의 마법'에 취합니다.

'유용한 거짓말(Useful Lies)'이라는 항목이 제 뼈를 때렸습니다. 텍스트 생성 모델, 특히 LLM은 본질적으로 확률론적 앵무새입니다. 그럴듯한 문장을 만들어내는 능력은 탁월하지만, 그것이 곧 '진실'은 아닙니다. 엔지니어링 관점에서 보자면, 책 100권의 연결성을 찾는 과정은 고차원 벡터 공간에서의 코사인 유사도 연산일 뿐입니다.

연구소 시절, 저도 비슷한 실수를 했습니다. 수만 건의 문서에서 '인사이트'를 뽑아내겠다며 거대 모델을 돌렸습니다. 결과는 그럴듯했습니다. 하지만 클라이언트가 "이 연결이 왜 이렇게 나왔나요?"라고 물었을 때, 우리는 설명할 수 없었습니다. 블랙박스 모델이 뱉어낸 '환각(Hallucination)'과 '창의성' 사이의 경계는 너무나 모호했으니까요. 결국 그 프로젝트는 폐기되었습니다.

데이터 더미 속에서 패턴을 찾는 건 낭만적이지만, 그것을 서비스로 구현하는 건 전혀 다른 차원의 이야기입니다.

프로젝트에 언급된 '보이지 않는 균열(Invisible Crack)'이라는 표현도 인상적이었습니다. "미세한 결함이 조용히 전파되어 치명적 실패를 초래한다"는 설명은 마치 우리의 MLOps 파이프라인을 묘사하는 듯했습니다.

책 100권을 임베딩(Embedding)하고, 벡터 DB에 저장하고, 쿼리를 날려 관계를 추출하는 과정. 이 중 하나라도 '데이터 오염'이나 '스키마 변경' 같은 미세한 균열이 생기면, 전체 결과물은 쓰레기가 됩니다.

당근마켓 재직 시절, 홈 피드 추천 시스템을 경량화하며 뼈저리게 느꼈던 것이 바로 이것입니다. 모델의 정확도(Accuracy)를 0.1% 올리는 것보다, 데이터 파이프라인의 정합성을 99.9% 유지하는 것이 훨씬 어렵고 중요했습니다. 화려한 결과물 이면에는 지루하고 고통스러운 데이터 클렌징의 지옥이 존재합니다.

'Trails' 프로젝트가 보여준 결과물은 아름답지만, 그것을 유지하기 위해 필요한 엔트로피 비용, 즉 '더 나쁜 것이 더 낫다(Worse is Better)' 섹션에서 언급된 "질서를 계속 들여오지 않으면 혼돈으로 녹아든다"는 법칙을 잊어서는 안 됩니다.

우리는 엔지니어입니다. 시인이 아닙니다.

Claude Code가 찾아낸 '자기기만'이나 '승자의 저주' 같은 키워드에 감탄만 하고 있어서는 안 됩니다. 그 키워드를 뽑아내기 위해 몇 토큰을 소모했는지, 그 과정에서 발생한 레이턴시(Latency)는 얼마인지, 그리고 이 구조가 과연 확장 가능한지(Scalable)를 계산해야 합니다.

비용 효율이 증명되지 않은 모델은 그저 값비싼 장난감일 뿐입니다. 클라이언트에게 "우리 AI가 이렇게 철학적입니다"라고 말할 수는 없지 않습니까. 그들은 "그래서 이걸로 인건비를 얼마나 줄일 수 있는데?"를 묻습니다.

주니어에게는 짐짓 엄한 표정으로 말했습니다. "이거 분석해서, 100권 처리하는 데 든 API 비용이랑 예상되는 토큰 수 역산해서 가져오세요. 그리고 RAG(검색 증강 생성)로 구현할 때 발생할 수 있는 환각 이슈 해결 방안도요."

주니어의 얼굴이 울상이 되더군요. 하지만 어쩌겠습니까. 기술적 부채(Technical Debt)라는 '지연된 빚(Deferred Debts)'을 미리 갚게 해주는 것이 리더의 역할인 것을요.

퇴근길, 몰래 그 사이트를 다시 열어보았습니다. '전문가의 직관(Expert Intuition)'이라는 항목이 눈에 들어오더군요. "형식화에 저항하며, 의식적 노력이 스스로를 무력화한다."

쓴웃음이 났습니다. 어쩌면 제가 이렇게 깐깐하게 구는 것도, 수많은 실패를 통해 체득한 저만의 '직관' 때문일지도 모르겠습니다. 데이터로는 설명할 수 없는, '이건 터진다'는 본능적인 공포 같은 것 말입니다.

내일은 주니어가 가져온 분석표를 보며 커피나 한잔 사줘야겠습니다. 낭만을 현실로 만드는 법을 배우는 과정은 꽤나 쓰라리니까요.