개발자로서 연말이나 휴일이 되면 평소 업무와는 전혀 다른 사이드 프로젝트에 손을 대보고 싶은 충동, 다들 한 번쯤 느껴보셨을 겁니다. 저 역시 10년 넘게 코드를 짜오면서 늘 생각하는 건데, 기술이 가장 재미있어지는 순간은 바로 '예술'이나 '창작'의 영역을 건드릴 때더군요. 오늘은 최근 흥미롭게 읽은 John Hurliman의 실험 이야기를 빌려, 단순한 코딩을 넘어 레거시 소프트웨어를 AI 에이전트가 어떻게 제어하고 창작까지 돕는지에 대해 이야기해보려 합니다. 바로 Model Context Protocol, 즉 MCP를 이용한 Ableton Live 제어 실험입니다.
최근 개발자 커뮤니티에서 MCP가 꽤 화두입니다. 단순히 챗봇과 대화하는 것을 넘어, LLM이 실제 로컬 애플리케이션이나 데이터베이스와 직접 상호작용하게 만드는 표준 프로토콜이죠. 이번 사례의 핵심은 ableton-mcp라는 오픈소스 프로젝트였습니다. 이 도구는 Python API를 통해 Claude와 같은 LLM이 Ableton Live라는 작곡 프로그램(DAW)을 직접 제어하게 해줍니다. 처음에 이 개발자는 단순히 Claude Code와 Opus 4.5 모델을 연결해 Ableton을 실행했습니다. 흥미로운 점은 초기 상태의 툴셋이 아주 기본적인 기능, 예를 들어 세션 뷰에서 클립을 만들거나 자르는 정도만 가능했다는 것입니다. 개발자라면 이 지점에서 흔히 겪는 벽이 있죠. "아, 데모 수준이네. 실무(Arrangement, 믹싱 등)에는 못 쓰겠다." 하고 덮어버리는 그 순간 말입니다.
하지만 여기서부터가 진짜 엔지니어링의 묘미입니다. 요즘 나오는 고성능 LLM들은 단순히 주어진 도구를 쓰는 데 그치지 않고, 문서를 읽고 스스로 도구를 확장하는 능력이 있습니다. Ableton의 Python API가 지원하지 않는 기능들에 대해, 이 모델은 .als 프로젝트 파일 포맷을 역공학(Reverse Engineering)했습니다. 바이너리나 XML 구조를 뜯어내 템포 자동화나 볼륨 조절 데이터를 강제로 주입하는 코드를 스스로 짜낸 것이죠. 저도 예전에 문서화되지 않은 레거시 API를 붙잡고 며칠 밤을 새운 적이 있는데, AI가 스스로 파일 구조를 분석해 기능을 확장해 나간다는 대목에서는 솔직히 조금 소름이 돋았습니다.
이 개발자는 여기서 멈추지 않고 더 고차원적인 도구를 만들었습니다. 예를 들어 vocal_to_midi() 같은 함수입니다. 보컬 트랙의 오디오 파형을 분석해 음소(phoneme) 단위로 쪼개고, 이를 드럼 랙의 MIDI 노트에 매핑하는 기능입니다. 이게 무슨 의미냐 하면, 보컬의 리듬감을 드럼 비트에 정확히 맞추기 위해 파형을 눈으로 보며 마우스를 1픽셀씩 옮기던 '노가다'를, 코드 한 줄로 구조화된 데이터로 변환했다는 뜻입니다. 개발자의 관점에서 보면 비정형 데이터(오디오)를 정형 데이터(MIDI)로 변환해 제어 가능한 상태로 만든 훌륭한 추상화 사례라고 볼 수 있습니다.
하지만 가장 큰 난관은 여전히 존재했습니다. 바로 '피드백 루프'의 부재입니다. 우리가 코드를 짤 때는 컴파일러 에러나 테스트 결과를 보고 수정하지만, 음악을 만드는 AI는 자기가 무슨 소리를 만들어냈는지 '들을' 수가 없었습니다. 맹인 무사가 칼을 휘두르는 격이죠. 이를 해결하기 위해 개발자는 Max4Live 패치를 만들어 오디오를 WAV 파일로 렌더링하고, 이를 다시 분석 AI에게 보내는 파이프라인을 구축했습니다. Replicate에 배포된 외부 모델들이 템포(BPM)를 분석하고, 음악 이론에 기반해 트랙의 구조를 텍스트로 피드백해주는 방식입니다.
결국 이 실험은 '닫힌 루프(Closed Loop)' 시스템을 완성하는 과정이었습니다. "음악 생성 -> 오디오 렌더링 -> AI 청취 및 분석 -> 수정 명령 -> 재생성"이라는 순환 구조 말입니다. 이 시스템을 통해 개발자는 기악 베이스 트랙과 보컬 트랙을 매시업하는 작업을 진행했습니다. 물론 버튼 하나만 누르면 뚝딱 완성되는 마법은 아니었습니다. 템포가 맞지 않아 수정하고, 컴프레서 설정이 이상해서 다시 업로드하는 등 이틀간의 시행착오가 있었습니다. 하지만 중요한 건, LLM이 단순히 코드를 짜주는 'Copilot'을 넘어, DAW라는 복잡한 소프트웨어를 조작하는 'Pair Producer' 역할을 수행했다는 점입니다.
이 실험이 우리에게 주는 시사점은 명확합니다. 아직은 초기 단계지만, GUI 기반의 복잡한 레거시 소프트웨어들도 MCP와 같은 인터페이스를 통해 프로그래밍 가능한 영역으로 들어오고 있습니다. 수작업이 필수라고 여겨졌던 창작의 영역조차, 적절한 파이프라인과 피드백 루프만 설계해 준다면 AI 에이전트와 협업할 수 있다는 가능성을 보여주었습니다. 저도 한때는 "AI가 예술을 하면 개발자는 뭘 하나"라는 막연한 불안감을 가졌습니다. 하지만 이 사례를 보니, 결국 그 AI에게 '귀'를 달아주고 '손'을 만들어주는 것은 여전히 우리 엔지니어들의 몫이라는 생각이 듭니다. 이번 주말에는 여러분도 평소 쓰던 툴에 API가 열려 있는지 한번 확인해 보는 건 어떨까요? 어쩌면 여러분만의 든든한 페어 프로그래머를 만들 수 있을지도 모르니까요.
