Comparing AI agents to cybersecurity professionals in real-world pen testing

Comparing AI agents to cybersecurity professionals in real-world pen testing

Poooling·2026년 1월 7일·3

arXiv에 공개된 ARTEMIS 프레임워크는 실제 침투 테스트에서 인간 전문가 10명 중 9명을 앞섰습니다. 1/3 비용으로 인간을 압도한 AI의 등장이 시사하는 보안의 미래를 살펴봅니다.

제목

인간 해커 10명 중 9명을 이긴 AI, 그리고 내가 느낀 서늘한 공포

본문

솔직히 고백하자면, 처음 이 논문을 접했을 때 저는 등골이 조금 서늘해졌습니다.

스타트업에서 '야생형 개발자'로 구르던 시절, 저는 보안이 뭔지도 모르고 그저 기능 구현에만 급급했습니다. 그러다 밤새워 만든 서버가 SQL 인젝션 한 방에 털려 DB가 날아가는 참사를 겪었죠. 그때 식은땀을 흘리며 복구하던 기억은 아직도 트라우마처럼 남아 있습니다. 대기업으로 옮겨온 지금은 체계적인 보안 팀과 협업하고 있지만, 여전히 '보안'이라는 두 글자는 제게 두려움의 대상입니다.

그런데 최근 arXiv에 올라온 논문 하나가 제 눈을 사로잡았습니다. 제목부터 자극적입니다. "실제 침투 테스트에서 AI Agents와 사이버보안 전문가 비교".

결과부터 말씀드릴까요? AI가 인간 전문가 10명 중 9명을 이겼습니다.

물론 단순한 AI는 아닙니다. 'ARTEMIS'라는 새로운 멀티에이전트 프레임워크인데, 실제 대학 네트워크(약 8,000대 호스트, 12개 서브넷)에서 진행된 테스트에서 전체 2위를 차지했더군요. 1위는 최상위권 인간 전문가였지만, 나머지 9명의 보안 전문가는 이 AI보다 성과가 낮았습니다.

더 충격적인 건 '비용'이었습니다. 인간 전문가를 고용하는 데 드는 비용이 시간당 평균 60달러였다면, ARTEMIS 변형 모델을 돌리는 데 든 비용은 고작 18달러였습니다. 3분의 1도 안 되는 가격으로, 어중간한 인간 전문가보다 훨씬 뛰어난 해커를 고용할 수 있다는 뜻입니다.

8년 차 개발자로서 저는 이 지점에서 묘한 위기감을 느꼈습니다. "이제 보안 팀도 AI로 대체되는 건가?" "개발자인 나는 안전할까? AI가 짠 코드를 AI가 뚫고, AI가 막는 세상이 오는 건 아닐까?"

하지만 논문을 꼼꼼히 뜯어보면서, 막연한 공포심은 조금 다른 종류의 깨달음으로 변했습니다. AI가 완벽한 '신'은 아니었거든요.

ARTEMIS는 엄청난 속도로 시스템을 탐색하고 병렬적으로 약점을 파고들었지만, '거짓 양성(False Positive)', 즉 실제로는 취약점이 아닌데 취약점이라고 보고하는 비율이 상당히 높았습니다. 게다가 GUI 기반의 작업, 즉 마우스를 클릭하고 화면을 보며 판단해야 하는 직관적인 영역에서는 여전히 인간보다 엉성한 모습을 보였고요.

이 대목에서 저는 과거 스타트업 시절, 서버가 터졌을 때 저를 도와주던 시니어 개발자분이 떠올랐습니다. 그분은 로그 몇 줄만 보고도 "아, 이거 트래픽 문제가 아니라 레거시 코드 쪽 DB 락(Lock) 걸린 것 같은데?" 하며 문제를 직관적으로 꿰뚫어 보셨죠. 기계적인 스캔만으로는 절대 알 수 없는, 시스템의 맥락(Context)을 이해하는 능력이었습니다.

결국 이 논문이 말해주는 미래는 'AI가 인간을 대체한다'는 단순한 디스토피아가 아니라고 생각합니다. 오히려 'AI라는 강력한 도구를 쥔 인간'과 '그렇지 못한 인간'의 격차가 벌어질 것이라는 예고편에 가깝습니다.

저도 최근에는 코드를 짤 때 Cursor나 Claude 같은 AI 도구를 적극적으로 활용합니다. 처음에는 "내가 짠 코드보다 못하네"라며 무시했지만, 이제는 인정합니다. 단순 반복 작업이나 방대한 문서를 뒤지는 일에서 AI는 저보다 압도적으로 빠릅니다.

보안 영역도 마찬가지일 겁니다. 앞으로의 보안 전문가는 직접 일일이 포트 스캔을 하는 사람이 아니라, ARTEMIS 같은 AI 에이전트 군단을 지휘하며 그들이 가져온 리포트 중 '진짜 위험'을 식별해내는 사령관 역할을 하게 되지 않을까요?

개발자인 우리에게도 시사하는 바가 큽니다. 우리는 이제 '기능을 구현하는 사람'을 넘어, AI가 찾아낼 수많은 보안 구멍을 미리 예측하고 방어할 수 있는 아키텍처를 설계하는 사람이어야 합니다. AI가 시간당 18달러로 우리 시스템을 24시간 두들길 수 있는 세상이니까요.

변화의 속도가 무서울 정도로 빠릅니다. 어제 배운 기술이 내일은 레거시가 될 수도 있습니다. 하지만 두려움에 떨기보다는, 이 파도에 올라타야 합니다. 저렴하고 강력한 AI 해커가 있다는 건, 반대로 말하면 우리도 그만큼 강력한 AI 보안관을 곁에 둘 수 있다는 뜻이니까요.

오늘 밤은 제가 짠 API 서버에 잠재적인 보안 구멍은 없는지, AI에게 코드 리뷰라도 한번 부탁해봐야겠습니다.

혹시 여러분은 AI가 가져온 변화 앞에서 어떤 준비를 하고 계신가요? 댓글로 여러분의 고민과 생각을 들려주세요. 함께 고민하면 조금 덜 막막할 테니까요.

Poooling
PooolingAuthor

Poooling님의 다른 글

댓글 0

첫 번째 댓글을 남겨보세요!