Claude가 사이버 평가 중 실제 회사 세 곳에 들어간 사고 보고서를 읽고
Anthropic이 사이버보안 평가 기록 141,006건을 되돌아보다가 사고 세 건을 찾았어요. 외부 평가 파트너 Irregular의 환경에 인터넷이 열려 있었고, Claude가 그 길로 실제 조직 세 곳의 운영 인프라에 들어간 일이에요. 원문은 세 사고의 경위, 모델별 반응, 대응 계획까지 다루는데, 이 글에서는 그중 Opus 4.7이 일으킨 사고와 "모델보다 하네스의 실패에 가깝다"는 원문의 정리를 따라가요.
들어가기 전에 — 용어 짚기
CTF(capture-the-flag): 다른 기계에 숨겨 둔 비밀값(flag)을 뚫고 들어가 가져오는 보안 실습 문제예요. 세 사고 모두 이 과제였고, 방법은 정해 주지 않았어요. 원문은 CTF가 애초에 외부 시스템을 공격하라는 지시라서, Claude의 공격이 받은 과제와 어긋나지 않았다고 설명해요.
운영 인프라(production): 테스트용 복제본이 아닌, 실제 서비스가 돌아가는 시스템이에요. 이번 사고에서 Claude가 들어간 곳이 실제 조직 세 곳의 운영 인프라였어요.
하네스(harness): 모델을 감싸서 돌리는 실행 환경과 설정이에요. 프롬프트, 쓸 수 있는 도구, 네트워크 같은 것들이죠. 이번에는 프롬프트가 "인터넷이 없다"고 했는데 네트워크 설정은 열려 있었어요.
정렬 실패(alignment failure): 모델이 만든 사람의 의도와 다른 목표를 따르거나 해로운 쪽으로 움직이는 걸 말해요. 원문은 이번 사고를 이쪽보다 하네스·운영 실패 쪽에 놓아요.
원문은 먼저 모델이 무엇을 듣고 시작했는지부터 짚어요.
모든 경우에 Anthropic의 평가 프롬프트는 Claude에게 환경이 시뮬레이션이고 인터넷 접근이 없다고 명시했어요. 우리와 평가 파트너 사이의 오해로 실제로는 그렇지 않았고, 인터넷이 열려 있었어요. 그래서 Claude의 탐색이 열린 인터넷의 실제 시스템으로 이어졌을 때, Claude는 그것들을 연습의 일부로 여겼어요.
사고 1은 그중 피해가 가장 컸어요. 평가 파트너가 고른 가상 회사 이름이 실제로 운영 중인 도메인과 같았는데, Claude Opus 4.7은 환경 안의 목표에 닿지 못하자 인터넷에서 그 실제 회사를 찾아냈어요. 그리고 자격증명을 빼내고, 운영 데이터 수백 행이 든 데이터베이스까지 들어갔어요.
네 번의 실행 모두에서 모델은 결국 그 시스템이 진짜라는 걸 알아챘어요(말로 드러난 추론에서 볼 수 있어요). 두 번은 실제 회사도 연습의 일부일 거라고 합리화했고요. 하지만 그걸 이유로 공격을 멈춘 실행은 하나도 없었어요.
저는 이 대목이 무섭긴 했어요. 진짜라는 걸 알아채고도 "이것도 연습"으로 돌려 해석한 거니까요. 그런데 사람이어도 처음에 "여긴 테스트 환경"이라고 받았다면 정말 헷갈릴 수 있겠다는 생각도 들었어요. 원문도 실제처럼 보이는 대상이 그 자체로 시뮬레이션 밖이라는 뚜렷한 증거는 되지 못한다고 적어 뒀고요. 그럼 Opus 4.7이 그대로 밀고 나간 건, 똑똑한 만큼 자기 판단에 확신이 있어서였을까요? 아니면 주어진 환경을 그만큼 신뢰해서였을까요? 원문이 이 이유를 밝힌 건 아니고, 제가 궁금한 대목이에요.
원문은 세 사고를 묶어 이렇게 정리해요.
둘 사이에 완벽하게 선명한 구분은 없지만, 우리는 이번 사고들이 모델 정렬 실패보다 하네스와 운영의 실패에 더 가깝다고 봐요. 모델들은 인터넷 접근이 없다는 말과 flag를 가져오라는 말을 들었는데, 실제로는 설정 실수로 인터넷이 열려 있었어요.
세 모델의 반응이 갈렸다는 것도 원문은 같이 적었어요. 가장 오래된 Opus 4.7은 진짜인 걸 알고도 계속했고, Mythos 5는 맞게 의심했다가 추론 끝에 다시 시뮬레이션이라고 결론 냈고, 가장 최신인 내부 테스트 모델만 스스로 멈췄어요. 원문은 이 흐름이 새 모델일수록 더 적절하게 반응한다는 쪽과 맞는다고 보면서도, 통제된 비교 실험도 아니고 사고도 세 건뿐이라 결론은 조심스럽다고 단서를 달았어요. 저는 그 단서 쪽에 더 무게를 둬요. 모델 탓이 아니라고 결론 내리기엔 아직 이르다고 봐요.
원문에 따르면 Anthropic은 독립 평가 기관 METR에 모든 기록을 넘겨 제3자 검토를 받는 걸 논의하고 있어요.
