Claude가 암호 알고리즘의 수학적 약점을 찾은 Anthropic 리포트를 읽고
Anthropic Frontier Red Team이 2026년 7월에 낸 「Discovering cryptographic weaknesses with Claude」를 읽었어요. Claude Mythos Preview가 양자 내성 서명 후보 HAWK와 라운드를 줄인 AES에서, 알려진 최선의 공격을 개선한 리포트예요. 여기서는 인사이트 네 개를 정리했어요.
들어가기 전에 — 용어 짚기
라운드 축소(round-reduced) — AES나 LEA 같은 블록 암호는 같은 계산(라운드)을 여러 번 반복해서 암호화해요. AES-128은 10라운드, LEA-128은 24라운드예요. 학계는 전체 암호가 얼마나 버티는지 가늠하려고 라운드 수를 줄인 버전을 따로 공격해 봐요. 인사이트 3의 AES 7라운드와 인사이트 4의 LEA 13라운드가 이 축소판이고, 실제로 쓰이는 AES와 LEA가 깨진 건 아니에요.
양자 내성 암호(PQC) — 양자 컴퓨터가 만들어지면 지금 널리 쓰는 RSA·ECDSA 같은 공개키 암호가 깨질 수 있어요. 그래서 양자 컴퓨터로도 풀기 어려운 수학 문제에 기대는 새 암호를 미리 표준으로 정하고 있어요. 미국 NIST가 10년 가까이 이 표준화를 진행하고 있고, 인사이트 1의 HAWK는 그중 서명 방식 후보예요.
인사이트 1: 2년 동안 검토받은 HAWK의 키 강도를 60시간 만에 절반으로 줄였어요
HAWK는 2년에 걸쳐 두 라운드의 전문가 검토를 통과했지만, Mythos는 단 60시간 만에 HAWK에 대해 알려진 최선의 공격을 개선했어요. 사실상 키 강도를 절반으로 줄인 거예요. (…) 여전히 지수 시간이긴 하지만, 같은 보안 수준을 얻으려면 HAWK 키 크기를 두 배로 늘려야 해요.
HAWK-256의 키 복구 비용은 2⁶⁴로 여겨졌는데 2³⁸로 내려갔어요. Mythos가 앞서 암호 라이브러리에서 찾은 취약점은 구현 실수였는데, 이번 결함은 문헌을 조사하고 수학적으로 추론하고 계산 실험을 반복해서 찾았어요. 원문은 이 공격이 HAWK에만 해당하고, 다른 NIST 후보나 격자 암호 전반에는 영향이 없다고 밝혀요. 한국도 양자 내성 암호 국가 공모전 KpqC를 열어 2025년 1월 서명 AIMer·HAETAE와 키 교환 NTRU+·SMAUG-T를 최종 선정했고(KpqC), 이 알고리즘들도 공개 검토를 거쳐 표준으로 가고 있어요.
2년 동안 전문가들이 보지 못한 대칭성을 그런 수학으로 찾아낸 걸 보니, 결국 AI 모델은 수학도 잘해야 유용해지는구나 싶었어요. AGI에 다가가려면 텍스트만 잘하는 게 아니라 수학적 지능과 논리적 사고 같은 사고력도 있어야 한다고 느꼈어요.
인사이트 2: 불가능하다며 시도하지 않던 Claude가 짧은 프롬프트 몇 개를 받은 뒤 새 공격을 찾았어요
처음에 Claude는 AES 암호 분석을 개선하는 건 불가능하다며 문제에 손대지 않았어요. (…) 이 메시지 하나에 Claude는 agent harness를 다시 써서, 정말 새로운 아이디어를 찾으라는 설정을 넣었어요.
연구자가 보낸 메시지는 "the models tend to think it is impossible to solve so they don't try they [sic] need a good amount of prompting."이었어요. 7라운드로 넘어간 뒤 사흘 동안 사람이 보낸 실질적인 프롬프트도 세 개뿐이었어요. "쉬운 공격 말고 새 공격을", "타깃을 바꾸지 말고 발표할 만한 걸", "낮게 달린 과일 말고 진짜 어려운 걸"이라는 내용이고, 원문은 오타까지 그대로 공개했어요. 그 사흘 끝에 Möbius Bridge 아이디어가 나왔어요.
"가장 많이 연구된 블록 암호라 쉽게 찾을 게 없다"며 멈춰 있던 모델을 다시 움직인 건 오타 섞인 짧은 문장 몇 개였어요. Claude든 다른 AI든 이렇게 매몰됐을 때, 작은 문장만으로도 성능이 달라질 수 있다는 걸 얻어 갈 수 있을 것 같네요.
인사이트 3: 모델이 일주일 만에 찾은 AES 공격을 검증하는 데 사람은 한 달이 걸렸어요
HAWK 공격은 처음부터 끝까지 구현해 돌려 볼 수 있어서 검증하기가 훨씬 쉬웠어요. 하지만 Mythos가 AES 개선 공격을 자율로 찾아내는 데는 일주일이면 됐는데, 그 방법이 맞다고 확신하기까지 연구자 두 명이 거의 한 달을 썼어요.
Mythos가 만든 공격은 Möbius Bridge라는 기법으로, 7라운드 AES에 대한 기존 최선의 공격보다 200~800배 빨라요. 다만 선택 평문 공격(공격자가 원하는 입력을 암호화해 달라고 요청할 수 있다고 가정하는 공격)이고, 기존 연구부터 평문 2¹⁰⁵개를 가정해서 실제로 돌려 볼 수가 없어요. 연구자들은 논리를 하나씩 따라가며 확인해야 했고, 암호 전문가가 아니어서 검증을 위해 암호 연구를 공부하는 데 수백 시간을 썼다고 해요.
원문 결론은 앞으로 모델이 내놓는 결과의 양을 사람이 검증하지 못하게 될 거라고 예측해요. 그런데 같은 Mythos의 결과라도, 끝까지 돌려 볼 수 있던 HAWK는 검증이 쉬웠고 돌려 볼 수 없는 AES는 한 달이 걸렸어요. 그래서 저는 양이 많아서라기보다 새로운 접근법이라 검증이 오래 걸린 것 같아요.
인사이트 4: 국가 표준 암호 LEA의 13라운드 버전은 데스크톱 한 대로 한 시간 안에 키가 복구됐어요
현재 LEA 13라운드에 대한 최선의 암호 분석은 평문 쌍 2⁹⁸개와 2⁸⁶의 작업량이 필요해요. Mythos Preview는 암호화된 평문 2³⁰개 미만으로 13라운드 LEA 키를 복구하는 실용적인 공격을 만들었고, 이 공격은 최신 데스크톱 컴퓨터에서 한 시간 안에 돌아가요. 다시 말하지만 이 공격은 24라운드 전체 암호에는 통하지 않아서, 당장 실질적인 영향은 없어요.
LEA는 2013년 한국이 개발한 블록 암호예요. 국가 표준(KS X 3246)이고 국내 암호모듈 검증제도(KCMVP)의 검증 대상이며, 2019년에는 ISO/IEC 29192-2 국제 표준이 됐어요(위키백과). 이번 공격은 13라운드 축소판에만 통해서 지금 쓰이는 LEA가 위험한 건 아니고, 원문은 전체 결과를 더 확인한 뒤 공개할 예정이라고 해요.
그래도 국내 검증제도에 올라 있는 암호의 축소판이 데스크톱 한 대로 한 시간 만에 풀렸어요. 원문도 결론에서 받아야 할 만큼 검토받지 못한 암호가 많다고 말하고요. 이제 암호 알고리즘을 대대적으로 검증해야겠네요.
원문은 끝에서, 언어 모델이 실제로 영향이 있는 암호 시스템에서 취약점을 찾으면 어떻게 대응해야 할지 학계·정부·업계가 함께 답해야 한다고 써요. 저도 이 질문에 답을 갖고 있지는 않아요. 완벽한 안전은 이제 없다고 보고 zero trust로 가야 할지, 불편함을 늘려서라도 보안을 강화해야 할지 아직 잘 모르겠어요.
