모델 안의 dual-use 지식을 끄는 방법, GRAM을 읽고
Anthropic이 AE Studio와 함께, 모델 안의 dual-use 지식을 분야별로 켜고 끌 수 있게 하는 방법 GRAM을 발표했어요. dual-use 지식은 좋게도 나쁘게도 쓸 수 있는 지식을 말해요. 원문은 세 단계 실험과 한계까지 다루는데, 이 글에서는 그중 보안 지식이 꺼질 수 있다는 이야기와 이 방법이 풀려고 한 비용 문제를 따라가요.
들어가기 전에 — 용어 짚기
사전학습 데이터 필터링: 모델이 처음 대량의 텍스트로 학습할 때 특정 분야의 데이터를 미리 빼고 학습하는 방법이에요. 모델은 그 지식을 애초에 배우지 않게 돼요. Anthropic은 이전 연구에서 화학·생물·방사능·핵무기(CBRN) 정보를 이렇게 걸러 냈어요.
GRAM (Gradient-Routed Auxiliary Modules): Transformer의 모든 층에 dual-use 분야별로 떼어 낼 수 있는 뉴런 묶음(모듈)을 붙이는 방법이에요. 그 분야 텍스트를 학습할 때는 일반 가중치를 잠깐 얼리고 해당 모듈만 배우게 해서, 지식이 그 모듈에 쌓여요. 학습이 끝나면 모듈을 지우거나 남겨 두는 방식으로 그 능력을 끄고 켜요.
원문은 dual-use 지식의 예로 사이버보안을 먼저 들어요.
예를 들어 사이버보안 지식은 치명적인 보안 취약점을 막는 데 쓰일 수도 있고, 그 취약점을 공격하는 데 쓰일 수도 있어요. 바이러스학 지식은 연구자가 백신을 만드는 데 도움이 되지만, 악의를 가진 사람이 치명적인 병원체를 설계하는 데도 도움이 될 수 있고요.
실험에서도 사이버보안은 바이러스학, 핵물리, 비주류 프로그래밍 언어와 함께 떼어 낼 분야 넷 중 하나였어요. 모듈을 지우면 처음부터 그 데이터를 학습하지 않은 것만큼 능력이 빠졌다고 해요. 보안을 배운 입장에서 이 대목은 좀 막막했어요. 언젠가 AI에게 보안 질문을 했을 때 막히는 날이 올 것 같거든요. 원문 기준으로 GRAM은 아직 Claude에 적용되지 않았고, Anthropic도 앞으로 적용할지 모르겠다고 적었어요. 모듈은 신뢰할 수 있는 곳에 배포할 때 켜 두는 구조고요.
보안 능력을 검증된 사람에게만 여는 방식은 분류기 쪽에서는 이미 운영되고 있어요. Anthropic은 10월에 검증된 보안 전문가에게 차단 분류기를 줄이고 고급 사이버 능력을 열어 주는 Cyber Verification Program을 확장했어요.
그래도 이 기술을 생각해 낸 것 자체는 흥미로웠어요. 출발점은 앞서 짚은 필터링의 비용이에요.
하지만 필터링은 거친 도구예요. 능력이 고정된 모델 하나만 나오거든요. 필터링으로 고급 바이러스학을 다룰 수 있는 버전(예를 들어 검증된 생물보안 연구소에 배포할 버전)과 그렇지 않은 버전을 둘 다 원하면, 모델을 따로 두 번 학습해야 해요.
프론티어 모델은 크고 학습 비용이 매우 비싸서, 원문은 이 비용을 감당하기 어렵다고 봐요. GRAM은 분야마다 모듈을 따로 두고 한 번만 학습해요. 분야를 넷으로 잡은 실험에서는 한 번 학습한 모델을 분야마다 켜고 끄는 조합 16가지로 쓸 수 있었어요. 버전마다 모델을 따로 학습해야 하는 문제를, 칸을 나눠 한 번에 학습하는 발상으로 푼 게 흥미로웠어요.
원문은 이걸 "새 방법"으로 소개해요. 있는 방법으로는 비용 때문에 막힌 문제를 새 방법을 만들어서 푼 거죠. 저도 보안 쪽에서 해결하고 싶은 문제들이 있는데, 기존 지식으로는 안 풀리는 경우가 있어요. 이 연구처럼 어떻게든 문제를 해결해 보려는 자세를 배우고 싶고, 그런 걸 해 보고 싶어요.
