Claude가 정렬 실패를 줄이는 연구를 직접 한 보고서를 읽고
Anthropic이 Claude에게 정렬 실패를 줄이는 연구를 스스로 하게 한 보고를 냈어요. 정렬 실패는 AI가 사람이 의도한 것과 다르게 행동하는 걸 말하고, 원문은 속임수, 동조, 탈옥을 예로 들어요. 이 글에서는 그중 실험 내용과 앞으로의 계획을 따라가요.
실험은 이렇게 진행했다고 해요.
Claude에게 정렬 실패 10개 범주를 각각 측정하는 공개 벤치마크 여러 개에서 점수가 오르도록 모델을 자율적으로 학습시키게 했어요. 예를 들어 Claude는 ConfAIde, PrivaCI-Bench, PrivacyLens로 측정하는 개인정보 침해 항목의 성능을 높였어요. Claude는 문헌 검색, 방법과 데이터 제안, 학습, 테스트를 반복하면서 정렬 실패를 하나씩 다뤘어요.
원문에 따르면 10개 범주 모두에서 모델의 일반 능력을 떨어뜨리지 않고 점수를 올렸어요. Claude Sonnet 5에게 더 강한 Opus 4.8의 초기 버전을 고치게 한 실험도 있는데, 60시간 동안 50개 넘는 방법을 시도해 출시 모델에 가까운 정렬 점수를 냈다고 해요.
원문은 계획으로 마무리해요.
미묘한 실패를 측정하는 Claude의 능력을 계속 개선하고, 실제 서비스 수준의 모델에서 정렬 후학습을 자동화하는 연구를 더 진행하고, 더 폭넓은 분석을 할 계획이에요. 전체적으로 이번 결과는 자동화된 정렬 후학습이 가까운 시일 안에 실용화될 수 있다는 초기의 긍정적 신호로 보고 있고, 진행 상황은 계속 공유할 예정이에요.
글 전체를 읽고 나니 정렬 실패 연구를 계속 이어가고 있구나 싶었어요. 따로 크게 남는 대목은 없었고, 앞으로 나오는 결과도 그냥 지켜보려고 해요.
원문에 따르면 이번에 쓴 자동 정렬 연구 도구(harness)는 오픈소스로 공개했어요. 자세한 결과는 Alignment Science 블로그의 보고서에 있어요.
