언어 모델에게 로봇 조종을 맡긴 Anthropic 실험을 읽고
Anthropic Frontier Red Team이 언어 모델 열두 개에게 로봇을 맡겨 봤어요. 진자 같은 고전 제어 과제부터 시뮬레이션 속 사족 로봇과 휴머노이드, 로봇팔, 실물 Unitree Go2까지요. 이 글에서는 그중 같은 모델이라도 로봇에 어떻게 연결하느냐에 따라 결과가 갈린다는 이야기를 따라가요.
연구진은 모델이 로봇을 다루는 방식을 네 가지로 나눴어요. 모터 토크를 매 순간 직접 정하기, 제어 코드 짜기, 강화학습으로 정책(관측을 받아 동작을 내놓는 신경망)을 직접 학습시키기, 이미 학습된 정책에 고수준 명령만 내리기예요.
모델의 로봇 점수는 모델 자체만큼이나 로봇의 몸과 제어 인터페이스에 달려 있어요. 같은 모델이라도 모터 토크를 직접 정하는지, 파이썬 제어기를 짜는지, 사전학습된 정책을 감독하는지, 강화학습으로 자기 정책을 학습시키는지에 따라 약해 보이기도 하고 강해 보이기도 해요.
관절을 직접 몰아야 할 때는 대부분 실패했어요. 로봇팔로 "접시를 스토브에 올려라" 같은 주방 과제를 직접 제어로 끝까지 해낸 비율은 0~5.5%였고요. 같은 과제에서 사전학습된 VLA(카메라 이미지와 지시를 받아 로봇팔 동작으로 바꿔 주는 정책)를 감독하게 하자, 모든 모델의 성공률과 진행도가 크게 올랐어요. 저는 이 결과를 모델 자체보다 모델에 무엇을 붙여 주느냐, 그러니까 하네스(모델이 도구·제어기와 연결되는 바깥 구조)가 능력을 정한다는 쪽으로 읽었어요.
커서 도구는 반대로 조작 과제에서 모든 모델을 크게 끌어올렸어요. Mythos Preview는 10개 과제 묶음에서 성공률이 6%에서 32%로 올랐어요. 나침반도 보행에서 같은 역할을 해서, 시험한 모든 설정의 성능을 올렸어요.
커서는 그리퍼 카메라 화면에 찍힌 작은 빨간 X예요. 모델이 이걸 옮기면서 그 지점에 있는 물체와 거리를 물어볼 수 있어요. 나침반은 로봇이 향한 각도를 숫자로 알려 주는 게 전부고요. 반면 깊이 맵이나 분할 오버레이처럼 정보를 더 얹어 주는 시각 도구는 효과가 거의 없었어요. 모델은 그대로 두고 붙여 주는 도구 하나만 바꿨는데 성공률이 다섯 배 넘게 뛰었으니, 하네스 쪽 차이가 그만큼 크다고 봐요.
모델이 세상에서 유능하게 움직이려고 관절을 직접 몰 필요는 없어요. 쓸 만한 제어기에 접근할 수만 있으면 돼요. 모델만 떼어 놓고 시험하는 능력 평가는, 로봇 스택에 들어갔을 때 모델이 할 수 있는 일을 과소평가하게 돼요.
다만 이 "쓸 만한 제어기"는 몸마다 사정이 달라요. 사족 로봇에서 연구진이 쓴 보행 정책은 상용 사족 로봇 대부분에 널리 갖춰져 있다고 해요. Go2는 앞서 다룬 Project Fetch 글에 나온 그 로봇이고요. 휴머노이드 G1은 사전학습 정책 없이 직접 제어, 코드, 강화학습으로만 시험했는데, 쓰러진 자세에서 일으켜 세운 모델은 한 번도 없었어요. 원문도 지금의 프론티어 모델은 사전학습 정책 없이는 휴머노이드를 다루지 못한다고 정리해요.
저는 휴머노이드가 어려울 수밖에 없다고 봐요. 사람이 휴머노이드를 직접 조종하는 사례 자체가 많지 않은 것 같으니, 모델에 붙일 하네스도 아직 별로 없을 것 같거든요. 휴머노이드에 사람의 지능을 넣는다고들 하지만, 텍스트 데이터로 학습한 모델이라면 걷는 법은 따로 배워야 해서 프론티어 모델이어도 어려운 것 같아요. 원문도 실험 대상을 로봇 학습을 따로 받지 않은 범용 채팅 모델이라고 적고 있어요. 다만 원문이 세대 간 차이를 만든 요인으로 꼽는 건 시각, 수치 일관성, 3D 이해 쪽이에요.
원문은 결론에서, 모델의 현실 영향력은 접근할 수 있는 정보에 따라 몇 자릿수씩 달라지니 평가와 배포에서 접근 수준을 시스템의 핵심으로 다뤄야 한다고 적어요.
