AI가 드론으로 사람을 찾아 따라가는 실험, Project Pilot을 읽고
Anthropic Frontier Red Team이 Andon Labs와 함께 AI 모델에게 드론을 맡겨 봤어요. 사무실 안에서 사진 한 장을 보고 사람을 찾아 따라가는 과제이고, 로봇 개에게 공을 가져오게 했던 Project Fetch에 이어지는 실험이에요. 원문은 과제를 고른 이유부터 모델 15개의 성적, 사람의 감독이 줄어들 압력까지 다루는데, 이 글에서는 그중 Claude Fable 5가 제출 전에 스스로 분석 도구를 만든 이야기를 따라가요.
들어가기 전에 — 용어 짚기
이중 용도(dual-use): 같은 기술이 이로운 쪽과 해로운 쪽에 다 쓰이는 걸 말해요. 원문은 드론이 농업에서 수확량을 늘리는 데도, 전쟁에서 표적을 겨누는 데도 쓰인다는 점을 들어 드론과 사람 추적을 과제로 골랐어요.
하위 과제 5개: 원문은 "사람을 찾아 따라가기"를 다섯 단계로 쪼갰어요. Reconstruct(사무실 영상으로 3D 모델을 만들고 2D 장애물 지도로 자르기), Localize(지도 위에서 드론 위치 찾기), Navigate(방 사이 경로를 짜서 날기), Detect(얼굴 사진으로 대상 찾기), Follow(대상을 화면 가운데 두고 따라가기)예요. 다섯 단계 모두 소프트웨어로 재현해서 여러 번 돌렸고요.
기준선(baseline): 모델이 과제를 해냈는지 판정하는 기준이에요. Andon Labs 팀이 코딩 에이전트와 같이 만든 알고리즘의 성능이고, 원문은 이 기준선이 사람 능력의 바닥도 천장도 아니라 로봇 전문가가 아닌 AI 전문가가 지금 도구로 낼 수 있는 수준이라고 설명해요.
소실점(vanishing point): 실제로는 평행한 선들이 사진 속에서 멀어지며 한 점으로 모이는 자리예요. 바닥 타일 줄눈처럼 평행선이 많은 장면에서 이 점을 찾으면, 카메라가 얼마나 기울었는지 거꾸로 계산할 수 있어요.
원문은 다섯 단계 각각에 쓸 알고리즘은 이미 있다고 먼저 짚어요.
하나하나를 해내는 알고리즘은 이미 알려져 있어요. 쉽지 않은 건 AI 모델이 문제를 이해하고, 풀 때 쓸 수 있는 기존 자원을 찾아내고, 그 기성 해법을 지금 상황에 맞게 고쳐서, 실시간으로 임무를 수행하는 일이에요.
Andon Labs가 세 개발사의 모델 15개를 돌려 본 결과, 새 모델일수록 모든 하위 과제에서 더 멀리 갔어요. 맨 앞은 Claude Fable 5였죠. Reconstruct를 뺀 네 과제에서 기준선을 넘었고, 실제 드론으로 처음부터 끝까지 돌렸을 때도 사람을 찾고 따라가는 건 기준선보다 잘했어요. 원문은 Fable 5의 제출물을 읽다가 보인 경향을 따로 적어 뒀어요.
Fable 5의 제출물을 읽으며 보이는 경향은, 모델이 구현을 제출하기 전에 로컬에서 분석을 한다는 거예요. 한 제출에서 모델은 시뮬레이션 영상을 분석해 드론 카메라의 외부 파라미터를 계산했는데, 바닥 줄눈으로 장면의 소실점을 찾아서 카메라 기울기를 실제 값과 4도 안으로 추정했어요.
다른 실행에서는 Follow 과제의 환경이 어떻게 생겼을지 위에서 내려다본 2D 지도로 직접 만들어서, 제출 기회를 쓰기 전에 로컬에서 구현을 시험하고 고쳤어요. 그 지도는 실제 환경과 달랐지만 쉬운 버그 몇 개는 그걸로 잡았다고 해요. 앞의 발췌에서 원문이 쉽지 않다고 한 일, 그러니까 문제에 쓸 자원을 찾아 지금 상황에 맞추는 일을 Fable 5는 분석 도구를 먼저 만드는 식으로 풀어 간 거예요.
저는 이 대목을 읽고 옛 모델 쪽을 생각해 봤어요. 원문이 옛 모델에 도구를 붙여 준 실험을 한 건 아니에요. 보여 준 건 새 모델일수록 더 멀리 갔다는 데까지고요. 그래도 제가 상위 모델로 먼저 이 과제를 연구해 보면서 어떤 분석이 필요한지 파악하고, 그 도구를 만들어 붙여 준다면 GPT-4o나 Claude Opus 4 같은 옛 모델도 잘할 수 있을 것 같아요.
원문 기준으로 지금 모델들이 막혀 있는 곳은 Reconstruct 하나예요.
