미스트랄, 카메라 한 대로 로봇 움직인다 — '로보스트랄 내비게이트' 공개

비싼 센서 없이, 카메라 한 대와 말 한마디면 로봇이 움직인다.

프랑스 미스트랄AI가 일반 RGB 카메라 한 대만으로 로봇이 자연어 명령을 따라 복잡한 공간을 이동하게 하는 80억(8B) 파라미터 비전-언어 모델 '로보스트랄 내비게이트(Robostral Navigate)'를 공개했다. 값비싼 하드웨어 없이 실제 로봇 행동을 구동하는 '물리 AI'로의 진입이라고 회사는 밝혔다.

단일 카메라로 벤치마크 1위

로보스트랄 내비게이트는 R2R-CE 검증 벤치마크에서 76.6%를 기록해, 기존 단일 카메라 방식을 9.7포인트, 깊이·다중 카메라 시스템을 4.5포인트 앞섰다고 전해졌다. 약 6000개 장면에서 수집한 40만 개 궤적 데이터로, 전량 사내 시뮬레이션을 통해 학습했다고 밝혔다.

"로비를 나와 복도를 지나 두 번째 선반 앞에 서라"

이 모델은 RGB 이미지와 "로비를 나와 복도를 지나 물품 보관실에 들어가 두 번째 선반 앞에 서라" 같은 평범한 언어 명령을 입력받아, 현재 시야 안의 좌표나 이동 명령을 출력한다. 바퀴형·보행형·비행형 등 다양한 로봇에 두루 적용되고, 학습 때 보지 못한 장애물에도 적응한다고 보도됐다.

마치며

라이다 같은 고가 센서 없이 카메라 한 대로 로봇을 움직인다는 접근은, 로봇 자율주행의 문턱을 크게 낮출 수 있다. 챗봇에 머물던 AI 기업들이 '몸을 가진 AI'로 전선을 넓히는 흐름을 미스트랄이 다시 한 번 보여줬다.

원문 보기 (Mistral AI)