Runway, 로봇 제어 학습에 비디오를 쓴다

Runway AI는 이번 주 Praxis-1을 발표했어. 자사 비디오 사전학습을 로봇 제어로 전환한 open-weight world action model이야. Runway의 CTO Kamil Sindi는 The Robot Report에 “대부분의 로봇 정책은 희소하고 비싼 로봇 데이터에 막혀 있지만, Praxis-1은 주로 3인칭 비디오에서 학습한다”고 설명했어.¹

로봇 시범 대신 비디오

Sindi의 설명을 풀면 이래. Praxis-1은 Runway의 범용 world model들을 만들 때 썼던 것과 같은 대규모 비디오 사전학습 위에 올라가 있어. 그래서 모델은 이미 물체가 어떻게 움직이고 작업이 어떻게 진행되는지를 영상에서 배운 상태로 시작해. Sindi는 “성능은 비디오를 늘릴수록 좋아지니까, 한계를 정하는 건 로봇 시범 개수가 아니라 학습할 수 있는 비디오 양”이라고 말했어.¹

이 방식이 통하는지 확인하려고 Runway는 자사 world model 안에서 로봇 정책을 시뮬레이션해봤는데, 실제 결과와 0.95 상관관계가 나왔다고 주장했어. 비용이 더 드는 3D 복원 기반 기법보다 낫다는 설명이야. Praxis-1은 음료수 캔을 집어 놓는 단순한 pick-and-place부터, 선물 가방처럼 모양이 변하는 물체를 다루는 복잡한 작업까지 다양한 조작 과업으로 학습됐어.

초기 파트너는 벌써 자기 로봇에 올려봤다

Runway는 공개 출시 전에 Noble Machines, Standard Bots, Ultra 같은 초기 파트너에게 Praxis-1을 먼저 내줬어. 이 파트너들은 자기 하드웨어에서 모델을 직접 돌리는 중이야. Sindi가 지금까지 확인한 핵심은 “하나의 모델이 양손 로봇 팔부터 휴머노이드까지 서로 다른 형태에, 가벼운 미세조정만으로 적응한다”는 점이라고 했어.¹ 이 테스트들은 공개 출시 전에 빈틈을 찾아 메우는 역할을 하고 있어.

Runway는 Praxis-1을 폐쇄형이 아니라 open weights로 풀 계획이야. Sindi는 그 이유를 “물리적 AI에서 미국의 리더십은 제조업 우위를 되찾는 데 중요하고, 그러려면 개방형 미국산 모델이 필요하다”고 설명했어.¹ 공개 일반 출시는 아직이고, Runway는 몇 달 안에 모델을 공개할 계획이라고 밝혔어.

배경 — Runway는 영상 생성 회사다

Runway AI는 2018년 설립된 생성 AI 회사야. 인컨텍스트 영상 편집 모델 Aleph 2.0, 모션 캡처용 Act-Two, 텍스트·이미지를 영상으로 바꾸는 Gen-4.5 같은 모델을 이미 서비스하고 있어. 로봇 쪽으로는 범용 world model인 GWM-1도 제공해.¹ 브루클린에 본사를 두고 뉴욕·샌프란시스코·시애틀·런던·파리·텔아비브·도쿄에 사무실이 있어.

각주

1. The Robot Report, Brianna Wessling, 「Runway introduces Praxis-1 world action model for robotics」(2026-10-02) 원문 ↩︎ ↩︎² ↩︎³ ↩︎⁴ ↩︎⁵