LeRobot v0.6.0 공부 정리 | 로봇이 '상상'한다는 게 무슨 뜻일까

Hugging Face 블로그에서 LeRobot v0.6.0 릴리스 글을 봤다. “Imagine, Evaluate, Improve”라는 부제가 눈에 들어왔다.

처음엔 오픈소스 로봇 프레임워크 버전 업데이트겠지 싶었는데, 릴리스 내용을 읽어보다가 “세계 모델(world model)”이라는 개념에서 한참 생각이 걸렸다. 직접 닿아볼 영역은 아닌데, 읽으면서 디자인 프로세스나 컴포넌트 설계랑 겹치는 부분이 보여서 정리해봤다.

1️⃣ 이게 뭐냐?

LeRobot은 Hugging Face가 오픈소스로 만드는 로봇 제어 프레임워크다. 물리 로봇에 AI 정책(policy)을 붙여서 동작하게 만드는 도구인데, v0.6.0의 핵심 변화는 세계 모델 정책 세 가지가 새로 추가된 것이다.

그 중 VLA-JEPA라는 게 흥미로웠다. 로봇이 행동하기 전에 “이렇게 움직이면 다음에 어떻게 될까”를 잠재 공간에서 예측하는 방식인데, 이 예측 과정이 추론 시 추가 비용이 없다고 한다. 상상하는 것 자체가 공짜라는 얘기인 셈이다.

“Robometer”라는 성공 측정 모델도 추가됐다. 작업별로 따로 성공 기준을 학습시키는 게 아니라, 언어 지시문과 비디오만 보고 진행 상황을 판단하는 범용 모델이다. 태스크마다 개별 평가자를 만들 필요가 없다는 게 핵심이다.

배포 쪽에서는 lerobot-rollout CLI가 독립됐고, DAgger라는 전략도 붙었다. 로봇이 실수하는 순간에만 사람이 개입해서 그 데이터를 수집하는 방식으로, 학습 효율을 높이는 설계처럼 보였다.

2️⃣ 내가 든 생각

“Imagine, Evaluate, Improve”라는 부제가 디자인 프로세스랑 비슷하다는 생각이 먼저 들었다. 프로토타입을 만들고, 테스트하고, 다듬는 흐름이랑 구조적으로 닮아 있다.

👉🏻 다른 점은, 로봇이 이 루프를 자동으로 돌린다는 것이다. 상상 → 평가 → 개선이 사람 개입 없이 순환하는 구조인데, 그 루프의 속도와 스케일이 인간의 이터레이션 방식과 얼마나 달라질 수 있는지 공부하면서 궁금해졌다.

Robometer가 특히 인상적이었다. AI가 다른 AI의 성공을 판단하는 구조인데, 평가 기준을 따로 가르치지 않아도 된다는 부분이 흥미로웠다. 문서만 읽은 입장에서는 “언어 지시문 + 비디오”만으로 어디까지 범용으로 쓸 수 있을지가 잘 가늠이 안 됐다.

💡 여기서 드는 질문? 성공 기준을 어떻게 학습했을까? 그 데이터 자체가 어떻게 레이블링됐는지가 계속 신경 쓰였다.

플러그인 아키텍처 쪽도 눈에 들어왔다. 로봇, 카메라, 정책이 모두 pip 패키지로 자가 등록되는 구조라고 하는데, 컴포넌트가 독립적으로 존재하면서 전체 시스템에 붙는 방식이 컴포넌트 기반 개발 패턴이랑 방향이 비슷한 것 같았다.

3️⃣ 더 눈에 들어온 것

LeLab이라는 웹 기반 UI도 이번 릴리스에 포함됐다고 한다. 전체 파이프라인을 브라우저에서 다루는 방향인 것 같은데, 복잡한 ML 워크플로우를 어떤 인터페이스로 감싸는지가 설계 관점에서 궁금해졌다.

데이터 로딩이 이전보다 두 배 빨라졌다는 내용도 있었다. 병렬 디코딩과 메모리 효율화로 개선됐다고 하는데, 성능 수치보다 “어느 단계가 병목이 됐길래 이 지점을 고쳤을까”라는 쪽이 더 궁금했다.

⭐️ 마지막으로, 학습자 입장에서 든 생각

공부 끝에 남은 건 “상상이 공짜일 수 있다”는 한 줄짜리 인상이었다.

행동하기 전에 결과를 예측하는 루프가 추론 비용 없이 돌아간다는 게, 지금까지 막연하게 떠올리던 AI 작동 방식이랑 조금 다른 이미지였다. 정확히 이해한 건지는 모르겠지만, 그 부분이 읽으면서 가장 오래 걸렸다.

---

참고 원문: LeRobot v0.6.0: Imagine, Evaluate, Improve