RDT-1B 논문 리뷰: 회귀가 놓친 “여러 정답”을 디퓨전으로 살린 로봇 파운데이션 모델

로봇이 컵을 집는 방법은 하나가 아닙니다. 왼손으로 잡을 수도 있고, 오른손으로 잡을 수도 있고, 두 팔이 역할을 나눌 수도 있습니다. RDT-1B가 중요한 이유는 이 여러 행동 후보를 평균내던 회귀 정책의 약점을 디퓨전으로 피하고, 폼팩터가 다른 로봇 데이터를 하나의 액션 표현 안에 묶었다는 점입니다.

한 줄로 정리하면 이렇습니다.

RDT-1B는 양팔 로봇 조작을 위해 만든 1.2B 규모의 Diffusion Transformer 기반 로보틱스 파운데이션 모델이며, 핵심은 “행동 분포를 평균내지 않는 것”과 “다른 로봇의 데이터를 함께 학습할 수 있게 만드는 것”입니다.

 

공식 프로젝트 페이지 기준으로 RDT-1B는 46개 데이터셋, 100만 개 이상의 로봇 에피소드로 사전학습하고, ALOHA 계열 양팔 로봇 데이터 6,000여 개로 파인튜닝한 모델입니다. 논문, 코드, 데이터와 체크포인트 링크도 함께 공개되어 있습니다.

두 로봇 팔이 컵을 조작하는 장면에서 여러 행동 궤적이 하나의 평균으로 뭉개지지 않고 공통 액션 공간으로 정렬되는 모습을 표현한 이미지.

 

RDT-1B의 핵심은 모델 크기보다 문제 설정이다

RDT-1B를 “로봇용 큰 모델”이라고만 보면 핵심을 놓칩니다. 이 논문이 겨냥한 문제는 더 구체적입니다.

첫째, 양팔 조작은 정답 행동이 하나로 고정되지 않습니다. 같은 물체를 잡더라도 어느 팔을 먼저 움직일지, 두 팔이 어떻게 역할을 나눌지, 접근 각도를 어떻게 잡을지에 따라 가능한 궤적이 여러 갈래로 나뉩니다.

둘째, 로봇 데이터는 언어나 이미지 데이터처럼 쉽게 합치기 어렵습니다. 로봇마다 관절 수, 엔드이펙터 구조, 베이스 유무, 센서 구성이 다릅니다. 한 로봇의 상태 벡터를 그대로 다른 로봇에 붙이면, 같은 위치의 숫자가 전혀 다른 물리적 의미를 갖게 됩니다.

그래서 RDT-1B의 설계는 두 질문으로 압축됩니다.

• 여러 가능한 행동을 하나의 평균으로 뭉개지 않으려면 어떻게 해야 하는가?
• 폼팩터가 다른 로봇들의 데이터를 한 모델이 같이 학습하려면 어떤 액션 표현이 필요한가?

 

이 두 질문에 대한 답이 디퓨전 정책과 유니파이드 액션 스페이스입니다.

 

 

회귀 정책은 왜 양팔 조작에서 삐끗할까

회귀 기반 정책은 관측을 보고 다음 행동을 직접 예측합니다. 단일 정답에 가까운 문제에서는 단순하고 빠릅니다. 하지만 양팔 조작처럼 가능한 행동이 여러 개인 상황에서는 문제가 생깁니다.

컵을 집는 장면을 생각해 보겠습니다. 데이터 안에는 왼팔로 잡은 궤적도 있고, 오른팔로 잡은 궤적도 있을 수 있습니다. 회귀 모델은 이 둘을 모두 맞히려다 중간값을 예측할 수 있습니다. 문제는 물리 세계에서 그 중간값이 “그럴듯한 타협안”이 아니라 “어느 쪽도 제대로 하지 못하는 행동”이 되기 쉽다는 점입니다.

이게 로봇 조작에서 회귀 평균화가 위험한 이유입니다. 로봇 액션은 실제 모터 명령으로 이어집니다. 궤적이 조금만 어긋나도 손끝은 물체를 놓치고, 두 팔의 타이밍이 틀어지면 협응이 깨집니다.

RDT-1B가 디퓨전을 택한 이유도 여기에 있습니다. 디퓨전은 행동을 하나의 점으로 압축하기보다, 관측 조건에서 가능한 행동 분포를 복원하는 방식으로 접근합니다. “정답이 여러 개”인 문제를 애초에 여러 갈래의 분포로 다루는 셈입니다.

 

 

디퓨전 정책은 행동을 어떻게 만든다

디퓨전 모델은 노이즈가 섞인 데이터에서 원래 데이터를 되찾는 과정을 학습합니다. 이미지 생성에서는 노이즈 이미지에서 깨끗한 이미지를 복원하고, 로봇 조작에서는 노이즈가 섞인 액션에서 실행 가능한 액션 시퀀스를 복원합니다.

RDT-1B에서는 언어 지시, 이미지 관측, 로봇 상태를 조건으로 넣고 다음 액션 청크를 생성합니다. 여기서 중요한 단어는 “청크”입니다. 한 스텝씩 행동을 뽑으면 작은 오차가 계속 누적됩니다. 반대로 여러 스텝의 행동을 묶어 생성하면, 짧은 시간 구간 안에서 일관된 움직임을 만들기 쉽습니다.

물론 디퓨전 정책에도 비용이 있습니다. 샘플링 과정이 필요하고, 트랜스포머 기반으로 키우면 학습 안정성이 민감해집니다. CNN 기반 디퓨전 정책은 상대적으로 안정적이지만 긴 시퀀스와 복잡한 멀티모달 조건을 다루는 데 한계가 있습니다. RDT-1B는 확장성을 위해 Diffusion Transformer 경로를 선택했고, 대신 학습이 흔들리지 않도록 여러 안정화 장치를 붙였습니다.

확산 모델 자체가 낯설다면, 기본 개념은 블로그의 확산 모델(Diffusion Models)의 장점과 한계 글을 먼저 보면 흐름을 잡기 좋습니다. RDT-1B는 이 아이디어를 이미지가 아니라 로봇 액션 분포에 적용한 사례로 보면 됩니다.

 

 

데이터가 많아도 그냥 합치면 망가진다

로봇 파운데이션 모델을 만들 때 흔한 착각이 있습니다. “데이터를 많이 모으면 일반화가 좋아지지 않을까?” 맞는 말처럼 들리지만, 로봇에서는 반만 맞습니다.

문제는 로봇마다 몸이 다르다는 점입니다. 어떤 로봇은 양팔이고, 어떤 로봇은 단일 팔입니다. 어떤 로봇은 이동 베이스가 있고, 어떤 로봇은 고정되어 있습니다. 관절 수와 좌표계도 다릅니다. 데이터를 아무 기준 없이 붙이면 모델은 같은 열의 숫자를 같은 의미로 읽어버릴 수 있습니다.

RDT-1B는 이 문제를 유니파이드 액션 스페이스로 다룹니다. 각 로봇의 관절 위치·속도, 엔드이펙터 위치·자세·속도·각속도 같은 proprioceptive 정보를 공통 128차원 공간으로 맞춥니다. 실제 로봇에 존재하지 않는 차원은 패딩하고, 마스크로 “여기는 유효하지 않다”고 알려줍니다.

이 설계의 실전적인 의미는 큽니다. 데이터 확장이 단순한 누적이 아니라, 물리적 의미를 보존한 재정렬이 됩니다. 모델이 특정 로봇의 고정 벡터 포맷에 갇히지 않고, 여러 로봇의 경험을 같은 표현 위에서 학습할 수 있습니다.

실전 포인트는 데이터 양보다 정렬입니다. 로봇 데이터가 많아도 각 차원이 어떤 물리량을 뜻하는지 맞추지 못하면, 모델은 더 많이 배우는 게 아니라 더 많이 헷갈릴 수 있습니다.

 

 

입력은 멀티모달, 출력은 실제 액션이다

RDT-1B는 언어, 이미지, 저차원 로봇 상태를 함께 사용합니다. 언어는 T5 인코더, 이미지는 SigLIP 인코더, 로봇 상태와 액션 청크는 MLP와 Fourier feature로 처리합니다. 이미지와 언어 인코더는 동결해 GPU 메모리 부담을 줄였습니다.

여기서 눈여겨볼 점은 VLA 모델처럼 “이미지와 텍스트를 이해한다”에서 끝나지 않는다는 것입니다. 최종 출력은 실제 로봇 액션입니다. 모델은 지시문을 이해하는 것뿐 아니라, 현재 장면에서 물리적으로 가능한 움직임까지 연결해야 합니다.

그래서 RDT-1B는 다음 액션 64개를 청크로 예측합니다. 이 방식은 단순한 속도 최적화가 아닙니다. 로봇 움직임은 시간적으로 이어져야 하므로, 액션 청크가 길어질수록 청크 내부 행동의 일관성을 확보하기 쉽습니다. 다만 청크 사이에서 분포가 튀지 않게 만드는 손실 설계도 같이 필요합니다.

 

언어 지시, 이미지 관측, 로봇 상태가 인코더와 디퓨전 트랜스포머를 거쳐 공통 액션 공간의 액션 청크로 변환되는 흐름도.

 

대규모 학습이 흔들리지 않게 만든 장치들

로봇 상태와 행동 데이터는 값의 스케일이 흔들리기 쉽습니다. 이미지 토큰이나 텍스트 토큰보다 훨씬 거칠고, 실제 물리량이 섞여 있습니다. 이런 데이터를 1B급 트랜스포머에 넣으면 어텐션이나 그래디언트가 쉽게 불안정해질 수 있습니다.

RDT-1B는 이 지점을 QK-Norm과 RMS-Norm으로 잡습니다.

• QK-Norm은 어텐션의 query와 key를 정규화해 어텐션 값이 폭주하는 것을 줄입니다.
• RMS-Norm은 센터링 없이 토큰 스케일을 안정화해 학습 중 분포 이동을 완화합니다.

 

또 하나 중요한 장치가 alternating conditional injection입니다. 이미지 토큰과 텍스트 토큰을 cross-attention에 한꺼번에 넣는 대신, 레이어마다 번갈아 주입합니다.

왜 이렇게까지 해야 할까요? 로봇은 시각 정보에 강하게 끌립니다. 컵이 보이면 모델이 “어떤 컵에 따르라”는 언어 지시보다 이미지 단서에 과도하게 의존할 수 있습니다. 그러면 cup 1과 cup 2를 구분해야 하는 instruction following 과제에서 실패합니다. 교대 주입은 이미지와 텍스트의 영향력을 분리해, 모델이 비전에만 기대지 않도록 만드는 장치입니다.

마지막으로 출력 헤드의 MLP도 중요합니다. 실제 액션 공간으로 사영하는 마지막 단계가 너무 단순하면, 모델이 복잡한 행동 함수를 충분히 근사하지 못해 underfit될 수 있습니다. 논문 ablation에서 이 지점은 로봇 강아지 조이스틱 조종 같은 dexterous 과제로 확인됩니다.

 

 

결과는 “만능 로봇”보다 “적은 예시로 새 기술을 배우는 방향”에 가깝다

RDT-1B는 ACT, OpenVLA, Octo 같은 기존 모델과 비교되며, 제로샷 일반화, instruction following, few-shot 학습, dexterous 조작, 모델 크기 스케일링을 평가합니다. 논문은 unseen 조작 과제와 지시 수행에서 RDT-1B의 우위를 보고하지만, 이 결과를 “이제 로봇 파운데이션 모델이 다 해결했다”로 읽으면 곤란합니다.

더 정확한 해석은 이렇습니다. RDT-1B의 강점은 완전히 새로운 환경에서 모든 것을 해결하는 만능성보다, 적은 데모로 새 조작 스킬을 빠르게 흡수하는 쪽에서 더 선명합니다. handover는 5-shot, fold shorts는 1-shot 사례가 제시됩니다. 실제 로봇 데이터는 비싸고 느리기 때문에, 몇 개의 데모로 스킬을 옮길 수 있는지가 실용성을 크게 좌우합니다.

또 regression baseline과 small model이 약한 결과를 보였다는 점도 중요합니다. 이 논문은 “디퓨전이면 된다”만 말하지 않습니다. 모델 스케일, 행동 분포 모델링, 이종 로봇 데이터 통합이 함께 맞아야 한다고 말합니다.

비슷한 로봇 VLA 흐름을 더 보고 싶다면 LAPA란 무엇인가? 액션 라벨 없이 로봇을 학습하는 새로운 VLA 프리트레이닝 방법을 이어서 보면 좋습니다. LAPA는 액션 라벨 없이 pretraining을 넓히는 문제를 다루고, RDT-1B는 액션 생성 자체와 로봇 폼팩터 통합을 더 직접적으로 다룹니다.

 

 

RDT-1B를 읽을 때 놓치지 말아야 할 판단 기준

RDT-1B에서 가져갈 실전 포인트는 네 가지입니다.

판단 기준	왜 중요한가
행동이 멀티모달인가	정답 행동이 여러 갈래면 회귀 평균화가 실제 실패로 이어질 수 있습니다.
데이터가 이종 로봇에서 왔는가	로봇별 벡터 의미가 다르면 단순 병합이 오히려 학습을 망칠 수 있습니다.
언어 지시와 시각 단서가 충돌할 수 있는가	비전에 과의존하면 instruction following이 무너질 수 있습니다.
새 스킬을 몇 개 데모로 배워야 하는가	few-shot 성능이 실제 데이터 수집 비용과 직결됩니다.

 

이 기준으로 보면 RDT-1B의 기여가 더 또렷해집니다. 디퓨전은 “여러 정답”을 살리는 장치이고, 유니파이드 액션 스페이스는 “여러 로봇”을 묶는 장치입니다. QK-Norm, RMS-Norm, alternating injection은 이 둘을 큰 트랜스포머에서 실제로 학습 가능하게 만드는 안전장치입니다.

 

 

결론: RDT-1B의 진짜 메시지

로봇 조작은 정답이 하나인 회귀 문제가 아닙니다. 특히 양팔 조작에서는 가능한 행동이 여러 갈래로 갈라지고, 로봇마다 몸의 구조도 다릅니다. 이 두 문제를 무시하면 모델이 커져도 일반화는 제한됩니다.

RDT-1B는 이 문제를 디퓨전과 유니파이드 액션 스페이스로 풀어보려는 시도입니다. 가능한 행동 분포를 평균내지 않고, 서로 다른 로봇의 상태와 행동을 공통 표현으로 맞춥니다. 여기에 대규모 DiT 학습을 안정화하는 정규화와 조건 주입 전략을 더했습니다.

그래서 이 논문을 읽고 남겨야 할 문장은 하나입니다.

로봇 파운데이션 모델의 핵심은 “큰 모델”이 아니라, 물리 세계의 여러 가능한 행동과 여러 로봇의 몸을 같은 학습 문제 안에 넣을 수 있는 표현 설계다.

 

 

FAQ

 

RDT-1B를 바로 내 로봇에 적용할 수 있나요?

바로 적용하기보다는 구조를 참고하는 쪽에 가깝습니다. 자신의 로봇 상태와 액션을 공통 표현에 맞추고, 필요한 데이터와 파인튜닝 절차를 준비해야 합니다. 공개 구현은 출발점이 될 수 있지만, 로봇 하드웨어와 제어 주기가 다르면 그대로 동작한다고 보기 어렵습니다.

 

왜 양팔 조작이 단일 팔 조작보다 훨씬 어렵나요?

두 팔의 액션 차원이 함께 커지고, 역할 분담과 타이밍까지 맞아야 하기 때문입니다. 같은 목표에도 가능한 궤적이 여러 개라서, 하나의 평균 행동을 예측하는 방식은 더 쉽게 실패합니다.