Self-Supervised Critical Phase Detection for VLA Refinement

익명의 저자
익명 기관
프리프린트 · 심사 중 · 2026
논문 (공개 예정) 코드 (게재 시 공개)

두 LIBERO-Long 롤아웃(π0.5 백본)에서 강조 표시된 결정 단계 — 각 롤아웃의 작은 일부에 불과합니다.

TL;DR. 비전-언어-행동(VLA) 정책은 조작 작업의 대부분을 무리 없이 수행하지만, 정작 성패를 가르는 한두 순간에서 무너집니다. 우리는 그 순간을 결정 단계(critical phase)라고 부르며, 결정 민감도 — 그 시점의 행동을 조금 바꿨을 때 최종 성패가 얼마나 뒤집히는지 — 로 정의합니다.

초록

비전-언어-행동(VLA) 정책은 조작 롤아웃의 대부분을 잘 처리하지만, 정작 중요한 몇몇 결정 — 못이 구멍 안에서 처음으로 기울어지는 순간, 잡기가 확정되는 순간 — 에서는 제대로 작동하지 못합니다. 우리는 이러한 순간을 결정 단계(critical phase)라고 부르며 결정 민감도로 정의합니다. 즉, 해당 시점의 행동에 가해진 작은 변화가 롤아웃의 최종 성공 또는 실패를 얼마나 크게 뒤바꾸는지를 나타냅니다.

결정적으로, 결정 단계는 실패 가능성과 같지 않습니다. 성공적인 롤아웃도 똑같은 결정 지점을 거치므로, 중요도(criticality)는 실패 확률이 아니라 결정 구조 자체의 속성입니다. 이는 우리의 목표를 런타임 실패 탐지와 구분 짓는 기준이 됩니다. 런타임 실패 탐지는 현재 단계가 분포를 얼마나 벗어났는지를 측정하므로, 성공할 때는 잠잠하다가 실패가 표면화된 뒤에야 반응합니다.

본 연구에서는 실패 레이블도, 작업별 성공 오라클도 없이 결정 단계를 탐지하는 방법을 연구합니다. 성질이 다른 두 신호를 합칩니다. F/T 센서(force/torque sensor)는 접촉력과 토크를 직접 재기 때문에, 접촉이 시작되거나 끊기는 순간을 카메라 영상에서 추론할 때보다 훨씬 짧은 지연으로 잡아냅니다. 대신 지금이 무슨 작업의 어느 대목인지는 모릅니다. VLA의 일반화 능력은 작업·물체·배치가 바뀌어도 지금 장면이 어떤 상황인지를 읽어냅니다. 대신 접촉 전이처럼 짧은 사건에는 반응이 느립니다. 앞이 언제 무언가 바뀌었는지를 짚고, 뒤가 그 변화가 어느 국면의 어떤 결정인지를 붙입니다. (방법과 실험은 진행 중입니다.)

결정 단계란 무엇인가?

정밀 조작은 결정 민감한 몇몇 순간에 달려 있습니다. 구멍에 볼트를 박는 작업(peg-in-hole)을 생각해 봅시다. 고전적인 접촉 상태 분해(Mason 1981; Debus et al.)에 따르면, 이 작업은 여러 접촉 영역(contact regime)으로 나뉘며 각 영역에서 서로 다른 제어 변수가 결과를 좌우합니다:

  • 접촉 1 — 접근(approach). 너무 빨리 움직이면 관성이 자기력을 이겨 볼트가 드라이버에서 떨어집니다. 속도가 결정적입니다.
  • 접촉 2 — 표면 접촉(surface touch). 너무 세게 누르면 볼트가 튕겨 나갑니다. 접촉력이 결정적입니다.
  • 접촉 3 — 림 정렬(rim alignment). 볼트는 구멍의 수직(normal) 방향을 따라 움직여야 합니다. 수직 정렬이 결정적입니다.
  • 접촉 4 — 안착(seating). 볼트를 체결하려면 얼마나 돌리고 얼마나 눌러야 하는지. 토크가 결정적입니다.

각 영역에서 작은 행동 오차 하나가 이후 모든 것의 성패를 가릅니다. 이러한 구간은 그동안 사람이 손으로 잘라내고 이름을 붙여 왔습니다. 우리는 이를 두 단계로 자동화합니다.

  1. 국면 분할. VLA의 일반화 능력으로 롤아웃을 국면으로 쪼갭니다. 작업마다 규칙을 새로 짜지 않아도 접근·접촉·정렬·안착 같은 경계가 나옵니다.
  2. 실패 분포와 맞추기(align). 이렇게 나온 국면 위에 VLA가 실패한 지점을 얹어, 실패가 어느 국면에 몰리는지 셉니다. 실패가 특정 국면에 쏠리면 그 국면을 결정 단계로 지목합니다.

결정 단계가 왜 필요한가?

고정된(frozen) VLA — 사전학습된 정책의 가중치는 건드리지 않고 그 위에 얹은 작은 모듈만 학습하는 설정 — 를 개선하는 길은 지금까지 셋이었습니다.

  • 롤아웃 전체에 균등하게 RL을 겁니다(SimpleVLA-RL). 에피소드 성패만 보상으로 주고 모든 타임스텝을 똑같이 훑습니다. 어디가 문제인지 모르니 전 구간에 예산을 균등하게 뿌릴 수밖에 없습니다.
  • 전문가가 데이터를 다시 만듭니다(DAgger). 정책을 굴려 보고, 그 정책이 실제로 방문한 상태에 전문가가 올바른 행동을 라벨링해 데이터셋에 얹은 뒤 다시 학습합니다. 사람이 라벨링을 멈추면 개선도 멈춥니다.
  • 사람이 구간을 지정하고 거기서만 RL을 돌립니다(RLT). 고정된 VLA에서 뽑은 압축 표현(RL token) 위에 가벼운 actor-critic을 얹어 실물 로봇에서 온라인으로 학습합니다. 네 개 실물 작업(나사 조립, 케이블 타이 체결, 충전기 삽입, 이더넷 삽입)에서 가장 어려운 구간의 속도를 최대 3배까지 끌어올렸습니다.

RLT는 이 연구의 전제를 이미 검증해 줍니다. 예산을 어려운 구간에 몰아주면 정말로 빨리 늡니다. 문제는 그 구간을 사람이 정한다는 것입니다. RLT는 삽입·체결·회전 구간을 미리 짚어 두고, 에피소드마다 사람이 어느 시점에 base VLA에서 RL 정책으로 제어권을 넘길지 고르고, 끝나면 성공·실패를 손으로 라벨링하고 (rT = 1 또는 0), 로봇이 막히면 텔레오퍼레이션으로 개입합니다.

셋이 같은 곳에서 막힙니다. 언제·어디서 문제가 생기는지를 시스템 스스로는 모릅니다. 첫째는 몰라서 전 구간을 다 뒤지고, 나머지 둘은 사람이 보고 짚어 줍니다. VLA가 스스로 나아지는 루프를 돌리려 해도 루프 안에 전문가가 남습니다.

결정 단계 탐지가 메우려는 자리가 여기입니다. 어디서 결과가 갈리는지를 시스템이 스스로 짚어내면, RLT가 사람에게 물어보던 "여기서부터 RL로 넘겨라" 지점을 자동으로 얻고, 사람은 루프 밖으로 나갑니다.

기여

1. 정의와 탐지

결정 단계를 결정 민감도로 공식화하고, 성공 롤아웃만으로 학습한 시점별 점수 ct를 제시합니다. 이는 반사실적(counterfactual) 실제 결정성 — 시뮬레이션에서 시점 t의 행동을 바꿨을 때 결과가 뒤집히는 비율 — 과 비교해 검증됩니다.

2. 중요도 ≠ 실패

ct가 실패 확률이 아니라는 직접적 증거: 실패 탐지기가 평탄한 성공 롤아웃에서도 반응하며, 기존 탐지기가 놓치는 공간적으로 겹치는 실패의 결정 지점을 포착합니다. LIBERO에서 FAIL-Detect, FIPER, SAFE와 직접 비교합니다.

3. 국소화된 RL 개선

탐지된 결정 단계에 강화학습 개선을 집중하면 고정된 VLA의 정밀 작업 수렴이 빨라져, 균일한 RL 미세조정(VLA-RL, SimpleVLA-RL)보다 높은 샘플 효율을 달성합니다.

BibTeX

@article{anonymous2026cpd,
  title   = {Self-Supervised Critical Phase Detection for VLA Refinement},
  author  = {Anonymous},
  journal = {Preprint},
  year    = {2026},
  note    = {Under review},
}