휴머노이드가 물체를 잡을 때, 카메라는 무엇을 봐야 하나

휴머노이드가 물체를 조작하려면 무게·자세에 따라 동작을 실시간 조절해야 한다. 이 조절이 부정확하면 파지 실패나 낙하로 이어진다. 결국 물체 인식·자세 추정을 담당하는 비전·엣지AI 파이프라인이 정확도를 좌우한다.

전신제어·물체 조작 연구는 결국 엣지 추론 속도와 정확도 싸움이다. 언어 명령 기반 동작 구현은 인식→판단→제어 지연이 짧을수록 안정적이기 때문이다. 일반 제조 로봇팔도 픽업 작업에서 서버 추론 대신 온디바이스(엣지) 추론으로 전환하면서 정확도가 떨어지는 경우가 흔하다(FP32→INT8 양자화 손실 문제). 따라서 휴머노이드 상용화 여부는 로봇 하드웨어보다 엣지 추론 최적화 수준에서 갈릴 가능성이 크다.

다만 클라우드 오프로딩(서버 추론)을 병행하면 정확도는 확보되지만 통신 지연이 새로운 병목이 된다 — 실시간성이 필요한 동작(균형 제어)은 온디바이스, 상대적으로 여유 있는 동작(경로 계획)은 서버 병행이 현실적인 절충안이다.

카메라가 봐야 하는 세 가지

파지에 필요한 비전 정보는 물체의 위치·자세, 표면의 반사 특성, 그리고 손이 다가갈 때 생기는 가림 세 가지다. 셋 중 하나만 틀려도 파지점이 어긋나기 때문이다. 예를 들어 광택 있는 금속 부품은 정반사 하이라이트 때문에 깊이 추정이 비는 구멍이 생기고, 그리퍼가 가까워질수록 손 자체가 시야를 가려 마지막 몇 cm에서 정보가 끊긴다. 그래서 인식 모델의 정확도만 볼 것이 아니라, 반사와 가림이라는 광학 조건을 먼저 설계해야 한다.

지연 예산도 같은 무게로 봐야 한다. 30 fps로 인식한다고 가정하면 프레임 간격만 약 33 ms이고, 여기에 추론·판단·제어 지연이 더해진다(예시 가정). 느린 경로 계획은 서버와 나눠도 되지만, 균형 제어처럼 이 예산을 넘으면 안 되는 동작은 온디바이스로 두는 이유가 여기에 있다.

파지 비전의 골격

항목	내용
① 최소 허용 오차	파지점 위치 추정 오차 허용치를 사양으로 정의(예시 가정: 500 μm) — 이 값을 3 px 이상으로 분해할 수 있는 거리·화각 조합 선택
② 광학 셋업	깊이 정보가 필요하므로 스테레오 또는 구조광 방식, 광택 물체는 편광으로 정반사 억제 검토. 그리퍼가 접근하는 최단 거리에서도 초점이 유지되는지 WD 최소값 확인
③ 알고리즘 파라미터	인식→판단→제어 전체 지연 예산(예시 가정: 30 fps면 프레임 간격 약 33 ms), INT8 적용 후 자세 추정 오차 허용치, 균형 제어 등 실시간 동작은 온디바이스 추론

세 칸은 서로를 제약한다. 허용 오차가 작아질수록 분해능이 필요하고, 분해능을 올리면 연산이 늘어 지연 예산을 압박한다. 이 균형점은 실제 로봇 하드웨어에서 재 보기 전에는 정할 수 없다.

자주 묻는 질문

Q. 스테레오와 구조광 중 무엇이 파지에 유리한가?

무늬가 적은 매끈한 물체는 스테레오 정합이 어려워 구조광이 유리한 경우가 많고, 밝은 주변광 아래에서는 구조광 패턴이 묻혀 스테레오가 나을 수 있다. 대상과 조명 환경으로 샘플 테스트 전에는 확언 불가하다.

Q. 손이 시야를 가리는 문제는 어떻게 줄이나?

마지막 접근 구간에서는 이전 프레임의 자세 추정을 이어 쓰거나, 손목 쪽에 보조 카메라를 두어 가림이 없는 시점을 확보하는 방법이 쓰인다.

현장 체크포인트

• 엣지 추론을 도입하기 전, 실제 양자화 후 대표 동작 샘플로 정확도 저하폭을 먼저 측정할 것 — 샘플 테스트 전에는 성능을 확언할 수 없다.
• 파지 대상의 표면 재질과 반사율(광택 금속·투명 수지 등)을 먼저 분류했는가
• 그리퍼 접근 최단 거리에서도 카메라 WD(작동거리)와 초점이 확보되는가
• 인식→판단→제어 최악 지연이 동작별 허용치 안에 들어오는가

(이 글은 삼성 피지컬AI 조직 신설 보도를 계기로 일반화한 엣지AI 관점의 해설이며, 특정 기업·로봇 사양을 다루지 않는다.)

현장 노트

파지 자세 추정이 몇 프레임만 늦어도 실제로 물체를 놓치는 걸 보고 나서, 지연시간이 추상적인 숫자가 아니라는 걸 체감했습니다. 온디바이스 추론과 클라우드 오프로드 중 어느 쪽이 나은지는 작업 종류마다 달라서, 실제 하드웨어에서 지연시간을 재보지 않고는 단정하지 않습니다.