휴머노이드가 물체를 잡을 때, 카메라는 무엇을 봐야 하나
EDGE AI
파지 카메라가 봐야 할 것은 물체의 자리와 표면의 반사와 손이 만드는 가림이고, 마지막 한 뼘은 머리 카메라보다 손목 카메라가 맡아야 숫자가 맞습니다.
광택 금속 부품을 0.5 mm 안에서 집는 상황을 두고, 화소 한 칸과 깊이 오차와 지연 동안 움직이는 거리를 계산했습니다.
읽는 시간 약 10분
로봇 손이 집을 물체부터 봅니다. 광택이 도는 금속 부품이라면 빛이 한 방향으로 튕겨 나가서 카메라로 돌아오는 빛의 양이 자리마다 크게 다르고, 무광 수지 부품이라면 빛이 고르게 흩어져 비교적 순한 화면이 나옵니다. 같은 손이라도 이 표면 차이가 카메라가 읽는 거리와 자리를 바꿉니다. 광택 금속 부품을 허용 오차 0.5 mm, 곧 500 μm 안에서 집는 경우를 가정하고 따라갑니다.
파지점1이 어긋나면 손가락이 부품 가장자리를 스치고, 부품은 미끄러지거나 바닥에 떨어집니다. 떨어진 부품은 긁히고, 로봇은 다시 시도하느라 사이클을 잃습니다. 인식 모델의 정확도만 올려서는 이 실패를 다 막을 수 없습니다. 원인 일부가 영상에 담기기 전 단계에 있기 때문입니다.
카메라가 봐야 할 것은 세 가지입니다. 물체의 자리와 자세, 표면의 반사, 그리고 손이 다가갈 때 생기는 가림입니다. 여기에 인식에서 동작까지 걸리는 지연을 더해 네 숫자로 계산합니다.
광택 금속은 깊이 지도에 구멍을 남긴다
깊이를 재는 카메라 가운데 스테레오 방식2은 두 눈처럼 떨어진 렌즈 두 개로 같은 점을 찾아 거리를 계산합니다. 두 영상에서 같은 무늬를 짝지어야 하는데, 광택 금속 위의 반사점은 보는 위치에 따라 자리가 달라져서 두 눈이 서로 다른 점을 보게 됩니다. 그 자리의 깊이는 비거나 엉뚱한 값으로 채워지고, 깊이 지도에 구멍이 남습니다.
무늬를 직접 비추는 구조광3 방식도 같은 문제를 겪습니다. 투사한 무늬가 광택 면에서 한 방향으로 튕겨 나가 카메라로 돌아오지 않으면 그 자리는 읽히지 않습니다. 렌즈 앞에 편광 필터4를 두어 반사를 누르는 방법이 있지만, 금속 면에서는 편광이 기대만큼 유지되지 않을 수 있어 효과는 샘플 테스트 전 확언 불가입니다.
저라면 부품을 정하는 날 그 표면을 깊이 카메라로 한 번 찍어 구멍이 어디에 생기는지부터 봅니다. 구멍이 파지점 근처에 생긴다면 카메라 위치나 조명 각도를 바꾸는 일이 모델을 바꾸는 일보다 먼저입니다. 구멍이 없는 자리에서도 깊이 값 자체의 오차는 남는데, 그 크기는 거리가 정합니다.
머리 카메라는 1 m에서 깊이를 1.8 mm 틀린다
스테레오 카메라의 깊이 오차는 거리의 제곱으로 자랍니다. 깊이 오차는 거리² × 시차5 오차 ÷ (화소 단위 초점거리 × 기선6)으로 근사합니다. 가로 1,280 px, 수평 화각 60°이면 화소 단위 초점거리는 1,108.5 px이고, 두 렌즈 사이 기선을 50 mm, 짝짓기 오차를 0.1칸으로 가정합니다.
그러면 깊이 오차는 200 mm에서 0.072 mm, 500 mm에서 0.451 mm, 1,000 mm에서 1.804 mm입니다. 머리에 달린 카메라가 1 m 떨어진 탁자 위 부품을 볼 때는 깊이 오차만으로 허용 오차 0.5 mm의 세 배를 넘깁니다. 같은 카메라가 손목에 달려 200 mm에서 보면 0.072 mm로 허용 오차 안에 넉넉히 들어오죠. 거리의 제곱이 이 차이를 만드는 과정은 깊이 카메라 글에서 따로 계산했습니다.
1.804mm
1,000 mm 거리의 깊이 오차 (기선 50 mm, 짝짓기 오차 0.1칸 가정)
0.451mm
500 mm 거리의 깊이 오차
0.072mm
200 mm 거리의 깊이 오차
그래서 역할을 나눕니다. 머리 카메라는 넓게 보며 물체가 어디 있는지 대략 찾고, 마지막 접근은 손목 카메라가 맡습니다. 제 기준으로 파지점을 확정하는 카메라는 깊이 오차가 허용 오차의 5분의 1 아래로 내려오는 거리에 있어야 합니다. 이 조건으로는 200 mm는 들어오고 500 mm는 빠집니다.
손목 카메라도 200 mm에서는 칸이 모자라다
깊이가 맞아도 화면의 칸이 모자라면 자리를 못 잡습니다. 같은 가로 1,280 px, 화각 60° 카메라가 200 mm에서 보는 시야는 가로 230.9 mm라서 한 칸이 180.4 μm입니다. 허용 오차 500 μm는 2.77칸으로, 제가 기준으로 삼는 세 칸에 못 미칩니다.
120 mm까지 다가가면 시야가 138.6 mm로 좁아져 한 칸이 108.3 μm, 허용 오차는 4.62칸이 됩니다. 세 칸을 지키는 가장 먼 거리는 184.8 mm입니다. 다만 가까이 갈수록 손가락이 시야를 가리고, 카메라가 초점을 맞출 수 있는 가장 가까운 거리도 따져야 합니다. 손목 카메라의 최소 작동 거리 WD7가 120 mm를 넘는다면 이 계산은 쓸 수 없고, 그 값은 사양서로 확인할 항목입니다.
가림은 마지막 몇 cm에서 커집니다. 손가락이 물체를 감싸기 시작하면 손목 카메라의 시야 안에서도 파지점이 가려지니, 가려지기 직전의 자세 추정을 이어 쓰거나 손바닥 쪽에 작은 카메라를 하나 더 두는 구성을 검토합니다. 자리와 깊이가 맞춰졌다면 남은 숫자는 시간입니다.
78 ms 사이에 건네받는 물체는 7.8 mm 움직인다
초당 30장으로 보면 프레임 간격만 33.3 ms이고, 추론 25 ms, 판단 10 ms, 제어 10 ms를 더하면 인식에서 동작까지 78.3 ms입니다. 프레임 간격 말고는 모두 계산을 위한 가정입니다. 이 시간 동안 세상은 멈춰 있지 않습니다.

그림의 위쪽 막대가 이 합입니다. 탁자 위에 놓인 부품이라면 78 ms 동안 물체는 움직이지 않고 로봇은 자기 팔의 움직임을 알고 있으니 보정할 수 있습니다. 문제는 사람이 건네주는 물체처럼 스스로 움직이는 대상입니다. 초속 0.1 m로 다가오는 물체는 78.3 ms 동안 7.83 mm를 움직여 허용 오차 0.5 mm의 열다섯 배를 넘깁니다.
허용 오차 안에 들려면 지연이 5 ms 이하여야 하는데, 프레임 간격 하나가 이미 그보다 깁니다. 그래서 움직이는 물체를 받을 때는 지연을 줄이는 일만으로는 모자라고, 다음 위치를 예측해 손을 미리 보내거나 건네받는 순간 물체를 잠깐 멈추게 하는 동작 설계가 함께 들어가야 합니다. 로봇의 동작 제어 자체는 별도 검토가 필요합니다.
서버로 보내는 일과 보드에 남기는 일
정확도를 높이려고 무거운 모델을 서버에서 돌리면 통신 지연이 하나 더 붙습니다. 무선 왕복을 20 ms로 가정하면 78.3 ms가 98.3 ms가 되고, 건네받는 물체가 움직이는 거리는 9.83 mm로 늘어납니다. 그래서 균형 제어처럼 지연 예산8을 넘으면 안 되는 일은 보드 위 추론으로 두고, 경로 계획처럼 시간 여유가 있는 일은 서버와 나누는 구성이 그림 아래쪽의 분담입니다. 보드에 남긴 모델을 INT8 양자화9로 가볍게 만들어 올린다면, 이 과정에서 작은 대상의 정확도가 조용히 깎일 수 있습니다. 저라면 서버에서 잰 자세 추정 오차와 보드에서 잰 오차를 같은 영상 묶음으로 나란히 비교한 뒤에 분담을 정합니다. 보드로 옮길 때 정확도가 갈리는 자리는 서버와 엣지 정확도 글에서 이어 갑니다. 손목 카메라의 거리에서 지연까지 세 줄을 한 표에 놓으면 아래와 같습니다.
| 항목 | 기준값 | 조건·근거 | 풀어 쓰면 |
|---|---|---|---|
| ① 최소 불량 사이즈 | 파지점 허용 오차 500 μm(가정) = 200 mm에서 2.77 px, 120 mm에서 4.62 px | 가로 1,280 px, 화각 60° 가정. 세 칸을 지키는 가장 먼 거리 184.8 mm | 손목 카메라가 한 뼘 안으로 들어와야 세 칸이 된다 |
| ② 광학 셋업 · WD | 머리 카메라로 찾고 손목 카메라가 WD 120~185 mm에서 확정, 광택 금속은 편광 필터 검토 | 기선 50 mm, 짝짓기 오차 0.1칸 가정에서 깊이 오차 1,000 mm 1.804 mm, 200 mm 0.072 mm | 멀리서 찾고 가까이서 잡는다 |
| ③ 알고리즘 파라미터 | 인식에서 동작까지 78.3 ms(보드), 98.3 ms(서버 왕복 20 ms 가정), 움직이는 물체는 위치 예측 | 초속 0.1 m 물체가 지연 동안 7.83 mm 이동, 허용 오차 안에 들려면 5 ms 이하 | 움직이는 물체는 앞을 내다보고 손을 보낸다 |
세 줄을 함께 보면 파지 정확도를 정하는 순서가 드러납니다. ②의 거리가 ①의 칸 수와 깊이 오차를 함께 정하고, ③의 지연은 물체가 움직일 때만 크게 불어나는 숫자입니다. 그래서 정지한 부품을 집는 셀이라면 손목 카메라의 거리와 반사 대책이 먼저고, 사람과 물건을 주고받는 셀이라면 위치 예측이 먼저입니다.
로봇이 물체를 집는 순간의 카메라 거리와 지연을 계산하는 일이 로봇 비전 엔지니어의 몫이고, 광학과 추론 지연을 함께 읽는 사람이 파지 실패율을 숫자로 줄입니다. 예산을 쥔 쪽에서 보면 로봇 손의 가격만큼 손목 카메라와 보드의 지연 성능이 실제 작업 속도를 좌우합니다. 이 글은 기술 설명이며 투자 권유가 아닙니다. 자세한 내용은 면책조항을 참고하세요.
현장 노트
이 셀에 손목 카메라를 단다면 저는 광택 금속 부품을 120 mm와 185 mm 두 거리에서 찍어 깊이 지도의 구멍이 파지점과 겹치는지부터 봅니다. 겹친다면 편광 필터를 단 사진과 조명 각도를 바꾼 사진을 같은 자리에서 한 장씩 더 찍습니다. 그다음 사람이 부품을 건네는 동작을 초속 0.1 m 남짓으로 되풀이하며 손이 닿는 순간의 위치 오차를 셉니다.
현장 체크포인트
두 거리의 사진과 건네받기 기록이 모이면, 아래 질문으로 파지 셀의 카메라 사양을 정합니다.
- 파지 대상의 표면 재질과 반사율(광택 금속, 투명 수지, 무광 수지)을 먼저 나눴는가? (광택 면은 깊이 지도에 구멍을 남긴다)
- 파지점을 확정하는 카메라가 허용 오차를 세 칸 이상으로 담는 거리에 있는가? (1,280 px, 화각 60°면 184.8 mm 안쪽)
- 손목 카메라의 최소 WD가 그 거리보다 짧은가? (초점이 맞지 않으면 계산이 무의미하다)
- 그 거리에서 깊이 오차가 허용 오차보다 충분히 작은가? (200 mm에서 0.072 mm, 1,000 mm에서 1.804 mm)
- 인식에서 동작까지 최악 지연을 쟀는가? (보드 78.3 ms, 서버 왕복을 더하면 98.3 ms)
- 움직이는 물체를 받는 작업이라면 위치 예측이나 정지 동작이 설계에 들어 있는가? (초속 0.1 m면 지연 동안 7.83 mm)
자주 묻는 질문
스테레오와 구조광 가운데 무엇이 파지에 유리한가요?
무늬가 적은 매끈한 물체는 스테레오의 짝짓기가 어려워 구조광이 유리할 수 있고, 밝은 주변광 아래에서는 구조광 무늬가 묻혀 스테레오가 나을 수 있습니다. 광택 금속은 두 방식 모두 구멍을 남기니, 대상과 조명 환경을 정한 뒤 샘플로 비교해야 답이 나옵니다.
손이 시야를 가리는 문제는 어떻게 줄이나요?
마지막 접근 구간에서는 가려지기 직전의 자세 추정을 이어 쓰거나, 손목이나 손바닥 쪽에 보조 카메라를 두어 가림이 없는 시점을 확보합니다. 보조 카메라는 대상에 더 가까이 붙으니 최소 작동 거리와 초점 범위를 함께 확인합니다.
용어 풀이
- [1] 파지점 grasp point
로봇 손가락이 물체에 닿아 힘을 거는 자리입니다. 이 자리가 어긋나면 물체가 미끄러집니다. ↩ - [2] 스테레오 방식 stereo vision
두 렌즈로 같은 장면을 찍고 두 영상의 어긋남으로 거리를 계산하는 방식입니다. 사람의 두 눈이 거리를 느끼는 원리와 같습니다. ↩ - [3] 구조광 structured light
정해진 무늬를 비추고 그 무늬가 휘어진 모양으로 표면의 높이를 읽는 방식입니다. ↩ - [4] 편광 필터 polarizing filter
한 방향으로 떨리는 빛만 통과시키는 필터입니다. 조명과 렌즈 쪽 방향을 엇갈리게 두면 반사를 누를 수 있습니다. ↩ - [5] 시차 disparity
두 영상에서 같은 점이 옆으로 어긋난 칸 수입니다. 가까운 물체일수록 크게 어긋납니다. ↩ - [6] 기선 baseline
두 렌즈 사이의 거리입니다. 기선이 길수록 같은 거리에서 시차가 커져 깊이를 더 정밀하게 잽니다. ↩ - [7] WD working distance, 작동 거리
렌즈 앞에서 대상까지의 거리입니다. 카메라마다 초점을 맞출 수 있는 가장 가까운 거리가 정해져 있습니다. ↩ - [8] 지연 예산 latency budget
인식에서 동작까지 허용되는 전체 시간입니다. 프레임 간격, 추론, 판단, 제어 시간을 모두 더해 이 안에 넣습니다. ↩ - [9] INT8 양자화 INT8 quantization
모델의 숫자를 8비트 정수로 바꿔 보드에서 가볍게 돌리는 과정입니다. 작은 차이가 같은 값으로 묶여 정확도가 깎일 수 있습니다. ↩
참고 자료
- 계산식: 깊이 오차 Δz ≈ z² × Δd ÷ (fpx × B), 화소 단위 초점거리 fpx = (가로 화소 ÷ 2) ÷ tan(화각 ÷ 2), 시야 폭 = 2 × 거리 × tan(화각 ÷ 2), 지연 동안 이동 거리 = 속도 × 지연
- 같은 사이트의 관련 계산: 깊이 카메라 오차와 거리의 제곱, 서버와 엣지 사이의 정확도 차이
함께 읽으면 좋은 글 — 깊이 카메라의 오차는 거리의 제곱으로 자란다 · 물류자동화가 전공정으로 넘어갈 때, 비전 검사는 무엇이 달라지나 · 서버에선 잘 됐는데 엣지에선 왜 정확도가 떨어지나


