멈춰야만 보이던 표면 — 컬러 다중화 스트로빙이 포토메트릭 스테레오의 정지 조건을 깨는 방법

LIGHTING / ALGORITHM

무광 도장면의 얕은 눌림, 사출품 표면의 미세한 싱크 마크, 각인 문자의 결손. 이 결함들에는 공통점이 있습니다. 색도 밝기도 정상품과 거의 같고, 오직 표면 기울기만 다르다는 점입니다. 단일 조명으로 찍은 2D 이미지에서는 콘트라스트가 만들어지지 않습니다.

포토메트릭 스테레오(photometric stereo)는 이 문제의 고전적 정답입니다. 방향이 다른 조명을 순차로 켜 가며 같은 화각을 여러 장 찍고, 밝기 변화에서 픽셀별 표면 법선(surface normal)을 복원합니다. 그런데 이 방법에는 오래된 전제가 붙어 있습니다 — 촬영 중에 카메라와 대상이 모두 정지해 있어야 한다는 것입니다. 조명을 바꿔 가며 N장을 찍는 동안 대상이 움직이면 픽셀 정합이 깨지고, 법선 계산은 그대로 무너집니다.

방치하면 비용은 검사 설계 전체에 퍼집니다. 라인을 세우거나(택트 손실), 스톱앤고 방식 로봇 검사로 제한하거나(처리량 손실), 아예 표면 결함 검사를 샘플링으로 낮추는(유출 위험) 세 갈래 중 하나를 고르게 됩니다. 결국 포토메트릭 스테레오는 성능이 아니라 운용 조건 때문에 실험실과 고정 설비에 머물러 왔습니다.

해법은 조명 쪽에 있습니다. 조명 방향을 시간으로 나누는 대신 파장으로 나누면, 여러 방향의 조명 정보를 훨씬 적은 노출 횟수에 담을 수 있습니다.

포토메트릭 스테레오의 병목은 계산이 아니라 조명 방향을 세는 데 걸리는 시간이었습니다.

1. 표면 재질과 반사율이 먼저다

Point. 포토메트릭 스테레오 적용 검토는 카메라가 아니라 대상 표면의 반사 특성 확인에서 시작해야 합니다.

Reason. 이 기법의 수식은 표면이 램버시안(Lambertian)에 가깝다는 가정 위에 서 있습니다. 즉 어느 방향에서 보아도 관측 휘도가 같고, 조명 방향과 법선 사이 각도의 코사인에만 비례해야 합니다. 정반사(specular) 성분이 강하면 특정 조명 방향에서 하이라이트가 포화되고, 그 픽셀의 법선 해는 물리적으로 틀린 값으로 수렴합니다. 난반사(diffuse reflection)가 심한 금속 가공면이나 고광택 표면은 이 가정에서 가장 멀리 있습니다.

Example. 무광 도장된 사출 하우징은 좋은 대상입니다. 확산 반사가 지배적이라 조명 방향에 따른 밝기 변화가 법선 정보를 거의 그대로 전달합니다. 반대로 경면 연마된 금속 커버는 나쁜 대상입니다. 이 경우에는 법선을 밝기에서 푸는 대신, 반사된 패턴의 기울기에서 푸는 편향법 계열이 물리적으로 맞습니다.

Point. 즉 포토메트릭 스테레오는 만능이 아니라 확산 반사 우세 표면을 위한 도구입니다. 반사율 특성을 확인하지 않고 도입하면 결과 법선맵은 그럴듯해 보이면서도 틀려 있습니다.

2. 컬러 다중화 — 방향을 파장에 싣는다

Point. 조명 방향을 시간이 아니라 파장으로 구분하면, 노출 횟수를 줄여 정지 조건을 완화할 수 있습니다.

Reason. 컬러 카메라는 한 번의 노출에서 서로 다른 파장 대역을 동시에 분리해 받습니다. 방향이 다른 조명에 서로 다른 파장을 할당하면, 한 장의 컬러 이미지가 곧 여러 방향 조명 이미지의 묶음이 됩니다. 이것이 컬러 다중화(color multiplexing) 또는 스펙트럼 다중화(spectral multiplexing)의 기본 착상입니다. 대가는 분명합니다 — 대상물 자체가 색을 가지면 표면 반사율의 파장 의존성과 조명 방향 정보가 뒤섞여, 분리에 추가 가정이나 보정이 필요합니다.

Example. 2026년 9월, 오스트리아 AIT(Austrian Institute of Technology)의 PHOTODEX가 VISION Award 2026 최종 5인에 선정됐습니다. 정식 명칭은 “PHOTODEX: Breaking the Motion Barrier in Photometric Stereo, Mobile Inspection System for Intelligent, Robust Industrial Surface Analysis”입니다. 공개된 설명에 따르면 고속 이미징과 컬러 코딩 스트로빙 조명을 결합해, 필요한 포토메트릭 정보를 서로 아주 가까운 두 번의 노출로 취득합니다. 기존 포토메트릭 스테레오 시스템이 카메라와 대상 모두의 정지를 요구해 실험실·고정 설비·스톱앤고 로봇 검사로 제한됐던 것과 대비되는 지점입니다.

Point. 노출 2회로 줄었다는 것은 정합 오차가 사라졌다는 뜻이 아니라, 정합해야 할 시간 간격이 두 노출 사이로 축소됐다는 뜻입니다. 이 간격 안에서 대상이 몇 μm 움직이는지가 곧 새로운 설계 사양이 됩니다.

3. 결과를 어디에 놓을 것인가 — CAD 정합

Point. 이동 중 검사는 “어디를 찍었는지”를 함께 기록하지 않으면 결과를 쓸 수 없습니다.

Reason. 고정 스테이션 검사는 좌표가 자명합니다. 대상이 정해진 위치에 오고, 결함 좌표는 곧 화각(FOV) 내 좌표입니다. 그러나 핸드헬드나 로봇 이동 검사에서는 매 촬영마다 시점이 달라지므로, 결함 좌표가 부품의 어느 지점인지 별도로 확정해야 합니다. 이 확정이 없으면 재현성 있는 재검사도, 공정 원인 추적도 불가능합니다.

Example. PHOTODEX는 검출된 결함을 CAD 모델에 정합(register)해 디지털 트윈과 연결하고, 공간 참조된 데이터를 AI 기반 품질 보증용으로 생성한다고 설명합니다. 즉 산출물이 “결함 이미지 목록”이 아니라 “부품 좌표계 위의 결함 분포”입니다.

Point. 여기서 얻을 수 있는 통찰은 이렇습니다. 이동 중 포토메트릭 스테레오의 진짜 가치는 속도가 아니라 좌표계입니다. 같은 부품을 여러 번 검사했을 때 같은 지점의 결함 이력이 누적되어야 공정 개선으로 연결되는데, 이는 정지 검사에서는 스테이션 설계가 공짜로 주던 것이고 이동 검사에서는 명시적으로 구현해야 하는 항목입니다.

이동하며 찍은 법선맵은, 부품 좌표계에 붙기 전까지는 예쁜 그림일 뿐입니다.

4. 핵심 골격 — 매칭표

구분	항목	사양 / 파라미터	근거·비고
① 최소 불량 사이즈	무광 도장면 얕은 눌림	직경 300 μm, 깊이 5 μm 이상	설계 가정. 법선 기울기 변화로 검출
① 최소 불량 사이즈	사출품 싱크 마크	직경 500 μm 이상	설계 가정. 완만한 기울기 변화 대상
① 최소 불량 사이즈	각인 문자 결손	선폭 150 μm 이상	설계 가정. 3 px 이상 점유 필요
② 광학 셋업	조명 방식	방향별 파장 할당(컬러 코딩) 스트로빙, 최소 3방향	3방향은 법선 3성분 해를 얻는 최소 조건
② 광학 셋업	조명 배치	광축 기준 고각 25~35°, 방위각 등간격	설계 가정. 저각일수록 미세 기울기 감도 상승
② 광학 셋업	카메라	컬러 글로벌 셔터, 스트로브 동기 트리거	롤링 셔터는 이동 중 촬영에서 왜곡 발생
② 광학 셋업	렌즈	초점거리 25 mm, F/5.6	설계 가정. 이동 중 피사계 심도(DOF) 확보 우선
② 광학 셋업	WD(작동 거리)	200 mm 이상 확보 필수	다방향 조명 링과 핸드헬드/로봇 엔드이펙터 간섭 포함 실측
② 광학 셋업	배율·FOV	FOV 100 mm × 75 mm, 50 μm/px	300 μm 눌림이 6 px 점유
② 광학 셋업	노출 간 허용 변위	두 노출 사이 대상 변위 < 1 px(= 50 μm)	정합 오차 상한. 라인 속도에서 역산해 스트로브 간격 결정
③ 알고리즘	채널 분리	컬러 채널별 조명 방향 역행렬 분리 + 크로스토크 보정	대상 고유색이 있으면 보정 필요
③ 알고리즘	법선 복원	램버시안 모델 최소자승 해	정반사 포화 픽셀은 마스킹 후 제외
③ 알고리즘	결함 특징량	법선 기울기 맵의 로컬 곡률	밝기맵이 아닌 기울기맵에서 임계 적용
③ 알고리즘	검출 임계	곡률 편차 > 3σ	σ는 정상품 30장 기준 재추정
③ 알고리즘	좌표 등록	결함 좌표를 CAD 모델 좌표계로 변환	이동 검사에서는 필수 항목

표 시사점. ②의 “두 노출 사이 변위 < 1 px” 한 줄이 이 시스템의 실질 사양을 전부 결정합니다. FOV를 좁혀 분해능을 올리면 같은 라인 속도에서 허용 변위가 μm 단위로 줄어들어 스트로브 간격을 더 좁혀야 하고, 그만큼 조명 피크 출력이 올라가야 합니다. 분해능·속도·조명 출력이 하나의 식에 묶여 있습니다.

5. 관련 특허 (실존 확인분)

특허번호	명칭	출원인(assignee)	우선일 / 상태
US 9,773,304 B2	Inspection apparatus, inspection method, and program	Keyence Corp.	2014-06-09 / Active
US 8,717,578 B2	Profilometer, measuring apparatus, and observing apparatus	Omron Corp.	2009-04-10 / Active
US 9,396,544 B2	Single image photometric stereo for colored objects	Adobe Inc. (원 출원인 Adobe Systems Inc.)	2014-01-08 / Active
US 2012/0056994 A1	Single-shot photometric stereo by spectral multiplexing	University of Southern California	2010-08-30 / Abandoned

출원인이 명시적으로 확인되지 않은 특허는 인용에서 제외했습니다. 마지막 항목은 등록되지 않고 포기된 출원이지만, 스펙트럼 다중화 단발 촬영이라는 착상 자체가 2010년에 이미 공개돼 있었다는 점에서 선행 기술로 의미가 있습니다.

6. 반대 접근이 유리한 조건

• 고광택·경면 표면: 램버시안 가정이 성립하지 않습니다. 반사 패턴의 기울기를 직접 보는 편향법 계열이 물리적으로 맞습니다.
• 대상 고유색이 강하고 다양한 경우: 컬러 다중화는 조명 파장과 표면 반사율 스펙트럼이 섞이므로, 방향을 시간으로 나누는 고전 방식(정지 조건 수용)이 정확도에서 유리합니다.
• 결함이 색·밝기 차이로 이미 보이는 경우: 법선 복원은 계산 비용만 추가합니다. 단일 조명 2D 검사가 경제적입니다.
• 절대 높이 수치가 필요한 경우: 포토메트릭 스테레오는 법선(기울기)을 주고 높이는 적분으로 얻으므로 저주파 드리프트가 누적됩니다. 구조광이나 공초점 계열이 적합합니다.

표면 반사 특성은 도장 로트·표면 처리·경시 변화에 따라 달라지므로, 샘플 테스트 전 확언 불가입니다.

현장 노트

이 방식을 처음 검토할 때 제가 가장 자주 틀린 지점은 “노출 2회면 정지 조건이 사라진다”고 읽은 것이었습니다. 실제로는 정지 조건이 사라진 게 아니라 두 노출 사이 간격으로 옮겨 간 것이고, 그 간격을 라인 속도와 곱해 50 μm를 넘지 않는지 확인하는 작업이 새로 생깁니다. 연속 주행 스트립 라인처럼 대상이 멈추지 않는 구간에서는 이 계산이 스트로브 간격과 조명 피크 출력을 동시에 밀어 올려, 결국 조명 전원 설계로 되돌아오곤 했습니다. 여기에 확산 반사 우세라는 전제까지 겹치므로, 도장 로트가 바뀌는 사출 하우징에서는 샘플 테스트 전 확언 불가라는 단서를 끝까지 붙여 두는 편이 안전했습니다.

현장 체크포인트

• WD 200 mm 이상이 실측으로 확보되는가 — 다방향 조명 링과 엔드이펙터·핸드헬드 그립을 포함해 확인할 것.
• 대상 표면이 확산 반사 우세인지 실물로 확인했는가 — 정반사 성분 비율이 크면 이 기법의 전제가 깨집니다.
• 두 노출 사이 허용 변위를 라인 속도에서 역산했는가 — 1 px 초과 시 법선맵이 흐려집니다.
• 카메라가 글로벌 셔터인가 — 롤링 셔터는 이동 중 촬영에서 기하 왜곡을 만듭니다.
• 대상 고유색이 조명 파장 할당과 충돌하지 않는가 — 충돌 시 채널 크로스토크 보정을 별도 설계할 것.
• 결함 좌표를 부품 좌표계로 등록하는 경로가 준비돼 있는가 — 이동 검사에서는 이것이 없으면 이력 추적이 불가능합니다.

참고 동향 (2026-09-15 ~ 09-22)

• AIT Austrian Institute of Technology, PHOTODEX가 VISION Award 2026 최종 5인에 선정. 고속 이미징 + 컬러 코딩 스트로빙 조명으로 두 번의 근접 노출에서 포토메트릭 정보 취득, 검출 결함을 CAD 모델에 정합.
• 같은 최종 후보군에 Lidwave Odem(단일 실리콘 칩 4D 코히런트 비전, 픽셀별 도플러 속도), Medabsy(머신비전 시스템 가상 설계 및 픽셀 단위 결함 주석 합성 학습 데이터), photonicSENS(단일 센서·단일 노출 플렌옵틱 3D), Singular Photonics(Litavis SPAD 센서)가 포함.
• 수상작은 2026년 10월 7일 VISION 2026(슈투트가르트) 현장에서 발표 예정.