640×640으로 줄이면 미세 결함은 어디로 가는가 — 엣지 AI 타일링 추론의 오버랩·경계·지연 설계

EDGE AI / ALGORITHM

엣지 디바이스용 검출 모델은 대부분 640 × 640 px 전후의 고정 입력 해상도로 학습되고 배포됩니다. 반면 검사 카메라는 20 MP급 고해상도 영상을 내보냅니다. 두 숫자 사이의 간극은 흔히 “리사이즈 한 줄”로 처리됩니다. 5472 × 3648 px 영상을 640 px 폭으로 줄여 모델에 넣는 것입니다.

이 한 줄이 검출 하한을 통째로 바꿉니다. 원영상에서 3 px을 차지하던 90 µm 이물은 다운샘플 후 1 px에도 못 미치고, 주변 픽셀과 평균되면서 콘트라스트까지 희석됩니다. 모델 정확도 지표는 큰 결함 위주로 좋게 나오는데 미세 결함만 조용히 빠지고, 유출은 고객 측 불량으로 돌아옵니다. 모델을 다시 학습시켜도 입력에 정보가 남아 있지 않으면 복원되지 않습니다.

해법은 영상을 줄이는 대신 원해상도에서 모델 입력 크기로 잘라 여러 번 추론하는 타일링(분할) 추론입니다. 다만 타일링은 공짜가 아닙니다. 타일 경계에 걸친 결함을 어떻게 처리할지, 오버랩을 얼마로 잡을지, 늘어난 타일 수가 추론 지연을 얼마나 키우는지를 함께 설계해야 합니다.

다운샘플은 결함을 작게 만드는 것이 아니라, 입력에서 지워 버리는 연산일 수 있습니다.

1. 640 px로 줄이면 미세 결함의 px 점유가 사라진다

Point. 모델 입력 해상도는 곧 검사 시스템의 화소 분해능이며, 다운샘플 배율만큼 검출 하한이 올라갑니다.

Reason. 화소 분해능은 FOV ÷ 픽셀 수입니다. 광학이 30 µm/px을 만들어도, 모델이 보는 영상이 640 px 폭이라면 모델 기준 분해능은 FOV ÷ 640입니다. 게다가 다운샘플은 대개 여러 원화소를 평균하는 방식이므로, 한 픽셀보다 작아진 결함은 면적 비율만큼 콘트라스트가 희석됩니다. 크기와 콘트라스트가 동시에 줄어드는 이중 손실입니다.

Example. FOV 164 mm 폭을 5472 px로 찍으면 약 30 µm/px이고, 90 µm 솔더 브리지는 3 px을 차지합니다. 같은 영상을 640 px 폭으로 줄이면 164 ÷ 640 ≈ 256 µm/px이 되어, 같은 결함은 약 0.35 px로 줄어듭니다. 면적 평균을 가정하면 결함이 한 픽셀 안에서 차지하는 면적비는 (90 ÷ 256)² ≈ 0.12이므로, 원래 콘트라스트의 약 12 %만 남습니다. 이 구성에서 3 px 점유를 확보하려면 결함이 약 768 µm 이상이어야 합니다.

Point. 따라서 “이 모델은 몇 µm까지 잡는가”라는 질문은 모델 구조가 아니라 모델 입력 기준 µm/px로 먼저 답해야 합니다.

2. 타일 오버랩과 경계 결함 — 중심 소유 규칙

Point. 타일링의 품질은 타일 크기보다 경계를 어떻게 처리하느냐에서 결정됩니다.

Reason. 오버랩 없이 격자로 자르면 경계에 걸친 결함은 두 타일에 반쪽씩 나뉩니다. 반쪽 결함은 형태 특징이 무너져 점수가 낮아지고, 두 타일 모두에서 놓칠 수 있습니다. 또한 합성곱 신경망은 타일 가장자리에서 패딩 영향으로 특징이 약해지므로, 가장자리 근처의 판정은 중앙보다 신뢰도가 낮습니다. 오버랩은 이 두 문제를 동시에 다루는 장치입니다.

Example. 실무에서 쓰기 좋은 규칙은 오버랩 ≥ 최대 결함 크기(px)와 중심 소유 규칙의 조합입니다. 오버랩을 64 px로 잡으면 각 타일의 가장자리 32 px을 뺀 안쪽이 그 타일의 “코어”가 되고, 코어들은 빈틈 없이 화면을 나눕니다. 각 타일은 박스 중심이 자기 코어 안에 있는 검출만 남깁니다. 길이 1,500 µm 스크래치는 30 µm/px에서 50 px이므로, 중심이 코어 안에 있으면 가장자리까지 최대 25 px만 필요하고 이는 32 px 여유 안에 들어옵니다. 결함 전체가 한 타일 안에 온전히 보이는 상태로, 한 번만 계수되는 구조입니다. 그 뒤 클래스별 NMS(IoU 0.5)는 잔여 중복만 정리합니다.

Point. 경계 처리는 “중복 박스를 NMS로 지운다”가 아니라 각 결함이 온전히 보이는 타일 하나에 소유권을 주는 설계로 접근해야 합니다.

3. 타일 수와 추론 지연의 교환

Point. 타일링은 분해능을 되찾는 대신 추론 횟수를 곱절로 늘리며, 그 비용은 라인 택트에서 청구됩니다.

Reason. 한 축의 타일 수는 대략 “(영상 폭 − 타일 폭) ÷ 보폭 + 1”이고, 보폭은 타일 폭에서 오버랩을 뺀 값입니다. 오버랩을 늘리면 보폭이 줄어 두 축의 타일 수가 함께 늘어나므로, 연산량은 오버랩 비율에 대해 제곱에 가깝게 커집니다. 엣지 디바이스는 서버처럼 대형 배치로 처리량을 끌어올리기 어려워, 타일 수가 거의 그대로 지연으로 바뀝니다.

Example. 5472 × 3648 px 영상을 640 × 640 타일로 자르면 오버랩 0에서 9 × 6 = 54개, 오버랩 64 px(보폭 576)에서 10 × 7 = 70개, 오버랩 128 px에서 11 × 7 = 77개입니다. 타일당 8 ms(INT8 양자화, 설계 가정)라면 오버랩 64 px 구성의 순차 추론만 560 ms입니다. 택트가 400 ms라면 들어가지 않습니다. 이때 쓸 수 있는 것이 2단 구조입니다. 전체 영상을 640 px로 줄인 1회 추론으로 부품 누락처럼 큰 결함을 보고, 미세 결함은 CAD 기준의 패드·부품 영역(화면의 약 40 %, 설계 가정)에 걸친 약 28개 타일만 원해상도로 추론합니다. 합계는 약 8 + 224 = 232 ms입니다.

Point. 타일링 설계의 출발점은 모델이 아니라 “어느 영역에 어떤 크기의 결함이 나오는가”라는 공정 지도입니다. 미세 결함이 나올 수 없는 영역까지 원해상도로 추론하는 것은 택트를 소모할 뿐입니다.

4. 핵심 골격 — 매칭표

구분	항목	사양 / 파라미터	근거·비고
① 최소 불량 사이즈	솔더 브리지·미세 이물	90 µm 이상	설계 가정. 원해상도 3 px, 640 px 다운샘플 시 약 0.35 px
① 최소 불량 사이즈	패드 스크래치(오버랩 산정 기준)	길이 최대 1,500 µm	설계 가정. 약 50 px, 오버랩 64 px 이하
① 최소 불량 사이즈	부품 누락·틀어짐	1,000 µm 이상	설계 가정. 다운샘플 경로 256 µm/px에서 약 3.9 px
② 광학 셋업	조명·대상 재질	확산 돔 조명, PCB 기판과 솔더 접합부	솔더는 고반사·난반사 혼재. 샘플 테스트 전 확언 불가
② 광학 셋업	카메라	20 MP, 5472 × 3648 px, 화소 2.4 µm	센서 약 13.1 mm × 8.8 mm
② 광학 셋업	렌즈	초점거리 35 mm, 배율 약 0.080	설계 가정
② 광학 셋업	WD(작동 거리)	450 mm 이상 확보 필수	얇은 렌즈 근사 물체 거리 약 472 mm. 돔 조명 높이·개구 포함 실측
② 광학 셋업	FOV·화소 분해능	164 mm × 109 mm, 약 30 µm/px	164 ÷ 5472 ≈ 29.97, 109 ÷ 3648 ≈ 29.88
③ 알고리즘	타일 분할	640 × 640 px, 오버랩 64 px(보폭 576) → 10 × 7 = 70개	오버랩 0이면 54개, 약 1.30배
③ 알고리즘	경계 병합	중심 소유 규칙(가장자리 32 px 제외 코어) + 클래스별 NMS IoU 0.5	결함 반폭 25 px ≤ 32 px
③ 알고리즘	추론 지연	타일당 8 ms(INT8) → 전체 타일링 순차 560 ms	설계 가정. 택트 400 ms 초과
③ 알고리즘	2단 구조	전체 640 px 1회 + CAD ROI 타일 약 28개 → 약 232 ms	ROI 면적 약 40 % 가정

표 시사점. 30 µm/px 원해상도에서 3 px인 90 µm 결함은 640 px 다운샘플 경로(256 µm/px)에서 0.35 px로 사라지지만, 1,000 µm 부품 누락은 같은 경로에서도 약 3.9 px을 유지합니다. 즉 결함 크기에 따라 경로를 나누는 것이 정당하며, 오버랩 64 px은 최대 결함 50 px을 덮으면서 타일 수 증가를 1.30배로 묶는 선택입니다. 전체 타일링 560 ms가 택트 400 ms를 넘는다는 계산이 2단 구조를 요구하는 직접 근거입니다.

5. 반대 접근이 유리한 조건

• 결함이 모두 크고 전체 맥락이 중요한 경우: 부품 누락·극성 반전처럼 약 768 µm 이상의 결함만 대상이면, 전체 영상 1회 추론이 빠르고 경계 문제도 없습니다.
• 연산 여유가 충분한 경우: 더 큰 입력 해상도의 모델을 한 번 돌리는 편이 타일 병합 로직을 유지하는 것보다 단순할 수 있습니다. 다만 연산량은 입력 변의 제곱에 가깝게 늘어납니다.
• 광학으로 FOV를 나눌 수 있는 경우: 고배율 렌즈나 다중 카메라로 처음부터 좁은 FOV를 찍으면 소프트웨어 분할 없이 분해능을 확보합니다. 하드웨어 비용과 WD 간섭 검토가 뒤따릅니다.

솔더 접합부처럼 정반사와 난반사가 섞이는 표면은 결함 콘트라스트가 조명 각도에 크게 좌우되어, 타일 원해상도에서도 검출 여부가 달라질 수 있으므로 샘플 테스트 전 확언 불가입니다.

현장 노트

고속 조립 라인의 PCB 외관 검사에서, 처음에는 전체 영상을 640 px로 줄여 넣는 구성으로 시작한 적이 있습니다. 검증 세트의 전체 지표는 괜찮았지만 100 µm 안팎의 이물만 재현율이 유독 낮았고, 입력 영상을 확대해 보니 결함이 한두 픽셀의 옅은 얼룩으로만 남아 있었습니다. 타일링으로 바꾼 뒤에는 경계에서 같은 결함이 두 번 잡히는 문제가 이어졌는데, 오버랩을 64 px로 맞추고 중심 소유 규칙을 넣으면서 정리되었습니다. 다만 순차 추론 지연이 택트를 넘어, 결국 CAD 기준 ROI만 원해상도로 보는 2단 구조로 옮겨 갔던 것으로 기억합니다.

현장 체크포인트

• WD 450 mm 이상이 실측으로 확보되는가 — 돔 조명 높이와 카메라 개구 위치를 포함해 확인할 것.
• 대상물 표면 재질과 반사율을 먼저 확인했는가 — 솔더·금도금 패드의 정반사가 결함 콘트라스트를 좌우합니다.
• 모델 입력 기준 µm/px에서 최소 결함이 3 px 이상을 점유하는가.
• 오버랩이 최대 결함 크기(px) 이상이며, 중심 소유 규칙으로 중복 계수가 차단되는가.
• 타일 수 × 타일당 지연이 라인 택트 안에 들어오는가 — 들어오지 않으면 ROI 기반 2단 구조를 검토할 것.
• 검증 지표를 결함 크기 구간별로 나누어 확인했는가 — 전체 평균은 미세 결함 누락을 가립니다.