엣지 AI 추론에 INT8 양자화를 적용하기 전에 반드시 확인해야 할 것: 미세 결함이 조용히 사라지는 이유

PCB 커넥터 검사 라인에서 미세 스크래치 검출 모델을 클라우드 서버에서 엣지 스마트카메라로 옮기는 작업은 대부분 순조롭게 끝납니다. 전체 검증 데이터셋에 대한 mAP(평균 정밀도)는 양자화 전후로 1~2%p 차이밖에 나지 않고, 추론 속도는 수 배 빨라지니 현장에서는 “문제없다”는 결론을 내리기 쉽습니다. 그런데 몇 주 뒤 특정 로트에서만 스크래치 결함이 미검출로 유출되는 상황이 반복됩니다. 원인을 추적해 보면, 문제는 모델 전체의 평균 성능이 아니라 콘트라스트가 원래도 낮았던 한 종류의 결함 클래스에서만 조용히 정확도가 떨어져 있었다는 데 있습니다.

이 현상을 방치하면 검사 라인은 “평균적으로는 잘 작동하지만 특정 불량 유형만 골라서 놓치는” 구조로 굳어집니다. 전체 지표만 보고 양산에 투입하면, 저콘트라스트 미세 결함 클래스의 유출률이 서서히 누적되어 후공정이나 고객 클레임 단계에서야 발견되는 경우가 많습니다. 이 글에서는 엣지 AI 추론을 위해 모델을 INT8로 양자화할 때 왜 특정 결함 클래스만 선택적으로 정확도가 떨어지는지, 그리고 2026년 상반기에 갱신된 엣지 하드웨어·카메라 인터페이스 환경이 이 문제와 어떻게 맞물리는지를 정리합니다.

왜 양자화는 결함마다 다르게 작용하는가

엣지 AI 추론에서 사용하는 INT8 양자화는 32비트 부동소수점(FP32)으로 표현되던 가중치와 특징맵(feature map) 값을 8비트 정수로 압축하는 과정입니다. 이 압축은 값의 범위를 스케일링 팩터로 나눠 256단계의 정수 구간에 재매핑하는 방식으로 이뤄지는데, 문제는 이 재매핑이 신경망의 모든 레이어와 모든 특징에 동일하게 작용하지 않는다는 점입니다. 한국의 Intellectual Discovery가 보유한 특허(US12335477B2)는 이 지점을 정확히 짚습니다[특허 참고]. 이 특허는 다층 신경망이 생성하는 특징맵의 양자화를, 신경망 구조 또는 특징맵의 속성(attribute)에 기반해 레이어별·특징별로 다르게 수행해야 한다고 설명합니다. 즉 모든 레이어를 같은 비트 폭으로 뭉뚱그려 양자화하면, 활성값의 동적 범위가 좁고 미세한 신호(예: 저콘트라스트 스크래치가 만드는 약한 엣지 응답)를 담당하는 레이어일수록 정보 손실이 상대적으로 커집니다.

이 손실이 눈에 잘 띄지 않는 이유는, 검증 데이터셋의 클래스 분포가 보통 정상 대비 결함 샘플 수가 적고, 그 결함 안에서도 저콘트라스트 미세 결함은 더 소수이기 때문입니다. 전체 mAP나 정확도는 다수 클래스(정상, 고콘트라스트 결함)의 성능에 좌우되므로, 소수 클래스에서 발생한 정확도 하락이 평균값에 묻혀버립니다. 결국 “양자화 전후 정확도 차이 1~2%p”라는 숫자만으로는 특정 결함 클래스가 미검출 방향으로 얼마나 이동했는지 알 수 없습니다.

엣지 AI 추론 하드웨어 지형이 바뀌고 있다

엣지 AI 추론을 실제로 실행하는 하드웨어 쪽도 2026년 들어 세대교체가 진행 중입니다. Raspberry Pi 계열의 AI HAT+ 2는 기존 26 TOPS급 Hailo-8에서 Hailo-10H로 가속기를 교체했는데, INT8 기준 40 TOPS 연산 성능과 8 GB LPDDR4X 전용 메모리를 갖춰 비전 처리가 호스트 보드의 시스템 메모리를 잠식하지 않도록 설계되었습니다[2]. NVIDIA Jetson 계열에서는 TensorRT가 FP16·INT8 정밀도 보정(precision calibration), 레이어 퓨전, 커널 오토튜닝을 결합해 추론을 가속하며, 양자화 인지 학습(QAT, Quantization-Aware Training)을 적용하면 표준 Jetson 노드에서 복잡한 비전 작업도 100 ms 이내로 처리할 수 있다는 결과가 보고되고 있습니다[3].

다만 이런 하드웨어 성능 향상은 “더 빠른 추론”을 보장할 뿐, “더 정확한 저콘트라스트 검출”을 자동으로 보장하지는 않습니다. TensorRT의 INT8 양자화가 일반적으로 0.5~2.0%p 수준의 정확도 손실을 동반한다는 보고가 있는데[3], 이 수치는 전체 평균이며 클래스별 편차는 별도로 확인해야 합니다. LeapMind가 개발하고 현재 Maxell이 보유한 특허(US12242950B2)는 엣지 디바이스에 내장할 수 있는 신경망 회로 구조를 다루는데, 컨볼루션 연산 출력을 저장하는 메모리 유닛과 양자화 연산 회로를 분리해 반복적으로 양자화된 데이터를 재입력하는 구조를 제시합니다[특허 참고]. 이런 회로 수준의 최적화는 연산 효율을 높이지만, 결국 어느 지점에서 몇 비트로 정보를 자르는지의 선택이 결함 검출 성능을 좌우한다는 근본 구조는 바뀌지 않습니다.

GigE Vision 3.0과 엣지 추론의 연결고리

2026년 4월 17일 A3(Association for Advancing Automation) 기술위원회가 승인하고 5월 12일 정식 공개된 GigE Vision 3.0은 RoCEv2(RDMA over Converged Ethernet v2) 기반 스트리밍을 도입했습니다[1]. 이는 카메라에서 컴퓨터로 이미지를 전송할 때 운영체제 개입 없이 직접 메모리 접근(RDMA)이 가능해져, 낮은 CPU 사용률과 낮은 지연으로 고처리량 이미지 캡처를 지원한다는 의미입니다[1]. 언뜻 엣지 AI 추론과 무관해 보이지만, 실제로는 밀접하게 연결됩니다. 카메라-엣지 디바이스 간 전송 지연이 줄어들면, 양자화로 확보한 추론 속도 여유를 다시 해상도나 프레임레이트를 높이는 데 재투자할 수 있기 때문입니다. 반대로 전송 구간이 병목이라면, 아무리 정밀한 엣지 AI 추론 모델을 올려도 카메라에서 넘어오는 원본 이미지 자체의 갱신 속도가 검사 주기를 제한합니다.

Omron의 특허(US11361424B2)는 이 파이프라인의 또 다른 축인 이미지 처리 모듈 구조를 다룹니다[특허 참고]. 입력층 1개 유닛, 다수의 중간층, 출력층 1개 유닛이 완전 연결된 구조에서 각 중간층 유닛이 이미지 처리 모듈로 작동하며 역전파 기반 학습으로 연결계수를 갱신하는 방식인데, 이런 구조 역시 각 레이어가 담당하는 정보의 성격이 다르다는 점을 전제로 합니다. 결국 엣지 AI 추론의 최종 성능은 카메라 인터페이스(데이터 공급 속도), 신경망 구조(레이어별 정보 특성), 양자화 전략(비트 폭 배분) 세 축이 함께 맞물려 결정된다고 볼 수 있습니다.

핵심 골격 매칭표

아래 표는 PCB 커넥터 핀 미세 스크래치를 엣지 AI 추론으로 검출하는 예시 셋업입니다. 실제 파라미터는 결함 유형·모델 아키텍처·엣지 하드웨어 조합에 따라 달라지므로, 사양 확정 전 반드시 확인이 필요합니다.

구분	항목	값 / 사양
① 최소 검출 불량 사이즈	커넥터 핀 미세 스크래치 기준	20 μm (예시 기준, 대상별 재검증 필요)
② 광학 셋업 — 카메라/인터페이스	카메라 인터페이스	GigE Vision 3.0(RoCEv2) 또는 동등 저지연 인터페이스 지원 카메라[1]
② 광학 셋업 — 렌즈/WD	작동 거리	WD 60 mm 확보 (엣지 디바이스·케이블 배치 여유 포함, 예시)
② 광학 셋업 — 조명	반사율 대응	커넥터 정반사 특성 고려, 동축낙사 조명 기본 배치(대상 재질별 재검증 필요)
③ 알고리즘 파라미터	양자화 방식	레이어별/특징맵별 차등 양자화 검토[특허 참고], 전 레이어 균일 INT8 지양
③ 알고리즘 파라미터	검증 지표	전체 mAP 외에 결함 클래스별 재현율(recall) 개별 확인 필수
③ 알고리즘 파라미터	목표 추론 지연	라인 속도 대비 카메라 전송+추론 총 지연 100 ms 이내 목표(예시)[3]

이 매칭표가 보여주는 시사점은, 엣지 AI 추론 도입의 성패가 하드웨어 스펙 하나로 결정되지 않는다는 점입니다. 카메라 인터페이스의 저지연 전송, 광학 셋업의 반사율 대응, 그리고 양자화 전략의 클래스별 검증이 모두 맞물려야 저콘트라스트 미세 결함의 유출을 막을 수 있습니다.

반대로 클라우드·서버 추론이 유리한 경우

라인 속도가 느려 지연에 여유가 있고, 결함 클래스 수가 많아 클래스별 검증 부담이 크며, 검사 대상이 주기적으로 바뀌어 모델을 자주 재학습·재배포해야 하는 환경이라면, 엣지 디바이스에 양자화 모델을 올리는 대신 서버·클라우드에서 FP32 또는 FP16 정밀도로 추론하는 편이 유리할 수 있습니다. 이 경우 양자화로 인한 클래스별 정확도 편차를 애초에 걱정할 필요가 없고, 모델 업데이트도 엣지 디바이스마다 재배포할 필요 없이 서버 한 곳에서 처리할 수 있습니다. 다만 이는 네트워크 지연과 대역폭이 라인 속도를 감당할 수 있다는 전제에서만 성립하며, 실제 결함 클래스 구성과 라인 속도, 네트워크 인프라 조합에 따라 결과가 달라질 수 있어 샘플 테스트 전 확언은 불가합니다.

현장 체크포인트

• 카메라와 엣지 디바이스 사이의 WD 및 케이블 배치가 GigE 인터페이스 케이블 길이 제한 안에서 물리적으로 확보되어 있는가
• 양자화 전후 정확도를 전체 mAP뿐 아니라 결함 클래스별 재현율로 개별 비교했는가
• 저콘트라스트 결함 클래스의 검증 샘플 수가 통계적으로 유의미한 판단이 가능한 수준으로 확보되어 있는가
• 카메라 전송 지연과 엣지 추론 지연을 합산한 총 지연이 라인 속도(초당 검사 대상 수) 안에 들어오는지 확인했는가
• 레이어별/특징맵별 차등 양자화 또는 QAT 적용 여부에 따른 결함 클래스별 성능 변화를 별도로 기록했는가

---

참고자료

[1] Association for Advancing Automation(A3), “A3 Officially Releases GigE Vision 3.0, Opening New Possibilities in Machine Vision” (2026-05-12 공개, GigE Vision 기술위원회 2026-04-17 승인, RoCEv2 통합)
[2] Raspberry Pi AI HAT+ 2 제품 정보 (Hailo-10H 가속기, INT8 40 TOPS, 8GB LPDDR4X, 최대 3W 동작)
[3] NVIDIA Jetson TensorRT 기술 자료 — FP16/INT8 정밀도 보정, 레이어 퓨전, QAT 기반 저지연 추론 사례
[특허 참고] US12335477B2 (Intellectual Discovery Co., Ltd., “Neural network feature map quantization method and device”, 등록 2025-06-17, 우선일 2020-11-18)
[특허 참고] US12242950B2 (원출원 LeapMind Inc., 현 권리자 Maxell, Ltd., “Neural network circuit, edge device and neural network operation process”, 등록 2025-03-04, 우선일 2020-04-13)
[특허 참고] US11361424B2 (Omron Corp, “Neural network-type image processing device, appearance inspection apparatus and appearance inspection method”, 등록 2022-06-14, 우선일 2018-03-14)