엣지 AI 비전이 현장에서 안 돌아가는 이유 — 증상에서 원인까지 찾아가는 점검 지도

EDGE AI / ALGORITHM

서버에서 검증을 마친 검사 모델을 엣지 장치에 올리면, 첫 주에는 대개 잘 돌아갑니다. 문제는 몇 주 뒤, 혹은 오후 시간대, 혹은 카메라를 한 대 늘린 날부터 시작됩니다. 정확도가 조금 떨어지거나 판정이 가끔 늦는 식으로 나타나기 때문에, 원인을 모델 안에서만 찾게 됩니다.

증상과 원인을 연결하지 않은 채 재학습부터 시작하면, 몇 주를 들여 모델을 바꾼 뒤에도 같은 증상이 돌아옵니다. 원인이 입력 해상도·열·지연·대역폭·조명 변화처럼 모델 바깥에 있으면 재학습은 아무것도 고치지 못하고, 그동안 가장 작은 결함부터 조용히 유출됩니다.

이 글은 이 사이트에서 따로 다뤄 온 엣지 AI 현장 실패 원인들을 증상 → 먼저 확인할 숫자 → 원인 후보 → 상세 글 순서의 점검 지도로 묶습니다. 원인별 깊은 설명은 링크된 글에 있고, 여기서는 어떤 증상에서 어디부터 확인할지를 정합니다.

재학습은 원인이 모델 안에 있을 때만 효과가 있습니다. 증상이 가리키는 물리량부터 확인하십시오.

1. 정확도 증상 — “서버보다 낮다”, “가는 결함만 놓친다”

Point. 전체 정확도는 1~2%p만 떨어졌는데 특정 결함 클래스만 사라진다면, 첫 의심은 양자화와 입력 해상도입니다.

Reason. INT8 양자화는 텐서의 값 범위를 256단계로 나누므로, 배경과 밝기 차가 작은 결함 신호가 같은 코드로 합쳐질 수 있습니다(서버와 엣지 정확도 차이 글, INT8 양자화 글). 고해상도 영상을 모델 입력 크기로 줄이면 원영상에서 3 px이던 결함이 1 px 아래로 사라집니다(타일링 추론 글). 두 경우 모두 평균 지표에는 거의 드러나지 않습니다.

Example. 타일링 추론 글의 계산에서 30 µm/px 원해상도에서 3 px인 90 µm 결함은 640 px 다운샘플 경로(256 µm/px)에서 0.35 px로 사라집니다. 지식 증류 글은 경량 모델의 출력 stride 4에서 30 µm 결손이 0.75셀로 떨어지는 구조를 보여 줍니다.

Point. 확인할 숫자는 클래스별 재현율과 모델 입력 기준 최소 결함 px입니다. 이 두 값을 보기 전에는 재학습을 시작하지 않습니다.

2. 속도 증상 — “벤치마크보다 느리다”, “가끔 마감을 넘긴다”

Point. 오후에 느려지면 열, 평균은 빠른데 가끔 늦으면 지연 꼬리, 카메라를 늘린 뒤 프레임이 빠지면 인터페이스부터 봅니다.

Reason. 팬리스 장치는 온도가 한계에 가까워지면 클록을 낮춰 추론 시간이 흔들리고(열 설계 글), 판정 지연은 추론 한 구간이 아니라 트리거부터 출력까지의 합이므로 평균이 아니라 p99로 봐야 하며(p99 지연 예산 글), 여러 카메라가 한 링크를 나눠 쓰면 대역폭이 먼저 한계에 닿습니다(인터페이스 대역폭 글).

Example. p99 지연 예산 글은 평균 추론 9 ms가 찍혀도 1,000개 중 1개꼴의 지연이 판정 마감을 넘기면, 그 부품은 판정과 무관하게 통과한다는 점을 짚습니다. 인터페이스 대역폭 글은 1GigE 링크의 실효 한계를 약 115 MB/s로 잡고, 12 MP 카메라를 여러 대 거는 구성에서 이 한계가 먼저 드러나는 과정을 다룹니다.

Point. 확인할 숫자는 모듈 온도와 추론 시간의 시계열, 구간별 p99 지연, 카메라별 실제 수신 대역폭입니다.

3. 시간이 지나며 나타나는 증상 — “몇 주 뒤 오검출이 늘었다”, “조명을 만진 뒤 무너졌다”

Point. 모델을 바꾸지 않았는데 성능이 서서히 변하면, 입력이 변한 것입니다.

Reason. 렌즈 오염·조명 열화·초점 이탈은 정확도보다 먼저 평균 휘도·선명도 같은 입력 통계에 흔적을 남기고(입력 드리프트 감시 글), LED 광출력 저하는 알람 없는 미검출 방향으로 먼저 진행합니다(LED 열화 글). 조명 브래킷을 다시 조였을 때 무너지는 모델은, 밝기 증강으로는 흉내 낼 수 없는 조명 각도 변화를 학습하지 못한 경우입니다(조명 증강의 한계 글).

Example. LED 열화 글의 예에서 밝은 결함을 절대 계조 임계로 잡는 검사는 광출력이 15% 떨어지면 결함 신호가 임계 아래로 내려가 불량이 그대로 통과합니다. 조명 증강의 한계 글은 방위각 하나를 홀드아웃으로 떼어 “처음 보는 조명”에서의 재현율 저하를 수치로 확인하는 촬영 매트릭스를 제안합니다.

Point. 확인할 숫자는 입력 통계(휘도·선명도)의 추이와 조명 조건별 재현율입니다. 재학습은 이 두 값이 원인을 모델로 지목할 때 시작합니다.

4. 핵심 골격 — 매칭표(증상별 점검 지도)

구분	증상	먼저 확인할 숫자	원인 후보 · 상세 글
① 최소 불량 사이즈	가는 결함만 놓친다	모델 입력 기준 최소 결함 px(3 px 이상인가)	입력 리사이즈 — 타일링 추론 / 경량 모델 stride — 지식 증류
① 최소 불량 사이즈	저콘트라스트 클래스만 재현율 저하	양자화 전·후 클래스별 재현율	INT8 양자화 — 서버와 엣지 차이 / INT8 양자화
② 광학 셋업	몇 주 뒤 오검출·미검출 증가	평균 휘도·선명도 추이	조명 열화·오염·초점 이탈 — 입력 드리프트 / LED 열화
② 광학 셋업	조명을 만진 뒤 성능 붕괴	조명 조건(방위각·고도)별 재현율	조명 각도 변화 — 조명 증강의 한계
② 광학 셋업	카메라 증설 후 프레임 누락	카메라별 수신 대역폭(MB/s)	인터페이스 대역폭 — CoaXPress 비교 / GigE Vision RDMA
③ 알고리즘	오후에 느려짐·판정 지터	모듈 온도·추론 시간 시계열	서멀 스로틀링 — 열 설계
③ 알고리즘	평균은 빠른데 가끔 마감 초과	구간별 p99 지연	지연 꼬리·대기열 — p99 지연 예산
③ 알고리즘	메모리 부족·탐색 지연	코어셋 비율별 지연과 과검출	메모리뱅크 크기 — 메모리뱅크 이상탐지

표 시사점. 여덟 행 가운데 재학습이 직접 처방인 것은 조명 각도 일반화와 경량 모델 설계 정도이고, 나머지는 입력 해상도 경로·양자화 설정·열·지연·대역폭·입력 열화처럼 학습 밖의 설정과 물리량에서 시작합니다. 증상마다 숫자 하나를 먼저 확인하는 것만으로 재학습 루프의 상당 부분을 피할 수 있다는 것이 이 지도의 요지입니다.

5. 반대 접근이 유리한 조건

• 제품과 결함 유형이 자주 바뀌는 다품종 라인: 원인 점검보다 소량 샘플 재학습을 빠르게 돌리는 체계가 먼저일 수 있습니다(Few-shot 이상탐지 글).
• 처리 시간 여유가 큰 오프라인 샘플 검사: 지연·열 항목의 우선순위가 낮아집니다.
• 서버 추론이 가능한 환경: 양자화·열 제약 자체가 사라지므로, INT8 양자화 글의 “클라우드·서버 추론이 유리한 경우”를 먼저 검토합니다.

조명·표면 조건에 따라 원인의 비중은 달라지므로, 어느 원인이 먼저인지는 샘플 테스트 전 확언 불가입니다.

현장 노트

판정이 가끔 늦는다는 보고를 받고 모델 경량화부터 시작했다가, 두 주 뒤에야 오후 시간대에만 모듈 온도가 한계에 닿는다는 로그를 본 적이 있습니다. 증상이 나타나는 시간대를 먼저 물었다면 첫날 확인할 수 있었던 원인이었습니다. 이후로는 현장 문의를 받으면 모델 파일보다 온도·지연·휘도 로그 세 가지를 먼저 요청합니다. 이 글의 표도 그 순서를 그대로 옮긴 것입니다.

현장 체크포인트

• WD가 설계값을 유지하는가 — 재설치나 조명 교체 뒤 WD가 바뀌면 분해능과 모델 입력 기준 결함 px가 함께 바뀌므로 먼저 확인할 것.
• 모델 입력 기준으로 최소 결함이 3 px 이상인가.
• 클래스별 재현율을 양자화 전·후로 비교했는가.
• 구간별 p99 지연과 모듈 온도를 같은 시간축으로 기록하는가.
• 카메라별 수신 대역폭이 링크 실효 한계 안에 있는가.
• 입력 통계(휘도·선명도) 추이를 매 프레임 계산하는가 — 난반사 표면은 샘플 테스트 전 확언 불가.

함께 읽으면 좋은 글 — 서버에선 잘 됐는데 엣지에선 왜 정확도가 떨어지나 · 640×640으로 줄이면 미세 결함은 어디로 가는가 — 엣지 AI 타일링 추론의 오버랩·경계·지연 설계 · 평균 지연이 마감 안에 있으면 안전한가 — 엣지 비전 검사의 지연 예산을 p99로 분해하기 · 벤치마크에서는 빨랐는데 왜 오후에 느려지는가 — 팬리스 엣지 디바이스의 열 설계와 지속 추론