과검출과 미검출, 어느 쪽이 더 비싼가

불량 검사 알고리즘을 튜닝하다 보면 결국 두 종류의 실수 중 하나를 선택해야 하는 순간이 온다. 양품을 불량으로 거르거나(과검출), 불량을 놓치거나(미검출). 이 트레이드오프를 명시적으로 다루지 않으면 튜닝이 끝없이 표류한다.

혼동행렬로 본 두 종류의 실수

	실제 양품	실제 불량
판정 양품	정상	미검출(False Negative)
판정 불량	과검출(False Positive)	정상

임계값을 낮추면 미검출은 줄지만 과검출이 늘고, 반대로 임계값을 높이면 과검출은 줄지만 미검출이 늘어난다. 둘 다 0으로 만들 수는 없다 — 어느 쪽 실수의 비용이 더 큰지가 임계값을 정하는 기준이 된다.

비용 비대칭을 고려한 임계값 설정

안전·품질에 직결되는 결함은 미검출 비용이 훨씬 크므로 임계값을 보수적으로(과검출 감수) 잡는다. 반대로 외관상 경미한 결함은 과검출로 인한 재검사 비용이 더 클 수 있어 임계값을 완화하기도 한다. “정확도 몇 %”라는 단일 지표만으로는 이 비대칭을 담을 수 없다.

반도체 검사장비는 이 문제를 어떻게 푸는가

과검출·미검출의 균형은 머신비전만의 고민이 아니다. 웨이퍼 검사장비 업계에는 아예 전용 용어가 있다. 뉴슨스(nuisance) — 검사기가 결함이라고 보고했지만 실제로는 결함이 아닌 것, 즉 과검출을 가리키는 말이다. 검사장비 1위 업체 KLA의 특허(KR102203112B1)를 보면, 뉴슨스를 걸러내는 필터링이 검사 레시피의 표준 구성요소로 등장한다. 임계값을 튜닝한 다음 단계는 분류기로 과검출을 솎아내는 것 — 이 두 단계 구조가 업계의 기본 문법이다.

같은 특허가 지적하는 더 깊은 문제도 있다. 임계값을 어디에 두느냐보다 앞서는 질문은, 그 임계값이 얹혀 있는 분포 자체가 흔들리지 않느냐다. 공정 변화로 이미지의 밝기 분포가 로트마다 달라지면, 레시피를 설정할 때 최적이었던 임계값이 실제 검사 시점에는 어긋난 위치에 놓인다. 같은 레시피로 같은 공정의 제품을 검사했는데 어떤 로트에서는 결함이 하나도 안 잡히고 다른 로트에서는 쏟아지는 현상이 이렇게 생긴다. KLA의 해법은 무결함 표준 기준 이미지로 판정의 좌표계를 고정하는 것이었다. 여러 정상 샘플의 중앙값 이미지를 쓰거나, 히스토그램을 기준 분포에 맞춰 보정하거나, 아예 설계 데이터에서 잡음 없는 합성 이미지를 만들어 기준으로 삼는다.

판정 근거를 하나에 의존하지 않는다는 점도 눈여겨볼 만하다. 이 특허의 분류 단계는 촬영된 이미지의 속성, 기준과의 차이 이미지 속성, 표준 기준 이미지의 속성 — 세 가지를 결합해 결함인지 뉴슨스인지 가른다. 현장의 교훈으로 옮기면 이렇다. 임계값 하나로 싸우지 말 것, 판정이 흔들리면 임계값보다 기준부터 의심할 것.

비용을 숫자로 붙이면 임계값이 계산된다

임계값은 감으로 정하는 값이 아니라 두 실수의 비용 비율에서 계산되는 값이다. 두 오류의 개수를 각각 비용으로 곱해 더한 기대 비용(C_FN×FN + C_FP×FP)이 가장 작은 지점이 곧 최적 임계값이기 때문이다. 예를 들어 미검출 1건이 필드 클레임으로 돌아와 재검사 1건보다 100배 비싸다고 가정하면(C_FN:C_FP = 100:1), 미검출 1건을 줄이기 위해 과검출 99건까지 늘어나도 기대 비용은 아직 줄어든다. 반대로 외관 등급 결함처럼 두 비용이 비슷하면 이 교환은 성립하지 않는다. 비용 비율을 먼저 합의하면 임계값 회의는 의견 대립이 아니라 곡선 위의 한 점을 고르는 일이 된다.

다만 이 계산은 판정 점수의 분포가 로트마다 같다는 전제 위에서만 성립한다. 조도가 흔들려 분포가 옮겨 가면 어제의 최적점은 오늘의 최적점이 아니다. 그래서 임계값보다 먼저 광학 조건을 고정해야 한다.

임계값을 정하기 전의 골격

항목	내용
① 최소 불량 사이즈	검사 사양에서 정의(예시 가정: 30 μm) — 이 크기가 3 px 이상 담기는 분해능(10 μm/px 이하)이 확보돼야 임계값 논의가 의미를 가진다
② 광학 셋업	판정 좌표계를 흔들지 않는 조명 — 조도(lx) 안정화, 시야 안 기준 패치로 밝기 분포 감시, 렌즈 WD 확보 후 초점 고정
③ 알고리즘 파라미터	비용 가중치 CFN/CFP를 먼저 정하고 기대 비용(CFN×FN + CFP×FP)이 최소가 되는 임계값 선택, 무결함 기준 이미지로 로트별 분포 보정

세 칸은 한 방향으로 흐른다. 결함이 이미지에 충분히 담기고(①), 밝기 분포가 고정돼야(②) 비용 기반 임계값(③)이 로트가 바뀌어도 같은 뜻을 가진다.

요약

검사 알고리즘 튜닝은 정확도 극대화가 아니라, 두 실수의 비용을 먼저 정의하고 그에 맞는 지점을 찾는 문제다.

현장 체크포인트

• 미검출 1건과 과검출 1건의 비용을 숫자로 합의했는가
• 전체 정확도가 아니라 결함 유형별 FN·FP를 따로 집계하는가
• 조도 변동과 로트 편차를 기준 패치·기준 이미지로 감시하는가
• 렌즈 WD(작동거리)와 초점이 고정돼 판정 분포가 광학 변동으로 흔들리지 않는가
• 난반사가 섞인 표면은 비용 곡선이 로트마다 달라질 수 있다 — 샘플 테스트 전 확언 불가

현장 노트

임계값 튜닝 회의가 끝없이 돌기만 하다가, 미검출 1건과 과검출 1건의 실제 비용을 숫자로 붙이고 나서야 논쟁이 정리된 경험이 있습니다. 비용 비대칭이 명확해지면 임계값 결정은 의견이 아니라 계산 문제가 됩니다.

함께 읽으면 좋은 글 — 딥러닝 vs 룰베이스, 언제 무엇을 쓰나