과검출과 미검출, 어느 쪽이 더 비싼가

ALGORITHM

놓친 불량 하나가 재검 하나의 100배라면, 하루 미검출 1.6개를 막으려고 재검 95개를 치르는 판정선이 가장 쌉니다.

도금 단자 하루 10,000개를 놓고, 두 실수의 비용과 불량률과 조명의 흔들림이 판정선을 어디로 옮기는지 계산했습니다.

읽는 시간 약 11분

니켈 도금 커넥터 단자는 거울에 가까운 면이라 빛을 받는 각도가 조금만 달라져도 밝기가 크게 바뀝니다. 그래서 사방에서 고르게 빛을 덮어 주는 돔 조명¹ 아래에서 찍고, 도금이 비어 바탕이 드러난 지름 30 μm 이상의 핀홀을 찾습니다. 판정은 결함 점수²가 정해 둔 판정선³을 넘느냐로 나는데, 이 판정선 하나를 두고 품질팀과 생산팀의 회의가 몇 주씩 돕니다.

판정선을 내리면 멀쩡한 단자를 불량으로 거르는 과검출⁴이 늘어 재검 인력이 붙고, 올리면 핀홀 난 단자가 통과하는 미검출⁵이 늘어 고객 쪽에서 불량이 발견됩니다. 앞의 비용은 매일 조금씩, 뒤의 비용은 가끔 크게 나갑니다. 성격이 다른 두 비용을 같은 저울에 올리지 않으면 회의는 목소리 큰 쪽으로 기울죠.

저는 이 회의를 숫자 세 개로 끝냅니다. 미검출 1건과 과검출 1건의 비용 비율, 불량률, 그리고 양품과 불량품의 점수가 퍼진 모양입니다. 하루 10,000개를 검사하고 불량률은 0.3 %, 재검 1건의 비용을 1로 두었을 때 미검출 1건은 100이라고 가정합니다.

두 실수는 판정선 하나에 함께 매달려 있다

검사기가 내는 판정은 네 칸으로 나뉩니다. 양품을 양품으로, 불량을 불량으로 맞힌 두 칸과, 양품을 불량으로 부른 과검출, 불량을 양품으로 보낸 미검출입니다. 화재경보기에 빗대면 토스트 연기에도 울리는 경보기는 과검출이 많고, 감도를 낮춰 조용해진 경보기는 진짜 불을 놓칩니다. 감도 다이얼은 하나뿐이라 한쪽을 줄이면 다른 쪽이 늘어납니다. 둘 다 0이 되는 자리는 없습니다.

판정 \ 실제	실제 양품	실제 불량
양품으로 판정	맞음	미검출 (놓침)
불량으로 판정	과검출 (재검)	맞음

결함 점수를 하나의 숫자로 내는 검사라면 이 다이얼이 곧 판정선입니다. 양품의 점수가 평균 0.30, 표준편차 0.08의 정규분포⁶를 이루고 불량품은 평균 0.65, 표준편차 0.10을 이룬다고 가정하면, 두 종 모양이 0.45에서 0.55 근처에서 겹칩니다. 판정선을 어디에 두든 그 겹친 꼬리 가운데 한쪽은 잘못된 칸으로 넘어갑니다.

비용을 숫자로 붙이면 판정선이 계산된다

두 실수의 개수에 각각의 비용을 곱해 더한 값을 기대 비용⁷이라 하면, 판정선은 이 값이 가장 작은 자리입니다. 비용을 1:1로 두면 판정선은 0.583에 앉고, 하루 미검출 7.5개와 과검출 2.0개가 나와 기대 비용은 9.6입니다. 비용을 100:1로 바꾸면 판정선이 0.487로 내려가고, 미검출은 하루 1.6개로 줄지만 과검출이 95개로 늘어 기대 비용은 251이 됩니다.

같은 100:1 조건에서 1:1용 판정선 0.583을 그대로 쓰면 기대 비용은 755로 세 배가 됩니다. 비용 비율에 합의하지 않고 판정선을 고르면 이만큼을 매일 더 내는 셈입니다. 정확도로 따지면 0.583 쪽이 99.90 %, 0.487 쪽이 99.03 %라서, 정확도가 낮은 판정선이 오히려 싸다는 점도 눈에 띕니다. 제 판단으로는 이 차이가 판정선 회의에서 가장 먼저 꺼낼 숫자입니다.

그림에서 비용비 100:1 곡선의 가장 낮은 점은 1:1 곡선보다 엄격한 판정선 쪽에 놓입니다. 계산에서 0.583이 0.487로 옮겨 간 것과 같은 방향입니다. 곡선의 바닥이 어디에 있는지는 비용비만으로 정해지지 않고, 그 바닥을 끌어당기는 다른 숫자가 하나 더 있습니다.

불량률이 비용비를 깎아 먹는다

비용비가 100:1이면 판정선을 바짝 내려야 할 것 같지만, 실제로 내려가는 폭은 0.583에서 0.487까지입니다. 하루 10,000개 가운데 양품이 9,970개, 불량이 30개라서 판정선 근처에는 양품이 불량보다 훨씬 많이 서 있기 때문입니다. 비용비에 불량 수와 양품 수의 비를 곱한 100 × 30 ÷ 9,970 = 0.30이 판정선을 실제로 움직이는 무게이고, 100:1이라는 비용비가 불량률 0.3 %를 만나 0.30으로 줄어든 셈입니다.

불량률이 3 %로 오르면 같은 비용비에서 무게는 3.09가 되고, 판정선은 0.435까지 내려가 하루 과검출이 449개, 미검출이 4.7개가 됩니다. 판정선은 고정값이 아닙니다. 불량률이 오른 날에는 판정선도 다시 계산해야 한다는 뜻입니다. 공정이 안정돼 불량률이 떨어지면 반대로 판정선을 조금 올려 재검을 줄일 여지가 생깁니다.

저는 판정선 회의에 비용비와 최근 불량률을 한 장에 올려 둡니다. 둘 중 하나만 있으면 판정선은 계산되지 않습니다.

조명이 5 % 어두워지면 재검이 2.6배가 된다

위의 계산은 점수 분포가 날마다 같다는 전제 위에 서 있습니다. 돔 조명의 LED가 오래 켜져 밝기가 5 % 떨어지고, 그 때문에 양품의 점수 평균이 0.30에서 0.33으로 0.03 올라간다고 가정하면, 판정선 0.487은 그대로인데 하루 과검출이 95개에서 244개로 2.6배가 됩니다. 기대 비용도 251에서 400으로 뛰고요. 판정선은 그대로이고, 판정선이 얹힌 바닥이 움직인 것입니다.

웨이퍼 검사장비 업계에는 이 문제를 부르는 말이 따로 있습니다. 검사기가 결함이라고 보고했지만 실제로는 결함이 아닌 것을 뉴슨스⁸라고 부르죠. KLA Corporation의 한국 등록특허 KR102203112B1(표준 기준 이미지로부터 결정된 속성에 기초한 결함 검출 및 분류, 우선일 2014년 2월 6일, 등록 2021년 1월 13일)은 결함인지 뉴슨스인지를 가르는 데 결함이 없는 표준 기준 이미지를 씁니다. 여러 다이의 중앙값이나 평균으로 만든 골든 이미지⁹, 프레임마다 밝기 분포를 기준에 맞추는 히스토그램 매칭¹⁰, 설계 데이터에서 렌더링한 이미지가 그 기준의 후보로 적혀 있습니다.

같은 특허는 분류 단계에서 촬영 이미지, 기준과의 차이 이미지, 기준 이미지 자체에서 뽑은 속성을 함께 씁니다. 기준을 여러 장으로 만드는 이유는 계산으로도 보입니다. 화소 잡음이 가우스 분포라고 가정하면 양품 15개의 중앙값으로 만든 기준의 잡음은 한 장의 약 32 %이고, 촬영 이미지에서 기준을 뺀 차이 영상의 잡음은 한 장 잡음의 1.41배에서 1.05배로 줄어듭니다. 차이 영상이 조용해지면 결함 점수의 양품 분포도 좁아지고, 겹친 꼬리가 짧아집니다. 저라면 기준 이미지를 만드는 양품 수부터 사양서에 적습니다.

임계값 회의를 계산으로 끝내는 자리

셋업 단계에서 세 가지를 한 표에 묶어 두면 회의가 짧아집니다. 결함이 화면에 몇 칸으로 담기는지, 그 화면의 밝기를 무엇으로 붙잡는지, 판정선을 어떤 비용으로 고르는지입니다. 카메라는 2,448 × 2,048 px, 화소 3.45 μm 센서에 25 mm 렌즈로 가정하고 시야를 가로 24 mm로 잡으면, 화소 하나가 단자 위에서 9.8 μm가 되고 렌즈에서 단자까지의 WD¹¹는 약 96 mm입니다.

구분	① 최소 불량 크기	② 광학 셋업 · WD	③ 알고리즘 파라미터 · 풀어 쓰면
핀홀 판정	지름 30 μm = 3.06칸 (9.8 μm/px)	돔 조명, 25 mm 렌즈, WD 약 96 mm, 시야 24 × 20.1 mm	기대 비용이 가장 작은 판정선 0.487 (비용비 100:1, 불량률 0.3 % 가정). 하루 미검출 1.6개, 재검 95개
밝기 감시	기준점이라 불량 크기 없음	시야 구석 회색 기준 패치, 같은 렌즈·WD	패치 밝기가 5 % 떨어지면 판정 전에 보정. 양품 점수 0.03 이동이 재검을 하루 244개로 늘린다
기준 이미지	판정 좌표계를 정하는 기준	같은 셋업으로 양품 15개 촬영	화소별 중앙값 기준으로 차이 영상 잡음을 1.41배에서 1.05배로. 로트마다 히스토그램을 기준에 맞춘다

세 줄이 위에서 아래로 이어져야, 비용으로 고른 판정선이 다음 로트에서도 같은 뜻을 가집니다.

반대로 판정선을 올리는 쪽이 맞는 자리도 있습니다. 놓친 단자가 고객에게 닿기 전에 뒤 공정의 전수 검사에서 다시 걸러지거나, 외관만 다른 흠이라 고객이 문제 삼지 않는다면 미검출 비용은 100보다 훨씬 작아지고 판정선은 1:1 쪽으로 올라갑니다. 재검을 두 번째 카메라가 싸게 맡는 구성이라면 거꾸로 과검출 비용이 작아져 판정선을 더 내려도 됩니다. 저는 이런 조건을 비용비 옆에 따로 적어 둡니다. 도금면의 광택이 로트마다 달라 점수 분포가 가정한 모양에서 얼마나 벗어날지는 샘플 테스트 전 확언 불가입니다.

판정선을 비용으로 계산하는 일은 검사 알고리즘 엔지니어가 품질팀과 말을 맞추는 가장 빠른 방법이고, 품질 관리나 공정 기술 쪽 일에서도 같은 식을 씁니다. 도입을 결정하는 쪽에서는 하루 재검 95개의 인건비와 미검출 1.6개의 클레임 비용을 나란히 놓고 보는 편이 검사기 사양서의 정확도 숫자보다 판단에 더 쓸모가 있습니다. 이 글은 기술 설명이며 투자 권유가 아닙니다. 자세한 내용은 면책조항을 참고하세요.

현장 노트

이 단자 라인에 판정선을 정한다면 저는 하루치 검사 기록에서 양품 점수의 평균과 표준편차부터 뽑습니다. 가정한 0.30과 0.08에서 얼마나 벗어나는지 보고, 돔 조명 밝기를 5 % 낮춘 상태로 같은 단자 50개를 다시 찍어 평균이 0.03쯤 움직이는지 확인합니다. 그 이동량이 크면 판정선을 고치기 전에 시야 구석 기준 패치로 밝기를 보정하는 단계부터 넣습니다.

현장 체크포인트

하루치 기록과 다시 찍은 50개로 분포의 가정을 확인했다면, 아래 질문으로 판정선을 사양서 문장으로 옮깁니다.

• WD 약 96 mm(25 mm 렌즈, 시야 24 mm)가 돔 조명 높이를 더하고도 확보되는가? (돔이 렌즈와 단자 사이에 들어갈 자리가 있는지)
• 미검출 1건과 과검출 1건의 비용 비율을 품질과 생산이 숫자로 합의했는가? (100:1인지 10:1인지에 따라 판정선이 달라지는지)
• 최근 불량률과 유형별 불량 수를 판정선 계산에 넣었는가? (0.3 %와 3 %에서 판정선이 0.487과 0.435로 갈리는지)
• 정해진 판정선에서 하루 재검 수와 미검출 수를 따로 집계하는가? (전체 정확도 대신)
• 시야 구석 기준 패치로 조명 밝기를 매 장 기록하는가? (5 % 하락이 재검을 2.6배로 만드는지)
• 기준 이미지를 양품 몇 개로 만들었는가? (15개 중앙값이면 차이 영상 잡음 1.05배)
• 도금 광택이 다른 로트의 샘플로 점수 분포를 다시 확인했는가?

자주 묻는 질문

정확도가 99 %를 넘으면 충분하지 않나요?

불량률이 0.3 %인 라인에서는 모든 단자를 양품으로 통과시키기만 해도 정확도가 99.7 %입니다. 본문 계산에서도 정확도는 1:1 판정선이 99.90 %, 100:1 판정선이 99.03 %인데, 100:1 비용에서는 정확도가 높은 쪽의 기대 비용이 세 배입니다. 불량률이 낮은 검사에서는 정확도 대신 하루 미검출 수와 재검 수를 따로 봐야 비용이 보입니다.

판정선은 한 번 정하면 끝인가요?

비용비, 불량률, 점수 분포 가운데 하나라도 바뀌면 다시 계산합니다. 불량률이 0.3 %에서 3 %로 오르면 판정선은 0.487에서 0.435로 내려가고, 조명이 흔들려 양품 분포가 옮겨 가면 같은 판정선에서도 재검이 늘어납니다. 그래서 판정선 숫자 하나만 남기지 말고, 그 판정선을 계산한 세 숫자를 함께 기록해 두는 편이 쓸모가 큽니다.

용어 풀이

• [1] 돔 조명 dome illumination
  반구 모양 덮개 안쪽에서 빛을 반사시켜 부품을 사방에서 고르게 비추는 조명입니다. 반짝이는 면의 반사점을 흩어 줍니다. ↩
• [2] 결함 점수 defect score
  검사 알고리즘이 사진 한 장, 또는 한 자리마다 결함다운 정도를 숫자 하나로 내놓은 값입니다. 본문에서는 0에서 1 사이로 두었습니다. ↩
• [3] 판정선 threshold, 임계값
  결함 점수가 이 값을 넘으면 불량으로 판정하는 기준값입니다. ↩
• [4] 과검출 false positive, overkill
  양품을 불량으로 판정하는 실수입니다. 재검 인력과 시간이 비용으로 나갑니다. ↩
• [5] 미검출 false negative, escape
  불량을 양품으로 통과시키는 실수입니다. 고객 쪽에서 발견되면 클레임과 신뢰 하락으로 돌아옵니다. ↩
• [6] 정규분포 normal distribution
  평균을 가운데 두고 좌우가 대칭인 종 모양 분포입니다. 평균에서 표준편차 1개 안에 약 68 %가 들어갑니다. ↩
• [7] 기대 비용 expected cost
  실수의 개수에 각각의 비용을 곱해 더한 값입니다. 판정선은 이 값이 가장 작은 자리에 둡니다. ↩
• [8] 뉴슨스 nuisance
  검사기가 결함으로 보고했지만 실제로는 결함이 아닌 검출입니다. 웨이퍼 검사에서 과검출을 부르는 말입니다. ↩
• [9] 골든 이미지 golden reference image
  결함이 없는 여러 장을 화소마다 중앙값이나 평균으로 합쳐 만든 기준 이미지입니다. ↩
• [10] 히스토그램 매칭 histogram matching
  한 이미지의 밝기 분포를 기준 이미지의 밝기 분포에 맞춰 바꾸는 보정입니다. ↩
• [11] WD working distance, 작동 거리
  렌즈에서 검사할 면까지의 거리입니다. 본문 값은 얇은 렌즈 근사로 렌즈 중심을 기준으로 계산했습니다. ↩

참고 자료

• KLA Corporation, 한국 등록특허 KR102203112B1 표준 기준 이미지로부터 결정된 속성에 기초한 결함 검출 및 분류 (우선일 2014년 2월 6일, 출원 2015년 2월 5일, 등록 2021년 1월 13일. 뉴슨스 판별, 다수 다이 중앙값·평균 기준, 히스토그램 매칭, 설계 데이터 렌더링 기준, 촬영·차이·기준 이미지 속성 결합)
• 계산식: 기대 비용 = C미검출 × 미검출 수 + C과검출 × 과검출 수, 미검출 수 = 불량 수 × Φ((t − μ불량) ÷ σ불량), 과검출 수 = 양품 수 × (1 − Φ((t − μ양품) ÷ σ양품)), 판정선을 움직이는 무게 = 비용비 × 불량 수 ÷ 양품 수, 중앙값 기준의 잡음 ≈ σ × √(π ÷ 2n), 차이 영상 잡음 = √(σ² + 기준 잡음²)

함께 읽으면 좋은 글 — 딥러닝 vs 룰베이스(rule-based) 알고리즘, 언제 무엇을 쓰나 · 조명이 5 % 어두워지면 정상 화소 몇 개가 불량이 될까 · AOI의 불량 판정에 비전 언어 모델로 근거를 붙이려면