라이트필드 카메라는 화소를 깊이로 바꿔 쓴다

OPTICS

라이트필드 카메라는 렌즈 한 알 뒤의 화소들을 화면의 점 하나로 묶고, 그 대가로 높이를 읽습니다.

지름 25 μm 금선을 2배 배율로 볼 때, 묶는 칸 수가 금선의 굵기와 초점 범위와 높이 분해능을 어떻게 나눠 갖는지 계산했습니다.

읽는 시간 약 16분

4,000 × 4,000 px 센서로 찍은 사진이 292 × 292 점짜리 그림으로 돌아온다면 고장부터 의심하게 됩니다. 2005년 스탠퍼드 연구진이 손에 들고 찍도록 만든 라이트필드 카메라¹ 시제품이 실제로 그런 숫자를 냈습니다. 1,600만 화소 가운데 화면의 점으로 남은 몫은 0.53 %였고, 나머지는 빛이 렌즈의 어느 쪽을 지나 들어왔는지 적는 데 쓰였죠. 그 대가로 이 카메라는 찍은 뒤에 초점을 옮기고, 한 장의 사진에서 높이를 읽습니다.

10월 7일 슈투트가르트 VISION 2026에서 VISION Award를 받은 photonicSENS의 카메라도 같은 원리 위에 서 있습니다. 렌즈와 센서 사이에 마이크로렌즈 배열²을 넣어 여러 방향의 장면을 한 장에 담고, 투영기도 스캔 축도 없이 화소마다 깊이를 낸다고 밝혔습니다. 주력 시장으로는 반도체 패키지의 와이어 본드 검사를 꼽았고, 결선 소개 기사의 사진 설명에는 와이어 본드 높이를 10 μm보다 촘촘한 정밀도로 잰다고 적혀 있습니다.

대상은 칩과 기판을 잇는 지름 25 μm 금선으로 정합니다. 금선은 둥근 거울이라 빛이 닿은 쪽에 가늘고 하얀 정반사³ 줄이 서고, 그 아래 기판의 솔더 레지스트는 빛을 흩어 돌려보내는 무광 면입니다. 반사율이 이렇게 갈리는 화면에서 처진 루프나 끊어진 금선을 놓치면, 그 보드는 기능 검사까지 가서야 걸리거나 그대로 상자에 담깁니다. 그래서 한 장에 높이까지 담는다는 말을 들으면 저는 칸 수부터 셉니다. 화소 몇 칸을 깊이에 내주고 나서도 25 μm 금선이 화면에 남는지가 첫 계산이에요.

렌즈 한 알 뒤의 화소들은 한 점을 여러 방향에서 본다

보통 카메라의 화소 하나는 렌즈 구멍 전체를 지나온 빛을 한데 섞어 받습니다. 렌즈 위쪽 가장자리로 들어온 빛과 아래쪽 가장자리로 들어온 빛이 같은 칸에 쌓이니, 빛이 어느 방향에서 왔는지는 그 자리에서 지워집니다. 라이트필드 카메라는 주 렌즈가 상을 맺는 자리에 마이크로렌즈 배열을 놓고, 센서를 그 바로 뒤에 둡니다. 렌즈 한 알은 화면의 점 하나를 맡고, 그 뒤에 깔린 화소들은 주 렌즈 구멍의 서로 다른 조각을 하나씩 바라봅니다.

방 하나를 문에 뚫린 열쇠구멍 여러 개로 들여다본다고 해 보죠. 구멍마다 보이는 장면은 거의 같지만, 가까운 의자와 먼 벽이 겹치는 모양이 구멍의 자리에 따라 조금씩 어긋납니다. 렌즈 한 알 뒤의 화소들이 그 열쇠구멍이고, 어긋난 정도가 높이의 단서가 됩니다. 이 열쇠구멍들이 서로 겹치지 않고 화소를 꽉 채우려면 주 렌즈와 마이크로렌즈의 조리개 값⁴이 같아야 한다고 Ng의 2005년 보고서는 적었습니다. 아래 계산에서는 둘 다 f/8로 맞춥니다.

그림 왼쪽의 빨간 점에서 나온 여덟 갈래 빛은 주 렌즈의 여덟 조각을 지나 한 알의 마이크로렌즈에서 다시 모이고, 그 뒤에서 여덟 칸으로 갈라집니다. 위쪽 조각을 지난 빛이 아래 칸에 닿도록 순서가 뒤집혀 있다는 점까지 눈에 담아 두시면 좋습니다. 높이가 다른 검은 점의 빛은 렌즈 배열 위에서 한 점으로 모이지 못하고 이웃한 렌즈 여러 알에 흩어집니다. 그 흩어진 모양을 거꾸로 풀어 높이를 계산하는 것이 이 카메라의 깊이 추정입니다.

렌즈 한 알이 가로세로 N칸을 덮으면 화면의 점은 N²분의 1로 줄어듭니다. Ng의 시제품은 9 μm 화소 위에 125 μm 렌즈 296 × 296알을 깔아, 최종 공간 해상도 292 × 292와 방향 표본 14 × 14 남짓을 얻었습니다. 1,600만 칸이 8만 5,264점으로 줄어든 숫자가 0.53 %의 정체예요. 저는 라이트필드 카메라 사양서를 받으면 화소 수보다 N을 먼저 찾습니다. 그 하나로 화면의 굵기와 초점의 폭이 함께 정해지기 때문입니다.

2배 배율의 금선 앞에서 4.83과 7.25 사이가 비어 있다

N이 무엇을 정하는지 숫자로 따라가 봅니다. 센서는 4,096 × 3,000 px, 화소 3.45 μm로 두고, 2배 배율⁵ 렌즈를 상 쪽 f/8로 쓴다고 가정합니다. 금선 지름 25 μm와 루프 높이 200 μm도 계산을 위한 가정입니다. 판 위에서 화소 한 칸은 1.725 μm, 시야는 7.07 × 5.17 mm입니다. 금선을 세 칸 이상으로 보려는 제 기준을 적용하면 판 위 한 칸이 8.33 μm 이하여야 하고, 렌즈 한 알이 덮는 폭이 N × 1.725 μm이니 N은 4.83을 넘을 수 없습니다.

초점 쪽 사정은 반대로 움직입니다. 허용 착란원⁶을 화소 2칸인 6.9 μm로 잡으면 보통 카메라의 피사계 심도⁷는 2 × 8 × 6.9 μm ÷ 2² = 27.6 μm입니다. 수동 초점 렌즈 경통의 거리 눈금 옆에는 조리개 값마다 짝지은 심도 눈금이 새겨져 있어서, 두 눈금 사이에 든 거리가 함께 또렷하다는 것을 알려 줍니다. 2배 배율에서는 그 눈금 사이가 27.6 μm로 오그라들고, 200 μm 루프의 꼭대기와 본드 발은 한 장에서 함께 또렷할 수 없습니다.

라이트필드 카메라는 이 폭을 넓힙니다. Ng의 보고서는 찍은 뒤 다시 맞춘 초점의 심도가 구멍이 N배 좁은 렌즈와 같다고 적었고, 그 말대로면 다시 맞출 수 있는 범위는 N × 27.6 μm입니다. 200 μm 루프 전체를 덮으려면 N이 7.25 이상이어야 합니다. 금선의 굵기는 N에 상한 4.83을, 루프의 높이는 하한 7.25를 거는 셈이라 두 조건을 함께 만족하는 N이 없습니다.

그래프의 파란 곡선은 N이 커질수록 금선 위 칸 수가 줄어드는 모양이고, 붉은 직선은 다시 맞출 수 있는 초점 범위가 늘어나는 모양입니다. 파란 곡선이 3칸 점선 아래로 내려가는 4.83과 붉은 직선이 200 μm 점선 위로 올라서는 7.25 사이에 노란 띠가 있고, 띠 밖의 어느 N을 골라도 한쪽 목표는 버려야 합니다. N = 4에서는 금선이 3.62칸으로 남지만 초점 범위가 110.4 μm에 그치고, N = 8에서는 220.8 μm를 덮는 대신 금선이 1.81칸으로 가늘어집니다.

N = 8이면 화면의 점은 512 × 375, 0.19 MP로 줄어듭니다. 1,200만 화소 센서를 사서 20만 점이 안 되는 지도를 받는 셈인데, 그 지도의 칸마다 높이가 붙어 있다는 것이 이 거래의 내용입니다. 높이 값이 얼마나 촘촘한지는 칸의 크기와 또 다른 숫자가 정합니다.

높이를 가르는 것은 칸의 크기와 조리개의 각도

렌즈 구멍의 맨 왼쪽 조각과 맨 오른쪽 조각으로 본 두 장면을 떠올려 보면 높이를 재는 방식이 보입니다. 물체 쪽 개구수⁸는 배율 2를 상 쪽 2 × f/8로 나눈 0.125이고, 양 끝 시점은 수직선에서 ±7.18° 기울어져 금선을 봅니다. 루프 꼭대기가 Δz만큼 높아지면 두 장면 사이에서 그 점은 2 × Δz × tan 7.18°만큼 옮겨 가고, 이 옮겨 간 거리가 시차⁹입니다. 시차를 렌즈 한 알 폭의 0.1까지 읽어 낸다고 가정하면 N = 8에서 높이 분해능은 0.1 × 13.8 μm ÷ (2 × 0.126) = 5.48 μm, N = 4에서는 2.74 μm입니다. 칸을 잘게 쪼갤수록 높이도 촘촘해지니, 이 식만 보면 N을 줄이는 쪽이 모든 면에서 유리해 보입니다. 앞 절의 재초점 범위가 그 착시를 막아 줍니다.

N = 8의 5.48 μm는 결선 소개 기사의 10 μm보다 촘촘한 쪽에 놓입니다. 다만 제 계산에서 가장 약한 고리는 0.1이라는 숫자예요. 시차를 0.2칸까지만 믿을 수 있다면 같은 N = 8에서 분해능은 10.95 μm로 두 배가 되고, 기사의 숫자 언저리까지 밀려납니다. 0.1은 금선 표면에 결이 있고 조명이 고를 때 기대할 만한 값이라, 계단 시편으로 직접 재기 전까지 저는 이 숫자를 잠정치로 둡니다.

금선 위의 하얀 줄은 또 다른 문제를 만듭니다. 볼록한 거울에 비친 먼 광원의 상은 표면 위에 맺히지 않고 반지름의 절반 깊이, 거울 안쪽에 맺힙니다. 지름 25 μm 금선이면 반지름 12.5 μm의 절반인 6.25 μm 아래에 하얀 줄의 상이 서고, 라이트필드 카메라의 여러 시점은 그 상을 진짜 점처럼 따라가 높이를 셉니다. 높이 분해능 5.48 μm보다 큰 오차가 반짝이는 줄 하나에서 나올 수 있는 셈입니다.

돔 조명은 이 줄을 굵고 흐리게 펴 줍니다. 줄이 퍼지면 시점마다 따라갈 점이 흐려져 잘못 세는 몫은 줄겠지만, 6.25 μm 가운데 얼마가 남을지는 금선 표면과 돔의 크기에 달려 있습니다. 경면에 가까운 금선에서 이 오차가 몇 μm로 줄어드는지는 샘플 테스트 전 확언 불가입니다.

높이는 렌즈 배열에, 굵기는 평면 사진에

빈 띠를 건너는 길은 셋입니다. 첫째 길은 저울의 눈금 자체를 옮기는 설계입니다. Adobe의 Georgiev가 2008년 출원한 미국 특허 US8290358B1은 방향 표본을 덜어 내고 공간 해상도를 높이는 라이트필드 카메라 설계를 다룹니다. Raytrix가 2009년 출원한 US8619177B2는 초점 거리가 둘 이상인 마이크로렌즈를 한 배열에 섞고, 주 렌즈의 상이 맺히는 면을 그 어느 초점 거리와도 다른 거리에 둡니다. 렌즈마다 주 렌즈의 상을 작게 다시 찍는 구조라서 N 하나로 굵기와 높이를 맞바꾸던 관계가 달라지고, 얼마나 달라지는지는 설계마다 다릅니다. 기사에 실린 50가지가 넘는 기성 설계도 이 눈금을 서로 다른 자리에 둔 목록으로 읽힙니다.

둘째 길은 루프 꼭대기 근처만 재는 것입니다. 본드 발의 높이를 기판 쪽 평면 사진으로 따로 정해 두면 라이트필드 카메라가 덮을 범위가 줄어들고, 110.4 μm면 N = 4로도 됩니다. 셋째 길은 일을 나누는 것입니다. 높이는 N = 8의 라이트필드 카메라에 맡기고, 금선의 굵기와 넥 부분의 끊김은 같은 시야를 보는 보통 카메라 한 장으로 봅니다. 저라면 셋째 길로 시작합니다. 판정 하나에 숫자 하나를 묶어 두면 어느 쪽이 틀렸는지 가리기가 쉬우니까요.

그림의 검사대가 그 셋째 길입니다. 고정 치구 위 보드를 돔 조명이 감싸고, 돔 꼭대기 구멍으로 2배 렌즈를 단 라이트필드 카메라가 내려다봅니다. 돔이 렌즈와 보드 사이에 들어가니 WD¹⁰는 돔 높이보다 넉넉해야 하고, 저는 60 mm를 하한으로 둡니다. 판정 단말은 평면 사진과 높이 지도를 함께 받아 루프 높이와 금선 굵기를 따로 판정합니다.

항목	기준값	조건 · 근거	풀어 쓰면
① 최소 불량 크기 (μm)	금선 지름 25 μm를 3칸 이상, 루프 높이 200 μm 범위	판 위 한 칸 8.33 μm 이하 → N ≤ 4.83 / 재초점 200 μm → N ≥ 7.25	굵기와 높이를 한 장에서 함께 지키는 N은 없습니다
② 광학 셋업 · WD	2배 렌즈 상 쪽 f/8, 마이크로렌즈 f/8, N = 8, 돔 조명, WD 60 mm 이상 확보	판 위 한 칸 13.8 μm, 재초점 220.8 μm, 시야 7.07 × 5.17 mm. 금선 굵기는 별도 평면 사진(1.725 μm/칸)	높이는 라이트필드가, 굵기는 따로 찍은 평면 사진이 맡습니다
③ 알고리즘 파라미터	시차 추정 0.1칸, 높이 분해능 5.48 μm, 반사 줄 깊이 최대 6.25 μm 보정	양 끝 시점 ±7.18°. 0.2칸이면 10.95 μm. 반사 상은 금선 반지름의 절반 아래	반짝이는 줄은 표면보다 조금 아래에 있다고 보고 계단 시편으로 확인합니다

표의 첫 줄이 가장 무겁습니다. 라이트필드 카메라 한 대에 금선의 굵기와 루프의 높이를 함께 맡길 수 없고, 둘째 줄과 셋째 줄은 그 공백을 메우는 방법과 그 방법이 기대는 가정입니다. 반대로 보통 카메라나 다른 3D 방식이 나은 조건도 분명합니다. 재야 할 높이 범위가 27.6 μm 심도 안에 들거나, 기판이 무광이고 시야가 수십 mm로 넓어 투영식 3D가 편하거나, 높이 대신 금선의 유무만 가리면 되는 검사라면 렌즈 배열을 들일 이유가 약해집니다. 반짝이는 금선 위에서 어느 쪽이 더 맞을지는 샘플 테스트 전 확언 불가라서, 저는 두 방식을 같은 보드에서 나란히 찍어 보길 권합니다.

투영기를 덜어 낸 검사대에 새로 붙는 숫자들

라이트필드 카메라를 들이면 투영기와 스캔 축과 현장 교정이 빠집니다. 공장에서 교정한 카메라 한 대가 한 장에 높이를 내니, 검사대의 기구는 단순해지고 부품이 멈춰 있는 시간도 사진 한 장 길이로 줄어듭니다. 그 자리에 새로 붙는 숫자가 N과 시차 0.1칸과 반사 줄의 6.25 μm입니다. 사양서에 화소 수만 적고 이 셋을 빼면, 검사대가 다 선 뒤에야 금선이 1.81칸으로 가늘어진 화면을 만나게 됩니다.

이 숫자들을 사양서 앞장에 옮겨 적는 일은 광학 설계와 검사 기준 사이에 걸친 머신비전 엔지니어의 몫입니다. 입문하신다면 Ng의 보고서에 실린 4,000 × 4,000과 292 × 292를 놓고 N을 거꾸로 계산해 보시길 권합니다. 투자 쪽에서 읽으면, 투영기와 교정 공수가 줄어드는 대신 전용 렌즈 배열과 깊이 계산 연산, 경우에 따라 평면 사진용 두 번째 카메라가 비용으로 붙습니다. 어느 쪽이 큰지는 보드의 높이 범위와 금선 굵기에 따라 갈립니다. 이 글은 기술 설명이며 투자 권유가 아닙니다. 자세한 내용은 면책조항을 참고하세요.

현장 노트

이 셋업을 올린다면 저는 금선 보드보다 높이를 아는 계단 시편을 먼저 둡니다. 10 μm 간격 계단을 시야 가운데와 네 귀퉁이에 놓고 N = 8 설정에서 높이를 읽어, 읽은 값의 흩어짐이 5.48 μm 안에 드는지로 시차 0.1칸 가정을 확인합니다. 그다음 같은 자리에 금선 보드를 올리고 돔을 켰을 때와 껐을 때 루프 꼭대기 높이가 몇 μm 달라지는지 봅니다. 그 차이가 6.25 μm 근처라면 반사 줄이 높이를 끌어내리고 있다고 읽습니다.

현장 체크포인트

계단 시편의 흩어짐과 돔을 켜고 끈 차이를 손에 쥐었다면, 남은 일은 사양서와 검사대가 그 숫자를 받아 줄 수 있는지 보는 일입니다. 발주 전에 확인할 질문입니다.

• 돔 조명을 넣고도 WD 60 mm 이상이 확보되는가? (렌즈 앞 끝과 보드 사이에 돔이 들어갈 높이가 있는지)
• 카메라 사양서에 렌즈 한 알이 덮는 칸 수 N과 판 위 공간 표본 간격이 적혀 있는가? (화소 수만으로는 금선이 몇 칸에 걸릴지 알 수 없는지)
• 루프 높이 범위가 N × 27.6 μm 재초점 범위 안에 드는가? (2배 렌즈, f/8 가정에서 N = 8이면 220.8 μm)
• 금선 굵기와 넥 끊김을 판 위 1.725 μm/칸 평면 사진으로 따로 보는가? (라이트필드 한 장만으로 25 μm를 세 칸에 담을 수 없는지)
• 계단 시편으로 시차 0.1칸 가정을 재 보았는가? (높이 분해능 5.48 μm가 실제로 나오는지)
• 돔을 켜고 끈 금선 높이 차이를 보았는가? (반사 줄 때문에 최대 6.25 μm 낮게 읽히는지)

자주 묻는 질문

라이트필드 카메라로 찍은 사진은 나중에 초점을 다시 맞출 수 있나요?

맞출 수 있습니다. 렌즈 한 알 뒤의 화소들이 빛의 방향을 따로 적어 두었으니, 그 방향대로 화소를 옮겨 더하면 다른 높이에 초점을 둔 사진이 계산으로 나옵니다. 다만 범위에는 끝이 있어서, Ng의 보고서 기준으로 구멍이 N배 좁은 렌즈의 심도만큼만 움직일 수 있고 그 밖은 흐린 채 남습니다. 앞의 가정대로라면 N = 8일 때 220.8 μm입니다.

스마트폰 카메라에도 비슷한 구조가 있나요?

화소 하나를 왼쪽과 오른쪽 두 수광부로 나눈 듀얼 픽셀 센서가 가까운 예입니다. 두 수광부는 렌즈 왼쪽 절반과 오른쪽 절반을 따로 보니, 방향 표본이 둘뿐인 아주 작은 라이트필드와 닮았습니다. 이 구조는 주로 초점을 빠르게 맞추는 데 쓰이고, 표본이 둘뿐이라 높이를 μm 단위로 재는 용도와는 거리가 멉니다.

용어 풀이

• [1] 라이트필드 카메라 light field camera, plenoptic camera
  빛의 세기와 함께 그 빛이 렌즈의 어느 쪽을 지나 들어왔는지까지 기록하는 카메라입니다. 찍은 뒤에 초점을 옮기거나 한 장에서 높이를 계산하는 데 씁니다. ↩
• [2] 마이크로렌즈 배열 microlens array
  지름 수십 μm의 작은 렌즈를 바둑판처럼 깔아 놓은 판입니다. 라이트필드 카메라에서는 렌즈 한 알이 화면의 점 하나를 맡고, 그 뒤 화소들이 빛의 방향을 나눠 받습니다. ↩
• [3] 정반사 specular reflection
  매끈한 면에서 빛이 들어온 각도와 같은 각도로 한 방향으로 튕겨 나가는 반사입니다. 금선 위의 가늘고 하얀 줄이 이 반사로 생깁니다. ↩
• [4] 조리개 값 f-number
  초점 거리를 렌즈 구멍의 지름으로 나눈 값입니다. 숫자가 클수록 구멍이 좁고, 렌즈를 지나는 빛의 원뿔도 가늘어집니다. ↩
• [5] 배율 magnification
  물체의 크기에 비해 센서 위 상이 몇 배인지를 나타냅니다. 2배 배율이면 판 위 1.725 μm가 센서 위 화소 한 칸 3.45 μm에 맺힙니다. ↩
• [6] 허용 착란원 circle of confusion
  초점이 어긋난 점이 번져 만드는 원을 어디까지 또렷하다고 볼지 정한 지름입니다. 본문 계산에서는 화소 2칸, 6.9 μm로 잡았습니다. ↩
• [7] 피사계 심도 depth of field, DOF
  초점을 한 높이에 맞췄을 때 위아래로 함께 또렷하게 보이는 깊이의 폭입니다. 배율이 높을수록 급격히 얇아집니다. ↩
• [8] 개구수 numerical aperture, NA
  렌즈가 물체 한 점에서 받아들이는 빛 원뿔의 반각을 사인 값으로 나타낸 수입니다. 클수록 더 비스듬한 빛까지 모읍니다. ↩
• [9] 시차 disparity
  서로 다른 자리에서 본 두 장의 사진에서 같은 점이 옮겨 간 거리입니다. 높이가 다른 점일수록 많이 옮겨 갑니다. ↩
• [10] WD working distance, 작동 거리
  렌즈 앞 끝에서 검사할 면까지의 거리입니다. 조명이 렌즈와 부품 사이에 들어가야 하면 그 높이만큼 여유가 있어야 합니다. ↩

참고 자료

• Imaging and Machine Vision Europe, photonicSENS wins VISION Award 2026 for single-shot 3D light field camera technology (2026년 10월 7일, 마이크로렌즈 배열, 단일 촬영 깊이 지도, 투영기·스캔 축·현장 교정 없음, 와이어 본드 검사)
• Imaging and Machine Vision Europe, VISION Award 2026: Meet the finalists (apiCAM, 깊이 정밀도 0.5 μm 미만~mm 범위, 와이어 본드 높이 10 μm 미만 사진 설명)
• R. Ng 외, Light Field Photography with a Hand-held Plenoptic Camera, Stanford Tech Report CTSR 2005-02 (약 4,000 × 4,000 화소, 9 μm, 125 μm 렌즈 296 × 296, 공간 292 × 292, 방향 14 × 14 남짓, 조리개 값 일치 조건, 재초점 심도)
• 미국 특허 US7936392B2, Leland Stanford Junior University, Imaging arrangements and methods therefor (2005년 출원, 빛의 방향을 함께 기록해 초점을 다시 맞추는 촬상 구성)
• 미국 특허 US8290358B1, Adobe Systems Inc, Methods and apparatus for light-field imaging (2008년 출원, 방향 표본을 덜어 공간 해상도를 높이는 라이트필드 카메라)
• 미국 특허 US8619177B2, Raytrix GmbH, Digital imaging system, plenoptic optical device and image data processing method (2009년 출원, 초점 거리가 둘 이상인 마이크로렌즈 배열)
• 계산식: 판 위 한 칸 = 화소 ÷ 배율, 렌즈 한 알의 폭 = N × 판 위 한 칸, 피사계 심도 ≈ 2 × N_f × c ÷ m², 재초점 범위 ≈ N × 피사계 심도, 물체 쪽 개구수 = m ÷ (2 × N_f), 높이 분해능 ≈ 시차 하한 × 렌즈 한 알의 폭 ÷ (2 × tan θ), 볼록 거울 반사 상의 깊이 = 반지름 ÷ 2

함께 읽으면 좋은 글 — 깊이 카메라의 오차는 거리의 제곱으로 자란다 · SWIR에서는 조리개 한 단이 3.4 μm 화소를 지운다 · 포토메트릭 스테레오는 움직이는 부품에서 정지 조건을 0.5 ms로 옮긴다