검색
검색 팝업 닫기

Ex) Article Title, Author, Keywords

Article

Split Viewer

연구논문(Research Paper)

2023; 34(3): 106-116

Published online June 25, 2023 https://doi.org/10.3807/KJOP.2023.34.3.106

Copyright © Optical Society of Korea.

Design and Analysis of Coaxial Optical System for Improvement of Image Fusion of Visible and Far-infrared Dual Cameras

Kyu Lee Kang1, Young Il Kim1 , Byeong Soo Son2, Jin Yeong Park3

가시광선과 원적외선 듀얼카메라의 영상 정합도 향상을 위한 동축광학계 설계 및 분석

강규리1ㆍ김영일1†ㆍ손병수2ㆍ박진영3

1Nano and Semiconductor Engineering, Tech University of Korea, Siheung 15073, Korea
2Epic Optics Inc., Seongnam 13636, Korea
3BOS Inc., Siheung 15073, Korea

1한국공학대학교 나노반도체공학과 ㉾ 15073 경기도 시흥시 산기대학로 237
2에픽옵틱스 ㉾ 13636 경기도 성남시 분당구 성남대로 69
3비오에스 ㉾ 15073 경기도 시흥시 산기대학로 237

Correspondence to:yikim@tukorea.ac.kr, ORCID: 0009-0000-8559-7560

Received: April 6, 2023; Revised: May 12, 2023; Accepted: May 16, 2023

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

In this paper, we designed a coaxial dual camera incorporating two optical systems—one for the visible rays and the other for far-infrared ones—with the aim of capturing images in both wavelength ranges. The far-infrared system, which uses an uncooled detector, has a sensor array of 640 × 480 pixels. The visible ray system has 1,945 × 1,097 pixels. The coaxial dual optical system was designed using a hot mirror beam splitter to minimize heat transfer caused by infrared rays in the visible ray optical system. The optimization process revealed that the final version of the dual camera system reached more than 90% of the fusion performance between two separate images from dual systems. Multiple rigorous testing processes confirmed that the coaxial dual camera we designed demonstrates meaningful design efficiency and improved image conformity degree compared to existing dual cameras.

Keywords: Beam splitter, Coaxial optic system, Far-infrared light, Thermal imaging, Visible light

OCIS codes: (080.3620) Lens system design; (110.3080) Infrared imaging; (110.6820) Thermal imaging

모든 물체는 절대온도 0도 이상에서 전자기파의 형태로 복사에너지를 방출한다. 이러한 복사에너지는 사람의 육안으로는 관찰할 수 없는 적외선 파장대역의 에너지이다. 이는 적외선 에너지를 받아들여 복사발산도의 차이를 검출하고 이를 영상화할 수 있는 열상 장비를 통해 관찰 가능해지므로 빛이 없는 상황에서도 시야를 확보할 수 있는 장점을 가졌다. 이로 인해 주야간의 구분없이 분명한 물체 식별을 할 수 있어 방산이나 보안 분야에서 감시와 표적 포착 등의 목적으로 주로 사용되어 왔다. 최근에는 건물 내부 누수, 의료용 체온 측정 등의 산업과 의료 분야에서도 폭넓게 사용되고 있으며 꾸준히 발전하고 있는 추세이다[1,2].

하지만 적외선의 파장이 가시광선과 비교하여 훨씬 길기 때문에 적외선 카메라의 해상도는 가시광선 카메라에 비해 낮을 수밖에 없다. 적외선 카메라는 이러한 저해상도 문제 외에도 노이즈 발생, 배경 온도와 표적 온도의 대비가 낮으면 발생할 수 있는 정보 혼동 등으로 인해 받아들인 사소한 정보를 놓칠 가능성이 존재하여 표적을 자세하게 감지하는 것이 어렵다[3,4]. 이러한 문제를 해결하기 위해 가시광선과 적외선 영상 모두를 하나의 시스템에서 받아들이는 듀얼카메라가 개발되었다. 기존에 개발된 듀얼 카메라는 적외선 카메라와 가시광선 카메라를 양쪽으로 나란한 위치에 배치하였으며, 각 카메라는 해당 파장대역의 이미지를 제공하고 두 카메라 사이의 화각(field of view, FOV) 차이를 동일한 영역으로 매칭하여 하나로 결합한 이미지를 보여주는 방식으로 작동하였다. 하지만 양쪽으로 각각의 카메라가 배치된 듀얼카메라 구성은 서로 다른 화각을 가진 영상을 따로 정합하기 때문에 목표의 거리가 달라지면 정합도도 달라진다는 문제가 있으며 정합도 또한 낮다는 단점이 존재한다[5,6].

서술된 기존의 듀얼 카메라 기술의 낮은 정합도를 90% 이상으로 올리기 위하여 두 개의 광학계가 동일한 광축을 갖도록 하는 동축광학계 구성의 시스템으로 설계를 진행한다. 빛의 파장을 분리할 수 있는 빔 스플리터를 사용하여 동축으로 들어오는 빛을 적외선과 가시광선으로 분리하고 분리된 각 파장의 빛은 해당 광학계를 지나 각각의 센서에 맺히게 된다. 빔 스플리터는 적외선은 반사시키고 가시광을 투과시키는 hot mirror 빔 스플리터와, 그 반대로 가시광선은 반사하고 적외선을 투과시키는 cold mirror 빔 스플리터로 나뉜다. Hot mirror는 코팅에 따라 적외선 파장대역을 최대 90%까지 반사시킬 수 있다[7,8]. 투과율이 높은 hot mirror는 열에 민감한 구성 요소 및 재료가 열로 인해 손상되거나 다른 목적으로 열이 전달되는 것을 방지한다.

이러한 구성의 시스템은 빔 스플리터가 광학계의 렌즈 앞에 배치되기 때문에 카메라 전체 화각에 걸칠 수 있을 만큼 커야 하고 적외선과 가시광선 이미지에 대해 동일한 화각을 갖도록 설계해야 한다[9].

2.1. 설계 이론

본 논문에서는 하나의 광학시스템으로 가시광선 파장과 원적외선 파장 대역의 이미지를 동시에 취득하는 것이 목표이므로 해당 광학계를 설계하는 과정은 두 파장 대역의 광학계를 각각 설계한 후 하나의 광학계로 결합하는 방식으로 이루어진다.

해당 원적외선 광학계의 검출기로는 열 검출기인 비냉각형 볼로미터 센서가 사용된다. 이 센서는 픽셀이 미세한 볼로미터로 구성되어 있으며, 입사한 열 온도에 의해 볼로미터의 저항이 변하는 것을 전기적 신호로 인식하여 온도 변화를 알아내는 방식으로 작동한다[10-12]. 비냉각 방식의 검출기는 영상 획득 시 노이즈 발생의 영향과 빛이 충분치 않은 환경에서 사용할 경우도 고려하여 설계하여야 하므로 광학계의 F/#의 값을 줄여 F/2.0 이하로 설계해야 하는 제한이 있다[13-16].

동축광학계 시스템은 빔 스플리터를 사용한 빛의 투과 및 반사가 중요한 고려 사항이다. 원적외선을 투과시키는 광학 재질이 많지 않으므로, 빔 스플리터에는 가시광선을 투과시키는 hot mirror 타입의 ZnS 재질이며 원적외선은 90% 반사시키고 가시광선은 75% 투과시키도록 코팅 처리가 된 것을 사용하였다. 또 듀얼카메라의 정합도를 위해서는 가시광선과 원적외선의 화각을 동일하게 맞춰 정합성을 높여야 한다. 해당 설계에서는 그림 1에 나타낸 바와 같이 object distance 500 m 정도에서 1.8 m × 0.5 m 크기의 인체를 센서 3.6 × 1 pixel에서 사람의 유무를 인식하는 정도의 감지 가능한 수준으로 목표를 정하였고, 이때 요구되는 광학계의 초점거리를 비례식으로 표현하면 식 (1)과 같이 표현 가능하다.

Figure 1.Focal length.

500,000:1,800=focallength:3.6×pixelpitch

식 (1)에서 단위는 모두 mm로 통일하여 표현하였으며, 가시광선과 원적외선의 2가지 광학계에 대한 설계를 다루므로 pixel pitch에 각각의 광학계에 사용되는 센서의 pixel pitch를 대입하여 계산한다. 식 (1)을 통해 구해진 광학계의 초점거리를 사용하여 식 (2)와 같이 계산하는 식을 구할 수 있다.

FOV=2tan1d2f

식 (2)의 d는 센서의 대각 크기를 의미한다. 위 계산을 통해 화각은 20.5 × 35.7 × 40.6°임을 알 수 있다. 이를 기준으로 하여 설계를 시작한다.

2.2. 가시광선 광학계 설계

동축광학계 구성을 위해서 가시광선 광학계의 첫번째 렌즈 앞에 원적외선 파장을 분리하기 위한 빔 스플리터가 위치하며 이를 고려하여 설계를 진행한다. 센서는 complementary metal–oxide–semiconductor (CMOS) 타입으로, 픽셀의 크기는 3.75 μm × 3.75 μm이며 resolution은 1,945 × 1,097이다. 덧붙여 실제로 사용되는 센서 범위인 active resolution은 1,920 × 1,080이다.

frequency=1,0004×pixelsizelp/mm

식 (3)을 사용하여 가시광선 광학계 modulation transfer function (MTF)의 공간주파수 값을 계산할 수 있다. 이는 해당 광학계에서 필요로 하는 최소 분해능이며 1 mm 내에서 몇 개의 white&black bar 쌍이 구분 가능한지를 의미한다[17,18]. 설계 목표 사양인 픽셀의 크기가 3.75 μm이므로 공간주파수 66.67 lp/mm에서 평가했을 때 MTF의 값이 30% 이상을 갖는 것이 본 설계의 목표이다. 필요로 하는 가시광선 광학계의 사양은 표 1에 나타내었다.

Table 1 Design specifications of the visible optical system

ItemSpecifications
Pixel Size (μm)3.75 × 3.75
Resolution1,945 × 1,097
Active Resolution1,920 × 1,080
Effective Focal Length (mm)11.25
F/#1.4
Field of View (deg)20.5 × 35.7 × 40.6
Wavelength (nm)430–660
Distortion (%)<1
Modulation Transfer FunctionOver 30% at 66.67 lp/mm


설계 사양을 바탕으로 CODE-V 프로그램을 사용하여 최적화 설계를 진행하였다. 최적화 수행 시 오목렌즈가 0.8 mm 이상의 두께를 갖도록 조절하였다.

최종적으로 설계된 가시광선 광학계의 구성도를 그림 2에 나타내었고, 표 2에 렌즈 데이터를 정리하였다. 그림 3(a)는 이미지 면에서의 spot size를 보여준다. 사람의 눈으로는 최대 1.5배의 spot size까지 구분하기가 어렵기 때문에, 이를 기준으로 삼아 가시광선 광학계의 센서 타입 CMOS를 고려하여 2 pixel의 크기인 7.5 μm의 1.5배인 11.25 μm를 최대 크기 제한으로 두고 설계하였다. 그림 3(a)에서 spot size가 모든 field에서 11.25 μm 이하를 만족함을 알 수 있으며, 그림 3(b)는 설계 목표 사양대로 모든 field에서 왜곡수차가 1% 이하임을 나타낸다.

Table 2 Visible lens data

SurfaceRadius (mm)Thickness (mm)GlassSemi (mm)
ObjInfiInfi--
1Infi1.0000ZNS_SPECIAL31.7900
2Infi29.4000-31.6500
3Infi1.0000ZNS_SPECIAL29.6200
4Infi0.0000-29.2700
5Infi18.4000-20.6100
639.60004.3000HLAF3B_CDGM13.4800
7−452.00000.7000-12.8300
823.32004.2000HZK9B_CDGM10.1900
98.63005.7000-6.7600
10−12.92001.0000HZF13_CDGM6.4800
1137.11001.4500-6.6800
12−30.17006.0000NSF57_SCHOTT6.7000
13−18.76000.2000-7.9300
1452.30005.7000HLAF2_CDGM8.1200
15−28.070010.1500-8.0300
StopInfi9.8500-6.1700
17175.50001.5000NSF57_SCHOTT6.0100
1813.66006.0000HZBAF50_CDGM6.3300
19−26.76000.9500-6.9900
2017.47006.0000HLAK7A_CDGM7.4700
21−469.200011.3330-6.9600
22Infi0.5000B270_SCHOTT4.4300
23Infi0.6300-4.3600
Image---4.1400


Figure 2.Visible lens layout with a beam splitter.

Figure 3.Visible lens analysis: (a) spot diagram, (b) distortion.

그림 4(a)와 4(b)는 각각 광학계의 MTF와 through focus MTF를 나타낸다. MTF는 광학 렌즈의 성능을 수치로 표현할 때 사용하며 식 (4)로 표현할 수 있다.

Figure 4.Visible lens analysis: (a) modulation transfer function (MTF), (b) through focus MTF, and (c) relative illumination.

Contrast=ImaxIminImax+Imin

MTF는 앞의 설계 사양 목표와 맞게 66.67 lp/mm에서 모든 field가 30% 이상을 달성하였다. Through focus MTF는 이미지면 상의 defocus 초점의 변화에 따른 MTF 값을 표현한 것이며 본 광학계에서는 0.1에서 0.1까지의 defocus 초점을 분석하였다. 그림 4(b)에서 최적 상점을 기준으로 종 모양의 대칭이 어느 정도 이루어져, 초점이 약간 어긋나더라도 안정적으로 작동할 수 있음을 알 수 있다. 그림 4(c)는 주변 광량비를 나타내며, 이미지면의 중심과 가장자리에서의 광량 비율을 보여준다. 이를 통해 본 광학계에서 이미지의 중심과 가장자리의 광량비가 크게 차이나지 않음을 알 수 있다.

2.3. 원적외선 광학계 설계

원적외선 광학계의 검출기는 비냉각형 검출기이며 픽셀 크기는 17 μm × 17 μm이고 640 × 480의 resolution을 가지고 있다. 적외선 센서도 가시광선 센서와 마찬가지로 실제로 사용되는 센서 영역인 active resolution은 640 × 360이다. 원적외선 광학계의 센서는 CMOS 타입이 아니므로, MTF의 공간주파수는 식 (5)를 통해 계산되며 값은 29.41 lp/mm이고 해당 공간주파수에서 30% 이상의 값을 갖는 것을 목표로 한다.

frequency=1,0002×pixelsizelp/mm

화각은 정합성을 위하여 동일하게 20.5 × 35.7 × 40.6°로 설계를 진행한다. 원적외선 광학계 설계의 최종 목표 사양은 표 3에 나타내었다.

Table 3 Design specifications of the far-infrared optical system

ItemSpecifications
Pixel Size (μm)17 × 17
Resolution640 × 480
Active Resolution640 × 360
Effective Focal Length (mm)17
F/#1.1
Field of View (deg)20.5 × 35.7 × 40.6
Wavelength (nm)8,000–14,000
Distortion (%)<1
Modulation Transfer FunctionOver 30% at 29.41 lp/mm


설계 사양을 바탕으로 최적화 설계를 진행하였다. 원적외선 광학계는 가시광선 광학계와 다르게 사용 가능한 렌즈 소재의 수가 적으며, 적외선 파장대역 중에서도 본 논문에서 사용하는 파장대역인 LWIR은 재질의 수가 더 제한된다. 본 설계에서는 germanium 소재를 사용하였으며 germanium은 다른 적외선 재질들에 비해 수급이 원활하고 굴절률이 크다는 장점이 있다[19,20]. Germanium의 무게가 무거워 전체 시스템의 무게 균형을 이루기가 힘들기 때문에 렌즈의 두께는 7 mm 이하로 제한하였다. 또 원적외선 광학계는 파장이 가시광선에 비해 길기 때문에 구면수차를 크게 감소시키고, 복잡한 렌즈 구성을 피하기 위해 비구면을 사용하여 설계를 진행하였다. 또한 가시광선 광학계와 달리 원적외선 광학계는 빔 스플리터를 통과하지 않고 반사되는 광학계이기 때문에 빔 스플리터가 원적외선 광학계에 미치는 영향을 배제할 수 있다. 따라서 빔 스플리터를 미러로 설계하였다.

설계 결과 원적외선 광학계의 전체 구성도는 그림 5에서 나타내었고 표 4에 렌즈 데이터를 정리하였다.

Table 4 Far-infrared lens data

SurfaceRadius (mm)Thickness (mm)GlassSemi (mm)
ObjInfiInfi--
1Infi1.000-37.6300
2Infi29.4000-35.6800
3Infi−37.5000-38.9700
4 (Asp)25.7569−6.0000GERM_SPECIAL10.8900
5 (Asp)29.4861−4.3500-8.8400
StopInfi−5.3500-5.4800
7 (Asp)−15.4505−6.0000GERM_SPECIAL6.5100
8 (Asp)−18.7047−3.8000-9.1900
9 (Asp)40.0286−6.0000GERM_SPECIAL11.1700
10 (Asp)125.7955−4.9780-9.8300
11Infi−0.7250‘OCz-Si’7.6300
12Infi−1.4050-7.5400
ImageInfi0.0000-6.8010


Figure 5.Far-infrared lens layout with a beam splitter.

표 5에 비구면 렌즈의 코닉 상수와 비구면 계수를 정리하여 나타내었다. 그림 6(a)의 spot size는 모든 field에서 원적외선 센서의 픽셀 사이즈인 17 μm보다 작은 spot을 가져 안정적이라고 볼 수 있다. 왜곡수차 또한 1% 이하로 맞춰져 목표한 설계 사양에 적합하며, MTF 또한 29.41 lp/mm에서 모든 field가 30% 이상을 만족하였다.

Table 5 Asphere lens data

Surface4578910
Conic (K)−0.03322147−5.560132−0.1667627−1.7020631.210366−6.582885
4th (A)−6.926871e-0061.301235e-005−0.0002022623−8.909558e-0052.284529e-0052.938491e-005
6th (B)2.034421e-0073.00413e-0074.070443e-0061.101666e-0068.535238e-0071.946201e-006
8th (C)−6.847166e-009−2.077551e-008−2.979273e-007−3.459806e-008−2.134875e-008−6.179033e-008
10th (D)1.063771e-0105.231042e-0101.176982e-0086.40326e-0102.750545e-0101.024636e-009
12th (E)−8.268784e-013−6.471219e-012−2.267877e-010−6.033477e-012−1.832356e-012−8.808429e-012
14th (F)2.452413e-0153.036038e-0141.709738e-0122.253418e-0144.78759e-0152.964481e-014


Figure 6.Far-infrared lens analysis: (a) spot diagram, (b) distortion, (c) modulation transfer function (MTF), (d) through focus MTF, and (e) relative illumination.

그림 6(d)의 through focus MTF도 가시광선 광학계와 마찬가지로 최적 상점을 기준으로 종 모양의 대칭을 보여주고 있으므로, 초점이 약간 어긋나더라도 안정적임을 알 수 있다. 주변 광량비 또한 중심과 비교하여 가장자리의 광량이 80% 이상임을 보여주고 있다.

목표로 하는 광학계는 빔 스플리터를 사용하여 가시광선 광학계와 원적외선 광학계를 하나의 광학 시스템으로 합친 동축광학계를 구성하는 것이다. 앞에서 제시된 가시광선 광학계와 원적외선 광학계를 빔 스플리터가 포함된 하나의 동축광학계로 결합한 광학계 전체 레이아웃을 그림 7에서 제시하고 있다.

Figure 7.Layout of the entire optical system including the beam splitter.

듀얼 카메라의 정합도를 높이기 위해서 두 광학계 사이의 왜곡을 수차가 크게 발생하기 쉬운 이미지의 외곽으로 갈 수록 최대한 유사하도록 맞추는 것이 중요하다. 표 6의 가시광과 원적외선의 왜곡 수치를 보면 0.5 field 위로 왜곡이 유사함을 확인할 수 있다.

Table 6 Comparison of visible and far-Infrared distortion values

Field HeightVIS (%)FIR (%)
0.000.000000.00000
0.10−0.01295−0.04326
0.20−0.05116−0.15110
0.30−0.11269−0.26896
0.40−0.19424−0.34040
0.50−0.29111−0.34368
0.60−0.39705−0.30827
0.70−0.50413−0.29307
0.80−0.60242−0.33498
0.90−0.67954−0.41507
1.00−0.71965−0.53717


해당 논문의 목표는 다른 듀얼 카메라와 달리 동축광학계 구성으로 정합도를 보다 높이는 것이다. 정합도는 중첩이 되는 이미지의 수평, 수직, 대각 방향으로 500 m까지의 정합도를 계산하여 확인할 수 있으며 식 (6)–(8)과 같이 계산할 수 있다.

H:1H1H2H1×100%

V:1V1V2V1×100%

D:1D1D2D1×100%

이때 H1, V1, D1은 각각 원적외선의 vertical, horizontal, diagonal을 의미하며 H2, V2, D2는 가시광선의 vertical, horizontal, diagonal을 의미한다. 제시된 식 (6)–(8)을 통해 구한 정합도는 표 7에 정리하였다.

Table 7 Computation of image fusion performance

Object Distance (m)Fusion Performance (%)
HVD
199.982293.441891.7661
1099.8300992.112991.94318
5010092.039891.77612
10099.6894492.039892.0578
15099.7929692.039891.98039
20099.8447292.039891.94175
25099.8757891.5841691.92465
30099.7927591.7355491.96914
35010091.4893691.86358
40010091.9254791.85418
45010091.7127191.72198
50010092.039891.75288
Average99.9006692.0167491.87931


설계된 해당 동축광학계를 실제 카메라로 구현해 야간 이미지를 촬영한 결과, 가시광선으로 촬영한 이미지를 그림 8(a)와 같이 얻었다. 이를 통해 육안으로 보는 것과 비슷하게 야간에서 물체를 구별하기 어려움을 알 수 있다. 그림 8(b)는 원적외선으로 촬영된 이미지이며, 그림 8(a)와 달리 빛이 부족한 야간에도 선명하게 물체를 식별할 수 있음을 보여준다. 가시광선과 원적외선을 정합한 이미지는 그림 8(c)에서 제시하였다. 두 이미지에서의 열패턴과 기타 사물들 간의 위치 및 크기의 차이가 거의 없는 것을 볼 수 있으며 이를 통해 정합도가 우수함을 확인할 수 있다.

Figure 8.Video images of panels with hitting wires attached. (a) Visible image, (b) far-infrared image, and (c) visible and far-infrared image fusion.

기존의 듀얼카메라는 가시광선과 원적외선 광학계를 각각 따로 두고, 이를 통해 얻은 두 영상을 화각에 맞춰 결합하는 방식이었다. 하지만 이러한 방식은 거리에 따른 정합도가 달라지고 정합도 자체도 낮다는 문제점을 갖고 있다. 이를 보완하기 위해 빔 스플리터를 이용하여 가시광선과 원적외선의 동축광학계를 설계하였다. 설계를 통해 두 파장대역이 같은 광축을 갖는 광학계를 완성하였고, 본 광학계를 토대로 실제 듀얼 카메라 장비를 구현하였다.

화각은 정합도를 높이는 데 주요한 기준이다. 설계된 듀얼 카메라에서 가시광선과 원적외선 광학계 모두 20.5 × 35.7 × 40.6°로 동일한 화각을 가졌음을 확인할 수 있다. 이를 통해 정합도를 크게 높일 수 있었으며, 식을 통해 실제로 계산된 두 이미지 간의 정합도는 평균 90% 이상의 높은 값을 보였다.

성능 평가를 통해 얻은 MTF는 가시광선과 원적외선 파장대역에서 모두 30% 이상으로 사람의 눈으로 구분하기에 충분한 수치를 만족하였고, 왜곡 또한 1% 이하로 우수한 광학적 보상이 이루어졌으며, 0.5 field 이후의 왜곡 수치가 두 광학계에서 유사하므로 이미지 간의 정합을 맞추는 데 적합함을 알 수 있다. 이 외에도 목표로 하였던 성능 기준을 달성함으로써 본 논문에서 설계한 듀얼 카메라의 성능이 우수함을 입증하였다.

중소벤처기업부에서 지원하는 2021년도 산학협력 거점형 플랫폼(R&D) (No. S3035590) 연구수행.

본 저자는 본 논문과 관련된 어떠한 이해충돌 사항도 없었음을 밝힌다.

본 연구의 결과 분석 및 생성된 데이터는 모두 본 논문 내 명시되어 있으며 공공의 이용이 가능하다. 데이터에 접근하거나 사용하고자 하는 이는 저자에게 타당한 이유를 밝히고 허가를 득해 사용 가능하다.

  1. S.-M. Hong and H.-S. Kim, “Advanced LWIR thermal imaging system with a large zoom optics,” Korean J. Opt. Photonics 16, 354-360 (2005).
    CrossRef
  2. S. M. Hong, I. S. Song, W. K. Kwon, and J. K. Kim, “The basic principles and technical trends of thermal imaging systems,” Proc. KIEE Conf. 1992.07b, 1255-1259 (1992).
  3. P. Kumar, A. Mittal, and P. Kumar, “Fusion of thermal infrared and visible spectrum video for robust surveillance,” in Proc. Computer Vision, Graphics and Image Processing (Springer2006), pp. 528-539.
    CrossRef
  4. T. Mouats and N. Aouf, “Fusion of thermal and visible images for day/night moving objects detection,” in Proc. Sensor Signal Processing for Defence (Edinburgh, UK, Sep. 8-9, 2014), pp. 1-5.
    CrossRef
  5. B. White, N. Robinson, and Y. H. Choo, “Video surveillance apparatus using dual camera and method thereof,” U.S. Patent US20120242809A1 (2012).
  6. T. Takahata, “Coaxiality evaluation of coaxial imaging system with concentric silicon-glass hybrid lens for thermal and color imaging,” Sensors 20, 5753 (2020).
    Pubmed KoreaMed CrossRef
  7. Mustofa, Z. Djafar, Syafaruddin, and W. H. Piarah, “A new hybrid of photovoltaic-thermoelectric generator with hot mirror as spectrum splitter,” J. Phys. Sci. 29, 63-75 (2018).
    CrossRef
  8. Z. Djafar, A. Z. Salsabila, and W. H. Piarah, “Performance comparison between hot mirror and cold mirror as a beam splitter on photovoltaic-thermoelectric generator hybrid using labview simulator,” Int. J. Heat Technol. 39, 1609-1617 (2021).
    CrossRef
  9. S. C. Lim and D. Y. Kim, “Calibration method for multimodal dual camera environment,” J. Korea Inst. Inf. Commun. Eng. 19, 2138-2144 (2015).
    CrossRef
  10. P. L. Richards, “Bolometers for infrared and millimeter waves,” J. Appl. Phys. 76, 1-24 (1994).
    CrossRef
  11. E. H. Putley, “Thermal detectors,” in Optical and Infrared Detectors, R. J. Keyes, Ed. (Springer Berlin, Germany, 2005), Chapter 3, pp. 71-100.
    CrossRef
  12. G. Hyseni, N. Caka, and K. Hyseni, “Infrared thermal detectors parameters: Semiconductor bolometers versus pyroelectrics,” WSEAS Trans. Circuits Syst. 9, 238-247 (2010).
  13. C. M. Ok, H. J. Lee, and H. G. Kim, “Optimization of a middle wavelength infrared optical system with double magnification,” in Proc. Optical Society of Korea Summer Annual Meeting (Sokcho, Korea, Jul. 10-11, 2008), pp. 397-398.
  14. R. S. Balcerak, “Uncooled IR imaging: Technology for the next generation,” Proc. SPIE 3698, 110-118 (1999).
    CrossRef
  15. A. M. Waxman, E. D. Savoye, D. A. Fay, M. Aguilar, A. N. Gove, J. E. Carrick, and J. P. Racamato, “Electronic imaging aids for night driving: low-light CCD, uncooled thermal IR, and color-fused visible/LWIR,” Proc. SPIE 2902, 62-73 (1997).
    CrossRef
  16. B.-I. Ahn, Y.-S. Kim, and S.-C. Park, “Athermal and achromatic design for a night vision camera using tolerable housing boundary on an expanded athermal glass map,” Curr. Opt. Photonics 1, 125-131 (2017).
    CrossRef
  17. S.-H. Ahn and M.-C. Kim, “Image quality evaluation for the railway abrasion measurement with a high resolution,” J. Korean Soc. Railw. 12, 887-894 (2009).
  18. O. Gravrand, N. Baier, A. Ferron, F. Rochette, J. Berthoz, L. Rubaldo, and R. Cluzel, “MTF issues in small-pixel-pitch planar quantum IR detectors,” J. Electron. Mater. 43, 3025-3032 (2014).
    CrossRef
  19. H.-S. Kim, S.-C. Choi, C.-W. Lee, Y.-C. Park, and H.-K. Kim, “Analysis and test of athermalizaion for 20:1 zoom thermal imaging system,” Korean J. Opt. Photonics 12, 281-288 (2001).
  20. R. E. Fischer, “Lens design for the infrared,” Proc. SPIE 10260, 1026003 (1991).
    CrossRef

Article

연구논문(Research Paper)

2023; 34(3): 106-116

Published online June 25, 2023 https://doi.org/10.3807/KJOP.2023.34.3.106

Copyright © Optical Society of Korea.

Design and Analysis of Coaxial Optical System for Improvement of Image Fusion of Visible and Far-infrared Dual Cameras

Kyu Lee Kang1, Young Il Kim1 , Byeong Soo Son2, Jin Yeong Park3

1Nano and Semiconductor Engineering, Tech University of Korea, Siheung 15073, Korea
2Epic Optics Inc., Seongnam 13636, Korea
3BOS Inc., Siheung 15073, Korea

Correspondence to:yikim@tukorea.ac.kr, ORCID: 0009-0000-8559-7560

Received: April 6, 2023; Revised: May 12, 2023; Accepted: May 16, 2023

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Abstract

In this paper, we designed a coaxial dual camera incorporating two optical systems—one for the visible rays and the other for far-infrared ones—with the aim of capturing images in both wavelength ranges. The far-infrared system, which uses an uncooled detector, has a sensor array of 640 × 480 pixels. The visible ray system has 1,945 × 1,097 pixels. The coaxial dual optical system was designed using a hot mirror beam splitter to minimize heat transfer caused by infrared rays in the visible ray optical system. The optimization process revealed that the final version of the dual camera system reached more than 90% of the fusion performance between two separate images from dual systems. Multiple rigorous testing processes confirmed that the coaxial dual camera we designed demonstrates meaningful design efficiency and improved image conformity degree compared to existing dual cameras.

Keywords: Beam splitter, Coaxial optic system, Far-infrared light, Thermal imaging, Visible light

I. 서 론

모든 물체는 절대온도 0도 이상에서 전자기파의 형태로 복사에너지를 방출한다. 이러한 복사에너지는 사람의 육안으로는 관찰할 수 없는 적외선 파장대역의 에너지이다. 이는 적외선 에너지를 받아들여 복사발산도의 차이를 검출하고 이를 영상화할 수 있는 열상 장비를 통해 관찰 가능해지므로 빛이 없는 상황에서도 시야를 확보할 수 있는 장점을 가졌다. 이로 인해 주야간의 구분없이 분명한 물체 식별을 할 수 있어 방산이나 보안 분야에서 감시와 표적 포착 등의 목적으로 주로 사용되어 왔다. 최근에는 건물 내부 누수, 의료용 체온 측정 등의 산업과 의료 분야에서도 폭넓게 사용되고 있으며 꾸준히 발전하고 있는 추세이다[1,2].

하지만 적외선의 파장이 가시광선과 비교하여 훨씬 길기 때문에 적외선 카메라의 해상도는 가시광선 카메라에 비해 낮을 수밖에 없다. 적외선 카메라는 이러한 저해상도 문제 외에도 노이즈 발생, 배경 온도와 표적 온도의 대비가 낮으면 발생할 수 있는 정보 혼동 등으로 인해 받아들인 사소한 정보를 놓칠 가능성이 존재하여 표적을 자세하게 감지하는 것이 어렵다[3,4]. 이러한 문제를 해결하기 위해 가시광선과 적외선 영상 모두를 하나의 시스템에서 받아들이는 듀얼카메라가 개발되었다. 기존에 개발된 듀얼 카메라는 적외선 카메라와 가시광선 카메라를 양쪽으로 나란한 위치에 배치하였으며, 각 카메라는 해당 파장대역의 이미지를 제공하고 두 카메라 사이의 화각(field of view, FOV) 차이를 동일한 영역으로 매칭하여 하나로 결합한 이미지를 보여주는 방식으로 작동하였다. 하지만 양쪽으로 각각의 카메라가 배치된 듀얼카메라 구성은 서로 다른 화각을 가진 영상을 따로 정합하기 때문에 목표의 거리가 달라지면 정합도도 달라진다는 문제가 있으며 정합도 또한 낮다는 단점이 존재한다[5,6].

서술된 기존의 듀얼 카메라 기술의 낮은 정합도를 90% 이상으로 올리기 위하여 두 개의 광학계가 동일한 광축을 갖도록 하는 동축광학계 구성의 시스템으로 설계를 진행한다. 빛의 파장을 분리할 수 있는 빔 스플리터를 사용하여 동축으로 들어오는 빛을 적외선과 가시광선으로 분리하고 분리된 각 파장의 빛은 해당 광학계를 지나 각각의 센서에 맺히게 된다. 빔 스플리터는 적외선은 반사시키고 가시광을 투과시키는 hot mirror 빔 스플리터와, 그 반대로 가시광선은 반사하고 적외선을 투과시키는 cold mirror 빔 스플리터로 나뉜다. Hot mirror는 코팅에 따라 적외선 파장대역을 최대 90%까지 반사시킬 수 있다[7,8]. 투과율이 높은 hot mirror는 열에 민감한 구성 요소 및 재료가 열로 인해 손상되거나 다른 목적으로 열이 전달되는 것을 방지한다.

이러한 구성의 시스템은 빔 스플리터가 광학계의 렌즈 앞에 배치되기 때문에 카메라 전체 화각에 걸칠 수 있을 만큼 커야 하고 적외선과 가시광선 이미지에 대해 동일한 화각을 갖도록 설계해야 한다[9].

II. 광학계 설계

2.1. 설계 이론

본 논문에서는 하나의 광학시스템으로 가시광선 파장과 원적외선 파장 대역의 이미지를 동시에 취득하는 것이 목표이므로 해당 광학계를 설계하는 과정은 두 파장 대역의 광학계를 각각 설계한 후 하나의 광학계로 결합하는 방식으로 이루어진다.

해당 원적외선 광학계의 검출기로는 열 검출기인 비냉각형 볼로미터 센서가 사용된다. 이 센서는 픽셀이 미세한 볼로미터로 구성되어 있으며, 입사한 열 온도에 의해 볼로미터의 저항이 변하는 것을 전기적 신호로 인식하여 온도 변화를 알아내는 방식으로 작동한다[10-12]. 비냉각 방식의 검출기는 영상 획득 시 노이즈 발생의 영향과 빛이 충분치 않은 환경에서 사용할 경우도 고려하여 설계하여야 하므로 광학계의 F/#의 값을 줄여 F/2.0 이하로 설계해야 하는 제한이 있다[13-16].

동축광학계 시스템은 빔 스플리터를 사용한 빛의 투과 및 반사가 중요한 고려 사항이다. 원적외선을 투과시키는 광학 재질이 많지 않으므로, 빔 스플리터에는 가시광선을 투과시키는 hot mirror 타입의 ZnS 재질이며 원적외선은 90% 반사시키고 가시광선은 75% 투과시키도록 코팅 처리가 된 것을 사용하였다. 또 듀얼카메라의 정합도를 위해서는 가시광선과 원적외선의 화각을 동일하게 맞춰 정합성을 높여야 한다. 해당 설계에서는 그림 1에 나타낸 바와 같이 object distance 500 m 정도에서 1.8 m × 0.5 m 크기의 인체를 센서 3.6 × 1 pixel에서 사람의 유무를 인식하는 정도의 감지 가능한 수준으로 목표를 정하였고, 이때 요구되는 광학계의 초점거리를 비례식으로 표현하면 식 (1)과 같이 표현 가능하다.

Figure 1. Focal length.

500,000:1,800=focallength:3.6×pixelpitch

식 (1)에서 단위는 모두 mm로 통일하여 표현하였으며, 가시광선과 원적외선의 2가지 광학계에 대한 설계를 다루므로 pixel pitch에 각각의 광학계에 사용되는 센서의 pixel pitch를 대입하여 계산한다. 식 (1)을 통해 구해진 광학계의 초점거리를 사용하여 식 (2)와 같이 계산하는 식을 구할 수 있다.

FOV=2tan1d2f

식 (2)의 d는 센서의 대각 크기를 의미한다. 위 계산을 통해 화각은 20.5 × 35.7 × 40.6°임을 알 수 있다. 이를 기준으로 하여 설계를 시작한다.

2.2. 가시광선 광학계 설계

동축광학계 구성을 위해서 가시광선 광학계의 첫번째 렌즈 앞에 원적외선 파장을 분리하기 위한 빔 스플리터가 위치하며 이를 고려하여 설계를 진행한다. 센서는 complementary metal–oxide–semiconductor (CMOS) 타입으로, 픽셀의 크기는 3.75 μm × 3.75 μm이며 resolution은 1,945 × 1,097이다. 덧붙여 실제로 사용되는 센서 범위인 active resolution은 1,920 × 1,080이다.

frequency=1,0004×pixelsizelp/mm

식 (3)을 사용하여 가시광선 광학계 modulation transfer function (MTF)의 공간주파수 값을 계산할 수 있다. 이는 해당 광학계에서 필요로 하는 최소 분해능이며 1 mm 내에서 몇 개의 white&black bar 쌍이 구분 가능한지를 의미한다[17,18]. 설계 목표 사양인 픽셀의 크기가 3.75 μm이므로 공간주파수 66.67 lp/mm에서 평가했을 때 MTF의 값이 30% 이상을 갖는 것이 본 설계의 목표이다. 필요로 하는 가시광선 광학계의 사양은 표 1에 나타내었다.

Table 1 . Design specifications of the visible optical system.

ItemSpecifications
Pixel Size (μm)3.75 × 3.75
Resolution1,945 × 1,097
Active Resolution1,920 × 1,080
Effective Focal Length (mm)11.25
F/#1.4
Field of View (deg)20.5 × 35.7 × 40.6
Wavelength (nm)430–660
Distortion (%)<1
Modulation Transfer FunctionOver 30% at 66.67 lp/mm


설계 사양을 바탕으로 CODE-V 프로그램을 사용하여 최적화 설계를 진행하였다. 최적화 수행 시 오목렌즈가 0.8 mm 이상의 두께를 갖도록 조절하였다.

최종적으로 설계된 가시광선 광학계의 구성도를 그림 2에 나타내었고, 표 2에 렌즈 데이터를 정리하였다. 그림 3(a)는 이미지 면에서의 spot size를 보여준다. 사람의 눈으로는 최대 1.5배의 spot size까지 구분하기가 어렵기 때문에, 이를 기준으로 삼아 가시광선 광학계의 센서 타입 CMOS를 고려하여 2 pixel의 크기인 7.5 μm의 1.5배인 11.25 μm를 최대 크기 제한으로 두고 설계하였다. 그림 3(a)에서 spot size가 모든 field에서 11.25 μm 이하를 만족함을 알 수 있으며, 그림 3(b)는 설계 목표 사양대로 모든 field에서 왜곡수차가 1% 이하임을 나타낸다.

Table 2 . Visible lens data.

SurfaceRadius (mm)Thickness (mm)GlassSemi (mm)
ObjInfiInfi--
1Infi1.0000ZNS_SPECIAL31.7900
2Infi29.4000-31.6500
3Infi1.0000ZNS_SPECIAL29.6200
4Infi0.0000-29.2700
5Infi18.4000-20.6100
639.60004.3000HLAF3B_CDGM13.4800
7−452.00000.7000-12.8300
823.32004.2000HZK9B_CDGM10.1900
98.63005.7000-6.7600
10−12.92001.0000HZF13_CDGM6.4800
1137.11001.4500-6.6800
12−30.17006.0000NSF57_SCHOTT6.7000
13−18.76000.2000-7.9300
1452.30005.7000HLAF2_CDGM8.1200
15−28.070010.1500-8.0300
StopInfi9.8500-6.1700
17175.50001.5000NSF57_SCHOTT6.0100
1813.66006.0000HZBAF50_CDGM6.3300
19−26.76000.9500-6.9900
2017.47006.0000HLAK7A_CDGM7.4700
21−469.200011.3330-6.9600
22Infi0.5000B270_SCHOTT4.4300
23Infi0.6300-4.3600
Image---4.1400


Figure 2. Visible lens layout with a beam splitter.

Figure 3. Visible lens analysis: (a) spot diagram, (b) distortion.

그림 4(a)와 4(b)는 각각 광학계의 MTF와 through focus MTF를 나타낸다. MTF는 광학 렌즈의 성능을 수치로 표현할 때 사용하며 식 (4)로 표현할 수 있다.

Figure 4. Visible lens analysis: (a) modulation transfer function (MTF), (b) through focus MTF, and (c) relative illumination.

Contrast=ImaxIminImax+Imin

MTF는 앞의 설계 사양 목표와 맞게 66.67 lp/mm에서 모든 field가 30% 이상을 달성하였다. Through focus MTF는 이미지면 상의 defocus 초점의 변화에 따른 MTF 값을 표현한 것이며 본 광학계에서는 0.1에서 0.1까지의 defocus 초점을 분석하였다. 그림 4(b)에서 최적 상점을 기준으로 종 모양의 대칭이 어느 정도 이루어져, 초점이 약간 어긋나더라도 안정적으로 작동할 수 있음을 알 수 있다. 그림 4(c)는 주변 광량비를 나타내며, 이미지면의 중심과 가장자리에서의 광량 비율을 보여준다. 이를 통해 본 광학계에서 이미지의 중심과 가장자리의 광량비가 크게 차이나지 않음을 알 수 있다.

2.3. 원적외선 광학계 설계

원적외선 광학계의 검출기는 비냉각형 검출기이며 픽셀 크기는 17 μm × 17 μm이고 640 × 480의 resolution을 가지고 있다. 적외선 센서도 가시광선 센서와 마찬가지로 실제로 사용되는 센서 영역인 active resolution은 640 × 360이다. 원적외선 광학계의 센서는 CMOS 타입이 아니므로, MTF의 공간주파수는 식 (5)를 통해 계산되며 값은 29.41 lp/mm이고 해당 공간주파수에서 30% 이상의 값을 갖는 것을 목표로 한다.

frequency=1,0002×pixelsizelp/mm

화각은 정합성을 위하여 동일하게 20.5 × 35.7 × 40.6°로 설계를 진행한다. 원적외선 광학계 설계의 최종 목표 사양은 표 3에 나타내었다.

Table 3 . Design specifications of the far-infrared optical system.

ItemSpecifications
Pixel Size (μm)17 × 17
Resolution640 × 480
Active Resolution640 × 360
Effective Focal Length (mm)17
F/#1.1
Field of View (deg)20.5 × 35.7 × 40.6
Wavelength (nm)8,000–14,000
Distortion (%)<1
Modulation Transfer FunctionOver 30% at 29.41 lp/mm


설계 사양을 바탕으로 최적화 설계를 진행하였다. 원적외선 광학계는 가시광선 광학계와 다르게 사용 가능한 렌즈 소재의 수가 적으며, 적외선 파장대역 중에서도 본 논문에서 사용하는 파장대역인 LWIR은 재질의 수가 더 제한된다. 본 설계에서는 germanium 소재를 사용하였으며 germanium은 다른 적외선 재질들에 비해 수급이 원활하고 굴절률이 크다는 장점이 있다[19,20]. Germanium의 무게가 무거워 전체 시스템의 무게 균형을 이루기가 힘들기 때문에 렌즈의 두께는 7 mm 이하로 제한하였다. 또 원적외선 광학계는 파장이 가시광선에 비해 길기 때문에 구면수차를 크게 감소시키고, 복잡한 렌즈 구성을 피하기 위해 비구면을 사용하여 설계를 진행하였다. 또한 가시광선 광학계와 달리 원적외선 광학계는 빔 스플리터를 통과하지 않고 반사되는 광학계이기 때문에 빔 스플리터가 원적외선 광학계에 미치는 영향을 배제할 수 있다. 따라서 빔 스플리터를 미러로 설계하였다.

설계 결과 원적외선 광학계의 전체 구성도는 그림 5에서 나타내었고 표 4에 렌즈 데이터를 정리하였다.

Table 4 . Far-infrared lens data.

SurfaceRadius (mm)Thickness (mm)GlassSemi (mm)
ObjInfiInfi--
1Infi1.000-37.6300
2Infi29.4000-35.6800
3Infi−37.5000-38.9700
4 (Asp)25.7569−6.0000GERM_SPECIAL10.8900
5 (Asp)29.4861−4.3500-8.8400
StopInfi−5.3500-5.4800
7 (Asp)−15.4505−6.0000GERM_SPECIAL6.5100
8 (Asp)−18.7047−3.8000-9.1900
9 (Asp)40.0286−6.0000GERM_SPECIAL11.1700
10 (Asp)125.7955−4.9780-9.8300
11Infi−0.7250‘OCz-Si’7.6300
12Infi−1.4050-7.5400
ImageInfi0.0000-6.8010


Figure 5. Far-infrared lens layout with a beam splitter.

표 5에 비구면 렌즈의 코닉 상수와 비구면 계수를 정리하여 나타내었다. 그림 6(a)의 spot size는 모든 field에서 원적외선 센서의 픽셀 사이즈인 17 μm보다 작은 spot을 가져 안정적이라고 볼 수 있다. 왜곡수차 또한 1% 이하로 맞춰져 목표한 설계 사양에 적합하며, MTF 또한 29.41 lp/mm에서 모든 field가 30% 이상을 만족하였다.

Table 5 . Asphere lens data.

Surface4578910
Conic (K)−0.03322147−5.560132−0.1667627−1.7020631.210366−6.582885
4th (A)−6.926871e-0061.301235e-005−0.0002022623−8.909558e-0052.284529e-0052.938491e-005
6th (B)2.034421e-0073.00413e-0074.070443e-0061.101666e-0068.535238e-0071.946201e-006
8th (C)−6.847166e-009−2.077551e-008−2.979273e-007−3.459806e-008−2.134875e-008−6.179033e-008
10th (D)1.063771e-0105.231042e-0101.176982e-0086.40326e-0102.750545e-0101.024636e-009
12th (E)−8.268784e-013−6.471219e-012−2.267877e-010−6.033477e-012−1.832356e-012−8.808429e-012
14th (F)2.452413e-0153.036038e-0141.709738e-0122.253418e-0144.78759e-0152.964481e-014


Figure 6. Far-infrared lens analysis: (a) spot diagram, (b) distortion, (c) modulation transfer function (MTF), (d) through focus MTF, and (e) relative illumination.

그림 6(d)의 through focus MTF도 가시광선 광학계와 마찬가지로 최적 상점을 기준으로 종 모양의 대칭을 보여주고 있으므로, 초점이 약간 어긋나더라도 안정적임을 알 수 있다. 주변 광량비 또한 중심과 비교하여 가장자리의 광량이 80% 이상임을 보여주고 있다.

III. 영상 정합도 성능 평가

목표로 하는 광학계는 빔 스플리터를 사용하여 가시광선 광학계와 원적외선 광학계를 하나의 광학 시스템으로 합친 동축광학계를 구성하는 것이다. 앞에서 제시된 가시광선 광학계와 원적외선 광학계를 빔 스플리터가 포함된 하나의 동축광학계로 결합한 광학계 전체 레이아웃을 그림 7에서 제시하고 있다.

Figure 7. Layout of the entire optical system including the beam splitter.

듀얼 카메라의 정합도를 높이기 위해서 두 광학계 사이의 왜곡을 수차가 크게 발생하기 쉬운 이미지의 외곽으로 갈 수록 최대한 유사하도록 맞추는 것이 중요하다. 표 6의 가시광과 원적외선의 왜곡 수치를 보면 0.5 field 위로 왜곡이 유사함을 확인할 수 있다.

Table 6 . Comparison of visible and far-Infrared distortion values.

Field HeightVIS (%)FIR (%)
0.000.000000.00000
0.10−0.01295−0.04326
0.20−0.05116−0.15110
0.30−0.11269−0.26896
0.40−0.19424−0.34040
0.50−0.29111−0.34368
0.60−0.39705−0.30827
0.70−0.50413−0.29307
0.80−0.60242−0.33498
0.90−0.67954−0.41507
1.00−0.71965−0.53717


해당 논문의 목표는 다른 듀얼 카메라와 달리 동축광학계 구성으로 정합도를 보다 높이는 것이다. 정합도는 중첩이 되는 이미지의 수평, 수직, 대각 방향으로 500 m까지의 정합도를 계산하여 확인할 수 있으며 식 (6)–(8)과 같이 계산할 수 있다.

H:1H1H2H1×100%

V:1V1V2V1×100%

D:1D1D2D1×100%

이때 H1, V1, D1은 각각 원적외선의 vertical, horizontal, diagonal을 의미하며 H2, V2, D2는 가시광선의 vertical, horizontal, diagonal을 의미한다. 제시된 식 (6)–(8)을 통해 구한 정합도는 표 7에 정리하였다.

Table 7 . Computation of image fusion performance.

Object Distance (m)Fusion Performance (%)
HVD
199.982293.441891.7661
1099.8300992.112991.94318
5010092.039891.77612
10099.6894492.039892.0578
15099.7929692.039891.98039
20099.8447292.039891.94175
25099.8757891.5841691.92465
30099.7927591.7355491.96914
35010091.4893691.86358
40010091.9254791.85418
45010091.7127191.72198
50010092.039891.75288
Average99.9006692.0167491.87931


설계된 해당 동축광학계를 실제 카메라로 구현해 야간 이미지를 촬영한 결과, 가시광선으로 촬영한 이미지를 그림 8(a)와 같이 얻었다. 이를 통해 육안으로 보는 것과 비슷하게 야간에서 물체를 구별하기 어려움을 알 수 있다. 그림 8(b)는 원적외선으로 촬영된 이미지이며, 그림 8(a)와 달리 빛이 부족한 야간에도 선명하게 물체를 식별할 수 있음을 보여준다. 가시광선과 원적외선을 정합한 이미지는 그림 8(c)에서 제시하였다. 두 이미지에서의 열패턴과 기타 사물들 간의 위치 및 크기의 차이가 거의 없는 것을 볼 수 있으며 이를 통해 정합도가 우수함을 확인할 수 있다.

Figure 8. Video images of panels with hitting wires attached. (a) Visible image, (b) far-infrared image, and (c) visible and far-infrared image fusion.

IV. 결 론

기존의 듀얼카메라는 가시광선과 원적외선 광학계를 각각 따로 두고, 이를 통해 얻은 두 영상을 화각에 맞춰 결합하는 방식이었다. 하지만 이러한 방식은 거리에 따른 정합도가 달라지고 정합도 자체도 낮다는 문제점을 갖고 있다. 이를 보완하기 위해 빔 스플리터를 이용하여 가시광선과 원적외선의 동축광학계를 설계하였다. 설계를 통해 두 파장대역이 같은 광축을 갖는 광학계를 완성하였고, 본 광학계를 토대로 실제 듀얼 카메라 장비를 구현하였다.

화각은 정합도를 높이는 데 주요한 기준이다. 설계된 듀얼 카메라에서 가시광선과 원적외선 광학계 모두 20.5 × 35.7 × 40.6°로 동일한 화각을 가졌음을 확인할 수 있다. 이를 통해 정합도를 크게 높일 수 있었으며, 식을 통해 실제로 계산된 두 이미지 간의 정합도는 평균 90% 이상의 높은 값을 보였다.

성능 평가를 통해 얻은 MTF는 가시광선과 원적외선 파장대역에서 모두 30% 이상으로 사람의 눈으로 구분하기에 충분한 수치를 만족하였고, 왜곡 또한 1% 이하로 우수한 광학적 보상이 이루어졌으며, 0.5 field 이후의 왜곡 수치가 두 광학계에서 유사하므로 이미지 간의 정합을 맞추는 데 적합함을 알 수 있다. 이 외에도 목표로 하였던 성능 기준을 달성함으로써 본 논문에서 설계한 듀얼 카메라의 성능이 우수함을 입증하였다.

재정지원

중소벤처기업부에서 지원하는 2021년도 산학협력 거점형 플랫폼(R&D) (No. S3035590) 연구수행.

이해상충

본 저자는 본 논문과 관련된 어떠한 이해충돌 사항도 없었음을 밝힌다.

데이터 가용성

본 연구의 결과 분석 및 생성된 데이터는 모두 본 논문 내 명시되어 있으며 공공의 이용이 가능하다. 데이터에 접근하거나 사용하고자 하는 이는 저자에게 타당한 이유를 밝히고 허가를 득해 사용 가능하다.

Fig 1.

Figure 1.Focal length.
Korean Journal of Optics and Photonics 2023; 34: 106-116https://doi.org/10.3807/KJOP.2023.34.3.106

Fig 2.

Figure 2.Visible lens layout with a beam splitter.
Korean Journal of Optics and Photonics 2023; 34: 106-116https://doi.org/10.3807/KJOP.2023.34.3.106

Fig 3.

Figure 3.Visible lens analysis: (a) spot diagram, (b) distortion.
Korean Journal of Optics and Photonics 2023; 34: 106-116https://doi.org/10.3807/KJOP.2023.34.3.106

Fig 4.

Figure 4.Visible lens analysis: (a) modulation transfer function (MTF), (b) through focus MTF, and (c) relative illumination.
Korean Journal of Optics and Photonics 2023; 34: 106-116https://doi.org/10.3807/KJOP.2023.34.3.106

Fig 5.

Figure 5.Far-infrared lens layout with a beam splitter.
Korean Journal of Optics and Photonics 2023; 34: 106-116https://doi.org/10.3807/KJOP.2023.34.3.106

Fig 6.

Figure 6.Far-infrared lens analysis: (a) spot diagram, (b) distortion, (c) modulation transfer function (MTF), (d) through focus MTF, and (e) relative illumination.
Korean Journal of Optics and Photonics 2023; 34: 106-116https://doi.org/10.3807/KJOP.2023.34.3.106

Fig 7.

Figure 7.Layout of the entire optical system including the beam splitter.
Korean Journal of Optics and Photonics 2023; 34: 106-116https://doi.org/10.3807/KJOP.2023.34.3.106

Fig 8.

Figure 8.Video images of panels with hitting wires attached. (a) Visible image, (b) far-infrared image, and (c) visible and far-infrared image fusion.
Korean Journal of Optics and Photonics 2023; 34: 106-116https://doi.org/10.3807/KJOP.2023.34.3.106

Table 1 Design specifications of the visible optical system

ItemSpecifications
Pixel Size (μm)3.75 × 3.75
Resolution1,945 × 1,097
Active Resolution1,920 × 1,080
Effective Focal Length (mm)11.25
F/#1.4
Field of View (deg)20.5 × 35.7 × 40.6
Wavelength (nm)430–660
Distortion (%)<1
Modulation Transfer FunctionOver 30% at 66.67 lp/mm

Table 2 Visible lens data

SurfaceRadius (mm)Thickness (mm)GlassSemi (mm)
ObjInfiInfi--
1Infi1.0000ZNS_SPECIAL31.7900
2Infi29.4000-31.6500
3Infi1.0000ZNS_SPECIAL29.6200
4Infi0.0000-29.2700
5Infi18.4000-20.6100
639.60004.3000HLAF3B_CDGM13.4800
7−452.00000.7000-12.8300
823.32004.2000HZK9B_CDGM10.1900
98.63005.7000-6.7600
10−12.92001.0000HZF13_CDGM6.4800
1137.11001.4500-6.6800
12−30.17006.0000NSF57_SCHOTT6.7000
13−18.76000.2000-7.9300
1452.30005.7000HLAF2_CDGM8.1200
15−28.070010.1500-8.0300
StopInfi9.8500-6.1700
17175.50001.5000NSF57_SCHOTT6.0100
1813.66006.0000HZBAF50_CDGM6.3300
19−26.76000.9500-6.9900
2017.47006.0000HLAK7A_CDGM7.4700
21−469.200011.3330-6.9600
22Infi0.5000B270_SCHOTT4.4300
23Infi0.6300-4.3600
Image---4.1400

Table 3 Design specifications of the far-infrared optical system

ItemSpecifications
Pixel Size (μm)17 × 17
Resolution640 × 480
Active Resolution640 × 360
Effective Focal Length (mm)17
F/#1.1
Field of View (deg)20.5 × 35.7 × 40.6
Wavelength (nm)8,000–14,000
Distortion (%)<1
Modulation Transfer FunctionOver 30% at 29.41 lp/mm

Table 4 Far-infrared lens data

SurfaceRadius (mm)Thickness (mm)GlassSemi (mm)
ObjInfiInfi--
1Infi1.000-37.6300
2Infi29.4000-35.6800
3Infi−37.5000-38.9700
4 (Asp)25.7569−6.0000GERM_SPECIAL10.8900
5 (Asp)29.4861−4.3500-8.8400
StopInfi−5.3500-5.4800
7 (Asp)−15.4505−6.0000GERM_SPECIAL6.5100
8 (Asp)−18.7047−3.8000-9.1900
9 (Asp)40.0286−6.0000GERM_SPECIAL11.1700
10 (Asp)125.7955−4.9780-9.8300
11Infi−0.7250‘OCz-Si’7.6300
12Infi−1.4050-7.5400
ImageInfi0.0000-6.8010

Table 5 Asphere lens data

Surface4578910
Conic (K)−0.03322147−5.560132−0.1667627−1.7020631.210366−6.582885
4th (A)−6.926871e-0061.301235e-005−0.0002022623−8.909558e-0052.284529e-0052.938491e-005
6th (B)2.034421e-0073.00413e-0074.070443e-0061.101666e-0068.535238e-0071.946201e-006
8th (C)−6.847166e-009−2.077551e-008−2.979273e-007−3.459806e-008−2.134875e-008−6.179033e-008
10th (D)1.063771e-0105.231042e-0101.176982e-0086.40326e-0102.750545e-0101.024636e-009
12th (E)−8.268784e-013−6.471219e-012−2.267877e-010−6.033477e-012−1.832356e-012−8.808429e-012
14th (F)2.452413e-0153.036038e-0141.709738e-0122.253418e-0144.78759e-0152.964481e-014

Table 6 Comparison of visible and far-Infrared distortion values

Field HeightVIS (%)FIR (%)
0.000.000000.00000
0.10−0.01295−0.04326
0.20−0.05116−0.15110
0.30−0.11269−0.26896
0.40−0.19424−0.34040
0.50−0.29111−0.34368
0.60−0.39705−0.30827
0.70−0.50413−0.29307
0.80−0.60242−0.33498
0.90−0.67954−0.41507
1.00−0.71965−0.53717

Table 7 Computation of image fusion performance

Object Distance (m)Fusion Performance (%)
HVD
199.982293.441891.7661
1099.8300992.112991.94318
5010092.039891.77612
10099.6894492.039892.0578
15099.7929692.039891.98039
20099.8447292.039891.94175
25099.8757891.5841691.92465
30099.7927591.7355491.96914
35010091.4893691.86358
40010091.9254791.85418
45010091.7127191.72198
50010092.039891.75288
Average99.9006692.0167491.87931

References

  1. S.-M. Hong and H.-S. Kim, “Advanced LWIR thermal imaging system with a large zoom optics,” Korean J. Opt. Photonics 16, 354-360 (2005).
    CrossRef
  2. S. M. Hong, I. S. Song, W. K. Kwon, and J. K. Kim, “The basic principles and technical trends of thermal imaging systems,” Proc. KIEE Conf. 1992.07b, 1255-1259 (1992).
  3. P. Kumar, A. Mittal, and P. Kumar, “Fusion of thermal infrared and visible spectrum video for robust surveillance,” in Proc. Computer Vision, Graphics and Image Processing (Springer2006), pp. 528-539.
    CrossRef
  4. T. Mouats and N. Aouf, “Fusion of thermal and visible images for day/night moving objects detection,” in Proc. Sensor Signal Processing for Defence (Edinburgh, UK, Sep. 8-9, 2014), pp. 1-5.
    CrossRef
  5. B. White, N. Robinson, and Y. H. Choo, “Video surveillance apparatus using dual camera and method thereof,” U.S. Patent US20120242809A1 (2012).
  6. T. Takahata, “Coaxiality evaluation of coaxial imaging system with concentric silicon-glass hybrid lens for thermal and color imaging,” Sensors 20, 5753 (2020).
    Pubmed KoreaMed CrossRef
  7. Mustofa, Z. Djafar, Syafaruddin, and W. H. Piarah, “A new hybrid of photovoltaic-thermoelectric generator with hot mirror as spectrum splitter,” J. Phys. Sci. 29, 63-75 (2018).
    CrossRef
  8. Z. Djafar, A. Z. Salsabila, and W. H. Piarah, “Performance comparison between hot mirror and cold mirror as a beam splitter on photovoltaic-thermoelectric generator hybrid using labview simulator,” Int. J. Heat Technol. 39, 1609-1617 (2021).
    CrossRef
  9. S. C. Lim and D. Y. Kim, “Calibration method for multimodal dual camera environment,” J. Korea Inst. Inf. Commun. Eng. 19, 2138-2144 (2015).
    CrossRef
  10. P. L. Richards, “Bolometers for infrared and millimeter waves,” J. Appl. Phys. 76, 1-24 (1994).
    CrossRef
  11. E. H. Putley, “Thermal detectors,” in Optical and Infrared Detectors, R. J. Keyes, Ed. (Springer Berlin, Germany, 2005), Chapter 3, pp. 71-100.
    CrossRef
  12. G. Hyseni, N. Caka, and K. Hyseni, “Infrared thermal detectors parameters: Semiconductor bolometers versus pyroelectrics,” WSEAS Trans. Circuits Syst. 9, 238-247 (2010).
  13. C. M. Ok, H. J. Lee, and H. G. Kim, “Optimization of a middle wavelength infrared optical system with double magnification,” in Proc. Optical Society of Korea Summer Annual Meeting (Sokcho, Korea, Jul. 10-11, 2008), pp. 397-398.
  14. R. S. Balcerak, “Uncooled IR imaging: Technology for the next generation,” Proc. SPIE 3698, 110-118 (1999).
    CrossRef
  15. A. M. Waxman, E. D. Savoye, D. A. Fay, M. Aguilar, A. N. Gove, J. E. Carrick, and J. P. Racamato, “Electronic imaging aids for night driving: low-light CCD, uncooled thermal IR, and color-fused visible/LWIR,” Proc. SPIE 2902, 62-73 (1997).
    CrossRef
  16. B.-I. Ahn, Y.-S. Kim, and S.-C. Park, “Athermal and achromatic design for a night vision camera using tolerable housing boundary on an expanded athermal glass map,” Curr. Opt. Photonics 1, 125-131 (2017).
    CrossRef
  17. S.-H. Ahn and M.-C. Kim, “Image quality evaluation for the railway abrasion measurement with a high resolution,” J. Korean Soc. Railw. 12, 887-894 (2009).
  18. O. Gravrand, N. Baier, A. Ferron, F. Rochette, J. Berthoz, L. Rubaldo, and R. Cluzel, “MTF issues in small-pixel-pitch planar quantum IR detectors,” J. Electron. Mater. 43, 3025-3032 (2014).
    CrossRef
  19. H.-S. Kim, S.-C. Choi, C.-W. Lee, Y.-C. Park, and H.-K. Kim, “Analysis and test of athermalizaion for 20:1 zoom thermal imaging system,” Korean J. Opt. Photonics 12, 281-288 (2001).
  20. R. E. Fischer, “Lens design for the infrared,” Proc. SPIE 10260, 1026003 (1991).
    CrossRef

저널정보

Optical Society of Korea

June 2024
Vol.35 No.3

pISSN 1225-6285
eISSN 2287-321X

Title: Korean Journal of Optics and Photonics
Abbreviation: Korean J. Opt. Photon.

Share this article on :

  • line