모든 물체는 절대온도 0도 이상에서 전자기파의 형태로 복사에너지를 방출한다. 이러한 복사에너지는 사람의 육안으로는 관찰할 수 없는 적외선 파장대역의 에너지이다. 이는 적외선 에너지를 받아들여 복사발산도의 차이를 검출하고 이를 영상화할 수 있는 열상 장비를 통해 관찰 가능해지므로 빛이 없는 상황에서도 시야를 확보할 수 있는 장점을 가졌다. 이로 인해 주야간의 구분없이 분명한 물체 식별을 할 수 있어 방산이나 보안 분야에서 감시와 표적 포착 등의 목적으로 주로 사용되어 왔다. 최근에는 건물 내부 누수, 의료용 체온 측정 등의 산업과 의료 분야에서도 폭넓게 사용되고 있으며 꾸준히 발전하고 있는 추세이다^[1,2].

하지만 적외선의 파장이 가시광선과 비교하여 훨씬 길기 때문에 적외선 카메라의 해상도는 가시광선 카메라에 비해 낮을 수밖에 없다. 적외선 카메라는 이러한 저해상도 문제 외에도 노이즈 발생, 배경 온도와 표적 온도의 대비가 낮으면 발생할 수 있는 정보 혼동 등으로 인해 받아들인 사소한 정보를 놓칠 가능성이 존재하여 표적을 자세하게 감지하는 것이 어렵다^[3,4]. 이러한 문제를 해결하기 위해 가시광선과 적외선 영상 모두를 하나의 시스템에서 받아들이는 듀얼카메라가 개발되었다. 기존에 개발된 듀얼 카메라는 적외선 카메라와 가시광선 카메라를 양쪽으로 나란한 위치에 배치하였으며, 각 카메라는 해당 파장대역의 이미지를 제공하고 두 카메라 사이의 화각(field of view, FOV) 차이를 동일한 영역으로 매칭하여 하나로 결합한 이미지를 보여주는 방식으로 작동하였다. 하지만 양쪽으로 각각의 카메라가 배치된 듀얼카메라 구성은 서로 다른 화각을 가진 영상을 따로 정합하기 때문에 목표의 거리가 달라지면 정합도도 달라진다는 문제가 있으며 정합도 또한 낮다는 단점이 존재한다^[5,6].

서술된 기존의 듀얼 카메라 기술의 낮은 정합도를 90% 이상으로 올리기 위하여 두 개의 광학계가 동일한 광축을 갖도록 하는 동축광학계 구성의 시스템으로 설계를 진행한다. 빛의 파장을 분리할 수 있는 빔 스플리터를 사용하여 동축으로 들어오는 빛을 적외선과 가시광선으로 분리하고 분리된 각 파장의 빛은 해당 광학계를 지나 각각의 센서에 맺히게 된다. 빔 스플리터는 적외선은 반사시키고 가시광을 투과시키는 hot mirror 빔 스플리터와, 그 반대로 가시광선은 반사하고 적외선을 투과시키는 cold mirror 빔 스플리터로 나뉜다. Hot mirror는 코팅에 따라 적외선 파장대역을 최대 90%까지 반사시킬 수 있다^[7,8]. 투과율이 높은 hot mirror는 열에 민감한 구성 요소 및 재료가 열로 인해 손상되거나 다른 목적으로 열이 전달되는 것을 방지한다.

이러한 구성의 시스템은 빔 스플리터가 광학계의 렌즈 앞에 배치되기 때문에 카메라 전체 화각에 걸칠 수 있을 만큼 커야 하고 적외선과 가시광선 이미지에 대해 동일한 화각을 갖도록 설계해야 한다^[9].

2.1. 설계 이론

본 논문에서는 하나의 광학시스템으로 가시광선 파장과 원적외선 파장 대역의 이미지를 동시에 취득하는 것이 목표이므로 해당 광학계를 설계하는 과정은 두 파장 대역의 광학계를 각각 설계한 후 하나의 광학계로 결합하는 방식으로 이루어진다.

해당 원적외선 광학계의 검출기로는 열 검출기인 비냉각형 볼로미터 센서가 사용된다. 이 센서는 픽셀이 미세한 볼로미터로 구성되어 있으며, 입사한 열 온도에 의해 볼로미터의 저항이 변하는 것을 전기적 신호로 인식하여 온도 변화를 알아내는 방식으로 작동한다^[10-12]. 비냉각 방식의 검출기는 영상 획득 시 노이즈 발생의 영향과 빛이 충분치 않은 환경에서 사용할 경우도 고려하여 설계하여야 하므로 광학계의 F/#의 값을 줄여 F/2.0 이하로 설계해야 하는 제한이 있다^[13-16].

동축광학계 시스템은 빔 스플리터를 사용한 빛의 투과 및 반사가 중요한 고려 사항이다. 원적외선을 투과시키는 광학 재질이 많지 않으므로, 빔 스플리터에는 가시광선을 투과시키는 hot mirror 타입의 ZnS 재질이며 원적외선은 90% 반사시키고 가시광선은 75% 투과시키도록 코팅 처리가 된 것을 사용하였다. 또 듀얼카메라의 정합도를 위해서는 가시광선과 원적외선의 화각을 동일하게 맞춰 정합성을 높여야 한다. 해당 설계에서는 그림 1에 나타낸 바와 같이 object distance 500 m 정도에서 1.8 m × 0.5 m 크기의 인체를 센서 3.6 × 1 pixel에서 사람의 유무를 인식하는 정도의 감지 가능한 수준으로 목표를 정하였고, 이때 요구되는 광학계의 초점거리를 비례식으로 표현하면 식 (1)과 같이 표현 가능하다.

Figure 1. Focal length.

(1)$$500,000:1,800=focallength:3.6\times pixelpitch$$

식 (1)에서 단위는 모두 mm로 통일하여 표현하였으며, 가시광선과 원적외선의 2가지 광학계에 대한 설계를 다루므로 pixel pitch에 각각의 광학계에 사용되는 센서의 pixel pitch를 대입하여 계산한다. 식 (1)을 통해 구해진 광학계의 초점거리를 사용하여 식 (2)와 같이 계산하는 식을 구할 수 있다.

(2)$$FOV=2•{\tan }^{-1}\left(\frac{d}{2f}\right)$$

식 (2)의 d는 센서의 대각 크기를 의미한다. 위 계산을 통해 화각은 20.5 × 35.7 × 40.6°임을 알 수 있다. 이를 기준으로 하여 설계를 시작한다.

2.2. 가시광선 광학계 설계

동축광학계 구성을 위해서 가시광선 광학계의 첫번째 렌즈 앞에 원적외선 파장을 분리하기 위한 빔 스플리터가 위치하며 이를 고려하여 설계를 진행한다. 센서는 complementary metal–oxide–semiconductor (CMOS) 타입으로, 픽셀의 크기는 3.75 μm × 3.75 μm이며 resolution은 1,945 × 1,097이다. 덧붙여 실제로 사용되는 센서 범위인 active resolution은 1,920 × 1,080이다.

(3)$$frequency=\frac{1,000}{4\times pixelsize}\left[lp/mm\right]$$

식 (3)을 사용하여 가시광선 광학계 modulation transfer function (MTF)의 공간주파수 값을 계산할 수 있다. 이는 해당 광학계에서 필요로 하는 최소 분해능이며 1 mm 내에서 몇 개의 white&black bar 쌍이 구분 가능한지를 의미한다^[17,18]. 설계 목표 사양인 픽셀의 크기가 3.75 μm이므로 공간주파수 66.67 lp/mm에서 평가했을 때 MTF의 값이 30% 이상을 갖는 것이 본 설계의 목표이다. 필요로 하는 가시광선 광학계의 사양은 표 1에 나타내었다.

Table 1 . Design specifications of the visible optical system.

Item	Specifications
Pixel Size (μm)	3.75 × 3.75
Resolution	1,945 × 1,097
Active Resolution	1,920 × 1,080
Effective Focal Length (mm)	11.25
F/#	1.4
Field of View (deg)	20.5 × 35.7 × 40.6
Wavelength (nm)	430–660
Distortion (%)	<1
Modulation Transfer Function	Over 30% at 66.67 lp/mm

설계 사양을 바탕으로 CODE-V 프로그램을 사용하여 최적화 설계를 진행하였다. 최적화 수행 시 오목렌즈가 0.8 mm 이상의 두께를 갖도록 조절하였다.

최종적으로 설계된 가시광선 광학계의 구성도를 그림 2에 나타내었고, 표 2에 렌즈 데이터를 정리하였다. 그림 3(a)는 이미지 면에서의 spot size를 보여준다. 사람의 눈으로는 최대 1.5배의 spot size까지 구분하기가 어렵기 때문에, 이를 기준으로 삼아 가시광선 광학계의 센서 타입 CMOS를 고려하여 2 pixel의 크기인 7.5 μm의 1.5배인 11.25 μm를 최대 크기 제한으로 두고 설계하였다. 그림 3(a)에서 spot size가 모든 field에서 11.25 μm 이하를 만족함을 알 수 있으며, 그림 3(b)는 설계 목표 사양대로 모든 field에서 왜곡수차가 1% 이하임을 나타낸다.

Table 2 . Visible lens data.

Surface	Radius (mm)	Thickness (mm)	Glass	Semi (mm)
Obj	Infi	Infi	-	-
1	Infi	1.0000	ZNS_SPECIAL	31.7900
2	Infi	29.4000	-	31.6500
3	Infi	1.0000	ZNS_SPECIAL	29.6200
4	Infi	0.0000	-	29.2700
5	Infi	18.4000	-	20.6100
6	39.6000	4.3000	HLAF3B_CDGM	13.4800
7	−452.0000	0.7000	-	12.8300
8	23.3200	4.2000	HZK9B_CDGM	10.1900
9	8.6300	5.7000	-	6.7600
10	−12.9200	1.0000	HZF13_CDGM	6.4800
11	37.1100	1.4500	-	6.6800
12	−30.1700	6.0000	NSF57_SCHOTT	6.7000
13	−18.7600	0.2000	-	7.9300
14	52.3000	5.7000	HLAF2_CDGM	8.1200
15	−28.0700	10.1500	-	8.0300
Stop	Infi	9.8500	-	6.1700
17	175.5000	1.5000	NSF57_SCHOTT	6.0100
18	13.6600	6.0000	HZBAF50_CDGM	6.3300
19	−26.7600	0.9500	-	6.9900
20	17.4700	6.0000	HLAK7A_CDGM	7.4700
21	−469.2000	11.3330	-	6.9600
22	Infi	0.5000	B270_SCHOTT	4.4300
23	Infi	0.6300	-	4.3600
Image	-	-	-	4.1400

Figure 2. Visible lens layout with a beam splitter.

Figure 3. Visible lens analysis: (a) spot diagram, (b) distortion.

그림 4(a)와 4(b)는 각각 광학계의 MTF와 through focus MTF를 나타낸다. MTF는 광학 렌즈의 성능을 수치로 표현할 때 사용하며 식 (4)로 표현할 수 있다.

Figure 4. Visible lens analysis: (a) modulation transfer function (MTF), (b) through focus MTF, and (c) relative illumination.

(4)$$Contrast=\frac{I_{max}-I_{min}}{I_{max}+I_{min}}$$

MTF는 앞의 설계 사양 목표와 맞게 66.67 lp/mm에서 모든 field가 30% 이상을 달성하였다. Through focus MTF는 이미지면 상의 defocus 초점의 변화에 따른 MTF 값을 표현한 것이며 본 광학계에서는 ₋0.1에서 0.1까지의 defocus 초점을 분석하였다. 그림 4(b)에서 최적 상점을 기준으로 종 모양의 대칭이 어느 정도 이루어져, 초점이 약간 어긋나더라도 안정적으로 작동할 수 있음을 알 수 있다. 그림 4(c)는 주변 광량비를 나타내며, 이미지면의 중심과 가장자리에서의 광량 비율을 보여준다. 이를 통해 본 광학계에서 이미지의 중심과 가장자리의 광량비가 크게 차이나지 않음을 알 수 있다.

2.3. 원적외선 광학계 설계

원적외선 광학계의 검출기는 비냉각형 검출기이며 픽셀 크기는 17 μm × 17 μm이고 640 × 480의 resolution을 가지고 있다. 적외선 센서도 가시광선 센서와 마찬가지로 실제로 사용되는 센서 영역인 active resolution은 640 × 360이다. 원적외선 광학계의 센서는 CMOS 타입이 아니므로, MTF의 공간주파수는 식 (5)를 통해 계산되며 값은 29.41 lp/mm이고 해당 공간주파수에서 30% 이상의 값을 갖는 것을 목표로 한다.

(5)$$frequency=\frac{1,000}{2\times pixelsize}\left[lp/mm\right]$$

화각은 정합성을 위하여 동일하게 20.5 × 35.7 × 40.6°로 설계를 진행한다. 원적외선 광학계 설계의 최종 목표 사양은 표 3에 나타내었다.

Table 3 . Design specifications of the far-infrared optical system.

Item	Specifications
Pixel Size (μm)	17 × 17
Resolution	640 × 480
Active Resolution	640 × 360
Effective Focal Length (mm)	17
F/#	1.1
Field of View (deg)	20.5 × 35.7 × 40.6
Wavelength (nm)	8,000–14,000
Distortion (%)	<1
Modulation Transfer Function	Over 30% at 29.41 lp/mm

설계 사양을 바탕으로 최적화 설계를 진행하였다. 원적외선 광학계는 가시광선 광학계와 다르게 사용 가능한 렌즈 소재의 수가 적으며, 적외선 파장대역 중에서도 본 논문에서 사용하는 파장대역인 LWIR은 재질의 수가 더 제한된다. 본 설계에서는 germanium 소재를 사용하였으며 germanium은 다른 적외선 재질들에 비해 수급이 원활하고 굴절률이 크다는 장점이 있다^[19,20]. Germanium의 무게가 무거워 전체 시스템의 무게 균형을 이루기가 힘들기 때문에 렌즈의 두께는 7 mm 이하로 제한하였다. 또 원적외선 광학계는 파장이 가시광선에 비해 길기 때문에 구면수차를 크게 감소시키고, 복잡한 렌즈 구성을 피하기 위해 비구면을 사용하여 설계를 진행하였다. 또한 가시광선 광학계와 달리 원적외선 광학계는 빔 스플리터를 통과하지 않고 반사되는 광학계이기 때문에 빔 스플리터가 원적외선 광학계에 미치는 영향을 배제할 수 있다. 따라서 빔 스플리터를 미러로 설계하였다.

설계 결과 원적외선 광학계의 전체 구성도는 그림 5에서 나타내었고 표 4에 렌즈 데이터를 정리하였다.

Table 4 . Far-infrared lens data.

Surface	Radius (mm)	Thickness (mm)	Glass	Semi (mm)
Obj	Infi	Infi	-	-
1	Infi	1.000	-	37.6300
2	Infi	29.4000	-	35.6800
3	Infi	−37.5000	-	38.9700
4 (Asp)	25.7569	−6.0000	GERM_SPECIAL	10.8900
5 (Asp)	29.4861	−4.3500	-	8.8400
Stop	Infi	−5.3500	-	5.4800
7 (Asp)	−15.4505	−6.0000	GERM_SPECIAL	6.5100
8 (Asp)	−18.7047	−3.8000	-	9.1900
9 (Asp)	40.0286	−6.0000	GERM_SPECIAL	11.1700
10 (Asp)	125.7955	−4.9780	-	9.8300
11	Infi	−0.7250	‘OCz-Si’	7.6300
12	Infi	−1.4050	-	7.5400
Image	Infi	0.0000	-	6.8010

Figure 5. Far-infrared lens layout with a beam splitter.

표 5에 비구면 렌즈의 코닉 상수와 비구면 계수를 정리하여 나타내었다. 그림 6(a)의 spot size는 모든 field에서 원적외선 센서의 픽셀 사이즈인 17 μm보다 작은 spot을 가져 안정적이라고 볼 수 있다. 왜곡수차 또한 1% 이하로 맞춰져 목표한 설계 사양에 적합하며, MTF 또한 29.41 lp/mm에서 모든 field가 30% 이상을 만족하였다.

Table 5 . Asphere lens data.

Surface	4	5	7	8	9	10
Conic (K)	−0.03322147	−5.560132	−0.1667627	−1.702063	1.210366	−6.582885
4th (A)	−6.926871e-006	1.301235e-005	−0.0002022623	−8.909558e-005	2.284529e-005	2.938491e-005
6th (B)	2.034421e-007	3.00413e-007	4.070443e-006	1.101666e-006	8.535238e-007	1.946201e-006
8th (C)	−6.847166e-009	−2.077551e-008	−2.979273e-007	−3.459806e-008	−2.134875e-008	−6.179033e-008
10th (D)	1.063771e-010	5.231042e-010	1.176982e-008	6.40326e-010	2.750545e-010	1.024636e-009
12th (E)	−8.268784e-013	−6.471219e-012	−2.267877e-010	−6.033477e-012	−1.832356e-012	−8.808429e-012
14th (F)	2.452413e-015	3.036038e-014	1.709738e-012	2.253418e-014	4.78759e-015	2.964481e-014

Figure 6. Far-infrared lens analysis: (a) spot diagram, (b) distortion, (c) modulation transfer function (MTF), (d) through focus MTF, and (e) relative illumination.

그림 6(d)의 through focus MTF도 가시광선 광학계와 마찬가지로 최적 상점을 기준으로 종 모양의 대칭을 보여주고 있으므로, 초점이 약간 어긋나더라도 안정적임을 알 수 있다. 주변 광량비 또한 중심과 비교하여 가장자리의 광량이 80% 이상임을 보여주고 있다.

목표로 하는 광학계는 빔 스플리터를 사용하여 가시광선 광학계와 원적외선 광학계를 하나의 광학 시스템으로 합친 동축광학계를 구성하는 것이다. 앞에서 제시된 가시광선 광학계와 원적외선 광학계를 빔 스플리터가 포함된 하나의 동축광학계로 결합한 광학계 전체 레이아웃을 그림 7에서 제시하고 있다.

Figure 7. Layout of the entire optical system including the beam splitter.

듀얼 카메라의 정합도를 높이기 위해서 두 광학계 사이의 왜곡을 수차가 크게 발생하기 쉬운 이미지의 외곽으로 갈 수록 최대한 유사하도록 맞추는 것이 중요하다. 표 6의 가시광과 원적외선의 왜곡 수치를 보면 0.5 field 위로 왜곡이 유사함을 확인할 수 있다.

Table 6 . Comparison of visible and far-Infrared distortion values.

Field Height	VIS (%)	FIR (%)
0.00	0.00000	0.00000
0.10	−0.01295	−0.04326
0.20	−0.05116	−0.15110
0.30	−0.11269	−0.26896
0.40	−0.19424	−0.34040
0.50	−0.29111	−0.34368
0.60	−0.39705	−0.30827
0.70	−0.50413	−0.29307
0.80	−0.60242	−0.33498
0.90	−0.67954	−0.41507
1.00	−0.71965	−0.53717

해당 논문의 목표는 다른 듀얼 카메라와 달리 동축광학계 구성으로 정합도를 보다 높이는 것이다. 정합도는 중첩이 되는 이미지의 수평, 수직, 대각 방향으로 500 m까지의 정합도를 계산하여 확인할 수 있으며 식 (6)–(8)과 같이 계산할 수 있다.

(6)$$H:\left(1-\left|\frac{H_1-H_2}{H_1}\right|\right)\times 100\%$$

(7)$$V:\left(1-\left|\frac{V_1-V_2}{V_1}\right|\right)\times 100\%$$

(8)$$D:\left(1-\left|\frac{D_1-D_2}{D_1}\right|\right)\times 100\%$$

이때 H₁, V₁, D₁은 각각 원적외선의 vertical, horizontal, diagonal을 의미하며 H₂, V₂, D₂는 가시광선의 vertical, horizontal, diagonal을 의미한다. 제시된 식 (6)–(8)을 통해 구한 정합도는 표 7에 정리하였다.

Table 7 . Computation of image fusion performance.

Object Distance (m)	Fusion Performance (%)
	H	V	D
1	99.9822	93.4418	91.7661
10	99.83009	92.1129	91.94318
50	100	92.0398	91.77612
100	99.68944	92.0398	92.0578
150	99.79296	92.0398	91.98039
200	99.84472	92.0398	91.94175
250	99.87578	91.58416	91.92465
300	99.79275	91.73554	91.96914
350	100	91.48936	91.86358
400	100	91.92547	91.85418
450	100	91.71271	91.72198
500	100	92.0398	91.75288
Average	99.90066	92.01674	91.87931

설계된 해당 동축광학계를 실제 카메라로 구현해 야간 이미지를 촬영한 결과, 가시광선으로 촬영한 이미지를 그림 8(a)와 같이 얻었다. 이를 통해 육안으로 보는 것과 비슷하게 야간에서 물체를 구별하기 어려움을 알 수 있다. 그림 8(b)는 원적외선으로 촬영된 이미지이며, 그림 8(a)와 달리 빛이 부족한 야간에도 선명하게 물체를 식별할 수 있음을 보여준다. 가시광선과 원적외선을 정합한 이미지는 그림 8(c)에서 제시하였다. 두 이미지에서의 열패턴과 기타 사물들 간의 위치 및 크기의 차이가 거의 없는 것을 볼 수 있으며 이를 통해 정합도가 우수함을 확인할 수 있다.

Figure 8. Video images of panels with hitting wires attached. (a) Visible image, (b) far-infrared image, and (c) visible and far-infrared image fusion.

기존의 듀얼카메라는 가시광선과 원적외선 광학계를 각각 따로 두고, 이를 통해 얻은 두 영상을 화각에 맞춰 결합하는 방식이었다. 하지만 이러한 방식은 거리에 따른 정합도가 달라지고 정합도 자체도 낮다는 문제점을 갖고 있다. 이를 보완하기 위해 빔 스플리터를 이용하여 가시광선과 원적외선의 동축광학계를 설계하였다. 설계를 통해 두 파장대역이 같은 광축을 갖는 광학계를 완성하였고, 본 광학계를 토대로 실제 듀얼 카메라 장비를 구현하였다.

화각은 정합도를 높이는 데 주요한 기준이다. 설계된 듀얼 카메라에서 가시광선과 원적외선 광학계 모두 20.5 × 35.7 × 40.6°로 동일한 화각을 가졌음을 확인할 수 있다. 이를 통해 정합도를 크게 높일 수 있었으며, 식을 통해 실제로 계산된 두 이미지 간의 정합도는 평균 90% 이상의 높은 값을 보였다.

성능 평가를 통해 얻은 MTF는 가시광선과 원적외선 파장대역에서 모두 30% 이상으로 사람의 눈으로 구분하기에 충분한 수치를 만족하였고, 왜곡 또한 1% 이하로 우수한 광학적 보상이 이루어졌으며, 0.5 field 이후의 왜곡 수치가 두 광학계에서 유사하므로 이미지 간의 정합을 맞추는 데 적합함을 알 수 있다. 이 외에도 목표로 하였던 성능 기준을 달성함으로써 본 논문에서 설계한 듀얼 카메라의 성능이 우수함을 입증하였다.

중소벤처기업부에서 지원하는 2021년도 산학협력 거점형 플랫폼(R&D) (No. S3035590) 연구수행.

본 저자는 본 논문과 관련된 어떠한 이해충돌 사항도 없었음을 밝힌다.

본 연구의 결과 분석 및 생성된 데이터는 모두 본 논문 내 명시되어 있으며 공공의 이용이 가능하다. 데이터에 접근하거나 사용하고자 하는 이는 저자에게 타당한 이유를 밝히고 허가를 득해 사용 가능하다.