검색
검색 팝업 닫기

Ex) Article Title, Author, Keywords

Article

Split Viewer

연구논문(Research Paper)

2022; 33(4): 146-158

Published online August 25, 2022 https://doi.org/10.3807/KJOP.2022.33.4.146

Copyright © Optical Society of Korea.

A Study of the Scene-based NUC Using Image-patch Homogeneity for an Airborne Focal-plane-array IR Camera

Myung-Ho Kang1,2, Eun-Suk Yoon1, Ka-Young Park1, Yeong Jun Koh2

영상 패치 균질도를 이용한 항공 탑재 초점면배열 중적외선 카메라 영상 기반 불균일 보정 기법 연구

강명호1,2ㆍ윤은숙1ㆍ박가영1ㆍ고영준2†

1Agency for Defense Development, Daejeon 34060, Korea
2Department of Computer Engineering, Chungnam National University, Daejeon 34134, Korea

1국방과학연구소 ㉾ 34060 대전시 유성구 북유성대로 160, 488번길
2충남대학교 컴퓨터공학과 ㉾ 34134 대전시 유성구 대학로 99

Correspondence to:yjkoh@cnu.ac.kr, ORCID: 0000-0003-1805-2960

Received: April 7, 2022; Revised: June 7, 2022; Accepted: July 19, 2022

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

The detector of a focal-plane-array mid-wave infrared (MWIR) camera has different response characteristics for each detector pixel, resulting in nonuniformity between detector pixels. In addition, image nonuniformity occurs due to heat generation inside the camera during operation. To solve this problem, in the process of camera manufacturing it is common to use a gain-and-offset table generated from a blackbody to correct the difference between detector pixels. One method of correcting nonuniformity due to internal heat generation during the operation of the camera generates a new offset value based on input frame images. This paper proposes a technique for dividing an input image into block image patches and generating offset values using only homogeneous patches, to correct the nonuniformity that occurs during camera operation. The proposed technique may not only generate a nonuniformity-correction offset that can prevent motion marks due to camera-gaze movement of the acquired image, but may also improve nonuniformity-correction performance with a small number of input images. Experimental results show that distortion such as flow marks does not occur, and good correction performance can be confirmed even with half the number of input images or fewer, compared to the traditional method.

Keywords: EO/IR, Image homegeneity, MWIR focal plane array detector, SBNUC

OCIS codes: (100.0100) Image processing; (110.0110) Imaging systems; (280.0280) Remote sensing and sensors

감시정찰용 항공 탑재 EO/IR 영상장비는 관심 지역에 대한 주간 및 야간 영상을 획득하는 장비로서 전투기, 무인항공기, 헬기 등 항공 플랫폼에 탑재되어 운용된다. 감시정찰용 영상 획득 장비의 가장 큰 관심 사항은 얼마나 멀리에서, 얼마나 선명한 영상을 획득할 수 있는가이다. 감시정찰 장비에 사용되는 EO/IR 임무장비는 운용 목적에 따라 표적에 대한 고해상도의 정지영상 및 동영상 정보를 제공한다. 이러한 정지영상 및 동영상을 획득할 때 영상의 화질을 최상의 상태로 만들기 위해 여러 가지 과정을 거치게 되는데 이 과정으로는 입사되는 광량을 조절하는 노출 조절, 검출기의 불균일성을 보정하는 nonuniformity correction (NUC), 표적의 선명도를 높이는 초점 조절 등이 있다. 감시정찰용으로 사용하는 적외선카메라는 주로 중적외선(mid-wave infrared, MWIR) 대역의 검출기를 주로 사용한다. 적외선 카메라용 검출기는 주간 CCD 카메라에서 사용하는 가시광 영역의 실리콘 검출기와는 달리 검출기 구조가 복잡하고 검출 재질 특성 상 낮은 대조비, 배경 잡음이 높고 검출소자 출력 간 불균일성이 매우 높아서 이러한 현상을 영상신호처리를 통해 보정하는 불균일 보정 과정이 필수적으로 수반된다. 특히, 검출 소자 개개의 NETD 성능은 수십 mK 수준으로 낮아졌으나 현재의 기술 수준으로는 소자 간의 응답 특성을 완전하게 일치시킬 수 없기 때문에 이에 따른 불균일 특성이 영상에서 고정패턴잡음(fixed pattern noise, FPN)으로 나타나게 되어 적외선 카메라의 minimum resolvable temperature difference (MRTD)를 극도로 악화시키는 원인이 된다. 따라서 중적외선 검출기를 사용하는 적외선 카메라에서는 검출소자 간의 응답 특성을 완벽하게 일치시키지 않는 한 불균일 보정은 시스템의 성능을 좌우하는 핵심 기능이 된다.

적외선 검출기 출력 신호 불균일 보정은 일반적으로 2단계에 걸쳐 수행된다. 첫 번째 단계에서는 일반적으로 실험실에서 균일한 열을 방사하는 흑체(black body)를 이용하여 불균일 보정 파라메터인 검출기 픽셀별 이득(gain)과 오프셋(offset)을 생성하는 2점 기반 불균일 보정(two-point NUC)을 수행한다[1-4]. Two-point NUC에 의해 생성된 불균일 보정용 테이블 값은 장비 전원 인가 및 시스템 준비과정 중에 적용이 됨으로써 불균일 보정이 이루어진다. 두 번째 단계의 불균일 보정은 장비 운용 중에 카메라 내부 전자 보드 등 여러 가지 열원에 의해 배경 온도가 변하여 발생하는 불균일을 보정하는 것으로서 주로 영상 기반 불균일 보정(scene-based NUC, SBNUC) 기법을 사용한다. SBNUC는 크게 통계기반(statistics based) SBNUC와 정합기반(registration based) SBNUC, 딥러닝기반 SBNUC로 구분할 수 있다.

통계기반 SBNUC는 여러 개의 입력 영상에 대한 누적 평균 영상으로 오프셋 값을 생성하는 기법으로서 다양한 배경을 갖는 영상을 누적하고 평균화할 경우 모든 픽셀에 해당되는 밝기 값이 균일해지는 원리를 이용한 것이다[5-7]. 통계기반 SBNUC는 알고리즘이 비교적 간단하여 FPGA를 이용한 실시간 구현에 용이하므로 감시정찰용 장비에 주로 사용하고 있는 방법이지만, 누적 평균 영상 생성 시 균질한 평균 영상 생성을 위해 많은 수의 프레임 영상이 필요하며 고스트 등 인공 패턴의 노이즈가 발생할 가능성이 높은 것이 단점이다.

정합기반 SBNUC는 동일한 위치의 검출기 출력 값은 동일하다는 원리를 이용하여 프레임 간 움직임 정도를 추정하는 방법이다[8-11]. 이 방법은 중복 영역에 있는 픽셀 간 정합을 통해 불균일 보정 값을 생성하므로 픽셀 간 정합 정확도에 따라 불균일 보정 성능이 좌우된다. 때문에 적외선 영상처럼 정밀 영상 정합 처리가 어려운 경우, 불균일 보정에 대한 성능 보장이 쉽지 않고 영상 정합 처리과정이 복잡하여 FPGA 이용이 불가하므로 실시간 처리 구현 문제가 따른다.

딥러닝 기반 SBNUC는 불균일한 영상과 보정된 영상 세트를 딥러닝을 이용하여 학습시킨 네트워크 모델을 이용하는 방법이다[12-14]. 딥러닝 기반 SBNUC는 학습을 위해 개발하고자 하는 전자광학 시스템의 기본 특성 및 운용환경에서 발생하는 불균일 발생 전후의 영상이 필요하며, 충분한 성능 보장을 위해 복잡한 네트워크 모델 구성 필요 등의 문제점이 있어 현 시점에서 전자광학 시스템의 실시간 처리용으로 적용하기에는 아직 이르다는 문제가 있다.

따라서, 본 논문에서는 현재 개발 중인 항공용 전자광학 시스템의 적외선 카메라 불균일 보정을 위해 실시간 구현이 용이한 통계기반 SBNUC 기법을 기반으로 한 연구결과를 제시하였다. 통계기반 SBNUC에서는 균일한 누적 평균 영상 생성을 위해 카메라 시선을 특정 패턴으로 움직여 다양한 배경의 영상을 획득하는 것이 필수적이다. 이때 카메라 시선 움직임과 항공기 움직임에 의해 물결 형태의 고스트 및 인공 패턴이 발생하게 되는데 이것은 배경 영상이 균질하지 않음에 의해 발생하게 된다. 이러한 문제를 입력 영상 프레임의 엔트로피를 이용하여 균질도가 높은 영상만 이용하도록 하여 해결하였다. 이 경우 기존 SBNUC 대비 더 많은 영상 프레임이 필요하다는 문제가 발생하는데, 이를 해결하기 위해 입력 영상 프레임을 일정 크기의 블록패치로 분할하여 블록단위로 균질도를 평가하는 기법을 제안하였다. 이 방법은 영상 전체는 균질하지 않지만 국부적으로 균질한 영역이 있을 경우에 해당 블록패치를 누적 평균 영상 생성에 활용함으로써 요구되는 영상 프레임 수를 줄일 수 있도록 하였다. 또한, 블록패치 단위로 계산된 블록패치 단위 누적 평균 영상 생성 후, 전체 영역에 대한 누적 평균 영상 합성 시 인접한 블록패치 경계 부분에 픽셀 밝기 불연속면이 발생하는데, 본 논문에서는 윈도우 함수 중 하나인 Bartlett 윈도우를 적용하여 블록패치 간 불연속면이 발생하지 않도록 하는 기법을 제안하였다.

2.1. 검출기 불균일 특성

초점면배열 적외선카메라의 영상 불균일 원인은 검출 영역 변화, 검출 회로 전기적 특성, 암전류 과다 등의 검출기 문제, 비네팅(vignetting), 코사인 음영(cos4 shading) 등의 광학계 문제, 쿨링 온도 오측정 등의 시스템의 불완전한 동작에 의해 발생한다.

그림 1(a)는 초점면 배열 중적외선 검출기의 예로 쿨러와 검출기, 검출신호 처리 보드로 구성된다. 그림 1(b)1(c)는 불균일 보정 전후의 영상출력 예를 보여준다.

Figure 1.Infrared detector and nonuniformity correction (NUC). (a) Focal plane array mid-wave infrared (MWIR) detector, (b) before NUC, and (c) after NUC.

위에서 언급한 바와 같이 영상 불균일은 다양한 원인에 의해 발생하기 때문에 검출기 신호출력은 배경의 복사 에너지에 대해 비선형 특성을 가진다. 또 시간에 따라 응답 특성이 변하는 시변함수 성질을 가지므로 완벽한 불균일 보정을 위해서는 적응적 보정(adaptive correction)이 필요하다. 실제 시스템 구현 시에는 검출기 특성이 일정한 온도 구간에서는 구분적 선형(piecewise linear)이라 가정하여 식 (1)과 같이 모델링하며, 프레임 단위로 불균일을 보정하는 방법으로 시변함수 성질을 보상한다.

xijT=αijϕijT+bij

여기서, aij 및 bij는 i, j번째 검출 소자의 이득 및 오프셋 계수이다. 초점면배열 적외선 검출기의 불균일은 검출 소자의 재질 및 사용 파장 대역에 따라 차이가 있으나 통상 5–15% 정도로 알려져 있으며, 측정방법은 일반적으로 300 K 배경온도에서 식 (2)를 이용한다.

Nonuniformity:U=σxmx

여기서, mx는 평균값이며, sx는 표준편차이다.

2.2. 검출기 불균일 보정

2.2.1. Two-point NUC

두 개의 기준온도원을 이용하는 two-point NUC 기법은 검출기의 불균일뿐만 아니라 광학계의 불균일도 보정 가능한 전역 보정(global correction) 방법이다. Two-point NUC 기법은 실험실에서 두 개의 기준 온도원을 이용하여 온도 별 보정 값을 미리 계산한 후 이 값을 장비 작동 시 현재 배경 온도에 해당하는 보정 계수를 적용하는 lookup table (LUT) 방식을 이용한다.

Two-point NUC 알고리즘의 기본 원리는 다음과 같다.

그림 2는 기준 온도 저온(TC)에서 고온(TH)까지의 구간에서 i, j번째 검출 소자의 출력 신호가 구분적 선형하다고 가정하고 보간한 후 어핀 변환(affine transform)을 통해 기준 검출기(모든 검출 소자의 출력 신호 평균치)의 출력 신호와 같아지도록 균일화하는 개념을 도시한 것이며, xT¯ 는 온도 T에서 모든 검출 소자의 출력 신호 평균치를 의미한다. 특정 온도 T에서 i, j번째 검출 소자 최종 출력 값 yij(T)는 식 (3)과 같이 검출 소자 최초 출력 값 xij(T)에 해당 화소에 해당되는 이득(gain) 값 Gij와 오프셋(offset) 값 Oij를 이용하여 계산한다. 최종 출력 값 yij(T)는 기준 온도에서 측정된 신호 값을 평균화한 xT¯와 동일한 값을 의미한다. 식 (4)는 저온/고온 각각의 기준 온도에서 개별 검출 화소 출력 차이 대비 전체 화소 평균 출력 신호 비율을 이용한 이득 값을 계산하는 식이며, 식 (5)는 저온 기준 평균 화소 출력 값에서 각 화소 별 최초 출력 값에 식 (4)를 통해 도출한 이득 값을 곱한 결과를 빼서 오프셋을 계산하는 식이다.

Figure 2.Two-point nonuniformity correction (NUC) concept.

yijT=GijxijT+Oij=xT¯

Gij=x TC¯x TH¯xijTCxijTH

Oij=xTC¯GijxijTC

여기서 yij(T)는 보정된 신호이고, Gij는 이득 보정계수, Oij는 오프셋 보정계수이다.

2.2.2. 영상기반 불균일(SBNUC) 보정 기법

Two-point NUC는 검출기의 시변 특성을 보정하지 못하기 때문에 잔류 잡음(residual noise)을 유발하는 단점이 있다. 이러한 단점을 보완하기 위해, 시변 특성이 오프셋의 변화에 의해 크게 영향을 받는다는 점에 착안하여 LUT에 저장된 보정계수 중 오프셋을 갱신하는 방법을 적용한다. 즉, 시스템 전원을 인가할 때, 또는 필요시마다 균일한 배경 영상을 획득해 오프셋 계수 갱신 또는 렌즈의 초점을 흐리게 하여 배경 영상을 광학적으로 균일하게 한다. 이후 오프셋 보정 계수를 갱신함으로써 시변 특성 및 비선형 특성을 최소화하는 방법을 영상기반 불균일 보정(SBNUC)이라고 한다.

실험실에서 흑체를 이용하여 two-point NUC를 실행한 후 장비 운용 시간이 증가함에 따라 카메라 내부 전자 보드 등 여러 가지 열원에 의해 배경 온도가 변하게 된다. 이로 인해 영상의 특정 영역이 균일하지 않게 되는 현상이 발생하며, 이것을 해결하기 위한 방법으로 영상 기반 불균일 보정 기법이 사용된다. SBNUC를 위해서는 균일한 평균 영상 계산이 필요하며, 균일한 평균 영상 계산을 위해 카메라의 시선을 특정 패턴으로 구동시켜 다양한 영상을 획득하도록 하는 것이 일반적이다. 이때 최대한 검출기 화소 값이 고르게 분포될 수 있도록 하는 것이 영상 기반 불균일 보정의 성능을 좌우하게 된다.

영상 기반 불균일 보정 방법은 아래 식을 통해 설명할 수 있다. 기본적인 개념은 획득된 영상의 누적 평균을 통해 균일한 영상을 계산한 후, 누적 평균 영상의 중간 값을 빼면 새로운 오프셋 값이 계산된다는 것이다.

Aijn=n1×Aijn1+yijn

Oij=AijMeanAij

Aijn1,Aijn, 는 각각 (i, j)번째 검출기의 n-1번째 및 n번째 출력 신호에 대한 평균 영상 값이며, yij는 현재 입력되는 영상 신호 값이다. Aij는 입력 영상 프레임 전체에 대한 평균 영상 값이며, Oij는 갱신된 오프셋 값으로 앞에서 계산한 평균 영상에서 평균 영상 중간 값을 뺀 값이 된다. 그림 3(a)는 two-point NUC 결과이며 그림 3(b)는 기존의 SBNUC 결과이다. 그림에서 보는 바와 같이 너무 밝거나 어두운 값을 갖는 화소는 누적 평균 영상 계산 시 다른 위치의 화소보다 과도하게 적용이 되어 의도치 않은 고정 패턴 형태의 노이즈, 즉 고스트라고 하는 인공 패턴이 발생하게 되므로 이를 임계치를 이용한 필터링을 통해 제거해야 한다[5,8].

Figure 3.Infrared image and nonuniformity correction (NUC). (a) Two-point NCU result and (b) scene-based NUC (SBNUC) result.

그림 4는 SBNUC 작업 흐름도로서 다수의 영상 프레임을 입력하고 입력된 영상 프레임에 대한 평균 영상 값을 계산한 후 새로운 오프셋 값을 도출하는 것이 주 목적이다.

Figure 4.Traditional scene-based nonuniformity correction (SBNUC) flow diagram.

2.2.3. 기존의 SBNUC 문제점

EO/IR 장비 운용 중 그림 5와 같이 적외선 카메라의 영상 불균일도가 증가하여 불균일 보정이 필요하다고 판단될 때, EO/IR 통제장치를 통해 적외선 카메라에 대한 SBNUC를 수행하게 된다.

Figure 5.Image nonuniformity in operational status.

SBNUC 수행 시 누적 평균 영상 생성은 불균일 보정 성능을 좌우하는 가장 중요한 단계이며 균질한 평균 영상 생성을 위해 최대한 다양한 배경의 영상 획득이 필요하다. 무인기와 같이 비행속도가 느린 플랫폼에 탑재되어 운용되는 시스템인 경우에는 같은 위치의 배경 영상을 불필요하게 얻을 수 있으므로 카메라 시선을 인위적으로 여러 방향으로 움직이게 하여 짧은 시간 동안 다양한 배경 영상을 획득하도록 해야 한다.

그림 6은 일반적인 누적 평균 영상 생성을 위한 카메라 시선(line of sight, LOS) 움직임을 나타내었다. 본 연구 시 활용한 적외선(infrared, IR) 카메라는 동영상 획득 장비로서 SBNUC 수행 시 약 20초(600 프레임) 정도의 영상을 획득 및 사용한다. 누적 평균 영상 생성 용 영상은 많으면 많을수록 좋으나 많은 영상을 획득하기 위해서는 그만큼 긴 시간이 필요하다. 이는 임무 수행의 방해 요소가 될 뿐만 아니라 임무 효율성을 저하시키는 원인이 될 수 있다.

Figure 6.Line of sight (LOS) movement of an airborne infrared (IR) camera for scene-based nonuniformity correction (SBNUC).

그림 6과 같은 카메라 시선의 움직임으로 인해 시선이 움직이는 방향으로 영상 흐려짐(motion blur)이 발생하여 누적 평균 영상 생성 시 흐름 형태의 자국이 남게 된다. 그림 7(a)그림 3(b)에서 나타난 온도가 매우 높거나 낮은 화소 위치의 검출기 출력에 의해 발생하는 고스트 노이즈를 필터링 기법을 통해 제거한 후, 전통적인 SBNUC를 수행한 결과이다. 산 영역에서 흐름 형태의 자국이 발생하는 것을 알 수 있다. 그림 7(b)는 균질도가 높은 안개를 촬영한 영상에 대해 불균일 보정을 수행한 결과로서 흐름 형태의 자국 현상을 좀 더 명확하게 확인할 수 있다. 이러한 형태의 인공 패턴 노이즈는 운용자로 하여금 영상 판독 및 분석 시 잘못된 판단을 하게 할 수 있으며, 영상기반 표적 탐지 및 추적 시 이상 현상을 유발하는 요인이 될 수 있으므로 이러한 왜곡이 발생하지 않도록 하는 새로운 기법이 필요하다.

Figure 7.Scene-based nonuniformity correction (SBNUC) and flow mark artifacts. (a) Result image of SBNUC for normal image and (b) uniform image with hot source filtering.

2.3. 새로 제안하는 SBNUC 기법

2.3.1. 영상 균질도를 이용한 평균영상 생성 기법

앞서 언급한 바와 같이, 카메라 시선 움직임에 의해 누적 평균 영상에 인공 패턴 형태의 자국이 있을 경우 SBNUC 보정 영상에도 그대로 자국이 남아 영상의 왜곡을 초래한다. 그림 8(a)는 SBNUC를 위해 획득한 모든 입력 영상에 대한 누적 평균 영상이며, 그림 8(b)는 균질도가 높은 영상만을 누적한 평균 영상이다. 그림 8(b)는 적외선 카메라 내부의 열적 불균일에 의한 패턴만 있는 반면, 그림 8(a)는 배경 영상에 있는 물체에 의해 흐름 형태의 자국도 같이 나타나는 것을 알 수 있다.

Figure 8.Average image characteristics according to image homogeneity. (a) Average image for whole scene and (b) average image for selected high-level uniform scene.

위 실험을 통해 영상프레임의 균질도가 높으면 균질한 누적 평균 영상이 생성되고 균질도가 낮으면 균질하지 않은 평균 영상이 생성됨을 알 수 있다. 위 실험 결과에 따라 본 논문에서는 입력 영상의 균질도를 판단할 수 있는 균질도 측정 방법을 통해 비교적 균질도가 높은 영상만 SBNUC에 사용함으로써 SBNUC 성능을 높이고자 하였다. 영상의 균질도를 판단하기 위한 방법으로 영상의 엔트로피(entropy)를 활용하였다. 엔트로피가 클수록 영상의 균질도는 작아지며 엔트로피가 작을수록 균질도는 커진다. 식 (8)은 영상의 엔트로피를 계산하는 식이다.

Entropy=plog2log2(p))

p는 영상의 정규화된 히스토그램 카운트 값을 갖는다.

그림 9(a), 9(b)는 엔트로피가 5.5 이하인 영상프레임만 사용했을 때의 누적 평균 영상 및 불균일 보정 결과 영상이다. 엔트로피 임계치 5.5는 실험적인 수치로 값이 작을수록 누적 평균영상의 불균일도가 작아지는 반면 많은 수의 영상 프레임이 필요하며, 값이 클수록 불균일도가 증가하지만 영상 프레임 수를 줄일 수 있기 때문에 실험과정을 통해 적절한 임계치 도출이 필요하다. 실험 결과, 600 프레임 중에서 안개 지역 등 균질도가 높은 100 프레임의 영상을 사용했을 때 인공 패턴 및 고스트 현상 없이 보정 결과가 양호함을 알 수 있다.

Figure 9.Scene-based nonuniformity correction (SBNUC) result using homogeneous image. (a) Average image using low-entropy image frame and (b) SBNUC result by average image in (a).

그러나 여기서의 문제점은 균질도가 높은 영상만을 사용할 경우 균질한 영상 획득이 어려울 때 일정 수준 이상의 균질도를 갖는 영상 획득이 불가하여 충분한 영상 획득을 위해 많은 시간이 필요하다는 것이다. 이러한 문제 해결을 위해 그림 10과 같이 영상을 일정 크기의 블록패치로 분할하여 국부적인 영역에 대한 영상 엔트로피(local entropy) 기법을 사용함으로써 영상 프레임 전체는 균질도가 낮아 사용이 불가하더라도 부분적으로 균질도가 높을 경우 누적 평균 영상 생성에 사용함으로써 소요 시간 측면에서 SBNUC의 효율성을 높이고자 하였다.

Figure 10.Block-patch-based scene-based nonuniformity correction (SBNUC) flow diagram.

2.3.2. 국부 영역 균질도를 고려한 평균 영상 생성기법

앞서 언급한 바와 같이 영상의 균질도를 이용한 누적 평균영상 생성기법은 영상의 전체 영역이 균질할 경우에는 매우 효과적으로 불균일을 보정할 수 있는 장점이 있다. 하지만 균질한 영상 획득이 어려운 환경에서는 효용성을 보장하지 못할 수 있다. 따라서 본 논문에서는 입력 영상에서 국부 영역에 대한 균질도를 이용함으로써 부분적으로 균질한 영역이 있을 경우 누적 평균영상 생성에 사용하도록 하여 SBNUC 효율을 높이는 기법을 제안하고자 한다.

본 논문에서 제안하는 기법의 작업 흐름도는 그림 10과 같다. 먼저 입력 영상에 대해 실험실에서 획득한 보정용 테이블(이득, 오프셋)을 이용하여 two-point 기반 NUC를 수행한 후, 1차 보정된 영상을 일정한 크기의 블록패치로 나누고, 패치 단위로 엔트로피를 계산하여 균질도가 높은 영상 패치를 누적 평균 영상 생성에 적용한 뒤, 최종 갱신된 오프셋 값을 계산하는 순서로 이루어진다.

그림 11은 입력 영상을 일정한 크기의 블록패치 크기로 나누는 것과 블록패치 기반 엔트로피를 이용한 SBNUC 결과를 나타낸다. 그림 11(b)11(c)는 영상프레임 120장을 사용한 결과로서 전통적인 SBNUC에서 발생하는 흐름 형태의 인공 패턴 노이즈는 발생하지 않았으나, 그림에서 보는 바와 같이 블록 형태의 노이즈가 발생함을 알 수 있다. 이것은 블록패치 단위 누적 평균 영상 생성 시 인접한 패치 간 밝기 값의 차이로 인한 것으로 판단된다.

Figure 11.Side effect of scene-based nonuniformity correction (SBNUC) using block-patch entropy. (a) Divide into block-patch, (b) average image, and (c) result image by block-patch-based SBNUC.

2.3.3. 블록 형태 인공 패턴 노이즈 제거 기법

블록패치 단위 영상 균질도를 이용한 누적 평균 생성 기법은 입력 영상의 부분적으로 균질도가 높은 영역을 사용할 수 있으므로 SBNUC 수행 시간을 현저하게 줄일 수 있는 장점은 있으나, 그림 11에서 보는 바와 같이 블록패치 간 인공 패턴이 발생하게 되어 블록 형태의 영상 왜곡이 발생한다. 이는 누적 평균 계산 시 국부적인 밝기 값 차이에 따라 인접 블록패치 간 밝기 값 불연속으로 인해 인공 패턴이 발생하는 현상이다.

이러한 경계 면에 발생하는 불연속면을 제거하기 위해 윈도우 함수(window function) 중 아래 형태를 갖는 바틀릿 윈도우(Bartlett window)를 사용하였다. 바틀릿 윈도우의 특징은 겹쳐지는 영역에 있는 픽셀 값을 윈도우 필터를 적용 후 합했을 때 1의 값이 나오는 것이다. 즉, 패치의 가장자리로 갈수록 가중치 값이 낮아지고 패치 중심에 가까울수록 가중치를 높게 적용함으로써 패치 경계 면에 발생하는 인공 패턴을 없앨 수 있는 방법이다. 식 (9)는 바틀릿 윈도우 함수로서 N은 패치 크기이며, n은 현재 처리되는 패치 위치 값이다. 전체 패치의 중간에서 가장 높은 가중치인 1의 값을 가지며 패치 가장자리 위치로 갈수록 가중치 값이 낮아진다.

그림 12는 윈도우 크기가 50인 바틀릿 윈도우 함수를 도식화한 것이다. 그림 13은 두 개의 인접한 패치에 대해 바틀릿 윈도우를 적용하는 개념도를 나타내었다.

Figure 12.Bartlett window.
Figure 13.Operation concept using window function.

wn=2nN,0n2nN22nN,N2nN

본 논문에서 제안하는 바틀릿 윈도우 함수를 적용한 최종 작업 흐름도는 그림 14와 같이 그림 10의 “Combine patch-block average image”를 “Combine patch-block average image by Bartlett Window”로 대체한 것과 동일하다.

Figure 14.Applying Bartlett window function.

제안하는 알고리즘의 유효성 검증을 위한 실험 영상 획득 장비 및 획득 환경을 그림 15에 나타내었다. 실험 장비는 무인기 탑재용 EO/IR 장비로서 중적외선 대역의 초점면 배열 검출기를 사용하는 적외선 카메라로서 HD (1280 × 1024)급 영상 30 fps를 지원하는 동영상 촬영용 카메라이다.

Figure 15.IR camera used to acquire experimental images.

위 장비를 이용하여 야외에서 영상을 획득하였으며 획득한 실험 영상 세트는 HD (1280 × 1024), 약 20초 분량(600프레임)으로 구성되어 있다. 이 중 335장은 균질도가 낮은 영상이며, 나머지는 안개 등 비교적 균질도가 높은 영상으로 구성되어 있다. 획득한 영상 프레임의 예를 그림 16에서 볼 수 있다.

Figure 16.Image frame samples for scene-based nonuniformity correction (SBNUC).

알고리즘의 성능 평가를 위해 균질도가 높은 영상을 제외한 335장의 비균질 영상만 사용하였다. 누적 평균 영상의 픽셀에 대한 표준편차 값이 적으면 적을수록 양호한 불균일 보정 결과를 얻을 수 있기 때문에 불균일 보정 성능은 주로 표준편차를 이용하여 비교한다. 기존에는 전체 영상에 대한 단순한 표준편차를 이용하였으나 이는 본 연구 목표인 흐름 형태의 인공 패턴에 대한 영향성을 반영하지 못하기 때문에, 표준편차 필터 처리를 통해 일정 크기 이상의 국부적인 인공 패턴에 대한 영향성을 고려하도록 하였다. 본 논문에서는 인공패턴의 크기를 고려하여 21 × 21 필터를 적용하였다.

그림 17은 전통적인 SBNUC와 본 논문에서 제안하는 방법에 의해 생성한 누적 평균 영상에 대한 표준편차를 비교한 것이다. 그림 17에서 보는 바와 같이 제안하는 알고리즘의 표준편차 값이 100 번째 부근에서 급격하게 떨어지는 이유는 100 번째 영상 프레임 입력시점에서 누적 평균 영상 패치가 모두 채워졌기 때문이다.

Figure 17.Standard deviation for accumulated images by the traditional and proposed method.

그림 18–20은 전통적인 SBNUC와 제안된 SBNUC에 의한 누적 평균 영상에 대한 표준편차를 비교한 그림으로서 각각 120, 200, 300 영상프레임을 사용했을 때의 결과를 비교한 것이다. 제안된 기법에 의한 누적 평균 영상의 표준편차가 전통적인 방법에 비해 향상되었음을 수치적으로 확인할 수 있다.

Figure 18.Standard deviation (STD) for accumulated images by (a) the traditional and (b) proposed method using 120 image frames.

그림 21–26 중에서 그림 21, 23, 25는 기존의 전통적인 SBNUC에 의한 결과, 그림 22, 24, 26은 본 논문에서 제안한 SBNUC에 의한 결과로서 각각 120, 200, 300 프레임의 입력 영상을 사용했을 때의 누적 평균 영상과 이를 보정한 결과 영상이다. 결과 영상을 육안 확인뿐만 아니라 표준편차를 같이 비교함으로써 불균일 보정 성능을 좀 더 객관적으로 판단할 수 있게 하였다.

위 실험 결과를 통해 누적 평균 영상의 표준편차를 이용한 성능 비교뿐만 아니라 SBNUC 보정 결과 영상에 대한 육안에 의한 비교에서도 기존 알고리즘 대비 성능이 향상되었음을 알 수 있다. 또한 새로 제안된 기법은 120 프레임(4초)의 적은 수의 영상프레임으로 양호한 누적 평균 영상 생성 및 불균일 보정결과를 보임으로써 실제 임무 수행 시 짧은 시간에 SBNUC가 가능하여 시스템 운용적인 측면에서도 편리성 및 효율성을 향상시킬 수 있는 큰 이점이 있다.

감시정찰용 장비에서 사용하는 적외선카메라는 중적외선(MWIR) 대역의 초점면 배열 검출기를 주로 사용한다. 그러나 적외선 카메라 검출기는 구조가 복잡하고 검출 재질 특성상 대조비가 낮으며, 배경 잡음이 높고, 검출 소자 출력의 불균일도가 매우 높아서 이를 영상신호처리를 통해 필수적으로 보정해야 한다.

적외선 검출기 출력 신호 불균일 보정은 일반적으로 두 단계에 걸쳐 수행된다. 첫 번째 단계는 실험실에서 균일한 열을 방사하는 흑체(black body)를 이용하여 불균일 보정 파라메터를 생성하는 방법이며, 두 번째 단계는 장비 운용 중에 카메라 내부 전자보드 등 여러 가지 열원에 의해 변하는 배경 온도로 인해 발생하는 불균일을 보정하는 것이다. 본 논문에서는 두 번째 단계의 불균일을 보정하기 위해 먼저 입력 영상을 일정한 크기의 블록패치로 분할한 후, 각 블록패치 별 영상의 누적 평균을 계산하였다. 이때 누적 평균 계산 시 임계치를 적용한 필터를 적용하여 주위 배경보다 과도하게 높거나 낮은 신호를 제거하여 평균 영상 자국이 남지 않도록 하였다. 또한, 블록패치 별 영상의 엔트로피(entropy)를 계산하여 엔트로피 값이 임계치보다 높을 경우 이를 제외시키고, 누적 평균영상 생성 시 임계치 범위 내에 있는 블록패치만 사용하도록 하였다. 누적 평균 계산이 완료되면 블록패치 형태의 누적 평균 영상을 바틀릿 윈도우(Bartlett window) 함수에 적용하여 하나의 누적 평균 영상 생성 시 패치 경계에 발생하는 블록 형태의 인공 패턴이 발생하지 않도록 하였다. 실험 결과 기존의 전통적인 SBNUC에서 발생한 흐름 형태의 인공 패턴의 노이즈가 새로 제안된 기법에서는 나타나지 않았으며 오프셋 생성을 위한 입력 영상 수가 적더라도 균질한 누적 평균 영상 생성이 가능함을 확인함으로써 본 논문에서 제안한 기법의 우수성을 확인하였다.

  1. M. Schulz and L. Caldwell, “Nonuniformity correction and correctability of infrared focal plane arrays,” Infrared Phys. Technol. 36, 763-777 (1995).
    CrossRef
  2. W. Isoz, T. Svensson, and I. Renhorn, “Nonuniformity correction of infrared focal plane arrays,” Proc. SPIE 5783, 949-960 (2005).
    CrossRef
  3. M. Broekaert and B. N. Payrat, “Nonlinearity and nonuniformity corrections for the IRIS family of IRCCD thermal imagers,” Proc. SPIE 2269, 507-523 (1994).
    CrossRef
  4. D. L. Perry and E. L. Dereniak, “Linear theory of nonuniformity correction in infrared staring sensors,” Opt. Eng. 32, 1854-1859 (1993).
    CrossRef
  5. H.-J. Hyun and B.-I. Choi, “A improved scene based non-uniformity correction algorithm for infrared camera,” J. Korea Soc. Comput. Inform. 23, 67-74 (2018).
  6. J. G. Harris and Y. M. Chiang, “Nonuniformity correction of infrared image sequences using the constant-statistics constraint,” IEEE Trans. Image Process. 8, 1148-1151 (1999).
    Pubmed CrossRef
  7. S. Ding, D. Wang, and T. Zhang, “A median-ratio scene-based non-uniformity correction methed for airborne infrared point target detection system,” Sensors 20, 3273 (2020).
    Pubmed KoreaMed CrossRef
  8. J. Zeng, X. Sui, and H. Gao, “Adaptive image-registration- based nonuniformity correction algorithm with ghost artifacts eliminating for infrared focal plane arrays,” IEEE Photonics J. 7, 6803016 (2015).
    CrossRef
  9. C. Zuo, Q. Chen, G. Gu, and X. Sui, “Scene-based nonuniformity correction algorithm based on interframe registration,” J. Opt. Soc. Am. A 28, 1164-1176 (2011).
    Pubmed CrossRef
  10. A. Boutemedjet, C. Deng, and B. Zhao, “Robust approach for nonuniformity correction in infrared focal plane array,” Sensors 16, 1890 (2016).
    Pubmed KoreaMed CrossRef
  11. Y.-H. Hong, K.-J. Lee, and H.-J. Kim, “Scene-based nonuniformity correction complemented by block reweighting and global offset initialization,” J. Korea Soc. Comput. Inform. 22, 15-23 (2017).
  12. Y. Yu, L. Li, H. Feng, Z. Xu, Q. Li, Y. Chen, and H. Hu, “Adaptive neural network non-uniformity correction algorithm for infrared focal plane array based on bi-exponential edge-preserving smoother,” Proc. SPIE 10462, 1046215 (2017).
  13. D. A. Scribner, K. A. Sarkady, J. T. Caufield, M. R. Kruer, G. Katz, C. J. Gridley, and C. Herman, “Nonuniformity correction for staring IR focal plane arrays using scene-based techniques,” Proc. SPIE 1308, 224-233 (1990).
    CrossRef
  14. J. Guan, R. Lai, A. Xiong, Z. Liu, and L. Gu, “Fixed pattern noise reduction for infrared images based on cascade residual attention CNN,” Neurocomputing 377, 301-313 (2019).
    CrossRef

Article

연구논문(Research Paper)

2022; 33(4): 146-158

Published online August 25, 2022 https://doi.org/10.3807/KJOP.2022.33.4.146

Copyright © Optical Society of Korea.

A Study of the Scene-based NUC Using Image-patch Homogeneity for an Airborne Focal-plane-array IR Camera

Myung-Ho Kang1,2, Eun-Suk Yoon1, Ka-Young Park1, Yeong Jun Koh2

1Agency for Defense Development, Daejeon 34060, Korea
2Department of Computer Engineering, Chungnam National University, Daejeon 34134, Korea

Correspondence to:yjkoh@cnu.ac.kr, ORCID: 0000-0003-1805-2960

Received: April 7, 2022; Revised: June 7, 2022; Accepted: July 19, 2022

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Abstract

The detector of a focal-plane-array mid-wave infrared (MWIR) camera has different response characteristics for each detector pixel, resulting in nonuniformity between detector pixels. In addition, image nonuniformity occurs due to heat generation inside the camera during operation. To solve this problem, in the process of camera manufacturing it is common to use a gain-and-offset table generated from a blackbody to correct the difference between detector pixels. One method of correcting nonuniformity due to internal heat generation during the operation of the camera generates a new offset value based on input frame images. This paper proposes a technique for dividing an input image into block image patches and generating offset values using only homogeneous patches, to correct the nonuniformity that occurs during camera operation. The proposed technique may not only generate a nonuniformity-correction offset that can prevent motion marks due to camera-gaze movement of the acquired image, but may also improve nonuniformity-correction performance with a small number of input images. Experimental results show that distortion such as flow marks does not occur, and good correction performance can be confirmed even with half the number of input images or fewer, compared to the traditional method.

Keywords: EO/IR, Image homegeneity, MWIR focal plane array detector, SBNUC

I. 서 론

감시정찰용 항공 탑재 EO/IR 영상장비는 관심 지역에 대한 주간 및 야간 영상을 획득하는 장비로서 전투기, 무인항공기, 헬기 등 항공 플랫폼에 탑재되어 운용된다. 감시정찰용 영상 획득 장비의 가장 큰 관심 사항은 얼마나 멀리에서, 얼마나 선명한 영상을 획득할 수 있는가이다. 감시정찰 장비에 사용되는 EO/IR 임무장비는 운용 목적에 따라 표적에 대한 고해상도의 정지영상 및 동영상 정보를 제공한다. 이러한 정지영상 및 동영상을 획득할 때 영상의 화질을 최상의 상태로 만들기 위해 여러 가지 과정을 거치게 되는데 이 과정으로는 입사되는 광량을 조절하는 노출 조절, 검출기의 불균일성을 보정하는 nonuniformity correction (NUC), 표적의 선명도를 높이는 초점 조절 등이 있다. 감시정찰용으로 사용하는 적외선카메라는 주로 중적외선(mid-wave infrared, MWIR) 대역의 검출기를 주로 사용한다. 적외선 카메라용 검출기는 주간 CCD 카메라에서 사용하는 가시광 영역의 실리콘 검출기와는 달리 검출기 구조가 복잡하고 검출 재질 특성 상 낮은 대조비, 배경 잡음이 높고 검출소자 출력 간 불균일성이 매우 높아서 이러한 현상을 영상신호처리를 통해 보정하는 불균일 보정 과정이 필수적으로 수반된다. 특히, 검출 소자 개개의 NETD 성능은 수십 mK 수준으로 낮아졌으나 현재의 기술 수준으로는 소자 간의 응답 특성을 완전하게 일치시킬 수 없기 때문에 이에 따른 불균일 특성이 영상에서 고정패턴잡음(fixed pattern noise, FPN)으로 나타나게 되어 적외선 카메라의 minimum resolvable temperature difference (MRTD)를 극도로 악화시키는 원인이 된다. 따라서 중적외선 검출기를 사용하는 적외선 카메라에서는 검출소자 간의 응답 특성을 완벽하게 일치시키지 않는 한 불균일 보정은 시스템의 성능을 좌우하는 핵심 기능이 된다.

적외선 검출기 출력 신호 불균일 보정은 일반적으로 2단계에 걸쳐 수행된다. 첫 번째 단계에서는 일반적으로 실험실에서 균일한 열을 방사하는 흑체(black body)를 이용하여 불균일 보정 파라메터인 검출기 픽셀별 이득(gain)과 오프셋(offset)을 생성하는 2점 기반 불균일 보정(two-point NUC)을 수행한다[1-4]. Two-point NUC에 의해 생성된 불균일 보정용 테이블 값은 장비 전원 인가 및 시스템 준비과정 중에 적용이 됨으로써 불균일 보정이 이루어진다. 두 번째 단계의 불균일 보정은 장비 운용 중에 카메라 내부 전자 보드 등 여러 가지 열원에 의해 배경 온도가 변하여 발생하는 불균일을 보정하는 것으로서 주로 영상 기반 불균일 보정(scene-based NUC, SBNUC) 기법을 사용한다. SBNUC는 크게 통계기반(statistics based) SBNUC와 정합기반(registration based) SBNUC, 딥러닝기반 SBNUC로 구분할 수 있다.

통계기반 SBNUC는 여러 개의 입력 영상에 대한 누적 평균 영상으로 오프셋 값을 생성하는 기법으로서 다양한 배경을 갖는 영상을 누적하고 평균화할 경우 모든 픽셀에 해당되는 밝기 값이 균일해지는 원리를 이용한 것이다[5-7]. 통계기반 SBNUC는 알고리즘이 비교적 간단하여 FPGA를 이용한 실시간 구현에 용이하므로 감시정찰용 장비에 주로 사용하고 있는 방법이지만, 누적 평균 영상 생성 시 균질한 평균 영상 생성을 위해 많은 수의 프레임 영상이 필요하며 고스트 등 인공 패턴의 노이즈가 발생할 가능성이 높은 것이 단점이다.

정합기반 SBNUC는 동일한 위치의 검출기 출력 값은 동일하다는 원리를 이용하여 프레임 간 움직임 정도를 추정하는 방법이다[8-11]. 이 방법은 중복 영역에 있는 픽셀 간 정합을 통해 불균일 보정 값을 생성하므로 픽셀 간 정합 정확도에 따라 불균일 보정 성능이 좌우된다. 때문에 적외선 영상처럼 정밀 영상 정합 처리가 어려운 경우, 불균일 보정에 대한 성능 보장이 쉽지 않고 영상 정합 처리과정이 복잡하여 FPGA 이용이 불가하므로 실시간 처리 구현 문제가 따른다.

딥러닝 기반 SBNUC는 불균일한 영상과 보정된 영상 세트를 딥러닝을 이용하여 학습시킨 네트워크 모델을 이용하는 방법이다[12-14]. 딥러닝 기반 SBNUC는 학습을 위해 개발하고자 하는 전자광학 시스템의 기본 특성 및 운용환경에서 발생하는 불균일 발생 전후의 영상이 필요하며, 충분한 성능 보장을 위해 복잡한 네트워크 모델 구성 필요 등의 문제점이 있어 현 시점에서 전자광학 시스템의 실시간 처리용으로 적용하기에는 아직 이르다는 문제가 있다.

따라서, 본 논문에서는 현재 개발 중인 항공용 전자광학 시스템의 적외선 카메라 불균일 보정을 위해 실시간 구현이 용이한 통계기반 SBNUC 기법을 기반으로 한 연구결과를 제시하였다. 통계기반 SBNUC에서는 균일한 누적 평균 영상 생성을 위해 카메라 시선을 특정 패턴으로 움직여 다양한 배경의 영상을 획득하는 것이 필수적이다. 이때 카메라 시선 움직임과 항공기 움직임에 의해 물결 형태의 고스트 및 인공 패턴이 발생하게 되는데 이것은 배경 영상이 균질하지 않음에 의해 발생하게 된다. 이러한 문제를 입력 영상 프레임의 엔트로피를 이용하여 균질도가 높은 영상만 이용하도록 하여 해결하였다. 이 경우 기존 SBNUC 대비 더 많은 영상 프레임이 필요하다는 문제가 발생하는데, 이를 해결하기 위해 입력 영상 프레임을 일정 크기의 블록패치로 분할하여 블록단위로 균질도를 평가하는 기법을 제안하였다. 이 방법은 영상 전체는 균질하지 않지만 국부적으로 균질한 영역이 있을 경우에 해당 블록패치를 누적 평균 영상 생성에 활용함으로써 요구되는 영상 프레임 수를 줄일 수 있도록 하였다. 또한, 블록패치 단위로 계산된 블록패치 단위 누적 평균 영상 생성 후, 전체 영역에 대한 누적 평균 영상 합성 시 인접한 블록패치 경계 부분에 픽셀 밝기 불연속면이 발생하는데, 본 논문에서는 윈도우 함수 중 하나인 Bartlett 윈도우를 적용하여 블록패치 간 불연속면이 발생하지 않도록 하는 기법을 제안하였다.

II. 본 론

2.1. 검출기 불균일 특성

초점면배열 적외선카메라의 영상 불균일 원인은 검출 영역 변화, 검출 회로 전기적 특성, 암전류 과다 등의 검출기 문제, 비네팅(vignetting), 코사인 음영(cos4 shading) 등의 광학계 문제, 쿨링 온도 오측정 등의 시스템의 불완전한 동작에 의해 발생한다.

그림 1(a)는 초점면 배열 중적외선 검출기의 예로 쿨러와 검출기, 검출신호 처리 보드로 구성된다. 그림 1(b)1(c)는 불균일 보정 전후의 영상출력 예를 보여준다.

Figure 1. Infrared detector and nonuniformity correction (NUC). (a) Focal plane array mid-wave infrared (MWIR) detector, (b) before NUC, and (c) after NUC.

위에서 언급한 바와 같이 영상 불균일은 다양한 원인에 의해 발생하기 때문에 검출기 신호출력은 배경의 복사 에너지에 대해 비선형 특성을 가진다. 또 시간에 따라 응답 특성이 변하는 시변함수 성질을 가지므로 완벽한 불균일 보정을 위해서는 적응적 보정(adaptive correction)이 필요하다. 실제 시스템 구현 시에는 검출기 특성이 일정한 온도 구간에서는 구분적 선형(piecewise linear)이라 가정하여 식 (1)과 같이 모델링하며, 프레임 단위로 불균일을 보정하는 방법으로 시변함수 성질을 보상한다.

xijT=αijϕijT+bij

여기서, aij 및 bij는 i, j번째 검출 소자의 이득 및 오프셋 계수이다. 초점면배열 적외선 검출기의 불균일은 검출 소자의 재질 및 사용 파장 대역에 따라 차이가 있으나 통상 5–15% 정도로 알려져 있으며, 측정방법은 일반적으로 300 K 배경온도에서 식 (2)를 이용한다.

Nonuniformity:U=σxmx

여기서, mx는 평균값이며, sx는 표준편차이다.

2.2. 검출기 불균일 보정

2.2.1. Two-point NUC

두 개의 기준온도원을 이용하는 two-point NUC 기법은 검출기의 불균일뿐만 아니라 광학계의 불균일도 보정 가능한 전역 보정(global correction) 방법이다. Two-point NUC 기법은 실험실에서 두 개의 기준 온도원을 이용하여 온도 별 보정 값을 미리 계산한 후 이 값을 장비 작동 시 현재 배경 온도에 해당하는 보정 계수를 적용하는 lookup table (LUT) 방식을 이용한다.

Two-point NUC 알고리즘의 기본 원리는 다음과 같다.

그림 2는 기준 온도 저온(TC)에서 고온(TH)까지의 구간에서 i, j번째 검출 소자의 출력 신호가 구분적 선형하다고 가정하고 보간한 후 어핀 변환(affine transform)을 통해 기준 검출기(모든 검출 소자의 출력 신호 평균치)의 출력 신호와 같아지도록 균일화하는 개념을 도시한 것이며, xT¯ 는 온도 T에서 모든 검출 소자의 출력 신호 평균치를 의미한다. 특정 온도 T에서 i, j번째 검출 소자 최종 출력 값 yij(T)는 식 (3)과 같이 검출 소자 최초 출력 값 xij(T)에 해당 화소에 해당되는 이득(gain) 값 Gij와 오프셋(offset) 값 Oij를 이용하여 계산한다. 최종 출력 값 yij(T)는 기준 온도에서 측정된 신호 값을 평균화한 xT¯와 동일한 값을 의미한다. 식 (4)는 저온/고온 각각의 기준 온도에서 개별 검출 화소 출력 차이 대비 전체 화소 평균 출력 신호 비율을 이용한 이득 값을 계산하는 식이며, 식 (5)는 저온 기준 평균 화소 출력 값에서 각 화소 별 최초 출력 값에 식 (4)를 통해 도출한 이득 값을 곱한 결과를 빼서 오프셋을 계산하는 식이다.

Figure 2. Two-point nonuniformity correction (NUC) concept.

yijT=GijxijT+Oij=xT¯

Gij=x TC¯x TH¯xijTCxijTH

Oij=xTC¯GijxijTC

여기서 yij(T)는 보정된 신호이고, Gij는 이득 보정계수, Oij는 오프셋 보정계수이다.

2.2.2. 영상기반 불균일(SBNUC) 보정 기법

Two-point NUC는 검출기의 시변 특성을 보정하지 못하기 때문에 잔류 잡음(residual noise)을 유발하는 단점이 있다. 이러한 단점을 보완하기 위해, 시변 특성이 오프셋의 변화에 의해 크게 영향을 받는다는 점에 착안하여 LUT에 저장된 보정계수 중 오프셋을 갱신하는 방법을 적용한다. 즉, 시스템 전원을 인가할 때, 또는 필요시마다 균일한 배경 영상을 획득해 오프셋 계수 갱신 또는 렌즈의 초점을 흐리게 하여 배경 영상을 광학적으로 균일하게 한다. 이후 오프셋 보정 계수를 갱신함으로써 시변 특성 및 비선형 특성을 최소화하는 방법을 영상기반 불균일 보정(SBNUC)이라고 한다.

실험실에서 흑체를 이용하여 two-point NUC를 실행한 후 장비 운용 시간이 증가함에 따라 카메라 내부 전자 보드 등 여러 가지 열원에 의해 배경 온도가 변하게 된다. 이로 인해 영상의 특정 영역이 균일하지 않게 되는 현상이 발생하며, 이것을 해결하기 위한 방법으로 영상 기반 불균일 보정 기법이 사용된다. SBNUC를 위해서는 균일한 평균 영상 계산이 필요하며, 균일한 평균 영상 계산을 위해 카메라의 시선을 특정 패턴으로 구동시켜 다양한 영상을 획득하도록 하는 것이 일반적이다. 이때 최대한 검출기 화소 값이 고르게 분포될 수 있도록 하는 것이 영상 기반 불균일 보정의 성능을 좌우하게 된다.

영상 기반 불균일 보정 방법은 아래 식을 통해 설명할 수 있다. 기본적인 개념은 획득된 영상의 누적 평균을 통해 균일한 영상을 계산한 후, 누적 평균 영상의 중간 값을 빼면 새로운 오프셋 값이 계산된다는 것이다.

Aijn=n1×Aijn1+yijn

Oij=AijMeanAij

Aijn1,Aijn, 는 각각 (i, j)번째 검출기의 n-1번째 및 n번째 출력 신호에 대한 평균 영상 값이며, yij는 현재 입력되는 영상 신호 값이다. Aij는 입력 영상 프레임 전체에 대한 평균 영상 값이며, Oij는 갱신된 오프셋 값으로 앞에서 계산한 평균 영상에서 평균 영상 중간 값을 뺀 값이 된다. 그림 3(a)는 two-point NUC 결과이며 그림 3(b)는 기존의 SBNUC 결과이다. 그림에서 보는 바와 같이 너무 밝거나 어두운 값을 갖는 화소는 누적 평균 영상 계산 시 다른 위치의 화소보다 과도하게 적용이 되어 의도치 않은 고정 패턴 형태의 노이즈, 즉 고스트라고 하는 인공 패턴이 발생하게 되므로 이를 임계치를 이용한 필터링을 통해 제거해야 한다[5,8].

Figure 3. Infrared image and nonuniformity correction (NUC). (a) Two-point NCU result and (b) scene-based NUC (SBNUC) result.

그림 4는 SBNUC 작업 흐름도로서 다수의 영상 프레임을 입력하고 입력된 영상 프레임에 대한 평균 영상 값을 계산한 후 새로운 오프셋 값을 도출하는 것이 주 목적이다.

Figure 4. Traditional scene-based nonuniformity correction (SBNUC) flow diagram.

2.2.3. 기존의 SBNUC 문제점

EO/IR 장비 운용 중 그림 5와 같이 적외선 카메라의 영상 불균일도가 증가하여 불균일 보정이 필요하다고 판단될 때, EO/IR 통제장치를 통해 적외선 카메라에 대한 SBNUC를 수행하게 된다.

Figure 5. Image nonuniformity in operational status.

SBNUC 수행 시 누적 평균 영상 생성은 불균일 보정 성능을 좌우하는 가장 중요한 단계이며 균질한 평균 영상 생성을 위해 최대한 다양한 배경의 영상 획득이 필요하다. 무인기와 같이 비행속도가 느린 플랫폼에 탑재되어 운용되는 시스템인 경우에는 같은 위치의 배경 영상을 불필요하게 얻을 수 있으므로 카메라 시선을 인위적으로 여러 방향으로 움직이게 하여 짧은 시간 동안 다양한 배경 영상을 획득하도록 해야 한다.

그림 6은 일반적인 누적 평균 영상 생성을 위한 카메라 시선(line of sight, LOS) 움직임을 나타내었다. 본 연구 시 활용한 적외선(infrared, IR) 카메라는 동영상 획득 장비로서 SBNUC 수행 시 약 20초(600 프레임) 정도의 영상을 획득 및 사용한다. 누적 평균 영상 생성 용 영상은 많으면 많을수록 좋으나 많은 영상을 획득하기 위해서는 그만큼 긴 시간이 필요하다. 이는 임무 수행의 방해 요소가 될 뿐만 아니라 임무 효율성을 저하시키는 원인이 될 수 있다.

Figure 6. Line of sight (LOS) movement of an airborne infrared (IR) camera for scene-based nonuniformity correction (SBNUC).

그림 6과 같은 카메라 시선의 움직임으로 인해 시선이 움직이는 방향으로 영상 흐려짐(motion blur)이 발생하여 누적 평균 영상 생성 시 흐름 형태의 자국이 남게 된다. 그림 7(a)그림 3(b)에서 나타난 온도가 매우 높거나 낮은 화소 위치의 검출기 출력에 의해 발생하는 고스트 노이즈를 필터링 기법을 통해 제거한 후, 전통적인 SBNUC를 수행한 결과이다. 산 영역에서 흐름 형태의 자국이 발생하는 것을 알 수 있다. 그림 7(b)는 균질도가 높은 안개를 촬영한 영상에 대해 불균일 보정을 수행한 결과로서 흐름 형태의 자국 현상을 좀 더 명확하게 확인할 수 있다. 이러한 형태의 인공 패턴 노이즈는 운용자로 하여금 영상 판독 및 분석 시 잘못된 판단을 하게 할 수 있으며, 영상기반 표적 탐지 및 추적 시 이상 현상을 유발하는 요인이 될 수 있으므로 이러한 왜곡이 발생하지 않도록 하는 새로운 기법이 필요하다.

Figure 7. Scene-based nonuniformity correction (SBNUC) and flow mark artifacts. (a) Result image of SBNUC for normal image and (b) uniform image with hot source filtering.

2.3. 새로 제안하는 SBNUC 기법

2.3.1. 영상 균질도를 이용한 평균영상 생성 기법

앞서 언급한 바와 같이, 카메라 시선 움직임에 의해 누적 평균 영상에 인공 패턴 형태의 자국이 있을 경우 SBNUC 보정 영상에도 그대로 자국이 남아 영상의 왜곡을 초래한다. 그림 8(a)는 SBNUC를 위해 획득한 모든 입력 영상에 대한 누적 평균 영상이며, 그림 8(b)는 균질도가 높은 영상만을 누적한 평균 영상이다. 그림 8(b)는 적외선 카메라 내부의 열적 불균일에 의한 패턴만 있는 반면, 그림 8(a)는 배경 영상에 있는 물체에 의해 흐름 형태의 자국도 같이 나타나는 것을 알 수 있다.

Figure 8. Average image characteristics according to image homogeneity. (a) Average image for whole scene and (b) average image for selected high-level uniform scene.

위 실험을 통해 영상프레임의 균질도가 높으면 균질한 누적 평균 영상이 생성되고 균질도가 낮으면 균질하지 않은 평균 영상이 생성됨을 알 수 있다. 위 실험 결과에 따라 본 논문에서는 입력 영상의 균질도를 판단할 수 있는 균질도 측정 방법을 통해 비교적 균질도가 높은 영상만 SBNUC에 사용함으로써 SBNUC 성능을 높이고자 하였다. 영상의 균질도를 판단하기 위한 방법으로 영상의 엔트로피(entropy)를 활용하였다. 엔트로피가 클수록 영상의 균질도는 작아지며 엔트로피가 작을수록 균질도는 커진다. 식 (8)은 영상의 엔트로피를 계산하는 식이다.

Entropy=plog2log2(p))

p는 영상의 정규화된 히스토그램 카운트 값을 갖는다.

그림 9(a), 9(b)는 엔트로피가 5.5 이하인 영상프레임만 사용했을 때의 누적 평균 영상 및 불균일 보정 결과 영상이다. 엔트로피 임계치 5.5는 실험적인 수치로 값이 작을수록 누적 평균영상의 불균일도가 작아지는 반면 많은 수의 영상 프레임이 필요하며, 값이 클수록 불균일도가 증가하지만 영상 프레임 수를 줄일 수 있기 때문에 실험과정을 통해 적절한 임계치 도출이 필요하다. 실험 결과, 600 프레임 중에서 안개 지역 등 균질도가 높은 100 프레임의 영상을 사용했을 때 인공 패턴 및 고스트 현상 없이 보정 결과가 양호함을 알 수 있다.

Figure 9. Scene-based nonuniformity correction (SBNUC) result using homogeneous image. (a) Average image using low-entropy image frame and (b) SBNUC result by average image in (a).

그러나 여기서의 문제점은 균질도가 높은 영상만을 사용할 경우 균질한 영상 획득이 어려울 때 일정 수준 이상의 균질도를 갖는 영상 획득이 불가하여 충분한 영상 획득을 위해 많은 시간이 필요하다는 것이다. 이러한 문제 해결을 위해 그림 10과 같이 영상을 일정 크기의 블록패치로 분할하여 국부적인 영역에 대한 영상 엔트로피(local entropy) 기법을 사용함으로써 영상 프레임 전체는 균질도가 낮아 사용이 불가하더라도 부분적으로 균질도가 높을 경우 누적 평균 영상 생성에 사용함으로써 소요 시간 측면에서 SBNUC의 효율성을 높이고자 하였다.

Figure 10. Block-patch-based scene-based nonuniformity correction (SBNUC) flow diagram.

2.3.2. 국부 영역 균질도를 고려한 평균 영상 생성기법

앞서 언급한 바와 같이 영상의 균질도를 이용한 누적 평균영상 생성기법은 영상의 전체 영역이 균질할 경우에는 매우 효과적으로 불균일을 보정할 수 있는 장점이 있다. 하지만 균질한 영상 획득이 어려운 환경에서는 효용성을 보장하지 못할 수 있다. 따라서 본 논문에서는 입력 영상에서 국부 영역에 대한 균질도를 이용함으로써 부분적으로 균질한 영역이 있을 경우 누적 평균영상 생성에 사용하도록 하여 SBNUC 효율을 높이는 기법을 제안하고자 한다.

본 논문에서 제안하는 기법의 작업 흐름도는 그림 10과 같다. 먼저 입력 영상에 대해 실험실에서 획득한 보정용 테이블(이득, 오프셋)을 이용하여 two-point 기반 NUC를 수행한 후, 1차 보정된 영상을 일정한 크기의 블록패치로 나누고, 패치 단위로 엔트로피를 계산하여 균질도가 높은 영상 패치를 누적 평균 영상 생성에 적용한 뒤, 최종 갱신된 오프셋 값을 계산하는 순서로 이루어진다.

그림 11은 입력 영상을 일정한 크기의 블록패치 크기로 나누는 것과 블록패치 기반 엔트로피를 이용한 SBNUC 결과를 나타낸다. 그림 11(b)11(c)는 영상프레임 120장을 사용한 결과로서 전통적인 SBNUC에서 발생하는 흐름 형태의 인공 패턴 노이즈는 발생하지 않았으나, 그림에서 보는 바와 같이 블록 형태의 노이즈가 발생함을 알 수 있다. 이것은 블록패치 단위 누적 평균 영상 생성 시 인접한 패치 간 밝기 값의 차이로 인한 것으로 판단된다.

Figure 11. Side effect of scene-based nonuniformity correction (SBNUC) using block-patch entropy. (a) Divide into block-patch, (b) average image, and (c) result image by block-patch-based SBNUC.

2.3.3. 블록 형태 인공 패턴 노이즈 제거 기법

블록패치 단위 영상 균질도를 이용한 누적 평균 생성 기법은 입력 영상의 부분적으로 균질도가 높은 영역을 사용할 수 있으므로 SBNUC 수행 시간을 현저하게 줄일 수 있는 장점은 있으나, 그림 11에서 보는 바와 같이 블록패치 간 인공 패턴이 발생하게 되어 블록 형태의 영상 왜곡이 발생한다. 이는 누적 평균 계산 시 국부적인 밝기 값 차이에 따라 인접 블록패치 간 밝기 값 불연속으로 인해 인공 패턴이 발생하는 현상이다.

이러한 경계 면에 발생하는 불연속면을 제거하기 위해 윈도우 함수(window function) 중 아래 형태를 갖는 바틀릿 윈도우(Bartlett window)를 사용하였다. 바틀릿 윈도우의 특징은 겹쳐지는 영역에 있는 픽셀 값을 윈도우 필터를 적용 후 합했을 때 1의 값이 나오는 것이다. 즉, 패치의 가장자리로 갈수록 가중치 값이 낮아지고 패치 중심에 가까울수록 가중치를 높게 적용함으로써 패치 경계 면에 발생하는 인공 패턴을 없앨 수 있는 방법이다. 식 (9)는 바틀릿 윈도우 함수로서 N은 패치 크기이며, n은 현재 처리되는 패치 위치 값이다. 전체 패치의 중간에서 가장 높은 가중치인 1의 값을 가지며 패치 가장자리 위치로 갈수록 가중치 값이 낮아진다.

그림 12는 윈도우 크기가 50인 바틀릿 윈도우 함수를 도식화한 것이다. 그림 13은 두 개의 인접한 패치에 대해 바틀릿 윈도우를 적용하는 개념도를 나타내었다.

Figure 12. Bartlett window.
Figure 13. Operation concept using window function.

wn=2nN,0n2nN22nN,N2nN

본 논문에서 제안하는 바틀릿 윈도우 함수를 적용한 최종 작업 흐름도는 그림 14와 같이 그림 10의 “Combine patch-block average image”를 “Combine patch-block average image by Bartlett Window”로 대체한 것과 동일하다.

Figure 14. Applying Bartlett window function.

III. 실험 결과

제안하는 알고리즘의 유효성 검증을 위한 실험 영상 획득 장비 및 획득 환경을 그림 15에 나타내었다. 실험 장비는 무인기 탑재용 EO/IR 장비로서 중적외선 대역의 초점면 배열 검출기를 사용하는 적외선 카메라로서 HD (1280 × 1024)급 영상 30 fps를 지원하는 동영상 촬영용 카메라이다.

Figure 15. IR camera used to acquire experimental images.

위 장비를 이용하여 야외에서 영상을 획득하였으며 획득한 실험 영상 세트는 HD (1280 × 1024), 약 20초 분량(600프레임)으로 구성되어 있다. 이 중 335장은 균질도가 낮은 영상이며, 나머지는 안개 등 비교적 균질도가 높은 영상으로 구성되어 있다. 획득한 영상 프레임의 예를 그림 16에서 볼 수 있다.

Figure 16. Image frame samples for scene-based nonuniformity correction (SBNUC).

알고리즘의 성능 평가를 위해 균질도가 높은 영상을 제외한 335장의 비균질 영상만 사용하였다. 누적 평균 영상의 픽셀에 대한 표준편차 값이 적으면 적을수록 양호한 불균일 보정 결과를 얻을 수 있기 때문에 불균일 보정 성능은 주로 표준편차를 이용하여 비교한다. 기존에는 전체 영상에 대한 단순한 표준편차를 이용하였으나 이는 본 연구 목표인 흐름 형태의 인공 패턴에 대한 영향성을 반영하지 못하기 때문에, 표준편차 필터 처리를 통해 일정 크기 이상의 국부적인 인공 패턴에 대한 영향성을 고려하도록 하였다. 본 논문에서는 인공패턴의 크기를 고려하여 21 × 21 필터를 적용하였다.

그림 17은 전통적인 SBNUC와 본 논문에서 제안하는 방법에 의해 생성한 누적 평균 영상에 대한 표준편차를 비교한 것이다. 그림 17에서 보는 바와 같이 제안하는 알고리즘의 표준편차 값이 100 번째 부근에서 급격하게 떨어지는 이유는 100 번째 영상 프레임 입력시점에서 누적 평균 영상 패치가 모두 채워졌기 때문이다.

Figure 17. Standard deviation for accumulated images by the traditional and proposed method.

그림 18–20은 전통적인 SBNUC와 제안된 SBNUC에 의한 누적 평균 영상에 대한 표준편차를 비교한 그림으로서 각각 120, 200, 300 영상프레임을 사용했을 때의 결과를 비교한 것이다. 제안된 기법에 의한 누적 평균 영상의 표준편차가 전통적인 방법에 비해 향상되었음을 수치적으로 확인할 수 있다.

Figure 18. Standard deviation (STD) for accumulated images by (a) the traditional and (b) proposed method using 120 image frames.

그림 21–26 중에서 그림 21, 23, 25는 기존의 전통적인 SBNUC에 의한 결과, 그림 22, 24, 26은 본 논문에서 제안한 SBNUC에 의한 결과로서 각각 120, 200, 300 프레임의 입력 영상을 사용했을 때의 누적 평균 영상과 이를 보정한 결과 영상이다. 결과 영상을 육안 확인뿐만 아니라 표준편차를 같이 비교함으로써 불균일 보정 성능을 좀 더 객관적으로 판단할 수 있게 하였다.

위 실험 결과를 통해 누적 평균 영상의 표준편차를 이용한 성능 비교뿐만 아니라 SBNUC 보정 결과 영상에 대한 육안에 의한 비교에서도 기존 알고리즘 대비 성능이 향상되었음을 알 수 있다. 또한 새로 제안된 기법은 120 프레임(4초)의 적은 수의 영상프레임으로 양호한 누적 평균 영상 생성 및 불균일 보정결과를 보임으로써 실제 임무 수행 시 짧은 시간에 SBNUC가 가능하여 시스템 운용적인 측면에서도 편리성 및 효율성을 향상시킬 수 있는 큰 이점이 있다.

IV. 결 론

감시정찰용 장비에서 사용하는 적외선카메라는 중적외선(MWIR) 대역의 초점면 배열 검출기를 주로 사용한다. 그러나 적외선 카메라 검출기는 구조가 복잡하고 검출 재질 특성상 대조비가 낮으며, 배경 잡음이 높고, 검출 소자 출력의 불균일도가 매우 높아서 이를 영상신호처리를 통해 필수적으로 보정해야 한다.

적외선 검출기 출력 신호 불균일 보정은 일반적으로 두 단계에 걸쳐 수행된다. 첫 번째 단계는 실험실에서 균일한 열을 방사하는 흑체(black body)를 이용하여 불균일 보정 파라메터를 생성하는 방법이며, 두 번째 단계는 장비 운용 중에 카메라 내부 전자보드 등 여러 가지 열원에 의해 변하는 배경 온도로 인해 발생하는 불균일을 보정하는 것이다. 본 논문에서는 두 번째 단계의 불균일을 보정하기 위해 먼저 입력 영상을 일정한 크기의 블록패치로 분할한 후, 각 블록패치 별 영상의 누적 평균을 계산하였다. 이때 누적 평균 계산 시 임계치를 적용한 필터를 적용하여 주위 배경보다 과도하게 높거나 낮은 신호를 제거하여 평균 영상 자국이 남지 않도록 하였다. 또한, 블록패치 별 영상의 엔트로피(entropy)를 계산하여 엔트로피 값이 임계치보다 높을 경우 이를 제외시키고, 누적 평균영상 생성 시 임계치 범위 내에 있는 블록패치만 사용하도록 하였다. 누적 평균 계산이 완료되면 블록패치 형태의 누적 평균 영상을 바틀릿 윈도우(Bartlett window) 함수에 적용하여 하나의 누적 평균 영상 생성 시 패치 경계에 발생하는 블록 형태의 인공 패턴이 발생하지 않도록 하였다. 실험 결과 기존의 전통적인 SBNUC에서 발생한 흐름 형태의 인공 패턴의 노이즈가 새로 제안된 기법에서는 나타나지 않았으며 오프셋 생성을 위한 입력 영상 수가 적더라도 균질한 누적 평균 영상 생성이 가능함을 확인함으로써 본 논문에서 제안한 기법의 우수성을 확인하였다.

Fig 1.

Figure 1.Infrared detector and nonuniformity correction (NUC). (a) Focal plane array mid-wave infrared (MWIR) detector, (b) before NUC, and (c) after NUC.
Korean Journal of Optics and Photonics 2022; 33: 146-158https://doi.org/10.3807/KJOP.2022.33.4.146

Fig 2.

Figure 2.Two-point nonuniformity correction (NUC) concept.
Korean Journal of Optics and Photonics 2022; 33: 146-158https://doi.org/10.3807/KJOP.2022.33.4.146

Fig 3.

Figure 3.Infrared image and nonuniformity correction (NUC). (a) Two-point NCU result and (b) scene-based NUC (SBNUC) result.
Korean Journal of Optics and Photonics 2022; 33: 146-158https://doi.org/10.3807/KJOP.2022.33.4.146

Fig 4.

Figure 4.Traditional scene-based nonuniformity correction (SBNUC) flow diagram.
Korean Journal of Optics and Photonics 2022; 33: 146-158https://doi.org/10.3807/KJOP.2022.33.4.146

Fig 5.

Figure 5.Image nonuniformity in operational status.
Korean Journal of Optics and Photonics 2022; 33: 146-158https://doi.org/10.3807/KJOP.2022.33.4.146

Fig 6.

Figure 6.Line of sight (LOS) movement of an airborne infrared (IR) camera for scene-based nonuniformity correction (SBNUC).
Korean Journal of Optics and Photonics 2022; 33: 146-158https://doi.org/10.3807/KJOP.2022.33.4.146

Fig 7.

Figure 7.Scene-based nonuniformity correction (SBNUC) and flow mark artifacts. (a) Result image of SBNUC for normal image and (b) uniform image with hot source filtering.
Korean Journal of Optics and Photonics 2022; 33: 146-158https://doi.org/10.3807/KJOP.2022.33.4.146

Fig 8.

Figure 8.Average image characteristics according to image homogeneity. (a) Average image for whole scene and (b) average image for selected high-level uniform scene.
Korean Journal of Optics and Photonics 2022; 33: 146-158https://doi.org/10.3807/KJOP.2022.33.4.146

Fig 9.

Figure 9.Scene-based nonuniformity correction (SBNUC) result using homogeneous image. (a) Average image using low-entropy image frame and (b) SBNUC result by average image in (a).
Korean Journal of Optics and Photonics 2022; 33: 146-158https://doi.org/10.3807/KJOP.2022.33.4.146

Fig 10.

Figure 10.Block-patch-based scene-based nonuniformity correction (SBNUC) flow diagram.
Korean Journal of Optics and Photonics 2022; 33: 146-158https://doi.org/10.3807/KJOP.2022.33.4.146

Fig 11.

Figure 11.Side effect of scene-based nonuniformity correction (SBNUC) using block-patch entropy. (a) Divide into block-patch, (b) average image, and (c) result image by block-patch-based SBNUC.
Korean Journal of Optics and Photonics 2022; 33: 146-158https://doi.org/10.3807/KJOP.2022.33.4.146

Fig 12.

Figure 12.Bartlett window.
Korean Journal of Optics and Photonics 2022; 33: 146-158https://doi.org/10.3807/KJOP.2022.33.4.146

Fig 13.

Figure 13.Operation concept using window function.
Korean Journal of Optics and Photonics 2022; 33: 146-158https://doi.org/10.3807/KJOP.2022.33.4.146

Fig 14.

Figure 14.Applying Bartlett window function.
Korean Journal of Optics and Photonics 2022; 33: 146-158https://doi.org/10.3807/KJOP.2022.33.4.146

Fig 15.

Figure 15.IR camera used to acquire experimental images.
Korean Journal of Optics and Photonics 2022; 33: 146-158https://doi.org/10.3807/KJOP.2022.33.4.146

Fig 16.

Figure 16.Image frame samples for scene-based nonuniformity correction (SBNUC).
Korean Journal of Optics and Photonics 2022; 33: 146-158https://doi.org/10.3807/KJOP.2022.33.4.146

Fig 17.

Figure 17.Standard deviation for accumulated images by the traditional and proposed method.
Korean Journal of Optics and Photonics 2022; 33: 146-158https://doi.org/10.3807/KJOP.2022.33.4.146

Fig 18.

Figure 18.Standard deviation (STD) for accumulated images by (a) the traditional and (b) proposed method using 120 image frames.
Korean Journal of Optics and Photonics 2022; 33: 146-158https://doi.org/10.3807/KJOP.2022.33.4.146

Fig 19.

Figure 19.Standard deviation (STD) for accumulated images by (a) the traditional and (b) proposed method using 200 image frames.
Korean Journal of Optics and Photonics 2022; 33: 146-158https://doi.org/10.3807/KJOP.2022.33.4.146

Fig 20.

Figure 20.Standard deviation (STD) for accumulated images by (a) the traditional and (b) proposed method using 300 image frames.
Korean Journal of Optics and Photonics 2022; 33: 146-158https://doi.org/10.3807/KJOP.2022.33.4.146

Fig 21.

Figure 21.Result of traditional scene-based nonuniformity correction (SBNUC) using 120 frames. (a) Average image and (b) result image accumulating 120 frames by traditional SBNUC. Mean standard deviation (STD): 0.92961, Max STD: 3.1142.
Korean Journal of Optics and Photonics 2022; 33: 146-158https://doi.org/10.3807/KJOP.2022.33.4.146

Fig 22.

Figure 22.Result of proposed scene-based nonuniformity correction (SBNUC) using 120 frames. (a) Average image and (b) result image accumulating 120 frames by proposed SBNUC. Mean standard deviation (STD): 0.54735, Max STD: 1.8929.
Korean Journal of Optics and Photonics 2022; 33: 146-158https://doi.org/10.3807/KJOP.2022.33.4.146

Fig 23.

Figure 23.Result of traditional scene-based nonuniformity correction (SBNUC) using 200 frames. (a) Average image and (b) result image accumulating 200 frames by traditional SBNUC. Mean standard deviation (STD): 0.79185, Max STD: 2.6687.
Korean Journal of Optics and Photonics 2022; 33: 146-158https://doi.org/10.3807/KJOP.2022.33.4.146

Fig 24.

Figure 24.Result of proposed scene-based nonuniformity correction (SBNUC) using 200 frames. (a) Average image and (b) result image accumulating 200 frames by proposed SBNUC. Mean standard deviation (STD): 0.52455, Max STD: 1.4137.
Korean Journal of Optics and Photonics 2022; 33: 146-158https://doi.org/10.3807/KJOP.2022.33.4.146

Fig 25.

Figure 25.Result of traditional scene-based nonuniformity correction (SBNUC) using 300 frames. (a) Average image and (b) result image accumulating 300 frames by traditional SBNUC. Mean standard deviation (STD): 0.69669, Max STD: 2.1464.
Korean Journal of Optics and Photonics 2022; 33: 146-158https://doi.org/10.3807/KJOP.2022.33.4.146

Fig 26.

Figure 26.Result of proposed scene-based nonuniformity correction (SBNUC) using 300 frames. (a) Average image and (b) result image accumulating 300 frames by proposed SBNUC. Mean standard deviation (STD): 0.50157, Max STD: 1.2062.
Korean Journal of Optics and Photonics 2022; 33: 146-158https://doi.org/10.3807/KJOP.2022.33.4.146

References

  1. M. Schulz and L. Caldwell, “Nonuniformity correction and correctability of infrared focal plane arrays,” Infrared Phys. Technol. 36, 763-777 (1995).
    CrossRef
  2. W. Isoz, T. Svensson, and I. Renhorn, “Nonuniformity correction of infrared focal plane arrays,” Proc. SPIE 5783, 949-960 (2005).
    CrossRef
  3. M. Broekaert and B. N. Payrat, “Nonlinearity and nonuniformity corrections for the IRIS family of IRCCD thermal imagers,” Proc. SPIE 2269, 507-523 (1994).
    CrossRef
  4. D. L. Perry and E. L. Dereniak, “Linear theory of nonuniformity correction in infrared staring sensors,” Opt. Eng. 32, 1854-1859 (1993).
    CrossRef
  5. H.-J. Hyun and B.-I. Choi, “A improved scene based non-uniformity correction algorithm for infrared camera,” J. Korea Soc. Comput. Inform. 23, 67-74 (2018).
  6. J. G. Harris and Y. M. Chiang, “Nonuniformity correction of infrared image sequences using the constant-statistics constraint,” IEEE Trans. Image Process. 8, 1148-1151 (1999).
    Pubmed CrossRef
  7. S. Ding, D. Wang, and T. Zhang, “A median-ratio scene-based non-uniformity correction methed for airborne infrared point target detection system,” Sensors 20, 3273 (2020).
    Pubmed KoreaMed CrossRef
  8. J. Zeng, X. Sui, and H. Gao, “Adaptive image-registration- based nonuniformity correction algorithm with ghost artifacts eliminating for infrared focal plane arrays,” IEEE Photonics J. 7, 6803016 (2015).
    CrossRef
  9. C. Zuo, Q. Chen, G. Gu, and X. Sui, “Scene-based nonuniformity correction algorithm based on interframe registration,” J. Opt. Soc. Am. A 28, 1164-1176 (2011).
    Pubmed CrossRef
  10. A. Boutemedjet, C. Deng, and B. Zhao, “Robust approach for nonuniformity correction in infrared focal plane array,” Sensors 16, 1890 (2016).
    Pubmed KoreaMed CrossRef
  11. Y.-H. Hong, K.-J. Lee, and H.-J. Kim, “Scene-based nonuniformity correction complemented by block reweighting and global offset initialization,” J. Korea Soc. Comput. Inform. 22, 15-23 (2017).
  12. Y. Yu, L. Li, H. Feng, Z. Xu, Q. Li, Y. Chen, and H. Hu, “Adaptive neural network non-uniformity correction algorithm for infrared focal plane array based on bi-exponential edge-preserving smoother,” Proc. SPIE 10462, 1046215 (2017).
  13. D. A. Scribner, K. A. Sarkady, J. T. Caufield, M. R. Kruer, G. Katz, C. J. Gridley, and C. Herman, “Nonuniformity correction for staring IR focal plane arrays using scene-based techniques,” Proc. SPIE 1308, 224-233 (1990).
    CrossRef
  14. J. Guan, R. Lai, A. Xiong, Z. Liu, and L. Gu, “Fixed pattern noise reduction for infrared images based on cascade residual attention CNN,” Neurocomputing 377, 301-313 (2019).
    CrossRef

저널정보

Optical Society of Korea

February 2024
Vol.35 No.1

pISSN 1225-6285
eISSN 2287-321X

Title: Korean Journal of Optics and Photonics
Abbreviation: Korean J. Opt. Photon.

Share this article on :

  • line