Ex) Article Title, Author, Keywords
Ex) Article Title, Author, Keywords
2023; 34(5): 192-201
Published online October 25, 2023 https://doi.org/10.3807/KJOP.2023.34.5.192
Copyright © Optical Society of Korea.
Oh-Seung Nam1, Ki-Chul Kwon1, Jong-Rae Jeong2, Kwon-Yeon Lee3, Nam Kim1
남오승1ㆍ권기철1ㆍ정종래2ㆍ이권연3ㆍ김 남1†
Correspondence to:†namkim@chungbuk.ac.kr, ORCID: 0000-0001-8109-2055
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
The band-limited angular spectrum method (BL-ASM) causes aliasing errors due to spatial frequency control problems. In this paper, a sampling interval adjustment technique for phase holograms and a technique for reducing speckle noise and improving image quality using a deep-learning-based U-net model are proposed. With the proposed technique, speckle noise is reduced by first calculating the sampling factor and controlling the spatial frequency by adjusting the sampling interval so that aliasing errors can be removed in a wide range of propagation. The next step is to improve the quality of the reconstructed image by learning the phase hologram to which the deep learning model is applied. In the S/W simulation of various sample images, it was confirmed that the peak signal-to-noise ratio (PSNR) and structural similarity index measure (SSIM) were improved by 5% and 0.14% on average, compared with the existing BL-ASM.
Keywords: Digital holography, Propagation methods, Resolution, Speckle
OCIS codes: (030.6140) Speckle; (080.1510) Propagation methods; (090.1995) Digital holography; (350.5730) Resolution
디지털 홀로그래피는 기존의 홀로그램 기술에서 더욱 진일보하여 가상의 물체를 기반으로 생성한 광파의 위상 정보를 기록하고, 이를 이용하여 정확하고 세밀하게 3차원 물체의 정보를 저장 및 재현할 수 있는 기술이다. 디지털 홀로그래피 기술을 통해 얻은 위상 혹은 진폭의 정보는 공간 광 변조기(spatial light modulator, SLM)를 통해 위상 혹은 진폭을 수치적으로 변형하여 특정 위치에서 가상의 물체를 3차원 홀로그램으로 재차 복원할 수 있다.
디지털 홀로그래피의 구현에는 광파가 물체 표면에서 반사되어 생성되는 스펙클 노이즈 현상, 홀로그래피 이미지의 복잡한 정보로 인해 길어지는 계산 시간 등 여러 가지 문제점들이 존재한다. 이를 해결하기 위해 위상 최적화와 딥 러닝 기술을 적용한 다양한 연구들이 진행되었다.
위상 최적화 방법을 제안한 연구로는 다음과 같은 연구들이 있다. Chakravarthula 외[1]는 홀로그램을 시연한 Wirtinger 미분 방법을 사용하여 주어진 시간 내 단일 깊이에서 홀로그램에 대한 위상 검색 문제를 해결한 방법을 제안하였고, Kim 외[2]는 이미지 크기에 따라 최적의 가중치 계수 값을 찾아내어 기존의 이중 위상 진폭 코딩(dual phase amplitude coding, DPAC) 방식의 문제점인 주변의 노이즈 현상과 회절 효율의 부족을 개선한 방법을 제안하였다. Zhao 외[3]는 깊이 카메라를 이용해 획득한 깊이 정보를 포인트 클라우드 그리딩 방법을 사용해 포인트 클라우드의 각 포인트를 깊이에 따라 그리드로 분류함으로써 더욱 빠른 컴퓨터 생성 홀로그램 계산 방법을 제안하였다.
딥 러닝 방법을 제안한 연구는 다음과 같다. Shi 외[4]는 딥 러닝을 적용한 anti-aliasing 위상 전용 인코딩 방법을 사용하여 자연스러운 스펙클 노이즈의 고해상도 3D 홀로그램을 실험적으로 시연하였고, Peng 외[5]는 위상 홀로그램(phase-only hologram)의 고질적인 문제인 계산시간과 이미지 품질의 상충관계를 극복하기 위해 홀로그램을 직접 최적화하거나 광파 전파의 해석이 가능한 모델을 훈련할 수 있는 camera-in-the-loop 최적화 전략을 제안하였다. Wu 외[6]는 위상 홀로그램 생성을 위한 오토 인코더 기반 신경망을 이용해 비지도적 학습을 기반으로 빠른 속도로 높은 충실도를 가진 4K 홀로그램을 구현하였다.
본 논문은 스펙클 노이즈를 제거하고 이미지 품질을 향상시키기 위해, 앞서 언급한 딥 러닝 활용 방법과 위상 최적화 방법 중 딥 러닝을 활용한다. 딥 러닝을 활용하는 최근의 연구에서 공통적으로 나타나는 특징이자 아쉬운 점은 오직 전파 거리가 가깝거나 범위가 좁은 상황에 한해 스펙클 노이즈를 감소시키거나 이미지 품질을 향상시킨다는 것이다. 따라서 본 논문에서는 단거리뿐만 아니라 원거리까지 포함한 넓은 전파거리 범위에서 스펙클 노이즈를 감소시키고 이미지 품질을 개선시키는 홀로그램 생성 기법을 고려하였다. 또한 본 논문에서 제안하는 방법은 camera-in-the-loop 모델보다 상대적으로 간단한 모델을 사용하여, 모델을 구성하기 쉽고 계산과정도 복잡하지 않다는 장점을 가진다.
본 논문에서는 blender라는 소프트웨어를 통해 생성한 3차원 물체를 다시 blender를 통해 2차원의 이미지로 변환하고, 전파 방법 중 하나인 band-limited angular spectrum method (BL-ASM)를 사용해 물체의 위상 홀로그램과 복원 이미지를 생성한다. 또한 표본화 간격을 조절하여 공간주파수를 제어하였을 때 어떤 효과가 나타나는지 확인하였다. 최종적으로 공간주파수의 제어와 본 논문에서 제안한 딥 러닝 모델을 통해 위상 홀로그램을 생성한 후 재차 복원하였을 때, 광역 전파 거리 범위에서 이미지 품질의 향상과 스펙클 노이즈를 감소시킬 수 있음을 보였다.
Angular spectrum method (ASM)는 위상 홀로그램을 생성할 때 사용되는 광 전파 방법 중 하나이다. 먼저, angular spectrum (AS)은 다음과 같이 표현할 수 있다.
d는 전파된 거리를 말하며, z0는 원점에 있는 source plane 위치이고, z는 d의 거리로 전파된 임의의 위치를 뜻한다. (u, v)는 x축과 y축의 공간 주파수이며, GAS(u, v; z0)는 gAS(x, y; z0)인 source wavefield를 푸리에 변환한 결과이며, gAS(x, y; z)는 복소 홀로그램이다.
푸리에 홀로그램에서 가상 렌즈를 뜻하는 전달함수인 HAS는 다음과 같이 정의될 수 있다.
이때 k는 파수이며, fx와 fy는 공간 주파수이다. dx는 SLM pixel의 크기를 뜻한다.
앞서 식 (1)에서 설명한 바와 같이, ASM은 전파를 수치적으로 계산하여 홀로그램을 생성하는 광 전파 방법이다. 이미지의 진폭과 위상을 통해 복소 필드를 생성하고, ASM을 사용하여 전파하며, 추출한 위상 홀로그램에 대해 다시 한번 ASM을 이용해 복원 이미지를 만들어낸다.
그림 1(a)와 같이 ASM의 샘플링 창은 전파거리에 영향을 받지 않기 때문에 입력 샘플링 창과 출력 샘플링 창이 동일한 크기를 갖는다. 또한 크기가 같으므로 근축장뿐만 아니라 비근축장에서의 계산량도 상대적으로 적다. 반대로, 소스 필드 크기는 전파거리와 비례하여 증가한다[그림 1(b) 참조]. 장거리 전파 시 발생하는 aliasing 오류를 없애기 위해서는 그림 1(a)의 입력 샘플링 창을 확장하여 그림 1(b)의 출력 회절 평면의 전체영역을 커버해야 한다. 샘플링 창을 확장하기 위해서는 복잡한 계산이 필요하다.
BL-ASM은 이와 같은 문제를 해결하고, 장거리 전파에서 발생하는 aliasing 오류를 해결할 수 있는 광 전파 방법 중의 하나이다.
본 논문에서는 스펙클 노이즈 감소와 이미지 품질의 향상을 위해 2가지 방법을 적용하였다. 그림 2는 본 논문에서 제안한 샘플링 팩터를 활용해 공간 주파수를 제어한 뒤, 딥 러닝(U-net)을 적용하는 방법에 대한 순서도이다.
그림 3은 aliasing 오류가 일어나는 근본적인 이유를 보여준다. 샘플링 공간의 X와 Y는 각각 x축과 y축에서의 표본화(샘플링) 간격으로, 식 (3)과 같이 표현할 수 있다.
Frequency space에서 2Bx와 2By는 각각 x축과 y축에서의 대역폭 최댓값이다. 대역폭의 최댓값은 표본화 간격에 의해 정해지고, 이 대역폭의 크기를 Nyquist 주파수라고 한다. 이는 대역폭의 최댓값인 Nyquist 주파수의 역수가 표본화 간격과 같음을 나타낸다.
Aliasing이 일어나는 원인은 광파의 신호가 Nyquist 주파수 이상의 대역폭을 가질 때, frequency space에서 광파의 스펙트럼이 겹쳐지기 때문이다. 표본화 정리는 식 (4)와 같이 표현된다.
이때 aliasing의 오류를 해결하기 위해서는 표본화 정리를 만족하도록 주파수를 설정해야 한다[7]. 이는 2.2장에서 언급한 BL-ASM이 가지는 표본화 정리를 통하여 aliasing 오류를 제거하는 방법을 의미한다.
BL-ASM은 전달 함수인 HAS와 식 (4)를 만족하면서 푸리에 변환된 복소 필드 GBL−AS(u, v; 0)를 통해 구현할 수 있다.
구해진 복소 홀로그램인 gBL−AS(x, y; z)는 위상 홀로그램을 추출하고 복원 이미지를 구현하기 위해 BL-ASM을 통해 다시 전파한다.
앞서 설명한 BL-ASM을 통해 제거할 수 있는 기존의 aliasing 오류 외에도, 특정 조건에서 생성되는 또다른 aliasing 오류가 있다. 이를 해결하기 위해 식 (6)과 같이 두 번째 방법을 제안한다.
이는 표본화 간격을 조정하며 aliasing 오류를 없애도록 하는 공간주파수 제한 조건식이다. d는 전파거리, Δu는 표본화 간격, l는 파장, u는 공간주파수를 뜻한다. 식 (6)을 만족시킴으로써 두 번째 aliasing 오류를 방지할 수 있다.
전파거리와 표본화 간격의 관계에 따르면, 전파거리가 멀수록 표본화 간격은 작아져야 한다. 이 표본화 간격을 조절하기 위해서 샘플링 팩터를 사용한다. 샘플링 팩터는 표본화 간격을 조절하는 팩터라는 의미로 아래와 같이 사용된다[8].
여기서 a는 샘플링 팩터이고, Δu'는 조정한 샘플링 팩터가 적용된 표본화 간격이다. 표본화 간격을 식 (6)에 적용하면 식 (8)과 같이 표현할 수 있다.
최종적으로, BL-ASM의 조건인 식 (4)를 적용하고, 주파수 제한 공식인 식 (8)을 통해 표본화 간격을 조절함으로써 전파거리 증가에 따라 생기는 aliasing 오류를 모두 제거할 수 있다.
그림 4는 각 샘플링 팩터를 적용한 0.5–1.5 m의 전파거리에서 peak signal-to-noise ratio (PSNR)를 나타낸 것이다. 10 단위로 임의 설정한 샘플링 팩터 3개의 PSNR 평균을 비교하면 0.01, 0.1, 1 순으로 낮아지는 것을 볼 수 있다. 이 중 샘플링 팩터 0.01은 평균값이 19 정도이며, 나머지 샘플링 팩터인 0.1과 1에 비해 PSNR이 2–3 가량 높다. 샘플링 팩터 0.01을 기점으로 PSNR은 더 이상 상승하지 않는다. 식 (8)을 통해 본 바, 해당 광파의 공간주파수인 u는 1,580,000 cycles/mm이다. 이때 BL-ASM의 공간주파수인 ubl(d)는 해당 광파의 공간주파수 u (1,580,000 cycles/mm)보다 더 커야 하는데, 샘플링 1과 0.1의 공간주파수는 1,110,000 cycles/mm와 1,570,000 cycles/mm로 더 작았고, 샘플링 팩터 0.01부터 기준점을 넘기는 것을 볼 수 있었다. 그렇기 때문에 식 (8)을 만족하는 기준인 0.01부터는 aliasing 오류가 완전히 사라지고 PSNR은 최고치이며, 샘플링 팩터가 더 작아져도 더 이상 PSNR은 상승하지 않는 것이다.
그림 5(b)를 통해 BL-ASM에서도 aliasing 오류로 인해 이미지 정보의 손실과 스펙클 노이즈 현상이 다수 일어나는 것을 확인하였다. 기존의 BL-ASM은 표본화 정리를 따라 생성하도록 진행되었기 때문에 aliasing 오류가 나지 않았지만, 특정 전파 거리 이상, 즉 공간주파수의 제어 없이 BL-ASM의 표본화 정리 조건만으로는 aliasing 오류가 일어나지 않도록 하기에 어려움이 있다. 따라서 표본화 정리를 만족시키고, 전파 거리가 증가함에 따라 aliasing 현상이 발생하지 않도록 하기 위해 샘플링 팩터의 조정이 필요하다. 앞서 설명한 것과 같이 aliasing 오류가 일어나지 않는 조건을 만족하는 동시에 PSNR이 가장 높았던 샘플링 팩터는 0.01과 같거나 더 작은 샘플링 팩터였다. 따라서 샘플링 팩터를 0.01로 설정하여 복원을 진행하였다(그림 5). 그림 5(c)는 aliasing 오류가 일어나지 않고 PSNR이 가장 높은 샘플링 팩터 0.01을 적용한 결과로, 물체의 무늬와 선이 상대적으로 더 명확하게 표현되었다. 이를 통해 샘플링 팩터의 조정으로 스펙클 노이즈를 감소시킬 수 있음을 알 수 있다.
본 논문에서 제안하는 네트워크는 convolution층, batch normalization층, max pooling층, copy and crop layer층으로 이루어져 있다. 이 중 copy and crop layer층은 총 2번 사용되고, 이 구조를 도식화하면 그림 6과 같다. 그림 6에서 convolution의 커널 크기는 3 × 3으로 유지되며, 필터 수는 32개로 시작하여 다운 샘플링 과정에서 128개까지 증가하였다가 최종적으로는 업 샘플링 과정에서 1개까지 감소하도록 하였다.
기존의 U-Net은 처음과 끝의 필터 개수가 32개로 동일한 반면, 본 논문에서 제안한 모델은 필터 수 32개로 시작하여 최종 필터 수가 1개로 줄어드는 비대칭적인 구조를 가지고 있는데, 이는 그림 6과 같이 필터 수가 32개로 시작하고 1개로 끝나는 구조일 때 PSNR의 값이 최소 0.1에서 최대 0.4까지 상승하는 것을 확인하였기 때문이다. 결과적으로는 본 논문의 모델이 최종 필터 수 32개로 대칭을 이루는 구조보다 더 나은 결과를 보여주었다.
이를 확인하기 위해 그림 7과 같이 이미지 품질을 비교하였다. 먼저 max pooling층을 통해 입력 이미지, 즉 756 × 1,344 크기를 가진 위상 홀로그램의 크기를 x축, y축으로 각각 1/2씩 줄이는 것을 2번 반복하여 입력 이미지의 전체 크기를 1/4 크기로 다운 샘플링하였다. 이후 다시 transposed convolution 층을 통해 위상 홀로그램의 크기를 x축, y축에서 각각 2배씩 늘리고, 이를 2번 반복하여 입력 이미지를 원래 크기로 복구한다.
Copy and crop층은 다운 샘플링 과정에서 손실된 데이터를 복사하여 넘겨주는 역할을 하며, feature map은 copy and crop층을 통해, transposed convolution층에서의 feature map과 convolution층에서의 feature map이 합쳐져 업 샘플링된다. 이 과정에서 데이터 정보를 보완해주며 결과를 더 정확하게 예측하게 만든다.
본 논문에서 제안한 네트워크의 데이터셋은 건물 실내의 2D 이미지이며 이 중 깊이 이미지는 활용하지 않았다[9-13]. 총 600장을 사용하였으며, epoch은 200번, learning rate는 learning rate decay를 이용한다. Learning rate decay는 cosine decay이며 0.001을 가진다. Optimizer는 Adam을 사용하였고, 손실 함수는 평균 제곱 오차 함수를 활용하였다.
앞서 제안한 네트워크를 통해 그림 7의 원본 이미지들에 대한 위상 홀로그램 복원 이미지 시뮬레이션을 진행하였다.
그림 7는 검은 배경에 새, 글자(CBNU), 축구공, 용 등의 물체가 존재하는 4개의 이미지로 구성되어 있으며, 원본 이미지 그림 7(a), BL-ASM을 적용한 그림 7(b), 샘플링 팩터를 0.01로 조정하여 BL-ASM을 적용한 그림 7(c), 그리고 샘플링 팩터를 0.01로 조정하고 딥 러닝을 적용한 그림 7(d) 간의 스펙클 노이즈의 감소와 이미지 품질의 향상을 확인할 수 있다. 이때 파장은 633 nm의 레드 파장을 사용하였다. 복원 이미지는 전파거리 0.5–1.5 m 사이에서 생성한 각 방법마다의 복원 이미지 중 PSNR이 가장 높은 것을 선정하였다. 이는 가장 높은 이미지 품질을 가진 복원 이미지끼리 비교하여 정량적 평가를 가능케 하기 위해서이다.
그림 8은 검은 배경에 측면으로 서 있는 새의 이미지를 원본으로 사용하였다. 그림 8(a)는 원본 이미지, 그림 8(b)는 BL-ASM으로 위상 홀로그램을 복원한 이미지, 그림 8(c)는 샘플링 팩터를 조정하여 공간 주파수를 제어한 BL-ASM으로 복원한 이미지, 그리고 그림 8(d)는 제안한 방법인 샘플링 팩터를 조정하여 공간 주파수를 제어한 BL-ASM을 가지고 딥 러닝을 적용하여 생성한 복원 이미지이다.
그림 8(b)에서 샘플링 팩터는 조정하지 않고 그대로 유지하였고, 딥 러닝 또한 적용하지 않았다. 스펙클 노이즈는 물체와 배경 모두 존재하지만, 특히 물체 주변에 도드라지게 존재한다. 물체 또한 스펙클 노이즈로 인해 물체의 윤곽과 세밀한 부분들이 뚜렷하게 구현되지 못하였다. 그렇기 때문에 다른 방법에 비해 이미지의 품질도 낮다. 그림 8(c)는 정보 손실이 상대적으로 많아 물체의 세밀한 표현이 불가하고 복원되지 않은 픽셀들이 많으나, BL-ASM만 사용한 그림 8(b)와 비교해보았을 때 스펙클 노이즈가 눈에 띄게 줄어들었다. 그림 8(d)는 제안한 방법을 모두 적용한 위상 홀로그램의 복원 이미지로, 샘플링 팩터를 조정한 BL-ASM과 딥 러닝을 적용하였다. 스펙클 노이즈는 그림 8(c)에 비해 상대적으로 많지만, 정보 손실이 적었기 때문에 물체를 세밀하게 표현할 수 있었다.
그림 8의 새의 눈 주변과 깃털 부분, 그리고 배경을 더 자세히 살펴보기 위해 세 개의 구역으로 나눠 놓았다. 첫 번째 구역은 눈, 두 번째 구역은 깃털, 세 번째 구역은 배경의 일부분이다. 그림 8(b)는 첫 번째, 두 번째 구역에서 눈과 깃털의 세세한 부분이 잘 구현되지 않았고, 배경인 세 번째 구역에서는 큰 스펙클 노이즈들이 존재한다. 한편, 제안한 방법을 사용한 그림 8(d)의 첫 번째 구역은 스펙클 노이즈가 적기 때문에 눈 주변 주름과 눈의 형태가 상대적으로 더 잘 보이고, 두 번째 구역에서도 깃털의 무늬 등이 가려지지 않고 또렷이 드러나는 것을 확인할 수 있다. 그림 8(d)의 세 번째 구역은 배경의 일부를 추출한 것인데, 마찬가지로 밝은 pixel들이 그림 8(b)에 비해 상대적으로 사라졌기 때문에 스펙클 노이즈가 줄어들었음을 알 수 있다. 그림 8(c)의 첫 번째 구역과 두 번째 구역은 눈과 깃털의 표현이 그림 8(d)에 비해 명확하지 않고 표현이 세세하지 않지만, 세 번째 구역에서 스펙클 노이즈가 나머지 두 방법을 사용한 이미지보다 적은 것을 확인할 수 있다. 최종적으로 스펙클 노이즈의 비율은 그림 8(c)에서 가장 적었지만, 반면에 육안으로 봤을 때 이미지 품질은 그림 8(d)가 가장 높다. 이는 딥 러닝을 통해 손실된 이미지의 pixel을 복구하는 과정에서 배경 또한 복구의 영향을 받기 때문이다.
이로써 본 논문에서 제안한 샘플링 팩터 조정과 딥 러닝 양 방법 간의 단점을 상호보완하고, 기존의 목표인 BL-ASM 복원 이미지의 스펙클 노이즈를 감소시키고 동시에 이미지의 품질을 향상시킨다는 두 가지 목표를 모두 수행할 수 있음을 확인하였다.
그림 9는 스펙클 노이즈의 정량적 평가를 위해 그림 8(b)–8(d)에서 세 번째 구역의 스펙클 노이즈를 pixel 값으로 표현한 그래프이다. 이때 픽셀 값이 0으로 측정된 비율이 높을 수록 스펙클 노이즈 감소가 큰 것을 알 수 있다. 스펙클 노이즈는 BL-ASM을 이용한 그림 9(b), 샘플링 팩터를 조정한 BL-ASM에 딥 러닝을 적용한 그림 9(d), 샘플링 팩터를 조정한 BL-ASM인 그림 9(c) 순으로 적어진다. 이를 통해 샘플링 팩터를 조정하여 공간주파수를 제어하는 것이 스펙클 노이즈의 감소 효과를 가져오는 것을 확인하였다.
그림 10과 11은 0.5–1.5 m 사이의 거리에서 그림 7의 이미지 4개에 BL-ASM 방법, BL-ASM에 샘플링 팩터를 적용한 방법과 제안한 방법을 적용하여 얻은 peak signal-to-noise ratio (PSNR)과 structural similarity index measure (SSIM)의 평균값이다. PSNR 결과를 나타낸 그림 10을 보면, 제안한 방법이 다른 두 방법보다 최소 3.1에서 최대 4.8의 PSNR의 값이 더 높은 것을 확인할 수 있다. SSIM 결과를 나타낸 그림 11은 제안한 방법으로 복원한 이미지, 샘플링 팩터를 조정한 BL-ASM으로 복원한 이미지, 그리고 BL-ASM으로 복원한 이미지 순으로 SSIM이 높다는 것을 나타낸다. 제안한 방법을 사용하였을 때 기존 BL-ASM으로 복원한 이미지보다 SSIM이 2배 가량 높게 나왔음을 확인할 수 있다.
이로써 제안한 방법을 통해 PSNR과 SSIM이 모두 높아지며 이미지 품질이 상승하는 것을 확인하였다. 이는 딥 러닝이 이미지 정보 손실을 복원하며 추가적으로 이미지 품질의 향상 효과를 가져온다는 것을 알려준다.
본 논문에서는 BL-ASM에 존재하는 샘플링 팩터 요소를 조정함으로써 표본화 간격을 조절하여 공간주파수를 제어하고, 추가적으로 나타나는 aliasing 오류를 제거하였다. 또한 표본화 간격을 조절함으로써 넓은 범위의 전파거리에서 생성되는 스펙클 노이즈를 감소시켰다. 추가로 딥 러닝 모델인 U-Net도 함께 적용함으로써 원본 이미지와 복원 이미지의 손실 차이를 줄였으며, 이에 따라 이미지 품질의 수치를 나타내는 PSNR과 SSIM도 높아짐을 확인하였다. 그리고 기존의 단거리 혹은 좁은 전파거리 범위에서의 홀로그램 생성이 아닌 1 m 정도의 넓은 범위에서도 홀로그램 생성 시 스펙클 노이즈의 감소와 이미지 품질의 향상이 가능하다는 것을 확인할 수 있었다. 또한 GS-algorithm처럼 반복적 방법이 아닌, BL-ASM을 활용한 비반복적 방법이기 때문에 홀로그램 생성의 계산 시간도 반복적 방법에 비해 짧다는 장점도 있다.
본 연구의 목적은 넓은 전파거리 범위에서 BL-ASM을 이용했을 때 aliasing 오류와 스펙클 노이즈를 감소시키고 이미지 품질을 향상시키는 기법을 만드는 것이다. 이를 위해 샘플링 팩터를 조정하여 스펙클 노이즈의 감소라는 장점과 딥 러닝을 통한 이미지 품질의 향상이라는 장점을 결합하고, 샘플링 팩터 조정의 단점인 이미지 정보 손실을 딥 러닝을 통해 보완하였다. 그러나 딥 러닝을 통한 결과를 샘플링 팩터를 조정한 BL-ASM과 비교해보았을 때 스펙클 노이즈는 상대적으로 더 많은 것을 확인할 수 있었다. 본래 비교 대상인 BL-ASM과 제안한 방법만을 정량적 평가를 통해 비교해 보았을 때, 결론적으로 스펙클 노이즈의 감소와 이미지 품질의 향상이라는 두 가지 목표를 달성할 수 있었다.
본 연구의 시뮬레이션에서 보완해야 하는 점은 딥 러닝을 통한 이미지 손실을 복구하는 과정에서 생기는 스펙클 노이즈가 샘플링 팩터만 조정한 BL-ASM보다 더 많다는 점이다. 이 점은 추후에 모델의 수정을 통해 보완하고자 한다.
본 연구는 2023학년도 충북대학교 연구년제 사업의 연구비 지원과 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구임(IITP-2023-2020-0-01846, No. 2020-0-00929, No. 2021-0-00750).
저자는 본 논문과 관련된 어떠한 이해충돌 사항도 없었음을 밝힌다.
본 연구의 결과 분석 및 생성된 데이터는 모두 본 논문 내 명시되어 있으며 공공의 이용이 가능하다. 데이터에 접근하거나 사용하고자 하는 이는 저자에게 타당한 이유를 밝히고 허가를 득해 사용 가능하다.
2023; 34(5): 192-201
Published online October 25, 2023 https://doi.org/10.3807/KJOP.2023.34.5.192
Copyright © Optical Society of Korea.
Oh-Seung Nam1, Ki-Chul Kwon1, Jong-Rae Jeong2, Kwon-Yeon Lee3, Nam Kim1
1School of Information and Communications Engineering, Chungbuk National University, Cheongju 28644, Korea
2Department of Information and Communication Engineering, Suwon Science College, Hwaseong 18516, Korea
3Department of Electronic Engineering, Sunchon National University, Jeonnam 57922, Korea
Correspondence to:†namkim@chungbuk.ac.kr, ORCID: 0000-0001-8109-2055
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
The band-limited angular spectrum method (BL-ASM) causes aliasing errors due to spatial frequency control problems. In this paper, a sampling interval adjustment technique for phase holograms and a technique for reducing speckle noise and improving image quality using a deep-learning-based U-net model are proposed. With the proposed technique, speckle noise is reduced by first calculating the sampling factor and controlling the spatial frequency by adjusting the sampling interval so that aliasing errors can be removed in a wide range of propagation. The next step is to improve the quality of the reconstructed image by learning the phase hologram to which the deep learning model is applied. In the S/W simulation of various sample images, it was confirmed that the peak signal-to-noise ratio (PSNR) and structural similarity index measure (SSIM) were improved by 5% and 0.14% on average, compared with the existing BL-ASM.
Keywords: Digital holography, Propagation methods, Resolution, Speckle
디지털 홀로그래피는 기존의 홀로그램 기술에서 더욱 진일보하여 가상의 물체를 기반으로 생성한 광파의 위상 정보를 기록하고, 이를 이용하여 정확하고 세밀하게 3차원 물체의 정보를 저장 및 재현할 수 있는 기술이다. 디지털 홀로그래피 기술을 통해 얻은 위상 혹은 진폭의 정보는 공간 광 변조기(spatial light modulator, SLM)를 통해 위상 혹은 진폭을 수치적으로 변형하여 특정 위치에서 가상의 물체를 3차원 홀로그램으로 재차 복원할 수 있다.
디지털 홀로그래피의 구현에는 광파가 물체 표면에서 반사되어 생성되는 스펙클 노이즈 현상, 홀로그래피 이미지의 복잡한 정보로 인해 길어지는 계산 시간 등 여러 가지 문제점들이 존재한다. 이를 해결하기 위해 위상 최적화와 딥 러닝 기술을 적용한 다양한 연구들이 진행되었다.
위상 최적화 방법을 제안한 연구로는 다음과 같은 연구들이 있다. Chakravarthula 외[1]는 홀로그램을 시연한 Wirtinger 미분 방법을 사용하여 주어진 시간 내 단일 깊이에서 홀로그램에 대한 위상 검색 문제를 해결한 방법을 제안하였고, Kim 외[2]는 이미지 크기에 따라 최적의 가중치 계수 값을 찾아내어 기존의 이중 위상 진폭 코딩(dual phase amplitude coding, DPAC) 방식의 문제점인 주변의 노이즈 현상과 회절 효율의 부족을 개선한 방법을 제안하였다. Zhao 외[3]는 깊이 카메라를 이용해 획득한 깊이 정보를 포인트 클라우드 그리딩 방법을 사용해 포인트 클라우드의 각 포인트를 깊이에 따라 그리드로 분류함으로써 더욱 빠른 컴퓨터 생성 홀로그램 계산 방법을 제안하였다.
딥 러닝 방법을 제안한 연구는 다음과 같다. Shi 외[4]는 딥 러닝을 적용한 anti-aliasing 위상 전용 인코딩 방법을 사용하여 자연스러운 스펙클 노이즈의 고해상도 3D 홀로그램을 실험적으로 시연하였고, Peng 외[5]는 위상 홀로그램(phase-only hologram)의 고질적인 문제인 계산시간과 이미지 품질의 상충관계를 극복하기 위해 홀로그램을 직접 최적화하거나 광파 전파의 해석이 가능한 모델을 훈련할 수 있는 camera-in-the-loop 최적화 전략을 제안하였다. Wu 외[6]는 위상 홀로그램 생성을 위한 오토 인코더 기반 신경망을 이용해 비지도적 학습을 기반으로 빠른 속도로 높은 충실도를 가진 4K 홀로그램을 구현하였다.
본 논문은 스펙클 노이즈를 제거하고 이미지 품질을 향상시키기 위해, 앞서 언급한 딥 러닝 활용 방법과 위상 최적화 방법 중 딥 러닝을 활용한다. 딥 러닝을 활용하는 최근의 연구에서 공통적으로 나타나는 특징이자 아쉬운 점은 오직 전파 거리가 가깝거나 범위가 좁은 상황에 한해 스펙클 노이즈를 감소시키거나 이미지 품질을 향상시킨다는 것이다. 따라서 본 논문에서는 단거리뿐만 아니라 원거리까지 포함한 넓은 전파거리 범위에서 스펙클 노이즈를 감소시키고 이미지 품질을 개선시키는 홀로그램 생성 기법을 고려하였다. 또한 본 논문에서 제안하는 방법은 camera-in-the-loop 모델보다 상대적으로 간단한 모델을 사용하여, 모델을 구성하기 쉽고 계산과정도 복잡하지 않다는 장점을 가진다.
본 논문에서는 blender라는 소프트웨어를 통해 생성한 3차원 물체를 다시 blender를 통해 2차원의 이미지로 변환하고, 전파 방법 중 하나인 band-limited angular spectrum method (BL-ASM)를 사용해 물체의 위상 홀로그램과 복원 이미지를 생성한다. 또한 표본화 간격을 조절하여 공간주파수를 제어하였을 때 어떤 효과가 나타나는지 확인하였다. 최종적으로 공간주파수의 제어와 본 논문에서 제안한 딥 러닝 모델을 통해 위상 홀로그램을 생성한 후 재차 복원하였을 때, 광역 전파 거리 범위에서 이미지 품질의 향상과 스펙클 노이즈를 감소시킬 수 있음을 보였다.
Angular spectrum method (ASM)는 위상 홀로그램을 생성할 때 사용되는 광 전파 방법 중 하나이다. 먼저, angular spectrum (AS)은 다음과 같이 표현할 수 있다.
d는 전파된 거리를 말하며, z0는 원점에 있는 source plane 위치이고, z는 d의 거리로 전파된 임의의 위치를 뜻한다. (u, v)는 x축과 y축의 공간 주파수이며, GAS(u, v; z0)는 gAS(x, y; z0)인 source wavefield를 푸리에 변환한 결과이며, gAS(x, y; z)는 복소 홀로그램이다.
푸리에 홀로그램에서 가상 렌즈를 뜻하는 전달함수인 HAS는 다음과 같이 정의될 수 있다.
이때 k는 파수이며, fx와 fy는 공간 주파수이다. dx는 SLM pixel의 크기를 뜻한다.
앞서 식 (1)에서 설명한 바와 같이, ASM은 전파를 수치적으로 계산하여 홀로그램을 생성하는 광 전파 방법이다. 이미지의 진폭과 위상을 통해 복소 필드를 생성하고, ASM을 사용하여 전파하며, 추출한 위상 홀로그램에 대해 다시 한번 ASM을 이용해 복원 이미지를 만들어낸다.
그림 1(a)와 같이 ASM의 샘플링 창은 전파거리에 영향을 받지 않기 때문에 입력 샘플링 창과 출력 샘플링 창이 동일한 크기를 갖는다. 또한 크기가 같으므로 근축장뿐만 아니라 비근축장에서의 계산량도 상대적으로 적다. 반대로, 소스 필드 크기는 전파거리와 비례하여 증가한다[그림 1(b) 참조]. 장거리 전파 시 발생하는 aliasing 오류를 없애기 위해서는 그림 1(a)의 입력 샘플링 창을 확장하여 그림 1(b)의 출력 회절 평면의 전체영역을 커버해야 한다. 샘플링 창을 확장하기 위해서는 복잡한 계산이 필요하다.
BL-ASM은 이와 같은 문제를 해결하고, 장거리 전파에서 발생하는 aliasing 오류를 해결할 수 있는 광 전파 방법 중의 하나이다.
본 논문에서는 스펙클 노이즈 감소와 이미지 품질의 향상을 위해 2가지 방법을 적용하였다. 그림 2는 본 논문에서 제안한 샘플링 팩터를 활용해 공간 주파수를 제어한 뒤, 딥 러닝(U-net)을 적용하는 방법에 대한 순서도이다.
그림 3은 aliasing 오류가 일어나는 근본적인 이유를 보여준다. 샘플링 공간의 X와 Y는 각각 x축과 y축에서의 표본화(샘플링) 간격으로, 식 (3)과 같이 표현할 수 있다.
Frequency space에서 2Bx와 2By는 각각 x축과 y축에서의 대역폭 최댓값이다. 대역폭의 최댓값은 표본화 간격에 의해 정해지고, 이 대역폭의 크기를 Nyquist 주파수라고 한다. 이는 대역폭의 최댓값인 Nyquist 주파수의 역수가 표본화 간격과 같음을 나타낸다.
Aliasing이 일어나는 원인은 광파의 신호가 Nyquist 주파수 이상의 대역폭을 가질 때, frequency space에서 광파의 스펙트럼이 겹쳐지기 때문이다. 표본화 정리는 식 (4)와 같이 표현된다.
이때 aliasing의 오류를 해결하기 위해서는 표본화 정리를 만족하도록 주파수를 설정해야 한다[7]. 이는 2.2장에서 언급한 BL-ASM이 가지는 표본화 정리를 통하여 aliasing 오류를 제거하는 방법을 의미한다.
BL-ASM은 전달 함수인 HAS와 식 (4)를 만족하면서 푸리에 변환된 복소 필드 GBL−AS(u, v; 0)를 통해 구현할 수 있다.
구해진 복소 홀로그램인 gBL−AS(x, y; z)는 위상 홀로그램을 추출하고 복원 이미지를 구현하기 위해 BL-ASM을 통해 다시 전파한다.
앞서 설명한 BL-ASM을 통해 제거할 수 있는 기존의 aliasing 오류 외에도, 특정 조건에서 생성되는 또다른 aliasing 오류가 있다. 이를 해결하기 위해 식 (6)과 같이 두 번째 방법을 제안한다.
이는 표본화 간격을 조정하며 aliasing 오류를 없애도록 하는 공간주파수 제한 조건식이다. d는 전파거리, Δu는 표본화 간격, l는 파장, u는 공간주파수를 뜻한다. 식 (6)을 만족시킴으로써 두 번째 aliasing 오류를 방지할 수 있다.
전파거리와 표본화 간격의 관계에 따르면, 전파거리가 멀수록 표본화 간격은 작아져야 한다. 이 표본화 간격을 조절하기 위해서 샘플링 팩터를 사용한다. 샘플링 팩터는 표본화 간격을 조절하는 팩터라는 의미로 아래와 같이 사용된다[8].
여기서 a는 샘플링 팩터이고, Δu'는 조정한 샘플링 팩터가 적용된 표본화 간격이다. 표본화 간격을 식 (6)에 적용하면 식 (8)과 같이 표현할 수 있다.
최종적으로, BL-ASM의 조건인 식 (4)를 적용하고, 주파수 제한 공식인 식 (8)을 통해 표본화 간격을 조절함으로써 전파거리 증가에 따라 생기는 aliasing 오류를 모두 제거할 수 있다.
그림 4는 각 샘플링 팩터를 적용한 0.5–1.5 m의 전파거리에서 peak signal-to-noise ratio (PSNR)를 나타낸 것이다. 10 단위로 임의 설정한 샘플링 팩터 3개의 PSNR 평균을 비교하면 0.01, 0.1, 1 순으로 낮아지는 것을 볼 수 있다. 이 중 샘플링 팩터 0.01은 평균값이 19 정도이며, 나머지 샘플링 팩터인 0.1과 1에 비해 PSNR이 2–3 가량 높다. 샘플링 팩터 0.01을 기점으로 PSNR은 더 이상 상승하지 않는다. 식 (8)을 통해 본 바, 해당 광파의 공간주파수인 u는 1,580,000 cycles/mm이다. 이때 BL-ASM의 공간주파수인 ubl(d)는 해당 광파의 공간주파수 u (1,580,000 cycles/mm)보다 더 커야 하는데, 샘플링 1과 0.1의 공간주파수는 1,110,000 cycles/mm와 1,570,000 cycles/mm로 더 작았고, 샘플링 팩터 0.01부터 기준점을 넘기는 것을 볼 수 있었다. 그렇기 때문에 식 (8)을 만족하는 기준인 0.01부터는 aliasing 오류가 완전히 사라지고 PSNR은 최고치이며, 샘플링 팩터가 더 작아져도 더 이상 PSNR은 상승하지 않는 것이다.
그림 5(b)를 통해 BL-ASM에서도 aliasing 오류로 인해 이미지 정보의 손실과 스펙클 노이즈 현상이 다수 일어나는 것을 확인하였다. 기존의 BL-ASM은 표본화 정리를 따라 생성하도록 진행되었기 때문에 aliasing 오류가 나지 않았지만, 특정 전파 거리 이상, 즉 공간주파수의 제어 없이 BL-ASM의 표본화 정리 조건만으로는 aliasing 오류가 일어나지 않도록 하기에 어려움이 있다. 따라서 표본화 정리를 만족시키고, 전파 거리가 증가함에 따라 aliasing 현상이 발생하지 않도록 하기 위해 샘플링 팩터의 조정이 필요하다. 앞서 설명한 것과 같이 aliasing 오류가 일어나지 않는 조건을 만족하는 동시에 PSNR이 가장 높았던 샘플링 팩터는 0.01과 같거나 더 작은 샘플링 팩터였다. 따라서 샘플링 팩터를 0.01로 설정하여 복원을 진행하였다(그림 5). 그림 5(c)는 aliasing 오류가 일어나지 않고 PSNR이 가장 높은 샘플링 팩터 0.01을 적용한 결과로, 물체의 무늬와 선이 상대적으로 더 명확하게 표현되었다. 이를 통해 샘플링 팩터의 조정으로 스펙클 노이즈를 감소시킬 수 있음을 알 수 있다.
본 논문에서 제안하는 네트워크는 convolution층, batch normalization층, max pooling층, copy and crop layer층으로 이루어져 있다. 이 중 copy and crop layer층은 총 2번 사용되고, 이 구조를 도식화하면 그림 6과 같다. 그림 6에서 convolution의 커널 크기는 3 × 3으로 유지되며, 필터 수는 32개로 시작하여 다운 샘플링 과정에서 128개까지 증가하였다가 최종적으로는 업 샘플링 과정에서 1개까지 감소하도록 하였다.
기존의 U-Net은 처음과 끝의 필터 개수가 32개로 동일한 반면, 본 논문에서 제안한 모델은 필터 수 32개로 시작하여 최종 필터 수가 1개로 줄어드는 비대칭적인 구조를 가지고 있는데, 이는 그림 6과 같이 필터 수가 32개로 시작하고 1개로 끝나는 구조일 때 PSNR의 값이 최소 0.1에서 최대 0.4까지 상승하는 것을 확인하였기 때문이다. 결과적으로는 본 논문의 모델이 최종 필터 수 32개로 대칭을 이루는 구조보다 더 나은 결과를 보여주었다.
이를 확인하기 위해 그림 7과 같이 이미지 품질을 비교하였다. 먼저 max pooling층을 통해 입력 이미지, 즉 756 × 1,344 크기를 가진 위상 홀로그램의 크기를 x축, y축으로 각각 1/2씩 줄이는 것을 2번 반복하여 입력 이미지의 전체 크기를 1/4 크기로 다운 샘플링하였다. 이후 다시 transposed convolution 층을 통해 위상 홀로그램의 크기를 x축, y축에서 각각 2배씩 늘리고, 이를 2번 반복하여 입력 이미지를 원래 크기로 복구한다.
Copy and crop층은 다운 샘플링 과정에서 손실된 데이터를 복사하여 넘겨주는 역할을 하며, feature map은 copy and crop층을 통해, transposed convolution층에서의 feature map과 convolution층에서의 feature map이 합쳐져 업 샘플링된다. 이 과정에서 데이터 정보를 보완해주며 결과를 더 정확하게 예측하게 만든다.
본 논문에서 제안한 네트워크의 데이터셋은 건물 실내의 2D 이미지이며 이 중 깊이 이미지는 활용하지 않았다[9-13]. 총 600장을 사용하였으며, epoch은 200번, learning rate는 learning rate decay를 이용한다. Learning rate decay는 cosine decay이며 0.001을 가진다. Optimizer는 Adam을 사용하였고, 손실 함수는 평균 제곱 오차 함수를 활용하였다.
앞서 제안한 네트워크를 통해 그림 7의 원본 이미지들에 대한 위상 홀로그램 복원 이미지 시뮬레이션을 진행하였다.
그림 7는 검은 배경에 새, 글자(CBNU), 축구공, 용 등의 물체가 존재하는 4개의 이미지로 구성되어 있으며, 원본 이미지 그림 7(a), BL-ASM을 적용한 그림 7(b), 샘플링 팩터를 0.01로 조정하여 BL-ASM을 적용한 그림 7(c), 그리고 샘플링 팩터를 0.01로 조정하고 딥 러닝을 적용한 그림 7(d) 간의 스펙클 노이즈의 감소와 이미지 품질의 향상을 확인할 수 있다. 이때 파장은 633 nm의 레드 파장을 사용하였다. 복원 이미지는 전파거리 0.5–1.5 m 사이에서 생성한 각 방법마다의 복원 이미지 중 PSNR이 가장 높은 것을 선정하였다. 이는 가장 높은 이미지 품질을 가진 복원 이미지끼리 비교하여 정량적 평가를 가능케 하기 위해서이다.
그림 8은 검은 배경에 측면으로 서 있는 새의 이미지를 원본으로 사용하였다. 그림 8(a)는 원본 이미지, 그림 8(b)는 BL-ASM으로 위상 홀로그램을 복원한 이미지, 그림 8(c)는 샘플링 팩터를 조정하여 공간 주파수를 제어한 BL-ASM으로 복원한 이미지, 그리고 그림 8(d)는 제안한 방법인 샘플링 팩터를 조정하여 공간 주파수를 제어한 BL-ASM을 가지고 딥 러닝을 적용하여 생성한 복원 이미지이다.
그림 8(b)에서 샘플링 팩터는 조정하지 않고 그대로 유지하였고, 딥 러닝 또한 적용하지 않았다. 스펙클 노이즈는 물체와 배경 모두 존재하지만, 특히 물체 주변에 도드라지게 존재한다. 물체 또한 스펙클 노이즈로 인해 물체의 윤곽과 세밀한 부분들이 뚜렷하게 구현되지 못하였다. 그렇기 때문에 다른 방법에 비해 이미지의 품질도 낮다. 그림 8(c)는 정보 손실이 상대적으로 많아 물체의 세밀한 표현이 불가하고 복원되지 않은 픽셀들이 많으나, BL-ASM만 사용한 그림 8(b)와 비교해보았을 때 스펙클 노이즈가 눈에 띄게 줄어들었다. 그림 8(d)는 제안한 방법을 모두 적용한 위상 홀로그램의 복원 이미지로, 샘플링 팩터를 조정한 BL-ASM과 딥 러닝을 적용하였다. 스펙클 노이즈는 그림 8(c)에 비해 상대적으로 많지만, 정보 손실이 적었기 때문에 물체를 세밀하게 표현할 수 있었다.
그림 8의 새의 눈 주변과 깃털 부분, 그리고 배경을 더 자세히 살펴보기 위해 세 개의 구역으로 나눠 놓았다. 첫 번째 구역은 눈, 두 번째 구역은 깃털, 세 번째 구역은 배경의 일부분이다. 그림 8(b)는 첫 번째, 두 번째 구역에서 눈과 깃털의 세세한 부분이 잘 구현되지 않았고, 배경인 세 번째 구역에서는 큰 스펙클 노이즈들이 존재한다. 한편, 제안한 방법을 사용한 그림 8(d)의 첫 번째 구역은 스펙클 노이즈가 적기 때문에 눈 주변 주름과 눈의 형태가 상대적으로 더 잘 보이고, 두 번째 구역에서도 깃털의 무늬 등이 가려지지 않고 또렷이 드러나는 것을 확인할 수 있다. 그림 8(d)의 세 번째 구역은 배경의 일부를 추출한 것인데, 마찬가지로 밝은 pixel들이 그림 8(b)에 비해 상대적으로 사라졌기 때문에 스펙클 노이즈가 줄어들었음을 알 수 있다. 그림 8(c)의 첫 번째 구역과 두 번째 구역은 눈과 깃털의 표현이 그림 8(d)에 비해 명확하지 않고 표현이 세세하지 않지만, 세 번째 구역에서 스펙클 노이즈가 나머지 두 방법을 사용한 이미지보다 적은 것을 확인할 수 있다. 최종적으로 스펙클 노이즈의 비율은 그림 8(c)에서 가장 적었지만, 반면에 육안으로 봤을 때 이미지 품질은 그림 8(d)가 가장 높다. 이는 딥 러닝을 통해 손실된 이미지의 pixel을 복구하는 과정에서 배경 또한 복구의 영향을 받기 때문이다.
이로써 본 논문에서 제안한 샘플링 팩터 조정과 딥 러닝 양 방법 간의 단점을 상호보완하고, 기존의 목표인 BL-ASM 복원 이미지의 스펙클 노이즈를 감소시키고 동시에 이미지의 품질을 향상시킨다는 두 가지 목표를 모두 수행할 수 있음을 확인하였다.
그림 9는 스펙클 노이즈의 정량적 평가를 위해 그림 8(b)–8(d)에서 세 번째 구역의 스펙클 노이즈를 pixel 값으로 표현한 그래프이다. 이때 픽셀 값이 0으로 측정된 비율이 높을 수록 스펙클 노이즈 감소가 큰 것을 알 수 있다. 스펙클 노이즈는 BL-ASM을 이용한 그림 9(b), 샘플링 팩터를 조정한 BL-ASM에 딥 러닝을 적용한 그림 9(d), 샘플링 팩터를 조정한 BL-ASM인 그림 9(c) 순으로 적어진다. 이를 통해 샘플링 팩터를 조정하여 공간주파수를 제어하는 것이 스펙클 노이즈의 감소 효과를 가져오는 것을 확인하였다.
그림 10과 11은 0.5–1.5 m 사이의 거리에서 그림 7의 이미지 4개에 BL-ASM 방법, BL-ASM에 샘플링 팩터를 적용한 방법과 제안한 방법을 적용하여 얻은 peak signal-to-noise ratio (PSNR)과 structural similarity index measure (SSIM)의 평균값이다. PSNR 결과를 나타낸 그림 10을 보면, 제안한 방법이 다른 두 방법보다 최소 3.1에서 최대 4.8의 PSNR의 값이 더 높은 것을 확인할 수 있다. SSIM 결과를 나타낸 그림 11은 제안한 방법으로 복원한 이미지, 샘플링 팩터를 조정한 BL-ASM으로 복원한 이미지, 그리고 BL-ASM으로 복원한 이미지 순으로 SSIM이 높다는 것을 나타낸다. 제안한 방법을 사용하였을 때 기존 BL-ASM으로 복원한 이미지보다 SSIM이 2배 가량 높게 나왔음을 확인할 수 있다.
이로써 제안한 방법을 통해 PSNR과 SSIM이 모두 높아지며 이미지 품질이 상승하는 것을 확인하였다. 이는 딥 러닝이 이미지 정보 손실을 복원하며 추가적으로 이미지 품질의 향상 효과를 가져온다는 것을 알려준다.
본 논문에서는 BL-ASM에 존재하는 샘플링 팩터 요소를 조정함으로써 표본화 간격을 조절하여 공간주파수를 제어하고, 추가적으로 나타나는 aliasing 오류를 제거하였다. 또한 표본화 간격을 조절함으로써 넓은 범위의 전파거리에서 생성되는 스펙클 노이즈를 감소시켰다. 추가로 딥 러닝 모델인 U-Net도 함께 적용함으로써 원본 이미지와 복원 이미지의 손실 차이를 줄였으며, 이에 따라 이미지 품질의 수치를 나타내는 PSNR과 SSIM도 높아짐을 확인하였다. 그리고 기존의 단거리 혹은 좁은 전파거리 범위에서의 홀로그램 생성이 아닌 1 m 정도의 넓은 범위에서도 홀로그램 생성 시 스펙클 노이즈의 감소와 이미지 품질의 향상이 가능하다는 것을 확인할 수 있었다. 또한 GS-algorithm처럼 반복적 방법이 아닌, BL-ASM을 활용한 비반복적 방법이기 때문에 홀로그램 생성의 계산 시간도 반복적 방법에 비해 짧다는 장점도 있다.
본 연구의 목적은 넓은 전파거리 범위에서 BL-ASM을 이용했을 때 aliasing 오류와 스펙클 노이즈를 감소시키고 이미지 품질을 향상시키는 기법을 만드는 것이다. 이를 위해 샘플링 팩터를 조정하여 스펙클 노이즈의 감소라는 장점과 딥 러닝을 통한 이미지 품질의 향상이라는 장점을 결합하고, 샘플링 팩터 조정의 단점인 이미지 정보 손실을 딥 러닝을 통해 보완하였다. 그러나 딥 러닝을 통한 결과를 샘플링 팩터를 조정한 BL-ASM과 비교해보았을 때 스펙클 노이즈는 상대적으로 더 많은 것을 확인할 수 있었다. 본래 비교 대상인 BL-ASM과 제안한 방법만을 정량적 평가를 통해 비교해 보았을 때, 결론적으로 스펙클 노이즈의 감소와 이미지 품질의 향상이라는 두 가지 목표를 달성할 수 있었다.
본 연구의 시뮬레이션에서 보완해야 하는 점은 딥 러닝을 통한 이미지 손실을 복구하는 과정에서 생기는 스펙클 노이즈가 샘플링 팩터만 조정한 BL-ASM보다 더 많다는 점이다. 이 점은 추후에 모델의 수정을 통해 보완하고자 한다.
본 연구는 2023학년도 충북대학교 연구년제 사업의 연구비 지원과 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구임(IITP-2023-2020-0-01846, No. 2020-0-00929, No. 2021-0-00750).
저자는 본 논문과 관련된 어떠한 이해충돌 사항도 없었음을 밝힌다.
본 연구의 결과 분석 및 생성된 데이터는 모두 본 논문 내 명시되어 있으며 공공의 이용이 가능하다. 데이터에 접근하거나 사용하고자 하는 이는 저자에게 타당한 이유를 밝히고 허가를 득해 사용 가능하다.
pISSN 1225-6285
eISSN 2287-321X