Ex) Article Title, Author, Keywords
Ex) Article Title, Author, Keywords
2024; 35(6): 265-275
Published online December 25, 2024 https://doi.org/10.3807/KJOP.2024.35.6.265
Copyright © Optical Society of Korea.
Jinyoung Jang1, Sehui Chang1, Yong Min Song1,2,3
장진영1ㆍ장세희1ㆍ송영민1,2,3†
Correspondence to:†ymsong@gist.ac.kr, ORCID: 0000-0002-4473-6883
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
With the advent of the intelligent robotics era, there is an increasing demand for a variety of image sensors and camera modules to meet the needs of various applications. At the same time, demand is growing for performance such as ultra-compact size, low-power operation, and hardware-level object recognition that is difficult to achieve with existing cameras. The superior structures and functionalities of natural eyes, including those of humans and other animals, provide significant inspiration for the development of next-generation artificial vision systems. In particular, the unique characteristics of animal eyes, which have evolved ecologically to adapt to specific habitats and environments, exhibit functionalities beyond those found in conventional cameras. Consequently, research aiming to mimic these natural optical systems has become very active. Bioinspired cameras can generally be categorized into lens optics, image sensors, nanophotonic structures, and neuron/synapse mimics. Recently, there have been attempts to integrate all these components into a complete vision system. This review aims to trace trends in bioinspired cameras, focusing not on the technical aspects of individual components but on overall directions in technological advancement.
Keywords: Bioinspired camera, Image sensor, Vision system
OCIS codes: (040.1490) Cameras; (110.0110) Imaging systems; (220.0220) Optical design and fabrication
가전 제품(consumer electronics) 시장 동향 보고서에 따르면 약 2020년대 중반을 기점으로 전자 제품의 방향이 스마트 소자(smart device)에서 로봇(robotics)으로 이동할 것으로 예측된다. 지능형 홈, 동료 로봇(companion robot), 스마트 카 등을 포함하는 지능형 로봇시대에는 방대한 데이터의 처리를 위해 그래픽 연산 처리 장치(graphic processing unit, GPU)를 넘어 뉴로모픽 연산 처리 장치(neuromorphic processing unit, NPU)의 수요가 급격히 늘 것으로 예상하며, 지능형 로봇 시대 이후에는 증강(augmented) 시대로 진입할 것으로 본다.
지능형 로봇의 개발을 위해서는 주변 상황을 보다 정확히 인지할 센서들이 다수 필요하며, 그러므로 거의 모든 유형의 로봇에서 이미징(imaging) 장치의 장착이 필수일 것으로 예측된다. 이와 동시에 초소형/저전력 구동부터 하드웨어 레벨의 물체 인식까지 기존 카메라에서는 구현하기 어려운 성능에 대한 수요도 늘고 있다. 로봇의 종류, 형태 및 목적이 더욱 더 다양해짐에 따라 이미지 센서 또는 카메라 모듈의 다변화가 필수이나, 현재 사용되고 있는 카메라 모듈은 정형화된 complementary metal oxide semiconductor (CMOS) 기반 이미지 센서와 몇 가지 렌즈 모듈군의 조합으로 이루어지기 때문에 각각의 로봇 맞춤형으로 변화를 꾀하기는 어렵다. 또한 후술할 동물의 눈과 비교하자면, 모듈의 구성 측면에서 다수의 복잡한 렌즈를 사용하기 때문에 경제적이지 못하며, 신호 처리 방식에서도 동물의 신경계와 비교할 바가 못 된다. 기존 카메라 모듈의 발전 방향은 예컨대 이미지 센서의 픽셀 간격을 줄이고, 화소 수를 높이며, 노이즈/양자효율을 개선하는 등 구체적 스펙의 향상을 통해 이루어졌다. 그러나 지능형 로봇 시대에 대응하기 위해서는 카메라 모듈의 다변화를 위한 노력도 필요하다.
현재 우리가 흔히 사용하는 이미지 센서 및 카메라 모듈은 인간의 눈 구조에서 착안한 것이다. CMOS 기반 이미지 센서의 컬러 필터 스펙트럼은 인간 눈에 존재하는 원추 세포의 빛 흡수 스펙트럼을 가능한 한 유사하게 모사하기 위한 것이며, 인간의 삼색인지와 유사한 성능을 보인다. 현재 이 컬러 필터의 화소 크기는 실리콘 기반 이미지 센서 제작기술이 발전함에 따라 0.5 마이크론 크기에 도달하였으며, 이는 가장 작은 인간 원추 세포의 직경과 유사하다. 회절 한계(diffraction limit)를 고려하면, 이보다 더 작은 화소의 개발에는 부차적인 문제를 해결해야 할 것으로 보인다. 이처럼 고도로 발달한 이미지 센서 제작 기술에도 불구하고, 몇 가지 측면에서 동물의 눈을 좀 더 관찰해야 하는 이유가 있다. 첫째는 동물 눈의 효율성이다. 인간의 눈은 하나의 렌즈로 구성되어 있는 반면, 상용 카메라에는 다수의 렌즈가 필요하다. 이는 단일 렌즈(single lens)의 초점면이 평면이 아니라 곡면이기 때문에 생기는 것으로, 편평한 이미지 센서를 사용하는 한 극복할 수 없다. 반면 동물의 안구(eye ball) 내 망막(retina)은 소위 상면 완곡(Petzval’s field curvature)이라 불리는 면에 위치하기 때문에 광학적으로 매우 경제적인 구성(economical configuration)을 갖추고 있다. 둘째는 동물 눈의 다양성이다. 인간을 포함한 동물의 눈은 자연 속에서 서식지 및 생활 환경에 가장 적합한 형태로 진화해 왔다. 이는 앞서 언급한 눈의 경제적 구성이 각각의 목적에 맞추어 변화해 왔다는 의미이며, 단순히 크기 및 화소 수뿐만 아니라 렌즈/동공의 종류/형태, 광수용체 유형/종류/밀도, 편광 필터, 반사체, 적응 광학계(adaptive optics) 등 상상할 수 있는 거의 모든 구성품의 변화를 포함한다. 이와 관련된 더 자세한 예시에 대해서는 2장에서 다루도록 한다. 저자가 가장 주목하는 부분은 동물의 눈이 생활 환경에 따라 적합한 형태로 진화한 것과 마찬가지로, 각각의 목적에 맞게 개발된 로봇의 카메라도 그에 가장 적합한 형태로 진화해야 한다는 것이다. 이것이 생체 모방 연구가 필요한 이유이다.
생체 모방 카메라 연구는 지금껏 렌즈 광학계, 이미지 센서, 나노포토닉 구조, 뉴런/시냅스 모사 등 여러 가지 시도가 있었으나, 큰 줄기로 구분하자면 동물 눈의 효율성을 모사하기 위한 목적으로 시작되어 지금은 동물 눈의 다양성에 주목하고 있는 상황이다. 동물의 눈은 그 구조 및 기능에 따라 크게 10가지로 구분되며, 이는 다시 단일 렌즈 눈(single lens eye) 또는 카메라형 눈(camera-type eye)과 겹눈(compound eye)으로 구분된다. 이 중 인간의 눈을 포함하는 단일 렌즈 눈 구조를 모사한 연구가 자연스레 먼저 시작되었으며, 이어서 파리, 벌 등이 가지고 있는 겹눈 구조를 모사하는 연구가 이루어졌다. 본 고에서는 생체 모방 카메라 연구의 최신 동향을 파악하기 위해 먼저 2장에서 단일 렌즈 눈 모사형 카메라 기술에 관해 서술하고, 이후 3장에서 겹눈 모방 카메라 기술에 대해 다룬다. 결론부에서는 생체 모방 카메라 연구가 나아가야 할 방향에 대해 고찰한다.
물체의 상을 얻기 위한 단일 볼록 렌즈(single biconvex lens)의 초점면은 앞서 언급한 대로 포물면을 이루고 있기 때문에 편평한 필름 또는 이미지 센서를 사용하면 광학 수차(aberration)를 극복하기 어렵다. 초점면을 평면으로 만들기 위해서는 복수의 렌즈 구성이 필요하며, 더욱 우수한 변조전달함수(modulation transfer function) 특성을 얻기 위해서는 더욱 많은 렌즈 혹은 비구면 렌즈 조합이 필요하다. 더 나아가 화각(field of view)을 높이거나 물체 확대(zooming) 등의 기능을 부여하기 위해서는 더욱 많은 매수의 렌즈가 필요하며, 이처럼 한정된 공간 내에 너무 많은 매수의 렌즈를 삽입하게 되면 카메라 모듈의 구성은 복잡해질 수밖에 없다. 한편 포유류, 조류, 어류 등이 가진 단일 렌즈 눈(single lens eye)은 초점면에 망막이 위치하기 때문에 수차 문제를 최소화할 수 있다. 또한 동물 눈의 렌즈는 대체로 구배형 굴절률(graded refractive index)을 갖기 때문에 색수차(chromatic aberration) 문제를 효과적으로 해소할 수 있다. 이때 초점의 조절은 렌즈 곡면의 물리적 변형을 통해 이루어진다. 이와 같이 동물의 단일 렌즈 눈은 평면 이미지 센서 기반 기존 카메라 모듈의 구성에 비해 월등히 단순한 구조를 가짐과 동시에 우수한 영상 획득 특성을 가지고 있기 때문에 2000년대 중반부터 이를 모사하고자 하는 연구가 시작되었다[그림 1(a)–1(c)][1,2].
초창기의 연구는 사람의 눈을 모방한 연구였으며[그림 1(d)], 주로 곡면형 이미지 센서의 제작에 초점을 맞추었다[그림 1(e)][3]. 미국 일리노이대 Rogers 등의 연구진은 2008년 전사 프린팅(transfer printing) 기법을 도입하여 실리콘 기반 이미지 센서를 반구면 고분자 기판에 성공적으로 전사하였으며, 이를 통해 단일 렌즈 이미징으로 이미지 센서의 전 영역에서 매우 선명한 영상을 획득하였다[4]. 홍콩 과기대의 Fan 그룹에서는 얇은 알루미늄 기판을 구형으로 가공하고, 양극산화 기법을 통해 매우 작은 기공을 형성하여 내부에 페로브스카이트 나노선 광센서를 성장시켰다[5]. 이렇게 제작된 광센서의 직경 및 광센서 간 거리는 인간의 원추세포보다 훨씬 조밀한 수준으로서 고해상도 인공 눈 개발의 가능성을 보여주었다. 이 밖에도 그림 1(f)의 2차원 소재를 이용한 초박막 곡면형 이미지 센서, 키리가미(Kirigami) 기법을 도입한 고밀집 곡면형 이미지 센서 등이 개발되었다[6,7]. 한편 연구소뿐만 아니라 산업계에서도 유사한 연구가 이루어졌는데 일례로 2013년 (주)소니에서 최초로 곡면형 이미지 센서의 상용제품 개발에 대한 기사를 보고하였다. 이 밖에도 (주)마이크로소프트[그림 1(g), 1(h)] 등 대기업에서 관련 연구 결과를 보고한 바 있고[8], (주)애플 등 이미지 센서 제작 기업이 아닌 경우에도 다수의 특허를 출원하는 등 곡면형 이미지 센서는 이미 산업 응용에 대한 가능성을 내비치고 있다[9-11].
한편 앞서 언급한 것처럼 동물 눈의 다양성에 기반한 응용 맞춤형 생체 모사 카메라 연구도 이루어지고 있다. 상용 제품 중 널리 알려진 어안 렌즈(fish-eye lens), 즉 광각 렌즈는 통상 7–13매 정도의 렌즈로 구성되어 있으나, 실제 물고기의 눈은 이것과 전혀 다른 구성을 하고 있다. 물 속의 굴절률은 약 1.3으로 공기에 비해 큰 굴절력(refractive power)이 필요하기 때문이다. 이에 따라 어류의 단일 렌즈는 주로 볼 렌즈(ball lens) 형태이며, 초점면에 존재하는 광수용체 배열 역시 반구형이다. 볼 렌즈는 색수차를 줄이기 위해 굴절률이 점진적으로 변하는 구배형 구성을 띠며, 초점의 조절은 렌즈의 곡면 조절이 아닌 병진 이동으로 달성된다. Kim 등[12] 연구진은 이를 활용하면 기존의 어안 렌즈에 비해 매우 간단한 구성으로 넓은 화각을 달성할 수 있다는 이점을 활용하여 그림 2(a)와 같이 어안 카메라를 제작하였다. 이들은 그림 2(b)의 구형 공심 렌즈와 그림 2(c)의 실리콘 기반 반구형 이미지 센서 결합을 통해 120도의 화각을 달성하고[그림 2(d)], 포커싱 조정을 통해 그림 1(e)와 같이 가까이 위치한 물체에서도 선명한 이미지를 획득하였다.
한편 수생 생물의 눈이 모두 상기 언급한 형태로 되어 있는 것은 아니며, 그중에서도 서식지에 따라 독특한 조합을 이루고 있는 동물이 존재한다. 예를 들어 두족류의 일종인 갑오징어(cuttlefish)는 어류와 구형 렌즈 및 반구형 광수용체 배열 면에서 동일하나 조리개의 구조 및 광수용체의 분포 등이 다르다. 갑오징어는 주로 얕은 물가에 서식하기 때문에 수직 방향으로 불균일한 조도 환경에 노출된다. 따라서 위쪽 빛은 차단하고 아래쪽 빛은 많이 받아들이기 위해 동공을 W자 모양으로 진화시켜 빛 조건을 조절하게 되었다. 또 갑오징어의 망막은 아래 방향에 위치한 빛을 받아들이는 영역, 즉 먹잇감이 지나다니는 방향에 광수용체들이 밀집되어 있어, 해당 방향에 국한하여 고해상도의 시력을 구현할 수 있다. Kim 등[13] 연구진은 그림 2(f)에 보이듯 갑오징어의 동공을 모사한 W자형 조리개를 만들어 이미지 센서로 들어오는 광량의 불균일도를 해소하였다. 또한 그림 2(g)에서 갑오징어의 망막처럼 관심 영역이 영상으로 맺히는 영역에 광다이오드 픽셀을 밀집시켜 효율적으로 고해상도 영상을 얻도록 설계하였다. 그림 2(h)와 그림 2(i)는 수직 방향으로 불균일한 광량이 비추는 상황에서도 W자형 조리개를 이용하면 일정한 세기로 빛을 감지할 수 있음을 보여주고 있다. 또한 갑오징어 등 두족류의 눈에는 편광을 인지할 수 있도록 미세 융모(microvilli)가 정렬되어 있어 선편광 필터의 역할을 하며, 이는 물체 인식의 대비(contrast)를 크게 향상시킨다. 이를 모사하기 위해 연구진은 한 방향으로 정렬된 탄소 나노튜브(carbon nanotube) 배열을 제작하고, 이를 이미지 센서 상부에 집적하여 편광 구분이 가능한 이미지 센서를 제작하였다.
이 밖에도 조류(Aves), 고양잇과(Felidae), 뱀아목(Serpentes) 등의 눈을 모사한 연구를 통해 기존 카메라와 대비되는 특수 기능을 가진 카메라 모듈의 연구도 진행되고 있다[14-16]. 예를 들어, 맹금류에서 보이는 포비티드(foveated) 이미징 기술은 그림 3(a)와 같이 중심와(fovea centralis)가 가우시안 형태를 띄고 있어 영상의 주변부에 비해 중심부에서 매우 선명하고 확대된 형태의 영상을 획득할 수 있다. 이러한 특성은 그림 3(b)와 같은 상황에서 관심 영역(foveal region)에 더 높은 화질이 필요한 감시 카메라 등에 활용할 수 있다. 그림 3(c)는 완성된 카메라 모듈을 이용해서 측정한 이미지 데모이며, 이를 통해 표적 탐지 및 추적하는 시스템에 응용 가능함을 알 수 있다.
고양잇과의 눈은 사람과는 다르게 낮에는 수직 동공(vertical pupil)을 통해 카메라의 초점 심도를 짧게 하여 주변부 노이즈를 효과적으로 줄이고, 밤에는 휘판(tapetum lucidum)을 통해 입사광을 재흡수하여 조도가 낮을 때에도 물체를 선명하게 식별할 수 있게 해준다. 고양이 눈을 모사한 카메라 시스템 구성은 그림 3(d)에 나타내었으며, 변경 가능한 조리개와 반구 형태의 이미지 센서가 특징이다. 또한 그림 3(e)의 원형 동공일 때와 그림 3(f)의 수직 동공일 때에 수집된 이미지 및 그래디언트 맵 간의 비교를 통해 고양이 눈을 모사한 카메라가 목표물 주변에 노이즈가 많은 경우에도 물체를 보다 명확히 식별할 수 있도록 돕는 위장 해제(camouflage breaking) 효과를 가지고 있음을 알 수 있다. 이는 군사용이나 정찰용 카메라에 적합할 것으로 예상된다.
뱀아목에 해당하는 동물들은 눈 주변에 피트 기관(pit organ)이라 불리는 오목하게 패인 영역이 있으며, 이 기관을 통해 낮은 해상도의 열 영상(thermal imaging)을 감지할 수 있다. 뱀아목은 이를 통해 한밤 중에도 물체의 움직임을 포착할 수 있으며, 이는 야간 열화상 카메라 개발에 영감을 주었다. 그림 3(g)의 뱀아목의 눈을 모사한 이미지 센서는 감지 신경 세포 역할을 하는 고밀도 이온 열전 폴리머 나노와이어 배열이 특징이다. 그림 3(h)에서 각 나노와이어는 테스트 대상의 온도 변화(40, 80, 120, 160, 200 ℃)에 따라 뚜렷한 전압 반응을 나타내고, 그림 3(i)는 픽셀의 전압-온도 그래프를 통해 온도변화에 따라 픽셀이 생성하는 전압을 보여준다. 이를 토대로 완성된 센서는 실온에서 사람의 체온만으로 손동작을 이미지화하는 것에 성공하여, 생체 영감을 받은 새로운 IR 이미징 장치의 구현에 기여하였다.
겹눈은 잠자리, 벌 등 곤충과 새우, 가재 등 갑각류를 포함하는 절지동물(arthropod)에서 관찰되며, 여러 개의 홑눈(ommatidium)이 다발로 모여 있는 형태이다. 생물 종의 약 80%가 겹눈을 갖고 있는 것으로 알려져 있기 때문에, 겹눈 모방 연구는 자연계의 80%를 차지하는 생물들이 바라보는 세상을 보다 자세히 이해할 수 있게 한다는 점에서 큰 의의가 있다. 홑눈은 겉에서부터 마이크로렌즈 형태의 각막(cornea), 수정추(crystalline cone), 감간(rhabdom) 순으로 구성되어 있다. 이때 각막의 지름은 생물종에 따라 다양하나 주행성 곤충의 경우 보통 20 마이크론 정도로 매우 작다. 피사체에서 반사된 빛은 각각의 홑눈을 통해 들어와 수정추에서 모이며, 모인 빛은 감간으로 전달되어 상을 형성하게 된다. 겹눈은 홑눈 다발이 볼록한 면에 분포하는 형태가 일반적이기 때문에 단일 렌즈 눈에 비해 매우 넓은 시야각(140–180도)을 가지며, 광학 구조상 매우 깊은 심도를 갖는다. 게다가 겹눈의 신경계는 물체의 움직임을 매우 빠르게 포착할 수 있도록 배치되어 있다. 이처럼 넓은 화각, 깊은 심도, 빠른 프레임 수 등은 겹눈의 큰 장점이 되지만 반면에 해상도가 매우 낮다는 단점이 있다. 홑눈 구성 시에는 마이크로렌즈 광학계가 필수이기 때문에 감간의 밀도 및 개수를 높이기 어려우며, 해상도를 높이고자 하면 전체 시스템의 부피가 매우 커진다. 결과적으로 겹눈은 높은 해상도가 필요한 분야에는 적합하지 않으나 정찰, 배달, 탐사 등의 목적으로 활용될 소형 비행체의 카메라로는 매우 적합하다고 볼 수 있다.
겹눈 모사형 카메라 기술의 초기 연구는 2000년대 초반 마이크로렌즈 어레이(microlens array, MLA)를 이미지 센서에 집적하는 연구로부터 시작되었다[17,18]. 예를 들어 thin observation module by bound optics (TOMBO)라는 통합 이미징 시스템은 그림 4(a)와 같이 마이크로렌즈 어레이와 신호 분리기, 이미지 처리 장치로 구성된다. 그림 4(b)의 도식을 보면 MLA와 그 아래 위치한 이미징 픽셀들이 하나의 홑눈을 구성하며, 이로부터 얻은 영상정보를 재구성하면 겹눈 이미징이 가능함을 알 수 있다. 최종 완성된 시스템은 그림 4(c)와 같다. 다만 평면구성에서는 각 인공 홑눈의 이미징 영역이 중첩되고 화각이 매우 제한되기 때문에, 오사카대 그룹에서는 MLA의 밑면에 핀홀을 중심과 어긋나게 형성하여 이를 보완하였다[19]. 한편 스위스 EPFL의 연구진은 화각을 극대화하고 해상도를 높이기 위해 반구면에 소형 카메라 모듈을 여러 대 배치하여 180도 전 영역 파노라믹 형상을 획득하였다[20]. 다만 이는 여러 대의 카메라 모듈을 활용하기 때문에 부피가 매우 크며, 구동 하드웨어도 매우 복잡하다는 단점이 있다. 이 사례에서 알 수 있듯 겹눈 모사의 가장 어려운 점은 반구면 혹은 최소한 적절한 구면에 마이크로렌즈 어레이와 이미징 픽셀들이 균일하게 배치되어야 한다는 점이다. 이를 해소하기 위해 일리노이대에서는 그림 4(d)의 신축성이 있는(스트레처블, stretchable) 광검출기 어레이 및 마이크로렌즈 어레이를 제작한 뒤 이를 정렬 및 결합하고, 기계적 힘을 가해 평면 구성을 그림 4(e)와 같이 반구면으로 변형하였다[21]. 최종 제작된 인공 겹눈 카메라[그림 4(f)]는 총 180개의 홑눈을 가지고 있으며, 그림 4(g)의 이미징 결과에서 160도의 넓은 화각 특성을 보였다. EPFL에서는 실린더형 플렉서블 이미지 센서를 제작하고 각 픽셀의 상부에 마이크로 렌즈를 집적하여 그림 4(h)의 실린더형 겹눈 카메라를 제작하였다[22]. 제작된 카메라는 일축으로는 180도의 화각을 가지나, 반대 축으로는 60도로 화각이 제한된다는 단점이 있다[그림 4(i)]. 그러나 그림 4(j)처럼 4개의 작동 곡선을 통해 프로토 타입의 높은 감도뿐만 아니라 주변광에 대한 민감도의 안정성을 확인할 수 있어, 일반적인 자연환경에서 강점이 있다.
동물의 겹눈 역시 그 구조 및 기능에 따라 다섯 가지로 구분되고, 동물의 서식지에 따라 그 특성이 제각각이다. 홑눈의 개수는 100개 미만부터(일개미) 3만 개까지(잠자리) 다양하며, 홑눈의 분포는 반구면에 고르게 분포하는 것이 일반적이지만 경우에 따라서는 구면 전체를 감싸는 형태도 있다. 대표적으로 농게(fiddler crab)의 돌출된 눈이 그 예이다[그림 5(a)]. 그림 5(b)의 사진과 같이 농게의 눈은 돌출된(stalked) 형태이며, 돌출된 막대 기둥의 끝부분 전면을 홑눈이 감싸고 있는 형태로 이루어져 있다. 농게는 넓은 갯벌에 서식하기 때문에 매우 넓은 영역을 한 번에 관찰해야 하는 상황에 자주 노출되며, 따라서 전방위 영상 획득이 가능하도록 진화했다. 또한 농게는 물 속과 물 밖의 물체를 모두 선명히 관찰해야 하므로 렌즈 광학 구조가 독특하게 발달하였다. 그림 5(c)의 투과전자현미경(transmission electron microscopy, TEM)을 이용해 관찰한 농게의 단일렌즈 단면은 평평한 상부 표면과 구부러진 다층으로 구성되어 있고, 그 내부는 굴절률이 점진적으로 변하는 형태를 띤다. 이로 인해 외부 굴절률이 공기(n = 1.0)에서 물(n = 1.33)로 변하더라도 초점거리가 바뀌지 않으므로 수륙양용에서 이미지를 얻는 것이 가능하다. Lee 등[23]은 이러한 농게의 광학 구조 및 홑눈 분포에서 영감을 얻어 그림 5(d) 속 전방위 수륙양용 카메라를 제작하였다. 제작된 카메라는 그림 5(e)와 같이 300도 이상의 매우 넓은 화각을 가지며, 그림 5(f)에 도식으로 나타낸 환경에서 진행된 물 속 및 물 밖 측정에서 거의 동일한 수준의 이미징 결과를 확인했다[그림 5(g)]. 이 밖에도 각종 갑각류의 겹눈 내부 구조를 모사한 카메라 연구가 이루어지고 있으며[24,25], 겹눈의 양안(binocular vision) 영상 획득을 통한 3차원 물체 추적 기술 등도 보고된 바 있다[26,27]. 겹눈은 적은 수의 픽셀로도 넓은 영역을 한 번에 볼 수 있고, 이론적으로는 단일 렌즈 눈에 비해 그 크기를 매우 작게 만들 수 있기 때문에 드론 등 소형 무인 비행체에 적용하기에 매우 적합하다. 다만 현재까지 개발된 겹눈 모사 카메라는 부피가 크기 때문에 이를 개선할 필요가 있다.
지능형 로봇의 폭발적 수요, 플렉서블 전자소자 기술의 발전, 동물 눈의 다양성 등의 요소가 생체모사형 카메라 기술의 진보를 앞당기고 있다. 근래에는 단순히 사람 눈이나 곤충 눈을 모방하는 것을 넘어 다양한 동물 눈의 광학 구조 및 영상 획득 구조를 모사하는 연구가 진행되고 있으며, 이러한 추세는 앞으로도 지속될 것으로 예상된다. 곡면형 이미지 센서는 아직 상용화되지 않았지만, 머지않은 미래에 새로운 광학 부품 시장의 확대를 초래할 것으로 기대된다. 생체모사형 카메라 기술은 앞으로 다음과 같은 몇 가지 방향으로 진행될 것이다.
첫째, 동물 눈에서 착안한 다양한 광부품 기술의 발전이 이루어질 것이다. 농게 등 수륙양용 동물의 구배형 렌즈, 갑오징어 등 일부 동물 눈의 자유 형상 조리개, 나방 눈의 무반사 나노 표면, 고양이 눈의 재귀반사판, 가리비 눈의 곡면형 반사판 등이 그 예이며, 이들은 생체모사형 카메라뿐만 아니라 다양한 광학 장치에 적용될 수 있다[15,28,29].
둘째, 생체모사형 카메라의 상용화를 위한 고해상도 곡면형 이미지 센서의 개발이다. 현재 곡면형 이미지 센서는 평면형 센서와 비교하여 우수한 광학 구조를 갖추고 있지만, 픽셀 수가 적어 해상도가 낮은 것이 주요 한계점으로 지적된다. 이를 극복하고 고해상도 곡면형 이미지 센서를 개발하기 위한 전략으로는 페로브스카이트 마이크로 와이어를 이용한 in-situ 성장이 있는데, 망막의 광수용체 밀도를 초과하는 높은 밀도를 달성할 수 있다는 장점이 있지만 동시에 전극 배선과 같은 공정상의 도전 과제가 아직 남아 있는 기술이다. 한편 곡면 광학 구조와 평면형 센서를 결합하는 방식은 해상도를 높일 수 있는 또 다른 가능성을 내포하고 있다. 이 방식을 통해 평면 공정 기술의 이점을 활용하면서도 곡면 구조의 장점을 극대화할 수 있는데, 그렇기에 현재로서는 평면 공정 기술과 호환되는 새로운 제조 방법을 개발하는 것이 가장 유망한 개발 방향으로 평가된다. 더불어 단순히 이미지 센서의 픽셀 수를 늘리는 것만으로는 고해상도 이미징 조건을 충족시키기 어렵기 때문에, 빛의 흡수 및 전환 효율을 극대화하거나 고효율 광전소자 설계를 통해 신호 정확성을 높이는 등 나노포토닉 구조를 활용하는 연구가 필요하다[30,31]. 신호 대 잡음비(signal-to-noise ratio, SNR)를 개선하거나 광학적 손실을 최소화하는 설계 기술은 고품질 신호 측정을 가능하게 함으로써 생체모사형 카메라의 상용화에 중요한 역할을 할 것으로 기대된다.
셋째, 뉴로모픽 소자 및 시스템과의 연계 연구이다. 동물 눈의 망막을 통해 얻은 신호는 동물의 뇌와 연결되어 시각 데이터를 재구성하고, 이를 바탕으로 의사 결정 과정까지 이르게 된다. 따라서 동물 눈 모사의 영역도 광의적으로 본다면 이미징을 넘어 수집한 시각 정보의 처리 과정까지 포함한다고 볼 수 있다. 한편 동물 눈의 구조가 서로 다른 것처럼 신호 처리 역할을 하는 뉴런/시냅스의 구조 및 기능도 동물마다 상이한데, 이는 뉴로모픽 소자 및 시스템에도 다변화가 이루어질 수 있음을 암시한다. 최근 보고된 몇 가지 인-센서 컴퓨팅(in-sensor computing) 구조에서도 여러 동물의 시각 구조에서 착안한 예시들이 있다[32-34].
넷째, 개발된 생체모사형 카메라의 실제 응용 및 피드백 연구이다. 개발된 카메라가 기존 카메라 대비 어떤 장단점이 있는지에 대한 연구를 통해 실제 산업에서의 성공 가능성을 타진할 수 있고, 때에 따라서는 전혀 다른 응용 분야를 발견할 수도 있다. 최근 가리비 눈의 광학 구조를 활용하여 3차원 바이오 이미징에 적용한 연구가 그 예이다[29].
이렇듯 생체모사형 카메라 연구는 광학 부품 및 이미징 기술의 저변을 넓힐 수 있는 학문이며, 산업적 가치도 매우 높고, 연구의 방향도 매우 다채롭기 때문에 앞으로도 지속적으로 발전하리라 기대된다.
본 연구는 연구개발특구진흥재단의 ‘지역혁신 메가프로젝트’ 사업(Grant no. 2023-DD-UP-0015), 2024년도 과학기술정보통신부의 재원으로 한국연구재단(Grant no. NRF-2023R1A2C3004531), GIST-MIT 공동연구사업(Grant no. GK14550)에서 지원을 받아 작성되었다.
연구개발특구진흥재단 ‘지역혁신 메가프로젝트’ 사업(Grant no. 2023-DD-UP-0015); 한국연구재단(Grant no. NRF-2023R1A2C3004531); GIST-MIT 공동연구사업(Grant no. GK14550).
저자는 본 논문과 관련된 어떠한 이해충돌 사항도 없었음을 밝힌다.
본 연구에서 생성되거나 분석된 데이터는 합당한 요청 하에 저자에게 제공받을 수 있으며, 데이터를 다른 용도로 사용할 시 저자에게 타당한 이유를 밝히고 허가를 받아야 한다.
2024; 35(6): 265-275
Published online December 25, 2024 https://doi.org/10.3807/KJOP.2024.35.6.265
Copyright © Optical Society of Korea.
Jinyoung Jang1, Sehui Chang1, Yong Min Song1,2,3
1School of Electrical Engineering and Computer Science, Gwangju Institute of Science and Technology, Gwangju 61005, Korea
2Department of Semiconductor Engineering, Gwangju Institute of Science and Technology, Gwangju 61005, Korea
3AI Graduate School, Gwangju Institute of Science and Technology, Gwangju 61005, Korea
Correspondence to:†ymsong@gist.ac.kr, ORCID: 0000-0002-4473-6883
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
With the advent of the intelligent robotics era, there is an increasing demand for a variety of image sensors and camera modules to meet the needs of various applications. At the same time, demand is growing for performance such as ultra-compact size, low-power operation, and hardware-level object recognition that is difficult to achieve with existing cameras. The superior structures and functionalities of natural eyes, including those of humans and other animals, provide significant inspiration for the development of next-generation artificial vision systems. In particular, the unique characteristics of animal eyes, which have evolved ecologically to adapt to specific habitats and environments, exhibit functionalities beyond those found in conventional cameras. Consequently, research aiming to mimic these natural optical systems has become very active. Bioinspired cameras can generally be categorized into lens optics, image sensors, nanophotonic structures, and neuron/synapse mimics. Recently, there have been attempts to integrate all these components into a complete vision system. This review aims to trace trends in bioinspired cameras, focusing not on the technical aspects of individual components but on overall directions in technological advancement.
Keywords: Bioinspired camera, Image sensor, Vision system
가전 제품(consumer electronics) 시장 동향 보고서에 따르면 약 2020년대 중반을 기점으로 전자 제품의 방향이 스마트 소자(smart device)에서 로봇(robotics)으로 이동할 것으로 예측된다. 지능형 홈, 동료 로봇(companion robot), 스마트 카 등을 포함하는 지능형 로봇시대에는 방대한 데이터의 처리를 위해 그래픽 연산 처리 장치(graphic processing unit, GPU)를 넘어 뉴로모픽 연산 처리 장치(neuromorphic processing unit, NPU)의 수요가 급격히 늘 것으로 예상하며, 지능형 로봇 시대 이후에는 증강(augmented) 시대로 진입할 것으로 본다.
지능형 로봇의 개발을 위해서는 주변 상황을 보다 정확히 인지할 센서들이 다수 필요하며, 그러므로 거의 모든 유형의 로봇에서 이미징(imaging) 장치의 장착이 필수일 것으로 예측된다. 이와 동시에 초소형/저전력 구동부터 하드웨어 레벨의 물체 인식까지 기존 카메라에서는 구현하기 어려운 성능에 대한 수요도 늘고 있다. 로봇의 종류, 형태 및 목적이 더욱 더 다양해짐에 따라 이미지 센서 또는 카메라 모듈의 다변화가 필수이나, 현재 사용되고 있는 카메라 모듈은 정형화된 complementary metal oxide semiconductor (CMOS) 기반 이미지 센서와 몇 가지 렌즈 모듈군의 조합으로 이루어지기 때문에 각각의 로봇 맞춤형으로 변화를 꾀하기는 어렵다. 또한 후술할 동물의 눈과 비교하자면, 모듈의 구성 측면에서 다수의 복잡한 렌즈를 사용하기 때문에 경제적이지 못하며, 신호 처리 방식에서도 동물의 신경계와 비교할 바가 못 된다. 기존 카메라 모듈의 발전 방향은 예컨대 이미지 센서의 픽셀 간격을 줄이고, 화소 수를 높이며, 노이즈/양자효율을 개선하는 등 구체적 스펙의 향상을 통해 이루어졌다. 그러나 지능형 로봇 시대에 대응하기 위해서는 카메라 모듈의 다변화를 위한 노력도 필요하다.
현재 우리가 흔히 사용하는 이미지 센서 및 카메라 모듈은 인간의 눈 구조에서 착안한 것이다. CMOS 기반 이미지 센서의 컬러 필터 스펙트럼은 인간 눈에 존재하는 원추 세포의 빛 흡수 스펙트럼을 가능한 한 유사하게 모사하기 위한 것이며, 인간의 삼색인지와 유사한 성능을 보인다. 현재 이 컬러 필터의 화소 크기는 실리콘 기반 이미지 센서 제작기술이 발전함에 따라 0.5 마이크론 크기에 도달하였으며, 이는 가장 작은 인간 원추 세포의 직경과 유사하다. 회절 한계(diffraction limit)를 고려하면, 이보다 더 작은 화소의 개발에는 부차적인 문제를 해결해야 할 것으로 보인다. 이처럼 고도로 발달한 이미지 센서 제작 기술에도 불구하고, 몇 가지 측면에서 동물의 눈을 좀 더 관찰해야 하는 이유가 있다. 첫째는 동물 눈의 효율성이다. 인간의 눈은 하나의 렌즈로 구성되어 있는 반면, 상용 카메라에는 다수의 렌즈가 필요하다. 이는 단일 렌즈(single lens)의 초점면이 평면이 아니라 곡면이기 때문에 생기는 것으로, 편평한 이미지 센서를 사용하는 한 극복할 수 없다. 반면 동물의 안구(eye ball) 내 망막(retina)은 소위 상면 완곡(Petzval’s field curvature)이라 불리는 면에 위치하기 때문에 광학적으로 매우 경제적인 구성(economical configuration)을 갖추고 있다. 둘째는 동물 눈의 다양성이다. 인간을 포함한 동물의 눈은 자연 속에서 서식지 및 생활 환경에 가장 적합한 형태로 진화해 왔다. 이는 앞서 언급한 눈의 경제적 구성이 각각의 목적에 맞추어 변화해 왔다는 의미이며, 단순히 크기 및 화소 수뿐만 아니라 렌즈/동공의 종류/형태, 광수용체 유형/종류/밀도, 편광 필터, 반사체, 적응 광학계(adaptive optics) 등 상상할 수 있는 거의 모든 구성품의 변화를 포함한다. 이와 관련된 더 자세한 예시에 대해서는 2장에서 다루도록 한다. 저자가 가장 주목하는 부분은 동물의 눈이 생활 환경에 따라 적합한 형태로 진화한 것과 마찬가지로, 각각의 목적에 맞게 개발된 로봇의 카메라도 그에 가장 적합한 형태로 진화해야 한다는 것이다. 이것이 생체 모방 연구가 필요한 이유이다.
생체 모방 카메라 연구는 지금껏 렌즈 광학계, 이미지 센서, 나노포토닉 구조, 뉴런/시냅스 모사 등 여러 가지 시도가 있었으나, 큰 줄기로 구분하자면 동물 눈의 효율성을 모사하기 위한 목적으로 시작되어 지금은 동물 눈의 다양성에 주목하고 있는 상황이다. 동물의 눈은 그 구조 및 기능에 따라 크게 10가지로 구분되며, 이는 다시 단일 렌즈 눈(single lens eye) 또는 카메라형 눈(camera-type eye)과 겹눈(compound eye)으로 구분된다. 이 중 인간의 눈을 포함하는 단일 렌즈 눈 구조를 모사한 연구가 자연스레 먼저 시작되었으며, 이어서 파리, 벌 등이 가지고 있는 겹눈 구조를 모사하는 연구가 이루어졌다. 본 고에서는 생체 모방 카메라 연구의 최신 동향을 파악하기 위해 먼저 2장에서 단일 렌즈 눈 모사형 카메라 기술에 관해 서술하고, 이후 3장에서 겹눈 모방 카메라 기술에 대해 다룬다. 결론부에서는 생체 모방 카메라 연구가 나아가야 할 방향에 대해 고찰한다.
물체의 상을 얻기 위한 단일 볼록 렌즈(single biconvex lens)의 초점면은 앞서 언급한 대로 포물면을 이루고 있기 때문에 편평한 필름 또는 이미지 센서를 사용하면 광학 수차(aberration)를 극복하기 어렵다. 초점면을 평면으로 만들기 위해서는 복수의 렌즈 구성이 필요하며, 더욱 우수한 변조전달함수(modulation transfer function) 특성을 얻기 위해서는 더욱 많은 렌즈 혹은 비구면 렌즈 조합이 필요하다. 더 나아가 화각(field of view)을 높이거나 물체 확대(zooming) 등의 기능을 부여하기 위해서는 더욱 많은 매수의 렌즈가 필요하며, 이처럼 한정된 공간 내에 너무 많은 매수의 렌즈를 삽입하게 되면 카메라 모듈의 구성은 복잡해질 수밖에 없다. 한편 포유류, 조류, 어류 등이 가진 단일 렌즈 눈(single lens eye)은 초점면에 망막이 위치하기 때문에 수차 문제를 최소화할 수 있다. 또한 동물 눈의 렌즈는 대체로 구배형 굴절률(graded refractive index)을 갖기 때문에 색수차(chromatic aberration) 문제를 효과적으로 해소할 수 있다. 이때 초점의 조절은 렌즈 곡면의 물리적 변형을 통해 이루어진다. 이와 같이 동물의 단일 렌즈 눈은 평면 이미지 센서 기반 기존 카메라 모듈의 구성에 비해 월등히 단순한 구조를 가짐과 동시에 우수한 영상 획득 특성을 가지고 있기 때문에 2000년대 중반부터 이를 모사하고자 하는 연구가 시작되었다[그림 1(a)–1(c)][1,2].
초창기의 연구는 사람의 눈을 모방한 연구였으며[그림 1(d)], 주로 곡면형 이미지 센서의 제작에 초점을 맞추었다[그림 1(e)][3]. 미국 일리노이대 Rogers 등의 연구진은 2008년 전사 프린팅(transfer printing) 기법을 도입하여 실리콘 기반 이미지 센서를 반구면 고분자 기판에 성공적으로 전사하였으며, 이를 통해 단일 렌즈 이미징으로 이미지 센서의 전 영역에서 매우 선명한 영상을 획득하였다[4]. 홍콩 과기대의 Fan 그룹에서는 얇은 알루미늄 기판을 구형으로 가공하고, 양극산화 기법을 통해 매우 작은 기공을 형성하여 내부에 페로브스카이트 나노선 광센서를 성장시켰다[5]. 이렇게 제작된 광센서의 직경 및 광센서 간 거리는 인간의 원추세포보다 훨씬 조밀한 수준으로서 고해상도 인공 눈 개발의 가능성을 보여주었다. 이 밖에도 그림 1(f)의 2차원 소재를 이용한 초박막 곡면형 이미지 센서, 키리가미(Kirigami) 기법을 도입한 고밀집 곡면형 이미지 센서 등이 개발되었다[6,7]. 한편 연구소뿐만 아니라 산업계에서도 유사한 연구가 이루어졌는데 일례로 2013년 (주)소니에서 최초로 곡면형 이미지 센서의 상용제품 개발에 대한 기사를 보고하였다. 이 밖에도 (주)마이크로소프트[그림 1(g), 1(h)] 등 대기업에서 관련 연구 결과를 보고한 바 있고[8], (주)애플 등 이미지 센서 제작 기업이 아닌 경우에도 다수의 특허를 출원하는 등 곡면형 이미지 센서는 이미 산업 응용에 대한 가능성을 내비치고 있다[9-11].
한편 앞서 언급한 것처럼 동물 눈의 다양성에 기반한 응용 맞춤형 생체 모사 카메라 연구도 이루어지고 있다. 상용 제품 중 널리 알려진 어안 렌즈(fish-eye lens), 즉 광각 렌즈는 통상 7–13매 정도의 렌즈로 구성되어 있으나, 실제 물고기의 눈은 이것과 전혀 다른 구성을 하고 있다. 물 속의 굴절률은 약 1.3으로 공기에 비해 큰 굴절력(refractive power)이 필요하기 때문이다. 이에 따라 어류의 단일 렌즈는 주로 볼 렌즈(ball lens) 형태이며, 초점면에 존재하는 광수용체 배열 역시 반구형이다. 볼 렌즈는 색수차를 줄이기 위해 굴절률이 점진적으로 변하는 구배형 구성을 띠며, 초점의 조절은 렌즈의 곡면 조절이 아닌 병진 이동으로 달성된다. Kim 등[12] 연구진은 이를 활용하면 기존의 어안 렌즈에 비해 매우 간단한 구성으로 넓은 화각을 달성할 수 있다는 이점을 활용하여 그림 2(a)와 같이 어안 카메라를 제작하였다. 이들은 그림 2(b)의 구형 공심 렌즈와 그림 2(c)의 실리콘 기반 반구형 이미지 센서 결합을 통해 120도의 화각을 달성하고[그림 2(d)], 포커싱 조정을 통해 그림 1(e)와 같이 가까이 위치한 물체에서도 선명한 이미지를 획득하였다.
한편 수생 생물의 눈이 모두 상기 언급한 형태로 되어 있는 것은 아니며, 그중에서도 서식지에 따라 독특한 조합을 이루고 있는 동물이 존재한다. 예를 들어 두족류의 일종인 갑오징어(cuttlefish)는 어류와 구형 렌즈 및 반구형 광수용체 배열 면에서 동일하나 조리개의 구조 및 광수용체의 분포 등이 다르다. 갑오징어는 주로 얕은 물가에 서식하기 때문에 수직 방향으로 불균일한 조도 환경에 노출된다. 따라서 위쪽 빛은 차단하고 아래쪽 빛은 많이 받아들이기 위해 동공을 W자 모양으로 진화시켜 빛 조건을 조절하게 되었다. 또 갑오징어의 망막은 아래 방향에 위치한 빛을 받아들이는 영역, 즉 먹잇감이 지나다니는 방향에 광수용체들이 밀집되어 있어, 해당 방향에 국한하여 고해상도의 시력을 구현할 수 있다. Kim 등[13] 연구진은 그림 2(f)에 보이듯 갑오징어의 동공을 모사한 W자형 조리개를 만들어 이미지 센서로 들어오는 광량의 불균일도를 해소하였다. 또한 그림 2(g)에서 갑오징어의 망막처럼 관심 영역이 영상으로 맺히는 영역에 광다이오드 픽셀을 밀집시켜 효율적으로 고해상도 영상을 얻도록 설계하였다. 그림 2(h)와 그림 2(i)는 수직 방향으로 불균일한 광량이 비추는 상황에서도 W자형 조리개를 이용하면 일정한 세기로 빛을 감지할 수 있음을 보여주고 있다. 또한 갑오징어 등 두족류의 눈에는 편광을 인지할 수 있도록 미세 융모(microvilli)가 정렬되어 있어 선편광 필터의 역할을 하며, 이는 물체 인식의 대비(contrast)를 크게 향상시킨다. 이를 모사하기 위해 연구진은 한 방향으로 정렬된 탄소 나노튜브(carbon nanotube) 배열을 제작하고, 이를 이미지 센서 상부에 집적하여 편광 구분이 가능한 이미지 센서를 제작하였다.
이 밖에도 조류(Aves), 고양잇과(Felidae), 뱀아목(Serpentes) 등의 눈을 모사한 연구를 통해 기존 카메라와 대비되는 특수 기능을 가진 카메라 모듈의 연구도 진행되고 있다[14-16]. 예를 들어, 맹금류에서 보이는 포비티드(foveated) 이미징 기술은 그림 3(a)와 같이 중심와(fovea centralis)가 가우시안 형태를 띄고 있어 영상의 주변부에 비해 중심부에서 매우 선명하고 확대된 형태의 영상을 획득할 수 있다. 이러한 특성은 그림 3(b)와 같은 상황에서 관심 영역(foveal region)에 더 높은 화질이 필요한 감시 카메라 등에 활용할 수 있다. 그림 3(c)는 완성된 카메라 모듈을 이용해서 측정한 이미지 데모이며, 이를 통해 표적 탐지 및 추적하는 시스템에 응용 가능함을 알 수 있다.
고양잇과의 눈은 사람과는 다르게 낮에는 수직 동공(vertical pupil)을 통해 카메라의 초점 심도를 짧게 하여 주변부 노이즈를 효과적으로 줄이고, 밤에는 휘판(tapetum lucidum)을 통해 입사광을 재흡수하여 조도가 낮을 때에도 물체를 선명하게 식별할 수 있게 해준다. 고양이 눈을 모사한 카메라 시스템 구성은 그림 3(d)에 나타내었으며, 변경 가능한 조리개와 반구 형태의 이미지 센서가 특징이다. 또한 그림 3(e)의 원형 동공일 때와 그림 3(f)의 수직 동공일 때에 수집된 이미지 및 그래디언트 맵 간의 비교를 통해 고양이 눈을 모사한 카메라가 목표물 주변에 노이즈가 많은 경우에도 물체를 보다 명확히 식별할 수 있도록 돕는 위장 해제(camouflage breaking) 효과를 가지고 있음을 알 수 있다. 이는 군사용이나 정찰용 카메라에 적합할 것으로 예상된다.
뱀아목에 해당하는 동물들은 눈 주변에 피트 기관(pit organ)이라 불리는 오목하게 패인 영역이 있으며, 이 기관을 통해 낮은 해상도의 열 영상(thermal imaging)을 감지할 수 있다. 뱀아목은 이를 통해 한밤 중에도 물체의 움직임을 포착할 수 있으며, 이는 야간 열화상 카메라 개발에 영감을 주었다. 그림 3(g)의 뱀아목의 눈을 모사한 이미지 센서는 감지 신경 세포 역할을 하는 고밀도 이온 열전 폴리머 나노와이어 배열이 특징이다. 그림 3(h)에서 각 나노와이어는 테스트 대상의 온도 변화(40, 80, 120, 160, 200 ℃)에 따라 뚜렷한 전압 반응을 나타내고, 그림 3(i)는 픽셀의 전압-온도 그래프를 통해 온도변화에 따라 픽셀이 생성하는 전압을 보여준다. 이를 토대로 완성된 센서는 실온에서 사람의 체온만으로 손동작을 이미지화하는 것에 성공하여, 생체 영감을 받은 새로운 IR 이미징 장치의 구현에 기여하였다.
겹눈은 잠자리, 벌 등 곤충과 새우, 가재 등 갑각류를 포함하는 절지동물(arthropod)에서 관찰되며, 여러 개의 홑눈(ommatidium)이 다발로 모여 있는 형태이다. 생물 종의 약 80%가 겹눈을 갖고 있는 것으로 알려져 있기 때문에, 겹눈 모방 연구는 자연계의 80%를 차지하는 생물들이 바라보는 세상을 보다 자세히 이해할 수 있게 한다는 점에서 큰 의의가 있다. 홑눈은 겉에서부터 마이크로렌즈 형태의 각막(cornea), 수정추(crystalline cone), 감간(rhabdom) 순으로 구성되어 있다. 이때 각막의 지름은 생물종에 따라 다양하나 주행성 곤충의 경우 보통 20 마이크론 정도로 매우 작다. 피사체에서 반사된 빛은 각각의 홑눈을 통해 들어와 수정추에서 모이며, 모인 빛은 감간으로 전달되어 상을 형성하게 된다. 겹눈은 홑눈 다발이 볼록한 면에 분포하는 형태가 일반적이기 때문에 단일 렌즈 눈에 비해 매우 넓은 시야각(140–180도)을 가지며, 광학 구조상 매우 깊은 심도를 갖는다. 게다가 겹눈의 신경계는 물체의 움직임을 매우 빠르게 포착할 수 있도록 배치되어 있다. 이처럼 넓은 화각, 깊은 심도, 빠른 프레임 수 등은 겹눈의 큰 장점이 되지만 반면에 해상도가 매우 낮다는 단점이 있다. 홑눈 구성 시에는 마이크로렌즈 광학계가 필수이기 때문에 감간의 밀도 및 개수를 높이기 어려우며, 해상도를 높이고자 하면 전체 시스템의 부피가 매우 커진다. 결과적으로 겹눈은 높은 해상도가 필요한 분야에는 적합하지 않으나 정찰, 배달, 탐사 등의 목적으로 활용될 소형 비행체의 카메라로는 매우 적합하다고 볼 수 있다.
겹눈 모사형 카메라 기술의 초기 연구는 2000년대 초반 마이크로렌즈 어레이(microlens array, MLA)를 이미지 센서에 집적하는 연구로부터 시작되었다[17,18]. 예를 들어 thin observation module by bound optics (TOMBO)라는 통합 이미징 시스템은 그림 4(a)와 같이 마이크로렌즈 어레이와 신호 분리기, 이미지 처리 장치로 구성된다. 그림 4(b)의 도식을 보면 MLA와 그 아래 위치한 이미징 픽셀들이 하나의 홑눈을 구성하며, 이로부터 얻은 영상정보를 재구성하면 겹눈 이미징이 가능함을 알 수 있다. 최종 완성된 시스템은 그림 4(c)와 같다. 다만 평면구성에서는 각 인공 홑눈의 이미징 영역이 중첩되고 화각이 매우 제한되기 때문에, 오사카대 그룹에서는 MLA의 밑면에 핀홀을 중심과 어긋나게 형성하여 이를 보완하였다[19]. 한편 스위스 EPFL의 연구진은 화각을 극대화하고 해상도를 높이기 위해 반구면에 소형 카메라 모듈을 여러 대 배치하여 180도 전 영역 파노라믹 형상을 획득하였다[20]. 다만 이는 여러 대의 카메라 모듈을 활용하기 때문에 부피가 매우 크며, 구동 하드웨어도 매우 복잡하다는 단점이 있다. 이 사례에서 알 수 있듯 겹눈 모사의 가장 어려운 점은 반구면 혹은 최소한 적절한 구면에 마이크로렌즈 어레이와 이미징 픽셀들이 균일하게 배치되어야 한다는 점이다. 이를 해소하기 위해 일리노이대에서는 그림 4(d)의 신축성이 있는(스트레처블, stretchable) 광검출기 어레이 및 마이크로렌즈 어레이를 제작한 뒤 이를 정렬 및 결합하고, 기계적 힘을 가해 평면 구성을 그림 4(e)와 같이 반구면으로 변형하였다[21]. 최종 제작된 인공 겹눈 카메라[그림 4(f)]는 총 180개의 홑눈을 가지고 있으며, 그림 4(g)의 이미징 결과에서 160도의 넓은 화각 특성을 보였다. EPFL에서는 실린더형 플렉서블 이미지 센서를 제작하고 각 픽셀의 상부에 마이크로 렌즈를 집적하여 그림 4(h)의 실린더형 겹눈 카메라를 제작하였다[22]. 제작된 카메라는 일축으로는 180도의 화각을 가지나, 반대 축으로는 60도로 화각이 제한된다는 단점이 있다[그림 4(i)]. 그러나 그림 4(j)처럼 4개의 작동 곡선을 통해 프로토 타입의 높은 감도뿐만 아니라 주변광에 대한 민감도의 안정성을 확인할 수 있어, 일반적인 자연환경에서 강점이 있다.
동물의 겹눈 역시 그 구조 및 기능에 따라 다섯 가지로 구분되고, 동물의 서식지에 따라 그 특성이 제각각이다. 홑눈의 개수는 100개 미만부터(일개미) 3만 개까지(잠자리) 다양하며, 홑눈의 분포는 반구면에 고르게 분포하는 것이 일반적이지만 경우에 따라서는 구면 전체를 감싸는 형태도 있다. 대표적으로 농게(fiddler crab)의 돌출된 눈이 그 예이다[그림 5(a)]. 그림 5(b)의 사진과 같이 농게의 눈은 돌출된(stalked) 형태이며, 돌출된 막대 기둥의 끝부분 전면을 홑눈이 감싸고 있는 형태로 이루어져 있다. 농게는 넓은 갯벌에 서식하기 때문에 매우 넓은 영역을 한 번에 관찰해야 하는 상황에 자주 노출되며, 따라서 전방위 영상 획득이 가능하도록 진화했다. 또한 농게는 물 속과 물 밖의 물체를 모두 선명히 관찰해야 하므로 렌즈 광학 구조가 독특하게 발달하였다. 그림 5(c)의 투과전자현미경(transmission electron microscopy, TEM)을 이용해 관찰한 농게의 단일렌즈 단면은 평평한 상부 표면과 구부러진 다층으로 구성되어 있고, 그 내부는 굴절률이 점진적으로 변하는 형태를 띤다. 이로 인해 외부 굴절률이 공기(n = 1.0)에서 물(n = 1.33)로 변하더라도 초점거리가 바뀌지 않으므로 수륙양용에서 이미지를 얻는 것이 가능하다. Lee 등[23]은 이러한 농게의 광학 구조 및 홑눈 분포에서 영감을 얻어 그림 5(d) 속 전방위 수륙양용 카메라를 제작하였다. 제작된 카메라는 그림 5(e)와 같이 300도 이상의 매우 넓은 화각을 가지며, 그림 5(f)에 도식으로 나타낸 환경에서 진행된 물 속 및 물 밖 측정에서 거의 동일한 수준의 이미징 결과를 확인했다[그림 5(g)]. 이 밖에도 각종 갑각류의 겹눈 내부 구조를 모사한 카메라 연구가 이루어지고 있으며[24,25], 겹눈의 양안(binocular vision) 영상 획득을 통한 3차원 물체 추적 기술 등도 보고된 바 있다[26,27]. 겹눈은 적은 수의 픽셀로도 넓은 영역을 한 번에 볼 수 있고, 이론적으로는 단일 렌즈 눈에 비해 그 크기를 매우 작게 만들 수 있기 때문에 드론 등 소형 무인 비행체에 적용하기에 매우 적합하다. 다만 현재까지 개발된 겹눈 모사 카메라는 부피가 크기 때문에 이를 개선할 필요가 있다.
지능형 로봇의 폭발적 수요, 플렉서블 전자소자 기술의 발전, 동물 눈의 다양성 등의 요소가 생체모사형 카메라 기술의 진보를 앞당기고 있다. 근래에는 단순히 사람 눈이나 곤충 눈을 모방하는 것을 넘어 다양한 동물 눈의 광학 구조 및 영상 획득 구조를 모사하는 연구가 진행되고 있으며, 이러한 추세는 앞으로도 지속될 것으로 예상된다. 곡면형 이미지 센서는 아직 상용화되지 않았지만, 머지않은 미래에 새로운 광학 부품 시장의 확대를 초래할 것으로 기대된다. 생체모사형 카메라 기술은 앞으로 다음과 같은 몇 가지 방향으로 진행될 것이다.
첫째, 동물 눈에서 착안한 다양한 광부품 기술의 발전이 이루어질 것이다. 농게 등 수륙양용 동물의 구배형 렌즈, 갑오징어 등 일부 동물 눈의 자유 형상 조리개, 나방 눈의 무반사 나노 표면, 고양이 눈의 재귀반사판, 가리비 눈의 곡면형 반사판 등이 그 예이며, 이들은 생체모사형 카메라뿐만 아니라 다양한 광학 장치에 적용될 수 있다[15,28,29].
둘째, 생체모사형 카메라의 상용화를 위한 고해상도 곡면형 이미지 센서의 개발이다. 현재 곡면형 이미지 센서는 평면형 센서와 비교하여 우수한 광학 구조를 갖추고 있지만, 픽셀 수가 적어 해상도가 낮은 것이 주요 한계점으로 지적된다. 이를 극복하고 고해상도 곡면형 이미지 센서를 개발하기 위한 전략으로는 페로브스카이트 마이크로 와이어를 이용한 in-situ 성장이 있는데, 망막의 광수용체 밀도를 초과하는 높은 밀도를 달성할 수 있다는 장점이 있지만 동시에 전극 배선과 같은 공정상의 도전 과제가 아직 남아 있는 기술이다. 한편 곡면 광학 구조와 평면형 센서를 결합하는 방식은 해상도를 높일 수 있는 또 다른 가능성을 내포하고 있다. 이 방식을 통해 평면 공정 기술의 이점을 활용하면서도 곡면 구조의 장점을 극대화할 수 있는데, 그렇기에 현재로서는 평면 공정 기술과 호환되는 새로운 제조 방법을 개발하는 것이 가장 유망한 개발 방향으로 평가된다. 더불어 단순히 이미지 센서의 픽셀 수를 늘리는 것만으로는 고해상도 이미징 조건을 충족시키기 어렵기 때문에, 빛의 흡수 및 전환 효율을 극대화하거나 고효율 광전소자 설계를 통해 신호 정확성을 높이는 등 나노포토닉 구조를 활용하는 연구가 필요하다[30,31]. 신호 대 잡음비(signal-to-noise ratio, SNR)를 개선하거나 광학적 손실을 최소화하는 설계 기술은 고품질 신호 측정을 가능하게 함으로써 생체모사형 카메라의 상용화에 중요한 역할을 할 것으로 기대된다.
셋째, 뉴로모픽 소자 및 시스템과의 연계 연구이다. 동물 눈의 망막을 통해 얻은 신호는 동물의 뇌와 연결되어 시각 데이터를 재구성하고, 이를 바탕으로 의사 결정 과정까지 이르게 된다. 따라서 동물 눈 모사의 영역도 광의적으로 본다면 이미징을 넘어 수집한 시각 정보의 처리 과정까지 포함한다고 볼 수 있다. 한편 동물 눈의 구조가 서로 다른 것처럼 신호 처리 역할을 하는 뉴런/시냅스의 구조 및 기능도 동물마다 상이한데, 이는 뉴로모픽 소자 및 시스템에도 다변화가 이루어질 수 있음을 암시한다. 최근 보고된 몇 가지 인-센서 컴퓨팅(in-sensor computing) 구조에서도 여러 동물의 시각 구조에서 착안한 예시들이 있다[32-34].
넷째, 개발된 생체모사형 카메라의 실제 응용 및 피드백 연구이다. 개발된 카메라가 기존 카메라 대비 어떤 장단점이 있는지에 대한 연구를 통해 실제 산업에서의 성공 가능성을 타진할 수 있고, 때에 따라서는 전혀 다른 응용 분야를 발견할 수도 있다. 최근 가리비 눈의 광학 구조를 활용하여 3차원 바이오 이미징에 적용한 연구가 그 예이다[29].
이렇듯 생체모사형 카메라 연구는 광학 부품 및 이미징 기술의 저변을 넓힐 수 있는 학문이며, 산업적 가치도 매우 높고, 연구의 방향도 매우 다채롭기 때문에 앞으로도 지속적으로 발전하리라 기대된다.
본 연구는 연구개발특구진흥재단의 ‘지역혁신 메가프로젝트’ 사업(Grant no. 2023-DD-UP-0015), 2024년도 과학기술정보통신부의 재원으로 한국연구재단(Grant no. NRF-2023R1A2C3004531), GIST-MIT 공동연구사업(Grant no. GK14550)에서 지원을 받아 작성되었다.
연구개발특구진흥재단 ‘지역혁신 메가프로젝트’ 사업(Grant no. 2023-DD-UP-0015); 한국연구재단(Grant no. NRF-2023R1A2C3004531); GIST-MIT 공동연구사업(Grant no. GK14550).
저자는 본 논문과 관련된 어떠한 이해충돌 사항도 없었음을 밝힌다.
본 연구에서 생성되거나 분석된 데이터는 합당한 요청 하에 저자에게 제공받을 수 있으며, 데이터를 다른 용도로 사용할 시 저자에게 타당한 이유를 밝히고 허가를 받아야 한다.
pISSN 1225-6285
eISSN 2287-321X