검색
검색 팝업 닫기

Ex) Article Title, Author, Keywords

Article

Split Viewer

초청논문(Invited Paper)

2024; 35(6): 265-275

Published online December 25, 2024 https://doi.org/10.3807/KJOP.2024.35.6.265

Copyright © Optical Society of Korea.

Recent Trends in Bioinspired Camera Systems for Intelligent Robotics

Jinyoung Jang1, Sehui Chang1, Yong Min Song1,2,3

지능형 로봇을 위한 생체모사형 카메라 연구 최신 지견

장진영1ㆍ장세희1ㆍ송영민1,2,3†

1School of Electrical Engineering and Computer Science, Gwangju Institute of Science and Technology, Gwangju 61005, Korea
2Department of Semiconductor Engineering, Gwangju Institute of Science and Technology, Gwangju 61005, Korea
3AI Graduate School, Gwangju Institute of Science and Technology, Gwangju 61005, Korea

1광주과학기술원 전기전자컴퓨터공학부 ㉾ 61005 광주광역시 북구 첨단과기로 123
2광주과학기술원 반도체공학과 ㉾ 61005 광주광역시 북구 첨단과기로 123
3광주과학기술원 AI대학원 ㉾ 61005 광주광역시 북구 첨단과기로 123

Correspondence to:ymsong@gist.ac.kr, ORCID: 0000-0002-4473-6883

Received: November 6, 2024; Revised: November 28, 2024; Accepted: November 29, 2024

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

With the advent of the intelligent robotics era, there is an increasing demand for a variety of image sensors and camera modules to meet the needs of various applications. At the same time, demand is growing for performance such as ultra-compact size, low-power operation, and hardware-level object recognition that is difficult to achieve with existing cameras. The superior structures and functionalities of natural eyes, including those of humans and other animals, provide significant inspiration for the development of next-generation artificial vision systems. In particular, the unique characteristics of animal eyes, which have evolved ecologically to adapt to specific habitats and environments, exhibit functionalities beyond those found in conventional cameras. Consequently, research aiming to mimic these natural optical systems has become very active. Bioinspired cameras can generally be categorized into lens optics, image sensors, nanophotonic structures, and neuron/synapse mimics. Recently, there have been attempts to integrate all these components into a complete vision system. This review aims to trace trends in bioinspired cameras, focusing not on the technical aspects of individual components but on overall directions in technological advancement.

Keywords: Bioinspired camera, Image sensor, Vision system

OCIS codes: (040.1490) Cameras; (110.0110) Imaging systems; (220.0220) Optical design and fabrication

가전 제품(consumer electronics) 시장 동향 보고서에 따르면 약 2020년대 중반을 기점으로 전자 제품의 방향이 스마트 소자(smart device)에서 로봇(robotics)으로 이동할 것으로 예측된다. 지능형 홈, 동료 로봇(companion robot), 스마트 카 등을 포함하는 지능형 로봇시대에는 방대한 데이터의 처리를 위해 그래픽 연산 처리 장치(graphic processing unit, GPU)를 넘어 뉴로모픽 연산 처리 장치(neuromorphic processing unit, NPU)의 수요가 급격히 늘 것으로 예상하며, 지능형 로봇 시대 이후에는 증강(augmented) 시대로 진입할 것으로 본다.

지능형 로봇의 개발을 위해서는 주변 상황을 보다 정확히 인지할 센서들이 다수 필요하며, 그러므로 거의 모든 유형의 로봇에서 이미징(imaging) 장치의 장착이 필수일 것으로 예측된다. 이와 동시에 초소형/저전력 구동부터 하드웨어 레벨의 물체 인식까지 기존 카메라에서는 구현하기 어려운 성능에 대한 수요도 늘고 있다. 로봇의 종류, 형태 및 목적이 더욱 더 다양해짐에 따라 이미지 센서 또는 카메라 모듈의 다변화가 필수이나, 현재 사용되고 있는 카메라 모듈은 정형화된 complementary metal oxide semiconductor (CMOS) 기반 이미지 센서와 몇 가지 렌즈 모듈군의 조합으로 이루어지기 때문에 각각의 로봇 맞춤형으로 변화를 꾀하기는 어렵다. 또한 후술할 동물의 눈과 비교하자면, 모듈의 구성 측면에서 다수의 복잡한 렌즈를 사용하기 때문에 경제적이지 못하며, 신호 처리 방식에서도 동물의 신경계와 비교할 바가 못 된다. 기존 카메라 모듈의 발전 방향은 예컨대 이미지 센서의 픽셀 간격을 줄이고, 화소 수를 높이며, 노이즈/양자효율을 개선하는 등 구체적 스펙의 향상을 통해 이루어졌다. 그러나 지능형 로봇 시대에 대응하기 위해서는 카메라 모듈의 다변화를 위한 노력도 필요하다.

현재 우리가 흔히 사용하는 이미지 센서 및 카메라 모듈은 인간의 눈 구조에서 착안한 것이다. CMOS 기반 이미지 센서의 컬러 필터 스펙트럼은 인간 눈에 존재하는 원추 세포의 빛 흡수 스펙트럼을 가능한 한 유사하게 모사하기 위한 것이며, 인간의 삼색인지와 유사한 성능을 보인다. 현재 이 컬러 필터의 화소 크기는 실리콘 기반 이미지 센서 제작기술이 발전함에 따라 0.5 마이크론 크기에 도달하였으며, 이는 가장 작은 인간 원추 세포의 직경과 유사하다. 회절 한계(diffraction limit)를 고려하면, 이보다 더 작은 화소의 개발에는 부차적인 문제를 해결해야 할 것으로 보인다. 이처럼 고도로 발달한 이미지 센서 제작 기술에도 불구하고, 몇 가지 측면에서 동물의 눈을 좀 더 관찰해야 하는 이유가 있다. 첫째는 동물 눈의 효율성이다. 인간의 눈은 하나의 렌즈로 구성되어 있는 반면, 상용 카메라에는 다수의 렌즈가 필요하다. 이는 단일 렌즈(single lens)의 초점면이 평면이 아니라 곡면이기 때문에 생기는 것으로, 편평한 이미지 센서를 사용하는 한 극복할 수 없다. 반면 동물의 안구(eye ball) 내 망막(retina)은 소위 상면 완곡(Petzval’s field curvature)이라 불리는 면에 위치하기 때문에 광학적으로 매우 경제적인 구성(economical configuration)을 갖추고 있다. 둘째는 동물 눈의 다양성이다. 인간을 포함한 동물의 눈은 자연 속에서 서식지 및 생활 환경에 가장 적합한 형태로 진화해 왔다. 이는 앞서 언급한 눈의 경제적 구성이 각각의 목적에 맞추어 변화해 왔다는 의미이며, 단순히 크기 및 화소 수뿐만 아니라 렌즈/동공의 종류/형태, 광수용체 유형/종류/밀도, 편광 필터, 반사체, 적응 광학계(adaptive optics) 등 상상할 수 있는 거의 모든 구성품의 변화를 포함한다. 이와 관련된 더 자세한 예시에 대해서는 2장에서 다루도록 한다. 저자가 가장 주목하는 부분은 동물의 눈이 생활 환경에 따라 적합한 형태로 진화한 것과 마찬가지로, 각각의 목적에 맞게 개발된 로봇의 카메라도 그에 가장 적합한 형태로 진화해야 한다는 것이다. 이것이 생체 모방 연구가 필요한 이유이다.

생체 모방 카메라 연구는 지금껏 렌즈 광학계, 이미지 센서, 나노포토닉 구조, 뉴런/시냅스 모사 등 여러 가지 시도가 있었으나, 큰 줄기로 구분하자면 동물 눈의 효율성을 모사하기 위한 목적으로 시작되어 지금은 동물 눈의 다양성에 주목하고 있는 상황이다. 동물의 눈은 그 구조 및 기능에 따라 크게 10가지로 구분되며, 이는 다시 단일 렌즈 눈(single lens eye) 또는 카메라형 눈(camera-type eye)과 겹눈(compound eye)으로 구분된다. 이 중 인간의 눈을 포함하는 단일 렌즈 눈 구조를 모사한 연구가 자연스레 먼저 시작되었으며, 이어서 파리, 벌 등이 가지고 있는 겹눈 구조를 모사하는 연구가 이루어졌다. 본 고에서는 생체 모방 카메라 연구의 최신 동향을 파악하기 위해 먼저 2장에서 단일 렌즈 눈 모사형 카메라 기술에 관해 서술하고, 이후 3장에서 겹눈 모방 카메라 기술에 대해 다룬다. 결론부에서는 생체 모방 카메라 연구가 나아가야 할 방향에 대해 고찰한다.

물체의 상을 얻기 위한 단일 볼록 렌즈(single biconvex lens)의 초점면은 앞서 언급한 대로 포물면을 이루고 있기 때문에 편평한 필름 또는 이미지 센서를 사용하면 광학 수차(aberration)를 극복하기 어렵다. 초점면을 평면으로 만들기 위해서는 복수의 렌즈 구성이 필요하며, 더욱 우수한 변조전달함수(modulation transfer function) 특성을 얻기 위해서는 더욱 많은 렌즈 혹은 비구면 렌즈 조합이 필요하다. 더 나아가 화각(field of view)을 높이거나 물체 확대(zooming) 등의 기능을 부여하기 위해서는 더욱 많은 매수의 렌즈가 필요하며, 이처럼 한정된 공간 내에 너무 많은 매수의 렌즈를 삽입하게 되면 카메라 모듈의 구성은 복잡해질 수밖에 없다. 한편 포유류, 조류, 어류 등이 가진 단일 렌즈 눈(single lens eye)은 초점면에 망막이 위치하기 때문에 수차 문제를 최소화할 수 있다. 또한 동물 눈의 렌즈는 대체로 구배형 굴절률(graded refractive index)을 갖기 때문에 색수차(chromatic aberration) 문제를 효과적으로 해소할 수 있다. 이때 초점의 조절은 렌즈 곡면의 물리적 변형을 통해 이루어진다. 이와 같이 동물의 단일 렌즈 눈은 평면 이미지 센서 기반 기존 카메라 모듈의 구성에 비해 월등히 단순한 구조를 가짐과 동시에 우수한 영상 획득 특성을 가지고 있기 때문에 2000년대 중반부터 이를 모사하고자 하는 연구가 시작되었다[그림 1(a)1(c)][1,2].

Figure 1.(a) Photograph of the tunable hemispherical electronic eye camera system. (b) Photographs of the photodiode array imaged through a lens at different magnifications (left: smaller radius of curvature, right: larger radius of curvature). (c) Image demonstration of a test pattern (left: flat detector, right: detector shape matched to the Petzval surface). (a)–(c) are reprinted from I. Jung et al. Proc. Natl. Acad. Sci. 2011; 108; 1788-1793. Copyright © 2011, National Academy of Sciences[2]. (d) Optical layout showing a monocentric imager designed with a single ball lens. (e) Photographs of the five-gore structure before mounting and curved device positioned in a hemispherical fixture. (d) and (e) are reprinted from T. Wu et al. Microsyst. Nanoeng. 2016; 2; 16019. Copyright © 2016, T. Wu et al.[3]. (f) Photograph of the phototransistor array on a planar substrate. The inset shows an exploded schematic view of a phototransistor structure. (f) is reprinted from C. Choi et al. Nat. Commun. 2017; 8; 1664. Copyright © 2017, C. Choi et al.[6]. (g) Curvature forming method using two axisymmetric models of a spherical wrapping process. (h) Photograph of a curved complementary metal oxide semiconductor (CMOS) image sensor. (g) and (h) are reprinted with permission from Guenter et al. Opt. Express 2017; 25; 13010-13023. Copyright © 2017, Optical Society of America[8].

초창기의 연구는 사람의 눈을 모방한 연구였으며[그림 1(d)], 주로 곡면형 이미지 센서의 제작에 초점을 맞추었다[그림 1(e)][3]. 미국 일리노이대 Rogers 등의 연구진은 2008년 전사 프린팅(transfer printing) 기법을 도입하여 실리콘 기반 이미지 센서를 반구면 고분자 기판에 성공적으로 전사하였으며, 이를 통해 단일 렌즈 이미징으로 이미지 센서의 전 영역에서 매우 선명한 영상을 획득하였다[4]. 홍콩 과기대의 Fan 그룹에서는 얇은 알루미늄 기판을 구형으로 가공하고, 양극산화 기법을 통해 매우 작은 기공을 형성하여 내부에 페로브스카이트 나노선 광센서를 성장시켰다[5]. 이렇게 제작된 광센서의 직경 및 광센서 간 거리는 인간의 원추세포보다 훨씬 조밀한 수준으로서 고해상도 인공 눈 개발의 가능성을 보여주었다. 이 밖에도 그림 1(f)의 2차원 소재를 이용한 초박막 곡면형 이미지 센서, 키리가미(Kirigami) 기법을 도입한 고밀집 곡면형 이미지 센서 등이 개발되었다[6,7]. 한편 연구소뿐만 아니라 산업계에서도 유사한 연구가 이루어졌는데 일례로 2013년 (주)소니에서 최초로 곡면형 이미지 센서의 상용제품 개발에 대한 기사를 보고하였다. 이 밖에도 (주)마이크로소프트[그림 1(g), 1(h)] 등 대기업에서 관련 연구 결과를 보고한 바 있고[8], (주)애플 등 이미지 센서 제작 기업이 아닌 경우에도 다수의 특허를 출원하는 등 곡면형 이미지 센서는 이미 산업 응용에 대한 가능성을 내비치고 있다[9-11].

한편 앞서 언급한 것처럼 동물 눈의 다양성에 기반한 응용 맞춤형 생체 모사 카메라 연구도 이루어지고 있다. 상용 제품 중 널리 알려진 어안 렌즈(fish-eye lens), 즉 광각 렌즈는 통상 7–13매 정도의 렌즈로 구성되어 있으나, 실제 물고기의 눈은 이것과 전혀 다른 구성을 하고 있다. 물 속의 굴절률은 약 1.3으로 공기에 비해 큰 굴절력(refractive power)이 필요하기 때문이다. 이에 따라 어류의 단일 렌즈는 주로 볼 렌즈(ball lens) 형태이며, 초점면에 존재하는 광수용체 배열 역시 반구형이다. 볼 렌즈는 색수차를 줄이기 위해 굴절률이 점진적으로 변하는 구배형 구성을 띠며, 초점의 조절은 렌즈의 곡면 조절이 아닌 병진 이동으로 달성된다. Kim 등[12] 연구진은 이를 활용하면 기존의 어안 렌즈에 비해 매우 간단한 구성으로 넓은 화각을 달성할 수 있다는 이점을 활용하여 그림 2(a)와 같이 어안 카메라를 제작하였다. 이들은 그림 2(b)의 구형 공심 렌즈와 그림 2(c)의 실리콘 기반 반구형 이미지 센서 결합을 통해 120도의 화각을 달성하고[그림 2(d)], 포커싱 조정을 통해 그림 1(e)와 같이 가까이 위치한 물체에서도 선명한 이미지를 획득하였다.

Figure 2.(a) Optical layout of an aquatic-eye-inspired camera based on ray tracing simulation. (b) Photographs of inner half-ball and outer shell lenses, which form the monocentric lens. (c) Photograph of the silicon nanorod photodiode array on a flat substrate with anisotropic conductive film. The inset shows a curved device transferred onto a hemispherical substrate. Imaging demonstrations for (d) panoramic imaging with a 120º field of view and (e) accommodation on a close object. The insets are original images. (a)–(e) are reprinted from M. Kim et al. Nat. Electron. 2020; 3; 546-553. Copyright © 2020, M. Kim et al. under exclusive license to Springer Nature Limited[12]. (f) Optical layout of the cuttlefish-inspired lens with a W-shaped pupil. The inset is a photograph of the fabricated W-shaped pupil. (g) Photograph of a silicon photodiode array with an integrated flexible carbon nanotube polarizing film (FCPF) on a cylindrical substrate. (h) Intensity profiles for the circular pupil system and W-shaped pupil system under uneven illumination setting. (i) Imaging results of an unevenly illuminated object with each pupil type (left: circular pupil, right: W-shaped pupil). (f)–(i) are reprinted with permission from M. Kim et al. Sci. Robot. 2023; 8; eade4698. Copyright © 2023, M. Kim et al. The American Association for the Advancement of Science[13].

한편 수생 생물의 눈이 모두 상기 언급한 형태로 되어 있는 것은 아니며, 그중에서도 서식지에 따라 독특한 조합을 이루고 있는 동물이 존재한다. 예를 들어 두족류의 일종인 갑오징어(cuttlefish)는 어류와 구형 렌즈 및 반구형 광수용체 배열 면에서 동일하나 조리개의 구조 및 광수용체의 분포 등이 다르다. 갑오징어는 주로 얕은 물가에 서식하기 때문에 수직 방향으로 불균일한 조도 환경에 노출된다. 따라서 위쪽 빛은 차단하고 아래쪽 빛은 많이 받아들이기 위해 동공을 W자 모양으로 진화시켜 빛 조건을 조절하게 되었다. 또 갑오징어의 망막은 아래 방향에 위치한 빛을 받아들이는 영역, 즉 먹잇감이 지나다니는 방향에 광수용체들이 밀집되어 있어, 해당 방향에 국한하여 고해상도의 시력을 구현할 수 있다. Kim 등[13] 연구진은 그림 2(f)에 보이듯 갑오징어의 동공을 모사한 W자형 조리개를 만들어 이미지 센서로 들어오는 광량의 불균일도를 해소하였다. 또한 그림 2(g)에서 갑오징어의 망막처럼 관심 영역이 영상으로 맺히는 영역에 광다이오드 픽셀을 밀집시켜 효율적으로 고해상도 영상을 얻도록 설계하였다. 그림 2(h)그림 2(i)는 수직 방향으로 불균일한 광량이 비추는 상황에서도 W자형 조리개를 이용하면 일정한 세기로 빛을 감지할 수 있음을 보여주고 있다. 또한 갑오징어 등 두족류의 눈에는 편광을 인지할 수 있도록 미세 융모(microvilli)가 정렬되어 있어 선편광 필터의 역할을 하며, 이는 물체 인식의 대비(contrast)를 크게 향상시킨다. 이를 모사하기 위해 연구진은 한 방향으로 정렬된 탄소 나노튜브(carbon nanotube) 배열을 제작하고, 이를 이미지 센서 상부에 집적하여 편광 구분이 가능한 이미지 센서를 제작하였다.

이 밖에도 조류(Aves), 고양잇과(Felidae), 뱀아목(Serpentes) 등의 눈을 모사한 연구를 통해 기존 카메라와 대비되는 특수 기능을 가진 카메라 모듈의 연구도 진행되고 있다[14-16]. 예를 들어, 맹금류에서 보이는 포비티드(foveated) 이미징 기술은 그림 3(a)와 같이 중심와(fovea centralis)가 가우시안 형태를 띄고 있어 영상의 주변부에 비해 중심부에서 매우 선명하고 확대된 형태의 영상을 획득할 수 있다. 이러한 특성은 그림 3(b)와 같은 상황에서 관심 영역(foveal region)에 더 높은 화질이 필요한 감시 카메라 등에 활용할 수 있다. 그림 3(c)는 완성된 카메라 모듈을 이용해서 측정한 이미지 데모이며, 이를 통해 표적 탐지 및 추적하는 시스템에 응용 가능함을 알 수 있다.

Figure 3.(a) Cross-sectional view of the artificial fovea. (b) Schematic illustration of foveated vision application of an avian-inspired vision system. The insets are foveal region (top) and peripheral region (bottom). (c) Imaging demonstration of i) foveated and ii) uniform pixel density distributions. Scale bars: 2 mm. (a)–(c) are reprinted with permission from J. Park et al. Sci. Robot. 2024; 9; eadk6903. Copyright © 2024, The American Association for the Advancement of Science[14]. (d) Exploded schematic of the feline-eye-inspired vision system. Image demonstrations and their gradient maps with a small circular pupil (e) i)–ii) and a vertical pupil (f) i)–ii). (d)–(f) are reprinted with permission from M. S. Kim et al. Sci. Adv. 2024; 10; eadp2809. Copyright © 2024, The American Association for the Advancement of Science[15]. (g) Exploded schematic of polymer-based ionic thermoelectric device. (h) Pixel response to varying temperatures (40 ℃ to 200 ℃). (i) Temperature-dependent voltage output of an individual pixel. (j) Infrared radiation (IR) images of a human hand at room temperature. (g)–(j) are reprinted from Y. Ding et al. Sci. Adv. 2022; 8; eabq8432. Copyright © 2022, The American Association for the Advancement of Science[16].

고양잇과의 눈은 사람과는 다르게 낮에는 수직 동공(vertical pupil)을 통해 카메라의 초점 심도를 짧게 하여 주변부 노이즈를 효과적으로 줄이고, 밤에는 휘판(tapetum lucidum)을 통해 입사광을 재흡수하여 조도가 낮을 때에도 물체를 선명하게 식별할 수 있게 해준다. 고양이 눈을 모사한 카메라 시스템 구성은 그림 3(d)에 나타내었으며, 변경 가능한 조리개와 반구 형태의 이미지 센서가 특징이다. 또한 그림 3(e)의 원형 동공일 때와 그림 3(f)의 수직 동공일 때에 수집된 이미지 및 그래디언트 맵 간의 비교를 통해 고양이 눈을 모사한 카메라가 목표물 주변에 노이즈가 많은 경우에도 물체를 보다 명확히 식별할 수 있도록 돕는 위장 해제(camouflage breaking) 효과를 가지고 있음을 알 수 있다. 이는 군사용이나 정찰용 카메라에 적합할 것으로 예상된다.

뱀아목에 해당하는 동물들은 눈 주변에 피트 기관(pit organ)이라 불리는 오목하게 패인 영역이 있으며, 이 기관을 통해 낮은 해상도의 열 영상(thermal imaging)을 감지할 수 있다. 뱀아목은 이를 통해 한밤 중에도 물체의 움직임을 포착할 수 있으며, 이는 야간 열화상 카메라 개발에 영감을 주었다. 그림 3(g)의 뱀아목의 눈을 모사한 이미지 센서는 감지 신경 세포 역할을 하는 고밀도 이온 열전 폴리머 나노와이어 배열이 특징이다. 그림 3(h)에서 각 나노와이어는 테스트 대상의 온도 변화(40, 80, 120, 160, 200 ℃)에 따라 뚜렷한 전압 반응을 나타내고, 그림 3(i)는 픽셀의 전압-온도 그래프를 통해 온도변화에 따라 픽셀이 생성하는 전압을 보여준다. 이를 토대로 완성된 센서는 실온에서 사람의 체온만으로 손동작을 이미지화하는 것에 성공하여, 생체 영감을 받은 새로운 IR 이미징 장치의 구현에 기여하였다.

겹눈은 잠자리, 벌 등 곤충과 새우, 가재 등 갑각류를 포함하는 절지동물(arthropod)에서 관찰되며, 여러 개의 홑눈(ommatidium)이 다발로 모여 있는 형태이다. 생물 종의 약 80%가 겹눈을 갖고 있는 것으로 알려져 있기 때문에, 겹눈 모방 연구는 자연계의 80%를 차지하는 생물들이 바라보는 세상을 보다 자세히 이해할 수 있게 한다는 점에서 큰 의의가 있다. 홑눈은 겉에서부터 마이크로렌즈 형태의 각막(cornea), 수정추(crystalline cone), 감간(rhabdom) 순으로 구성되어 있다. 이때 각막의 지름은 생물종에 따라 다양하나 주행성 곤충의 경우 보통 20 마이크론 정도로 매우 작다. 피사체에서 반사된 빛은 각각의 홑눈을 통해 들어와 수정추에서 모이며, 모인 빛은 감간으로 전달되어 상을 형성하게 된다. 겹눈은 홑눈 다발이 볼록한 면에 분포하는 형태가 일반적이기 때문에 단일 렌즈 눈에 비해 매우 넓은 시야각(140–180도)을 가지며, 광학 구조상 매우 깊은 심도를 갖는다. 게다가 겹눈의 신경계는 물체의 움직임을 매우 빠르게 포착할 수 있도록 배치되어 있다. 이처럼 넓은 화각, 깊은 심도, 빠른 프레임 수 등은 겹눈의 큰 장점이 되지만 반면에 해상도가 매우 낮다는 단점이 있다. 홑눈 구성 시에는 마이크로렌즈 광학계가 필수이기 때문에 감간의 밀도 및 개수를 높이기 어려우며, 해상도를 높이고자 하면 전체 시스템의 부피가 매우 커진다. 결과적으로 겹눈은 높은 해상도가 필요한 분야에는 적합하지 않으나 정찰, 배달, 탐사 등의 목적으로 활용될 소형 비행체의 카메라로는 매우 적합하다고 볼 수 있다.

겹눈 모사형 카메라 기술의 초기 연구는 2000년대 초반 마이크로렌즈 어레이(microlens array, MLA)를 이미지 센서에 집적하는 연구로부터 시작되었다[17,18]. 예를 들어 thin observation module by bound optics (TOMBO)라는 통합 이미징 시스템은 그림 4(a)와 같이 마이크로렌즈 어레이와 신호 분리기, 이미지 처리 장치로 구성된다. 그림 4(b)의 도식을 보면 MLA와 그 아래 위치한 이미징 픽셀들이 하나의 홑눈을 구성하며, 이로부터 얻은 영상정보를 재구성하면 겹눈 이미징이 가능함을 알 수 있다. 최종 완성된 시스템은 그림 4(c)와 같다. 다만 평면구성에서는 각 인공 홑눈의 이미징 영역이 중첩되고 화각이 매우 제한되기 때문에, 오사카대 그룹에서는 MLA의 밑면에 핀홀을 중심과 어긋나게 형성하여 이를 보완하였다[19]. 한편 스위스 EPFL의 연구진은 화각을 극대화하고 해상도를 높이기 위해 반구면에 소형 카메라 모듈을 여러 대 배치하여 180도 전 영역 파노라믹 형상을 획득하였다[20]. 다만 이는 여러 대의 카메라 모듈을 활용하기 때문에 부피가 매우 크며, 구동 하드웨어도 매우 복잡하다는 단점이 있다. 이 사례에서 알 수 있듯 겹눈 모사의 가장 어려운 점은 반구면 혹은 최소한 적절한 구면에 마이크로렌즈 어레이와 이미징 픽셀들이 균일하게 배치되어야 한다는 점이다. 이를 해소하기 위해 일리노이대에서는 그림 4(d)의 신축성이 있는(스트레처블, stretchable) 광검출기 어레이 및 마이크로렌즈 어레이를 제작한 뒤 이를 정렬 및 결합하고, 기계적 힘을 가해 평면 구성을 그림 4(e)와 같이 반구면으로 변형하였다[21]. 최종 제작된 인공 겹눈 카메라[그림 4(f)]는 총 180개의 홑눈을 가지고 있으며, 그림 4(g)의 이미징 결과에서 160도의 넓은 화각 특성을 보였다. EPFL에서는 실린더형 플렉서블 이미지 센서를 제작하고 각 픽셀의 상부에 마이크로 렌즈를 집적하여 그림 4(h)의 실린더형 겹눈 카메라를 제작하였다[22]. 제작된 카메라는 일축으로는 180도의 화각을 가지나, 반대 축으로는 60도로 화각이 제한된다는 단점이 있다[그림 4(i)]. 그러나 그림 4(j)처럼 4개의 작동 곡선을 통해 프로토 타입의 높은 감도뿐만 아니라 주변광에 대한 민감도의 안정성을 확인할 수 있어, 일반적인 자연환경에서 강점이 있다.

Figure 4.(a) Schematic of thin observation module by bound optics (TOMBO) system structure. (b) Overview of TOMBO system’s pixel rearrange method. (c) Picture of a TOMBO system. Reprinted with permission from Tanida et al. Opt. Express 2003; 11; 2109–2117. Copyright © 2003, Optical Society of America[18]. (d) Exploded schematic view of hemispherical compound eye camera components. (e) X-ray computed tomography images before (top) and after (middle) deformation, with finite element method results of post-deformation (bottom). (f) Photograph of a hemispherical compound eye camera after deformation. (g) Imaging results of the wide field-of-view (from −80˚ to 80˚ in x- and y-directions). Reprinted from Y. M. Song et al. Nature 2013; 497; 95–99. Copyright © 2013, Springer Nature Limited[21]. (h) Photograph of a cylindrical, curved artificial compound eye. (i) Illustration of the full field-of-view for the cylindrical, curved system. (j) Transient and steady-state responses with the auto-adaptation function at the single-ommatidium level. (h)–(j) are reprinted from D. Floreano et al. Proc. Natl. Acad. Sci. 2013; 110; 9267–9272. Copyright © 2013, National Academy of Sciences[22].

동물의 겹눈 역시 그 구조 및 기능에 따라 다섯 가지로 구분되고, 동물의 서식지에 따라 그 특성이 제각각이다. 홑눈의 개수는 100개 미만부터(일개미) 3만 개까지(잠자리) 다양하며, 홑눈의 분포는 반구면에 고르게 분포하는 것이 일반적이지만 경우에 따라서는 구면 전체를 감싸는 형태도 있다. 대표적으로 농게(fiddler crab)의 돌출된 눈이 그 예이다[그림 5(a)]. 그림 5(b)의 사진과 같이 농게의 눈은 돌출된(stalked) 형태이며, 돌출된 막대 기둥의 끝부분 전면을 홑눈이 감싸고 있는 형태로 이루어져 있다. 농게는 넓은 갯벌에 서식하기 때문에 매우 넓은 영역을 한 번에 관찰해야 하는 상황에 자주 노출되며, 따라서 전방위 영상 획득이 가능하도록 진화했다. 또한 농게는 물 속과 물 밖의 물체를 모두 선명히 관찰해야 하므로 렌즈 광학 구조가 독특하게 발달하였다. 그림 5(c)의 투과전자현미경(transmission electron microscopy, TEM)을 이용해 관찰한 농게의 단일렌즈 단면은 평평한 상부 표면과 구부러진 다층으로 구성되어 있고, 그 내부는 굴절률이 점진적으로 변하는 형태를 띤다. 이로 인해 외부 굴절률이 공기(n = 1.0)에서 물(n = 1.33)로 변하더라도 초점거리가 바뀌지 않으므로 수륙양용에서 이미지를 얻는 것이 가능하다. Lee 등[23]은 이러한 농게의 광학 구조 및 홑눈 분포에서 영감을 얻어 그림 5(d) 속 전방위 수륙양용 카메라를 제작하였다. 제작된 카메라는 그림 5(e)와 같이 300도 이상의 매우 넓은 화각을 가지며, 그림 5(f)에 도식으로 나타낸 환경에서 진행된 물 속 및 물 밖 측정에서 거의 동일한 수준의 이미징 결과를 확인했다[그림 5(g)]. 이 밖에도 각종 갑각류의 겹눈 내부 구조를 모사한 카메라 연구가 이루어지고 있으며[24,25], 겹눈의 양안(binocular vision) 영상 획득을 통한 3차원 물체 추적 기술 등도 보고된 바 있다[26,27]. 겹눈은 적은 수의 픽셀로도 넓은 영역을 한 번에 볼 수 있고, 이론적으로는 단일 렌즈 눈에 비해 그 크기를 매우 작게 만들 수 있기 때문에 드론 등 소형 무인 비행체에 적용하기에 매우 적합하다. 다만 현재까지 개발된 겹눈 모사 카메라는 부피가 크기 때문에 이를 개선할 필요가 있다.

Figure 5.(a) Photograph of a fiddler crab, Uca arcuata. (b) Photographs of periscopic structure of the fiddler crab eye. (c) Transmission electron microscopy image in cross-sectional view of a single corneal lens of the fiddler crab eye. (d) Photograph of the artificial vision systems with omnidirectionally arranged microlenses. (e) Panoramic imaging demonstration with multiple objects. (f) Schematic illustration of an optical setup for amphibious imaging capability of the device in a partially water-filled container with two objects (g) imaging results. Reprinted from M. Lee et al. Nat. Electron. 2022; 5; 452-459. Copyright © 2022, from M. Lee et al., under exclusive license to Springer Nature Limited[23].

지능형 로봇의 폭발적 수요, 플렉서블 전자소자 기술의 발전, 동물 눈의 다양성 등의 요소가 생체모사형 카메라 기술의 진보를 앞당기고 있다. 근래에는 단순히 사람 눈이나 곤충 눈을 모방하는 것을 넘어 다양한 동물 눈의 광학 구조 및 영상 획득 구조를 모사하는 연구가 진행되고 있으며, 이러한 추세는 앞으로도 지속될 것으로 예상된다. 곡면형 이미지 센서는 아직 상용화되지 않았지만, 머지않은 미래에 새로운 광학 부품 시장의 확대를 초래할 것으로 기대된다. 생체모사형 카메라 기술은 앞으로 다음과 같은 몇 가지 방향으로 진행될 것이다.

첫째, 동물 눈에서 착안한 다양한 광부품 기술의 발전이 이루어질 것이다. 농게 등 수륙양용 동물의 구배형 렌즈, 갑오징어 등 일부 동물 눈의 자유 형상 조리개, 나방 눈의 무반사 나노 표면, 고양이 눈의 재귀반사판, 가리비 눈의 곡면형 반사판 등이 그 예이며, 이들은 생체모사형 카메라뿐만 아니라 다양한 광학 장치에 적용될 수 있다[15,28,29].

둘째, 생체모사형 카메라의 상용화를 위한 고해상도 곡면형 이미지 센서의 개발이다. 현재 곡면형 이미지 센서는 평면형 센서와 비교하여 우수한 광학 구조를 갖추고 있지만, 픽셀 수가 적어 해상도가 낮은 것이 주요 한계점으로 지적된다. 이를 극복하고 고해상도 곡면형 이미지 센서를 개발하기 위한 전략으로는 페로브스카이트 마이크로 와이어를 이용한 in-situ 성장이 있는데, 망막의 광수용체 밀도를 초과하는 높은 밀도를 달성할 수 있다는 장점이 있지만 동시에 전극 배선과 같은 공정상의 도전 과제가 아직 남아 있는 기술이다. 한편 곡면 광학 구조와 평면형 센서를 결합하는 방식은 해상도를 높일 수 있는 또 다른 가능성을 내포하고 있다. 이 방식을 통해 평면 공정 기술의 이점을 활용하면서도 곡면 구조의 장점을 극대화할 수 있는데, 그렇기에 현재로서는 평면 공정 기술과 호환되는 새로운 제조 방법을 개발하는 것이 가장 유망한 개발 방향으로 평가된다. 더불어 단순히 이미지 센서의 픽셀 수를 늘리는 것만으로는 고해상도 이미징 조건을 충족시키기 어렵기 때문에, 빛의 흡수 및 전환 효율을 극대화하거나 고효율 광전소자 설계를 통해 신호 정확성을 높이는 등 나노포토닉 구조를 활용하는 연구가 필요하다[30,31]. 신호 대 잡음비(signal-to-noise ratio, SNR)를 개선하거나 광학적 손실을 최소화하는 설계 기술은 고품질 신호 측정을 가능하게 함으로써 생체모사형 카메라의 상용화에 중요한 역할을 할 것으로 기대된다.

셋째, 뉴로모픽 소자 및 시스템과의 연계 연구이다. 동물 눈의 망막을 통해 얻은 신호는 동물의 뇌와 연결되어 시각 데이터를 재구성하고, 이를 바탕으로 의사 결정 과정까지 이르게 된다. 따라서 동물 눈 모사의 영역도 광의적으로 본다면 이미징을 넘어 수집한 시각 정보의 처리 과정까지 포함한다고 볼 수 있다. 한편 동물 눈의 구조가 서로 다른 것처럼 신호 처리 역할을 하는 뉴런/시냅스의 구조 및 기능도 동물마다 상이한데, 이는 뉴로모픽 소자 및 시스템에도 다변화가 이루어질 수 있음을 암시한다. 최근 보고된 몇 가지 인-센서 컴퓨팅(in-sensor computing) 구조에서도 여러 동물의 시각 구조에서 착안한 예시들이 있다[32-34].

넷째, 개발된 생체모사형 카메라의 실제 응용 및 피드백 연구이다. 개발된 카메라가 기존 카메라 대비 어떤 장단점이 있는지에 대한 연구를 통해 실제 산업에서의 성공 가능성을 타진할 수 있고, 때에 따라서는 전혀 다른 응용 분야를 발견할 수도 있다. 최근 가리비 눈의 광학 구조를 활용하여 3차원 바이오 이미징에 적용한 연구가 그 예이다[29].

이렇듯 생체모사형 카메라 연구는 광학 부품 및 이미징 기술의 저변을 넓힐 수 있는 학문이며, 산업적 가치도 매우 높고, 연구의 방향도 매우 다채롭기 때문에 앞으로도 지속적으로 발전하리라 기대된다.

본 연구는 연구개발특구진흥재단의 ‘지역혁신 메가프로젝트’ 사업(Grant no. 2023-DD-UP-0015), 2024년도 과학기술정보통신부의 재원으로 한국연구재단(Grant no. NRF-2023R1A2C3004531), GIST-MIT 공동연구사업(Grant no. GK14550)에서 지원을 받아 작성되었다.

연구개발특구진흥재단 ‘지역혁신 메가프로젝트’ 사업(Grant no. 2023-DD-UP-0015); 한국연구재단(Grant no. NRF-2023R1A2C3004531); GIST-MIT 공동연구사업(Grant no. GK14550).

본 연구에서 생성되거나 분석된 데이터는 합당한 요청 하에 저자에게 제공받을 수 있으며, 데이터를 다른 용도로 사용할 시 저자에게 타당한 이유를 밝히고 허가를 받아야 한다.

  1. L. P. Lee and R. Szema, "Inspirations from biological optics for advanced photonic systems," Science 310, 1148-1150 (2005).
    Pubmed CrossRef
  2. I. Jung, J. Xiao, V. Malyarchuck, C. Lu, M. Li, Z. Liu, J. Yoon, Y. Huang, and J. A. Rogers, "Dynamically tunable hemispherical electronic eye camera system with adjustable zoom capability," Proc. Natl. Acad. Sci. 108, 1788-1793 (2011).
    Pubmed KoreaMed CrossRef
  3. T. Wu, S. S. Hamann, A. C. Ceballos, C.-E. Chang, O. Solgaard, and R. T. Howe, "Design and fabrication of silicon-tessellated structures for monocentric imagers," Microsyst. Nanoeng. 2, 16019 (2016).
    Pubmed KoreaMed CrossRef
  4. H. C. Ko, M. P. Stoykovich, J. Song, V. Malyarchuk, W. M. Choi, C.-J. Yu, J. B. Geddes, J. Xiao, S. Wang, Y. Huang, and J. A. Rogers, "A hemispherical electronic eye camera based on compressible silicon optoelectronics," Nature 454, 748-753 (2008).
    Pubmed CrossRef
  5. L. Gu, S. Poddar, Y. Lin, Z. Long, D. Zhang, Q. Zhang, L. Shu, X. Qiu, M. Kam, A. Javey, and Z. Fan, "A biomimetic eye with a hemispherical perovskite nanowire array retina," Nature 581, 278-282 (2020).
    Pubmed CrossRef
  6. C. Choi, M. K. Choi, S. Liu, M. Kim, O. K. Park, C. Im, J. Kim, X. Qin, G. J. Lee, K. W. Cho, M. Kim, E. Joh, J. Lee, D. Son, S.-H. Kwon, N. L. Jeon, Y. M. Song, N. Lu, and D.-H. Kim, "Human eye-inspired soft optoelectronic device using high-density MoS2-graphene curved image sensor array," Nat. Commun. 8, 1664 (2017).
    Pubmed KoreaMed CrossRef
  7. Z. Rao, Y. Lu, Z. Li, K. Sim, Z. Ma, J. Xiao, and C. Yu, "Curvy, shape-adaptive imagers based on printed optoelectronic pixels with a kirigami design," Nat. Electron. 4, 513-521 (2021).
    CrossRef
  8. B. Guenter, N. Joshi, R. Stoakley, A. Keefe, K. Geary, R. Freeman, J. Hundley, P. Patterson, D. Hammon, G. Herrera, E. Sherman, A. Nowak, R. Schubert, P. Brewer, L. Yang, R. Mott, and G. McKnight, "Highly curved image sensors: A practical approach for improved optical performance," Opt. Express 25, 13010-13023 (2017).
    Pubmed CrossRef
  9. X. Chen, D. S. Gere, and M. C. Waldon, "Small form factor high-resolution camera," U.S. Patent US20140253677A1 (2014).
  10. K. Sugie, "Imaging device," Japan Patent JP2018074217A (2018).
  11. M. Aschwanden, "Optical device with variable focus," World Intellectual Property Organization (WIPO) WO2017118656A1 (2017).
    CrossRef
  12. M. Kim, G. J. Lee, C. Choi, M. S. Kim, M. Lee, S. Liu, K. W. Cho, H. M. Kim, H. Cho, M. K. Choi, N. Lu, Y. M. Song, and D.-H. Kim, "An aquatic-vision-inspired camera based on a monocentric lens and a silicon nanorod photodiode array," Nat. Electron. 3, 546-553 (2020).
    CrossRef
  13. M. Kim, S. Chang, M. Kim, J.-E. Yeo, M. S. Kim, G. J. Lee, D.-H. Kim, and Y. M. Song, "Cuttlefish eye-inspired artificial vision for high-quality imaging under uneven illumination conditions," Sci. Robot. 8, eade4698 (2023).
    Pubmed CrossRef
  14. J. Park, M. S. Kim, J. Kim. S. Chang, M. Lee, G. J. Lee, Y. M. Song, and D.-H. Kim, "Avian eye-inspired perovskite artificial vision system for foveated and multispectral imaging," Sci. Robot. 9, eadk6903 (2024).
    Pubmed CrossRef
  15. M. S. Kim, M. S. Kim, M. Lee, H. J. Jang, D. H. Kim, S. Chang, M. Kim, H. Cho, J. Kang, C. Choi, J. P. Hong, D. K. Hwang, G. J. Lee, D.-H. Kim, and Y. M. Song, "Feline eye-inspired artificial vision for enhanced camouflage breaking under diverse light conditions," Sci. Adv. 10, eadp2809 (2024).
    Pubmed KoreaMed CrossRef
  16. Y. Ding, G. Liu, Z. Long, Y. Zhou, X. Qiu, B. Ren, Q. Zhang, C. Chi, Z. Wan, B. Huang, and Z. Fan, "Uncooled self-powered hemispherical biomimetic pit organ for mid- to long-infrared imaging," Sci. Adv. 8, eabq8432 (2022).
    Pubmed KoreaMed CrossRef
  17. J. Tanida, T. Kumagai, K. Yamada, S. Miyatake, K. Ishida, T. Morimoto, N, Kondou, D. Miyazaki, and Y. Ichioka, "Thin observation module by bound optics (TOMBO): Concept and experimental verification," Appl. Opt. 40, 1806-1813 (2001).
    Pubmed CrossRef
  18. J. Tanida, R. Shogenji, Y. Kitamura, K. Yamada, M. Miyamoto, and S. Miyatake, "Color imaging with an integrated compound imaging system," Opt. Express 11, 2109-2117 (2003).
    Pubmed CrossRef
  19. R. Horisaki, K. Kagawa, Y. Nakao, T. Toyoda, Y. Masaki, and J. Tanida, "Irregular lens arrangement design to improve imaging performance of compound-eye imaging systems," Appl. Phys. Express 3, 022501 (2010).
    CrossRef
  20. A. Akin, O. Cogal, K. Seyid, H. Afshari, A. Schmid, and Y. Leblebici, "Hemispherical multiple camera system for high-resolution omni-directional light field imaging," IEEE J. Emerg. Sel. Top. Circuits Syst. 3, 137-144 (2013).
    CrossRef
  21. Y. M. Song, Y. Xie, V. Malyarchuk, J. Xiao, I. Jung, K.-J. Choi, Z. Liu, H. Park, C. Lu, R.-H. Kim, R. Li, K. B. Crozier, Y. Huang, and J. A. Rogers, "Digital cameras with designs inspired by the arthropod eye," Nature 497, 95-99 (2013).
    Pubmed CrossRef
  22. D. Floreano, R. Pericet-Camara, S. Viollet, F. Ruffier, A. Bruckner, R. Leitel, W. Buss, M. Menouni, F. Expert, R. Juston, M. K. Dobrzynski, G. L'Eplattenier, F. Recktenwald, H. A. Mallot, and N. Franceschini, "Miniature curved artificial compound eyes," Proc. Natl. Acad. Sci. 110, 9267-9272 (2013).
    Pubmed KoreaMed CrossRef
  23. M. Lee, G. J. Lee, H. J. Jang, E. Joh, H. Cho, M. S. Kim, H. M. Kim, K. M. Kang, J. H. Lee, M. Kim, H. Jang, J.-E. Yeo, F. Durand, N. Lu, D.-H. Kim, and Y. M. Song, "An amphibious artificial vision system with a panoramic visual field," Nat. Electron. 5, 452-459 (2022).
    CrossRef
  24. A. Altaqui, P. Sen, H. Schrickx, J. Rech, J.-W. Lee, M. Escuti, W. You, B. J. Kim, R. Kolbas, B. T. O'Connor, and M. Kudenov, "Mantis shrimp-inspired organic photodetector for simultaneous hyperspectral and polarimetric imaging," Sci. Adv. 7, eabe3196 (2021).
    Pubmed KoreaMed CrossRef
  25. Q. Fan, W. Xu, X. Hu, W. Zhu, T. Yue, C. Zhang, F. Yan, L. Chen, H. J. Lezec, Y. Ju, A. Agrawal, and T. Xu, "Trilobite-inspired neural nanophotonic light-field camera with extreme depth-of-field," Nat. Commun. 13, 2130 (2022).
    Pubmed KoreaMed CrossRef
  26. Y. Zhou, Z. Sun, Y. Ding, Z. Yuan, X. Qiu, Y. B. Cao, Z. Wan, Z. Long, S. Poddar, S. Kumar, W. Ye, C. L. J. Chan, D. Zhang, B. Ren, Q. Zhang, H.-S. Kwok, M. G. Li, and Z. Fan, "An ultrawide field-of-view pinhole compound eye using hemispherical nanowire array for robot vision," Sci. Robot. 9, eadi8666 (2024).
    Pubmed CrossRef
  27. B. J. Bae, D. Lee, M. Park, Y. Mu, Y. Baek, I. Sim, S. Shen, and K. Lee, "Stereoscopic artificial compound eyes for spatiotemporal perception in three-dimensional space," Sci. Robot. 9, eadl3606 (2024).
    Pubmed CrossRef
  28. H. J. Jang, Y. J. Kim, Y. J. Yoo, G. J. Lee, M. S. Kim, K. S. Chang, and Y. M. Song, "Double-sided anti-reflection nanostructures on optical convex lenses for imaging applications," Coatings 9, 404 (2019).
    CrossRef
  29. B. A. Palmer, G. J. Taylor, V. Brumfeld, D. Gur, M. Shemesh, N. Elad, A. Osherov, D. Oron, S. Weiner, and L. Addabi, "The image-forming mirror in the eye of the scallop," Science 358, 1172-1175 (2017).
    Pubmed CrossRef
  30. J. S. T. Smalley, X. Ren, J. Y. Lee, W. Ko, W.-J. Joo, H. Park, S. Yang, Y. Wang, C. S. Lee, H. Choo, S. Hwang, and X. Zhang, "Subwavelength pixelated CMOS color sensors based on anti-Hermitian metasurface," Nat. Commun. 11, 3916 (2020).
    Pubmed KoreaMed CrossRef
  31. M. Cho, J. Jung, M. Kim, J. Y. Lee, S. Min, J. Hong, S. Lee, M. Heo, J. U. Kim, I.-S. Joe, and J. Shin, "Color arrestor pixels for high-fidelity, high-sensitivity imaging sensors," Nanophotonics 13, 2971-2982 (2024).
    Pubmed KoreaMed CrossRef
  32. P. Xie, Y. Xu, J. Wang, D. Li, Y. Zhang, Z. Zeng, B. Gao, Q. Quan, B. Li, Y. Meng, W. Wang, Y. Li, Y. Yan, Y. Shen, J. Sun, and J. C. Ho, "Birdlike broadband neuromorphic visual sensor arrays for fusion imaging," Nat. Commun. 15, 8298 (2024).
    Pubmed KoreaMed CrossRef
  33. D. Lee, M. Park, Y. Baek, B. Bae, J. Heo, and K. Lee, "In-sensor image memorization and encoding via optical neurons for bio-stimulus domain reduction toward visual cognitive processing," Nat. Commun. 13, 5223 (2022).
    Pubmed KoreaMed CrossRef
  34. F. Liao, Z. Zhou, B. J. Kim, J. Chen, J. Wang, T. Wang, Y. Zhou, A. T. Hoang, C. Wang, J. Kang, J.-H. Ahn, and Y. Chai, "Bioinspired in-sensor visual adaptation for accurate perception," Nat. Electron. 5, 84-91 (2022).
    CrossRef

Article

초청논문(Invited Paper)

2024; 35(6): 265-275

Published online December 25, 2024 https://doi.org/10.3807/KJOP.2024.35.6.265

Copyright © Optical Society of Korea.

Recent Trends in Bioinspired Camera Systems for Intelligent Robotics

Jinyoung Jang1, Sehui Chang1, Yong Min Song1,2,3

1School of Electrical Engineering and Computer Science, Gwangju Institute of Science and Technology, Gwangju 61005, Korea
2Department of Semiconductor Engineering, Gwangju Institute of Science and Technology, Gwangju 61005, Korea
3AI Graduate School, Gwangju Institute of Science and Technology, Gwangju 61005, Korea

Correspondence to:ymsong@gist.ac.kr, ORCID: 0000-0002-4473-6883

Received: November 6, 2024; Revised: November 28, 2024; Accepted: November 29, 2024

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Abstract

With the advent of the intelligent robotics era, there is an increasing demand for a variety of image sensors and camera modules to meet the needs of various applications. At the same time, demand is growing for performance such as ultra-compact size, low-power operation, and hardware-level object recognition that is difficult to achieve with existing cameras. The superior structures and functionalities of natural eyes, including those of humans and other animals, provide significant inspiration for the development of next-generation artificial vision systems. In particular, the unique characteristics of animal eyes, which have evolved ecologically to adapt to specific habitats and environments, exhibit functionalities beyond those found in conventional cameras. Consequently, research aiming to mimic these natural optical systems has become very active. Bioinspired cameras can generally be categorized into lens optics, image sensors, nanophotonic structures, and neuron/synapse mimics. Recently, there have been attempts to integrate all these components into a complete vision system. This review aims to trace trends in bioinspired cameras, focusing not on the technical aspects of individual components but on overall directions in technological advancement.

Keywords: Bioinspired camera, Image sensor, Vision system

I. 서 론

가전 제품(consumer electronics) 시장 동향 보고서에 따르면 약 2020년대 중반을 기점으로 전자 제품의 방향이 스마트 소자(smart device)에서 로봇(robotics)으로 이동할 것으로 예측된다. 지능형 홈, 동료 로봇(companion robot), 스마트 카 등을 포함하는 지능형 로봇시대에는 방대한 데이터의 처리를 위해 그래픽 연산 처리 장치(graphic processing unit, GPU)를 넘어 뉴로모픽 연산 처리 장치(neuromorphic processing unit, NPU)의 수요가 급격히 늘 것으로 예상하며, 지능형 로봇 시대 이후에는 증강(augmented) 시대로 진입할 것으로 본다.

지능형 로봇의 개발을 위해서는 주변 상황을 보다 정확히 인지할 센서들이 다수 필요하며, 그러므로 거의 모든 유형의 로봇에서 이미징(imaging) 장치의 장착이 필수일 것으로 예측된다. 이와 동시에 초소형/저전력 구동부터 하드웨어 레벨의 물체 인식까지 기존 카메라에서는 구현하기 어려운 성능에 대한 수요도 늘고 있다. 로봇의 종류, 형태 및 목적이 더욱 더 다양해짐에 따라 이미지 센서 또는 카메라 모듈의 다변화가 필수이나, 현재 사용되고 있는 카메라 모듈은 정형화된 complementary metal oxide semiconductor (CMOS) 기반 이미지 센서와 몇 가지 렌즈 모듈군의 조합으로 이루어지기 때문에 각각의 로봇 맞춤형으로 변화를 꾀하기는 어렵다. 또한 후술할 동물의 눈과 비교하자면, 모듈의 구성 측면에서 다수의 복잡한 렌즈를 사용하기 때문에 경제적이지 못하며, 신호 처리 방식에서도 동물의 신경계와 비교할 바가 못 된다. 기존 카메라 모듈의 발전 방향은 예컨대 이미지 센서의 픽셀 간격을 줄이고, 화소 수를 높이며, 노이즈/양자효율을 개선하는 등 구체적 스펙의 향상을 통해 이루어졌다. 그러나 지능형 로봇 시대에 대응하기 위해서는 카메라 모듈의 다변화를 위한 노력도 필요하다.

현재 우리가 흔히 사용하는 이미지 센서 및 카메라 모듈은 인간의 눈 구조에서 착안한 것이다. CMOS 기반 이미지 센서의 컬러 필터 스펙트럼은 인간 눈에 존재하는 원추 세포의 빛 흡수 스펙트럼을 가능한 한 유사하게 모사하기 위한 것이며, 인간의 삼색인지와 유사한 성능을 보인다. 현재 이 컬러 필터의 화소 크기는 실리콘 기반 이미지 센서 제작기술이 발전함에 따라 0.5 마이크론 크기에 도달하였으며, 이는 가장 작은 인간 원추 세포의 직경과 유사하다. 회절 한계(diffraction limit)를 고려하면, 이보다 더 작은 화소의 개발에는 부차적인 문제를 해결해야 할 것으로 보인다. 이처럼 고도로 발달한 이미지 센서 제작 기술에도 불구하고, 몇 가지 측면에서 동물의 눈을 좀 더 관찰해야 하는 이유가 있다. 첫째는 동물 눈의 효율성이다. 인간의 눈은 하나의 렌즈로 구성되어 있는 반면, 상용 카메라에는 다수의 렌즈가 필요하다. 이는 단일 렌즈(single lens)의 초점면이 평면이 아니라 곡면이기 때문에 생기는 것으로, 편평한 이미지 센서를 사용하는 한 극복할 수 없다. 반면 동물의 안구(eye ball) 내 망막(retina)은 소위 상면 완곡(Petzval’s field curvature)이라 불리는 면에 위치하기 때문에 광학적으로 매우 경제적인 구성(economical configuration)을 갖추고 있다. 둘째는 동물 눈의 다양성이다. 인간을 포함한 동물의 눈은 자연 속에서 서식지 및 생활 환경에 가장 적합한 형태로 진화해 왔다. 이는 앞서 언급한 눈의 경제적 구성이 각각의 목적에 맞추어 변화해 왔다는 의미이며, 단순히 크기 및 화소 수뿐만 아니라 렌즈/동공의 종류/형태, 광수용체 유형/종류/밀도, 편광 필터, 반사체, 적응 광학계(adaptive optics) 등 상상할 수 있는 거의 모든 구성품의 변화를 포함한다. 이와 관련된 더 자세한 예시에 대해서는 2장에서 다루도록 한다. 저자가 가장 주목하는 부분은 동물의 눈이 생활 환경에 따라 적합한 형태로 진화한 것과 마찬가지로, 각각의 목적에 맞게 개발된 로봇의 카메라도 그에 가장 적합한 형태로 진화해야 한다는 것이다. 이것이 생체 모방 연구가 필요한 이유이다.

생체 모방 카메라 연구는 지금껏 렌즈 광학계, 이미지 센서, 나노포토닉 구조, 뉴런/시냅스 모사 등 여러 가지 시도가 있었으나, 큰 줄기로 구분하자면 동물 눈의 효율성을 모사하기 위한 목적으로 시작되어 지금은 동물 눈의 다양성에 주목하고 있는 상황이다. 동물의 눈은 그 구조 및 기능에 따라 크게 10가지로 구분되며, 이는 다시 단일 렌즈 눈(single lens eye) 또는 카메라형 눈(camera-type eye)과 겹눈(compound eye)으로 구분된다. 이 중 인간의 눈을 포함하는 단일 렌즈 눈 구조를 모사한 연구가 자연스레 먼저 시작되었으며, 이어서 파리, 벌 등이 가지고 있는 겹눈 구조를 모사하는 연구가 이루어졌다. 본 고에서는 생체 모방 카메라 연구의 최신 동향을 파악하기 위해 먼저 2장에서 단일 렌즈 눈 모사형 카메라 기술에 관해 서술하고, 이후 3장에서 겹눈 모방 카메라 기술에 대해 다룬다. 결론부에서는 생체 모방 카메라 연구가 나아가야 할 방향에 대해 고찰한다.

II. 단일 렌즈 눈(single lens eye) 모사형 카메라 연구 동향

물체의 상을 얻기 위한 단일 볼록 렌즈(single biconvex lens)의 초점면은 앞서 언급한 대로 포물면을 이루고 있기 때문에 편평한 필름 또는 이미지 센서를 사용하면 광학 수차(aberration)를 극복하기 어렵다. 초점면을 평면으로 만들기 위해서는 복수의 렌즈 구성이 필요하며, 더욱 우수한 변조전달함수(modulation transfer function) 특성을 얻기 위해서는 더욱 많은 렌즈 혹은 비구면 렌즈 조합이 필요하다. 더 나아가 화각(field of view)을 높이거나 물체 확대(zooming) 등의 기능을 부여하기 위해서는 더욱 많은 매수의 렌즈가 필요하며, 이처럼 한정된 공간 내에 너무 많은 매수의 렌즈를 삽입하게 되면 카메라 모듈의 구성은 복잡해질 수밖에 없다. 한편 포유류, 조류, 어류 등이 가진 단일 렌즈 눈(single lens eye)은 초점면에 망막이 위치하기 때문에 수차 문제를 최소화할 수 있다. 또한 동물 눈의 렌즈는 대체로 구배형 굴절률(graded refractive index)을 갖기 때문에 색수차(chromatic aberration) 문제를 효과적으로 해소할 수 있다. 이때 초점의 조절은 렌즈 곡면의 물리적 변형을 통해 이루어진다. 이와 같이 동물의 단일 렌즈 눈은 평면 이미지 센서 기반 기존 카메라 모듈의 구성에 비해 월등히 단순한 구조를 가짐과 동시에 우수한 영상 획득 특성을 가지고 있기 때문에 2000년대 중반부터 이를 모사하고자 하는 연구가 시작되었다[그림 1(a)1(c)][1,2].

Figure 1. (a) Photograph of the tunable hemispherical electronic eye camera system. (b) Photographs of the photodiode array imaged through a lens at different magnifications (left: smaller radius of curvature, right: larger radius of curvature). (c) Image demonstration of a test pattern (left: flat detector, right: detector shape matched to the Petzval surface). (a)–(c) are reprinted from I. Jung et al. Proc. Natl. Acad. Sci. 2011; 108; 1788-1793. Copyright © 2011, National Academy of Sciences[2]. (d) Optical layout showing a monocentric imager designed with a single ball lens. (e) Photographs of the five-gore structure before mounting and curved device positioned in a hemispherical fixture. (d) and (e) are reprinted from T. Wu et al. Microsyst. Nanoeng. 2016; 2; 16019. Copyright © 2016, T. Wu et al.[3]. (f) Photograph of the phototransistor array on a planar substrate. The inset shows an exploded schematic view of a phototransistor structure. (f) is reprinted from C. Choi et al. Nat. Commun. 2017; 8; 1664. Copyright © 2017, C. Choi et al.[6]. (g) Curvature forming method using two axisymmetric models of a spherical wrapping process. (h) Photograph of a curved complementary metal oxide semiconductor (CMOS) image sensor. (g) and (h) are reprinted with permission from Guenter et al. Opt. Express 2017; 25; 13010-13023. Copyright © 2017, Optical Society of America[8].

초창기의 연구는 사람의 눈을 모방한 연구였으며[그림 1(d)], 주로 곡면형 이미지 센서의 제작에 초점을 맞추었다[그림 1(e)][3]. 미국 일리노이대 Rogers 등의 연구진은 2008년 전사 프린팅(transfer printing) 기법을 도입하여 실리콘 기반 이미지 센서를 반구면 고분자 기판에 성공적으로 전사하였으며, 이를 통해 단일 렌즈 이미징으로 이미지 센서의 전 영역에서 매우 선명한 영상을 획득하였다[4]. 홍콩 과기대의 Fan 그룹에서는 얇은 알루미늄 기판을 구형으로 가공하고, 양극산화 기법을 통해 매우 작은 기공을 형성하여 내부에 페로브스카이트 나노선 광센서를 성장시켰다[5]. 이렇게 제작된 광센서의 직경 및 광센서 간 거리는 인간의 원추세포보다 훨씬 조밀한 수준으로서 고해상도 인공 눈 개발의 가능성을 보여주었다. 이 밖에도 그림 1(f)의 2차원 소재를 이용한 초박막 곡면형 이미지 센서, 키리가미(Kirigami) 기법을 도입한 고밀집 곡면형 이미지 센서 등이 개발되었다[6,7]. 한편 연구소뿐만 아니라 산업계에서도 유사한 연구가 이루어졌는데 일례로 2013년 (주)소니에서 최초로 곡면형 이미지 센서의 상용제품 개발에 대한 기사를 보고하였다. 이 밖에도 (주)마이크로소프트[그림 1(g), 1(h)] 등 대기업에서 관련 연구 결과를 보고한 바 있고[8], (주)애플 등 이미지 센서 제작 기업이 아닌 경우에도 다수의 특허를 출원하는 등 곡면형 이미지 센서는 이미 산업 응용에 대한 가능성을 내비치고 있다[9-11].

한편 앞서 언급한 것처럼 동물 눈의 다양성에 기반한 응용 맞춤형 생체 모사 카메라 연구도 이루어지고 있다. 상용 제품 중 널리 알려진 어안 렌즈(fish-eye lens), 즉 광각 렌즈는 통상 7–13매 정도의 렌즈로 구성되어 있으나, 실제 물고기의 눈은 이것과 전혀 다른 구성을 하고 있다. 물 속의 굴절률은 약 1.3으로 공기에 비해 큰 굴절력(refractive power)이 필요하기 때문이다. 이에 따라 어류의 단일 렌즈는 주로 볼 렌즈(ball lens) 형태이며, 초점면에 존재하는 광수용체 배열 역시 반구형이다. 볼 렌즈는 색수차를 줄이기 위해 굴절률이 점진적으로 변하는 구배형 구성을 띠며, 초점의 조절은 렌즈의 곡면 조절이 아닌 병진 이동으로 달성된다. Kim 등[12] 연구진은 이를 활용하면 기존의 어안 렌즈에 비해 매우 간단한 구성으로 넓은 화각을 달성할 수 있다는 이점을 활용하여 그림 2(a)와 같이 어안 카메라를 제작하였다. 이들은 그림 2(b)의 구형 공심 렌즈와 그림 2(c)의 실리콘 기반 반구형 이미지 센서 결합을 통해 120도의 화각을 달성하고[그림 2(d)], 포커싱 조정을 통해 그림 1(e)와 같이 가까이 위치한 물체에서도 선명한 이미지를 획득하였다.

Figure 2. (a) Optical layout of an aquatic-eye-inspired camera based on ray tracing simulation. (b) Photographs of inner half-ball and outer shell lenses, which form the monocentric lens. (c) Photograph of the silicon nanorod photodiode array on a flat substrate with anisotropic conductive film. The inset shows a curved device transferred onto a hemispherical substrate. Imaging demonstrations for (d) panoramic imaging with a 120º field of view and (e) accommodation on a close object. The insets are original images. (a)–(e) are reprinted from M. Kim et al. Nat. Electron. 2020; 3; 546-553. Copyright © 2020, M. Kim et al. under exclusive license to Springer Nature Limited[12]. (f) Optical layout of the cuttlefish-inspired lens with a W-shaped pupil. The inset is a photograph of the fabricated W-shaped pupil. (g) Photograph of a silicon photodiode array with an integrated flexible carbon nanotube polarizing film (FCPF) on a cylindrical substrate. (h) Intensity profiles for the circular pupil system and W-shaped pupil system under uneven illumination setting. (i) Imaging results of an unevenly illuminated object with each pupil type (left: circular pupil, right: W-shaped pupil). (f)–(i) are reprinted with permission from M. Kim et al. Sci. Robot. 2023; 8; eade4698. Copyright © 2023, M. Kim et al. The American Association for the Advancement of Science[13].

한편 수생 생물의 눈이 모두 상기 언급한 형태로 되어 있는 것은 아니며, 그중에서도 서식지에 따라 독특한 조합을 이루고 있는 동물이 존재한다. 예를 들어 두족류의 일종인 갑오징어(cuttlefish)는 어류와 구형 렌즈 및 반구형 광수용체 배열 면에서 동일하나 조리개의 구조 및 광수용체의 분포 등이 다르다. 갑오징어는 주로 얕은 물가에 서식하기 때문에 수직 방향으로 불균일한 조도 환경에 노출된다. 따라서 위쪽 빛은 차단하고 아래쪽 빛은 많이 받아들이기 위해 동공을 W자 모양으로 진화시켜 빛 조건을 조절하게 되었다. 또 갑오징어의 망막은 아래 방향에 위치한 빛을 받아들이는 영역, 즉 먹잇감이 지나다니는 방향에 광수용체들이 밀집되어 있어, 해당 방향에 국한하여 고해상도의 시력을 구현할 수 있다. Kim 등[13] 연구진은 그림 2(f)에 보이듯 갑오징어의 동공을 모사한 W자형 조리개를 만들어 이미지 센서로 들어오는 광량의 불균일도를 해소하였다. 또한 그림 2(g)에서 갑오징어의 망막처럼 관심 영역이 영상으로 맺히는 영역에 광다이오드 픽셀을 밀집시켜 효율적으로 고해상도 영상을 얻도록 설계하였다. 그림 2(h)그림 2(i)는 수직 방향으로 불균일한 광량이 비추는 상황에서도 W자형 조리개를 이용하면 일정한 세기로 빛을 감지할 수 있음을 보여주고 있다. 또한 갑오징어 등 두족류의 눈에는 편광을 인지할 수 있도록 미세 융모(microvilli)가 정렬되어 있어 선편광 필터의 역할을 하며, 이는 물체 인식의 대비(contrast)를 크게 향상시킨다. 이를 모사하기 위해 연구진은 한 방향으로 정렬된 탄소 나노튜브(carbon nanotube) 배열을 제작하고, 이를 이미지 센서 상부에 집적하여 편광 구분이 가능한 이미지 센서를 제작하였다.

이 밖에도 조류(Aves), 고양잇과(Felidae), 뱀아목(Serpentes) 등의 눈을 모사한 연구를 통해 기존 카메라와 대비되는 특수 기능을 가진 카메라 모듈의 연구도 진행되고 있다[14-16]. 예를 들어, 맹금류에서 보이는 포비티드(foveated) 이미징 기술은 그림 3(a)와 같이 중심와(fovea centralis)가 가우시안 형태를 띄고 있어 영상의 주변부에 비해 중심부에서 매우 선명하고 확대된 형태의 영상을 획득할 수 있다. 이러한 특성은 그림 3(b)와 같은 상황에서 관심 영역(foveal region)에 더 높은 화질이 필요한 감시 카메라 등에 활용할 수 있다. 그림 3(c)는 완성된 카메라 모듈을 이용해서 측정한 이미지 데모이며, 이를 통해 표적 탐지 및 추적하는 시스템에 응용 가능함을 알 수 있다.

Figure 3. (a) Cross-sectional view of the artificial fovea. (b) Schematic illustration of foveated vision application of an avian-inspired vision system. The insets are foveal region (top) and peripheral region (bottom). (c) Imaging demonstration of i) foveated and ii) uniform pixel density distributions. Scale bars: 2 mm. (a)–(c) are reprinted with permission from J. Park et al. Sci. Robot. 2024; 9; eadk6903. Copyright © 2024, The American Association for the Advancement of Science[14]. (d) Exploded schematic of the feline-eye-inspired vision system. Image demonstrations and their gradient maps with a small circular pupil (e) i)–ii) and a vertical pupil (f) i)–ii). (d)–(f) are reprinted with permission from M. S. Kim et al. Sci. Adv. 2024; 10; eadp2809. Copyright © 2024, The American Association for the Advancement of Science[15]. (g) Exploded schematic of polymer-based ionic thermoelectric device. (h) Pixel response to varying temperatures (40 ℃ to 200 ℃). (i) Temperature-dependent voltage output of an individual pixel. (j) Infrared radiation (IR) images of a human hand at room temperature. (g)–(j) are reprinted from Y. Ding et al. Sci. Adv. 2022; 8; eabq8432. Copyright © 2022, The American Association for the Advancement of Science[16].

고양잇과의 눈은 사람과는 다르게 낮에는 수직 동공(vertical pupil)을 통해 카메라의 초점 심도를 짧게 하여 주변부 노이즈를 효과적으로 줄이고, 밤에는 휘판(tapetum lucidum)을 통해 입사광을 재흡수하여 조도가 낮을 때에도 물체를 선명하게 식별할 수 있게 해준다. 고양이 눈을 모사한 카메라 시스템 구성은 그림 3(d)에 나타내었으며, 변경 가능한 조리개와 반구 형태의 이미지 센서가 특징이다. 또한 그림 3(e)의 원형 동공일 때와 그림 3(f)의 수직 동공일 때에 수집된 이미지 및 그래디언트 맵 간의 비교를 통해 고양이 눈을 모사한 카메라가 목표물 주변에 노이즈가 많은 경우에도 물체를 보다 명확히 식별할 수 있도록 돕는 위장 해제(camouflage breaking) 효과를 가지고 있음을 알 수 있다. 이는 군사용이나 정찰용 카메라에 적합할 것으로 예상된다.

뱀아목에 해당하는 동물들은 눈 주변에 피트 기관(pit organ)이라 불리는 오목하게 패인 영역이 있으며, 이 기관을 통해 낮은 해상도의 열 영상(thermal imaging)을 감지할 수 있다. 뱀아목은 이를 통해 한밤 중에도 물체의 움직임을 포착할 수 있으며, 이는 야간 열화상 카메라 개발에 영감을 주었다. 그림 3(g)의 뱀아목의 눈을 모사한 이미지 센서는 감지 신경 세포 역할을 하는 고밀도 이온 열전 폴리머 나노와이어 배열이 특징이다. 그림 3(h)에서 각 나노와이어는 테스트 대상의 온도 변화(40, 80, 120, 160, 200 ℃)에 따라 뚜렷한 전압 반응을 나타내고, 그림 3(i)는 픽셀의 전압-온도 그래프를 통해 온도변화에 따라 픽셀이 생성하는 전압을 보여준다. 이를 토대로 완성된 센서는 실온에서 사람의 체온만으로 손동작을 이미지화하는 것에 성공하여, 생체 영감을 받은 새로운 IR 이미징 장치의 구현에 기여하였다.

III. 겹눈(compound eye) 모사형 카메라 연구 동향

겹눈은 잠자리, 벌 등 곤충과 새우, 가재 등 갑각류를 포함하는 절지동물(arthropod)에서 관찰되며, 여러 개의 홑눈(ommatidium)이 다발로 모여 있는 형태이다. 생물 종의 약 80%가 겹눈을 갖고 있는 것으로 알려져 있기 때문에, 겹눈 모방 연구는 자연계의 80%를 차지하는 생물들이 바라보는 세상을 보다 자세히 이해할 수 있게 한다는 점에서 큰 의의가 있다. 홑눈은 겉에서부터 마이크로렌즈 형태의 각막(cornea), 수정추(crystalline cone), 감간(rhabdom) 순으로 구성되어 있다. 이때 각막의 지름은 생물종에 따라 다양하나 주행성 곤충의 경우 보통 20 마이크론 정도로 매우 작다. 피사체에서 반사된 빛은 각각의 홑눈을 통해 들어와 수정추에서 모이며, 모인 빛은 감간으로 전달되어 상을 형성하게 된다. 겹눈은 홑눈 다발이 볼록한 면에 분포하는 형태가 일반적이기 때문에 단일 렌즈 눈에 비해 매우 넓은 시야각(140–180도)을 가지며, 광학 구조상 매우 깊은 심도를 갖는다. 게다가 겹눈의 신경계는 물체의 움직임을 매우 빠르게 포착할 수 있도록 배치되어 있다. 이처럼 넓은 화각, 깊은 심도, 빠른 프레임 수 등은 겹눈의 큰 장점이 되지만 반면에 해상도가 매우 낮다는 단점이 있다. 홑눈 구성 시에는 마이크로렌즈 광학계가 필수이기 때문에 감간의 밀도 및 개수를 높이기 어려우며, 해상도를 높이고자 하면 전체 시스템의 부피가 매우 커진다. 결과적으로 겹눈은 높은 해상도가 필요한 분야에는 적합하지 않으나 정찰, 배달, 탐사 등의 목적으로 활용될 소형 비행체의 카메라로는 매우 적합하다고 볼 수 있다.

겹눈 모사형 카메라 기술의 초기 연구는 2000년대 초반 마이크로렌즈 어레이(microlens array, MLA)를 이미지 센서에 집적하는 연구로부터 시작되었다[17,18]. 예를 들어 thin observation module by bound optics (TOMBO)라는 통합 이미징 시스템은 그림 4(a)와 같이 마이크로렌즈 어레이와 신호 분리기, 이미지 처리 장치로 구성된다. 그림 4(b)의 도식을 보면 MLA와 그 아래 위치한 이미징 픽셀들이 하나의 홑눈을 구성하며, 이로부터 얻은 영상정보를 재구성하면 겹눈 이미징이 가능함을 알 수 있다. 최종 완성된 시스템은 그림 4(c)와 같다. 다만 평면구성에서는 각 인공 홑눈의 이미징 영역이 중첩되고 화각이 매우 제한되기 때문에, 오사카대 그룹에서는 MLA의 밑면에 핀홀을 중심과 어긋나게 형성하여 이를 보완하였다[19]. 한편 스위스 EPFL의 연구진은 화각을 극대화하고 해상도를 높이기 위해 반구면에 소형 카메라 모듈을 여러 대 배치하여 180도 전 영역 파노라믹 형상을 획득하였다[20]. 다만 이는 여러 대의 카메라 모듈을 활용하기 때문에 부피가 매우 크며, 구동 하드웨어도 매우 복잡하다는 단점이 있다. 이 사례에서 알 수 있듯 겹눈 모사의 가장 어려운 점은 반구면 혹은 최소한 적절한 구면에 마이크로렌즈 어레이와 이미징 픽셀들이 균일하게 배치되어야 한다는 점이다. 이를 해소하기 위해 일리노이대에서는 그림 4(d)의 신축성이 있는(스트레처블, stretchable) 광검출기 어레이 및 마이크로렌즈 어레이를 제작한 뒤 이를 정렬 및 결합하고, 기계적 힘을 가해 평면 구성을 그림 4(e)와 같이 반구면으로 변형하였다[21]. 최종 제작된 인공 겹눈 카메라[그림 4(f)]는 총 180개의 홑눈을 가지고 있으며, 그림 4(g)의 이미징 결과에서 160도의 넓은 화각 특성을 보였다. EPFL에서는 실린더형 플렉서블 이미지 센서를 제작하고 각 픽셀의 상부에 마이크로 렌즈를 집적하여 그림 4(h)의 실린더형 겹눈 카메라를 제작하였다[22]. 제작된 카메라는 일축으로는 180도의 화각을 가지나, 반대 축으로는 60도로 화각이 제한된다는 단점이 있다[그림 4(i)]. 그러나 그림 4(j)처럼 4개의 작동 곡선을 통해 프로토 타입의 높은 감도뿐만 아니라 주변광에 대한 민감도의 안정성을 확인할 수 있어, 일반적인 자연환경에서 강점이 있다.

Figure 4. (a) Schematic of thin observation module by bound optics (TOMBO) system structure. (b) Overview of TOMBO system’s pixel rearrange method. (c) Picture of a TOMBO system. Reprinted with permission from Tanida et al. Opt. Express 2003; 11; 2109–2117. Copyright © 2003, Optical Society of America[18]. (d) Exploded schematic view of hemispherical compound eye camera components. (e) X-ray computed tomography images before (top) and after (middle) deformation, with finite element method results of post-deformation (bottom). (f) Photograph of a hemispherical compound eye camera after deformation. (g) Imaging results of the wide field-of-view (from −80˚ to 80˚ in x- and y-directions). Reprinted from Y. M. Song et al. Nature 2013; 497; 95–99. Copyright © 2013, Springer Nature Limited[21]. (h) Photograph of a cylindrical, curved artificial compound eye. (i) Illustration of the full field-of-view for the cylindrical, curved system. (j) Transient and steady-state responses with the auto-adaptation function at the single-ommatidium level. (h)–(j) are reprinted from D. Floreano et al. Proc. Natl. Acad. Sci. 2013; 110; 9267–9272. Copyright © 2013, National Academy of Sciences[22].

동물의 겹눈 역시 그 구조 및 기능에 따라 다섯 가지로 구분되고, 동물의 서식지에 따라 그 특성이 제각각이다. 홑눈의 개수는 100개 미만부터(일개미) 3만 개까지(잠자리) 다양하며, 홑눈의 분포는 반구면에 고르게 분포하는 것이 일반적이지만 경우에 따라서는 구면 전체를 감싸는 형태도 있다. 대표적으로 농게(fiddler crab)의 돌출된 눈이 그 예이다[그림 5(a)]. 그림 5(b)의 사진과 같이 농게의 눈은 돌출된(stalked) 형태이며, 돌출된 막대 기둥의 끝부분 전면을 홑눈이 감싸고 있는 형태로 이루어져 있다. 농게는 넓은 갯벌에 서식하기 때문에 매우 넓은 영역을 한 번에 관찰해야 하는 상황에 자주 노출되며, 따라서 전방위 영상 획득이 가능하도록 진화했다. 또한 농게는 물 속과 물 밖의 물체를 모두 선명히 관찰해야 하므로 렌즈 광학 구조가 독특하게 발달하였다. 그림 5(c)의 투과전자현미경(transmission electron microscopy, TEM)을 이용해 관찰한 농게의 단일렌즈 단면은 평평한 상부 표면과 구부러진 다층으로 구성되어 있고, 그 내부는 굴절률이 점진적으로 변하는 형태를 띤다. 이로 인해 외부 굴절률이 공기(n = 1.0)에서 물(n = 1.33)로 변하더라도 초점거리가 바뀌지 않으므로 수륙양용에서 이미지를 얻는 것이 가능하다. Lee 등[23]은 이러한 농게의 광학 구조 및 홑눈 분포에서 영감을 얻어 그림 5(d) 속 전방위 수륙양용 카메라를 제작하였다. 제작된 카메라는 그림 5(e)와 같이 300도 이상의 매우 넓은 화각을 가지며, 그림 5(f)에 도식으로 나타낸 환경에서 진행된 물 속 및 물 밖 측정에서 거의 동일한 수준의 이미징 결과를 확인했다[그림 5(g)]. 이 밖에도 각종 갑각류의 겹눈 내부 구조를 모사한 카메라 연구가 이루어지고 있으며[24,25], 겹눈의 양안(binocular vision) 영상 획득을 통한 3차원 물체 추적 기술 등도 보고된 바 있다[26,27]. 겹눈은 적은 수의 픽셀로도 넓은 영역을 한 번에 볼 수 있고, 이론적으로는 단일 렌즈 눈에 비해 그 크기를 매우 작게 만들 수 있기 때문에 드론 등 소형 무인 비행체에 적용하기에 매우 적합하다. 다만 현재까지 개발된 겹눈 모사 카메라는 부피가 크기 때문에 이를 개선할 필요가 있다.

Figure 5. (a) Photograph of a fiddler crab, Uca arcuata. (b) Photographs of periscopic structure of the fiddler crab eye. (c) Transmission electron microscopy image in cross-sectional view of a single corneal lens of the fiddler crab eye. (d) Photograph of the artificial vision systems with omnidirectionally arranged microlenses. (e) Panoramic imaging demonstration with multiple objects. (f) Schematic illustration of an optical setup for amphibious imaging capability of the device in a partially water-filled container with two objects (g) imaging results. Reprinted from M. Lee et al. Nat. Electron. 2022; 5; 452-459. Copyright © 2022, from M. Lee et al., under exclusive license to Springer Nature Limited[23].

IV. 결 론

지능형 로봇의 폭발적 수요, 플렉서블 전자소자 기술의 발전, 동물 눈의 다양성 등의 요소가 생체모사형 카메라 기술의 진보를 앞당기고 있다. 근래에는 단순히 사람 눈이나 곤충 눈을 모방하는 것을 넘어 다양한 동물 눈의 광학 구조 및 영상 획득 구조를 모사하는 연구가 진행되고 있으며, 이러한 추세는 앞으로도 지속될 것으로 예상된다. 곡면형 이미지 센서는 아직 상용화되지 않았지만, 머지않은 미래에 새로운 광학 부품 시장의 확대를 초래할 것으로 기대된다. 생체모사형 카메라 기술은 앞으로 다음과 같은 몇 가지 방향으로 진행될 것이다.

첫째, 동물 눈에서 착안한 다양한 광부품 기술의 발전이 이루어질 것이다. 농게 등 수륙양용 동물의 구배형 렌즈, 갑오징어 등 일부 동물 눈의 자유 형상 조리개, 나방 눈의 무반사 나노 표면, 고양이 눈의 재귀반사판, 가리비 눈의 곡면형 반사판 등이 그 예이며, 이들은 생체모사형 카메라뿐만 아니라 다양한 광학 장치에 적용될 수 있다[15,28,29].

둘째, 생체모사형 카메라의 상용화를 위한 고해상도 곡면형 이미지 센서의 개발이다. 현재 곡면형 이미지 센서는 평면형 센서와 비교하여 우수한 광학 구조를 갖추고 있지만, 픽셀 수가 적어 해상도가 낮은 것이 주요 한계점으로 지적된다. 이를 극복하고 고해상도 곡면형 이미지 센서를 개발하기 위한 전략으로는 페로브스카이트 마이크로 와이어를 이용한 in-situ 성장이 있는데, 망막의 광수용체 밀도를 초과하는 높은 밀도를 달성할 수 있다는 장점이 있지만 동시에 전극 배선과 같은 공정상의 도전 과제가 아직 남아 있는 기술이다. 한편 곡면 광학 구조와 평면형 센서를 결합하는 방식은 해상도를 높일 수 있는 또 다른 가능성을 내포하고 있다. 이 방식을 통해 평면 공정 기술의 이점을 활용하면서도 곡면 구조의 장점을 극대화할 수 있는데, 그렇기에 현재로서는 평면 공정 기술과 호환되는 새로운 제조 방법을 개발하는 것이 가장 유망한 개발 방향으로 평가된다. 더불어 단순히 이미지 센서의 픽셀 수를 늘리는 것만으로는 고해상도 이미징 조건을 충족시키기 어렵기 때문에, 빛의 흡수 및 전환 효율을 극대화하거나 고효율 광전소자 설계를 통해 신호 정확성을 높이는 등 나노포토닉 구조를 활용하는 연구가 필요하다[30,31]. 신호 대 잡음비(signal-to-noise ratio, SNR)를 개선하거나 광학적 손실을 최소화하는 설계 기술은 고품질 신호 측정을 가능하게 함으로써 생체모사형 카메라의 상용화에 중요한 역할을 할 것으로 기대된다.

셋째, 뉴로모픽 소자 및 시스템과의 연계 연구이다. 동물 눈의 망막을 통해 얻은 신호는 동물의 뇌와 연결되어 시각 데이터를 재구성하고, 이를 바탕으로 의사 결정 과정까지 이르게 된다. 따라서 동물 눈 모사의 영역도 광의적으로 본다면 이미징을 넘어 수집한 시각 정보의 처리 과정까지 포함한다고 볼 수 있다. 한편 동물 눈의 구조가 서로 다른 것처럼 신호 처리 역할을 하는 뉴런/시냅스의 구조 및 기능도 동물마다 상이한데, 이는 뉴로모픽 소자 및 시스템에도 다변화가 이루어질 수 있음을 암시한다. 최근 보고된 몇 가지 인-센서 컴퓨팅(in-sensor computing) 구조에서도 여러 동물의 시각 구조에서 착안한 예시들이 있다[32-34].

넷째, 개발된 생체모사형 카메라의 실제 응용 및 피드백 연구이다. 개발된 카메라가 기존 카메라 대비 어떤 장단점이 있는지에 대한 연구를 통해 실제 산업에서의 성공 가능성을 타진할 수 있고, 때에 따라서는 전혀 다른 응용 분야를 발견할 수도 있다. 최근 가리비 눈의 광학 구조를 활용하여 3차원 바이오 이미징에 적용한 연구가 그 예이다[29].

이렇듯 생체모사형 카메라 연구는 광학 부품 및 이미징 기술의 저변을 넓힐 수 있는 학문이며, 산업적 가치도 매우 높고, 연구의 방향도 매우 다채롭기 때문에 앞으로도 지속적으로 발전하리라 기대된다.

감사의 글

본 연구는 연구개발특구진흥재단의 ‘지역혁신 메가프로젝트’ 사업(Grant no. 2023-DD-UP-0015), 2024년도 과학기술정보통신부의 재원으로 한국연구재단(Grant no. NRF-2023R1A2C3004531), GIST-MIT 공동연구사업(Grant no. GK14550)에서 지원을 받아 작성되었다.

재정지원

연구개발특구진흥재단 ‘지역혁신 메가프로젝트’ 사업(Grant no. 2023-DD-UP-0015); 한국연구재단(Grant no. NRF-2023R1A2C3004531); GIST-MIT 공동연구사업(Grant no. GK14550).

이해상충

저자는 본 논문과 관련된 어떠한 이해충돌 사항도 없었음을 밝힌다.

데이터 가용성

본 연구에서 생성되거나 분석된 데이터는 합당한 요청 하에 저자에게 제공받을 수 있으며, 데이터를 다른 용도로 사용할 시 저자에게 타당한 이유를 밝히고 허가를 받아야 한다.

Fig 1.

Figure 1.(a) Photograph of the tunable hemispherical electronic eye camera system. (b) Photographs of the photodiode array imaged through a lens at different magnifications (left: smaller radius of curvature, right: larger radius of curvature). (c) Image demonstration of a test pattern (left: flat detector, right: detector shape matched to the Petzval surface). (a)–(c) are reprinted from I. Jung et al. Proc. Natl. Acad. Sci. 2011; 108; 1788-1793. Copyright © 2011, National Academy of Sciences[2]. (d) Optical layout showing a monocentric imager designed with a single ball lens. (e) Photographs of the five-gore structure before mounting and curved device positioned in a hemispherical fixture. (d) and (e) are reprinted from T. Wu et al. Microsyst. Nanoeng. 2016; 2; 16019. Copyright © 2016, T. Wu et al.[3]. (f) Photograph of the phototransistor array on a planar substrate. The inset shows an exploded schematic view of a phototransistor structure. (f) is reprinted from C. Choi et al. Nat. Commun. 2017; 8; 1664. Copyright © 2017, C. Choi et al.[6]. (g) Curvature forming method using two axisymmetric models of a spherical wrapping process. (h) Photograph of a curved complementary metal oxide semiconductor (CMOS) image sensor. (g) and (h) are reprinted with permission from Guenter et al. Opt. Express 2017; 25; 13010-13023. Copyright © 2017, Optical Society of America[8].
Korean Journal of Optics and Photonics 2024; 35: 265-275https://doi.org/10.3807/KJOP.2024.35.6.265

Fig 2.

Figure 2.(a) Optical layout of an aquatic-eye-inspired camera based on ray tracing simulation. (b) Photographs of inner half-ball and outer shell lenses, which form the monocentric lens. (c) Photograph of the silicon nanorod photodiode array on a flat substrate with anisotropic conductive film. The inset shows a curved device transferred onto a hemispherical substrate. Imaging demonstrations for (d) panoramic imaging with a 120º field of view and (e) accommodation on a close object. The insets are original images. (a)–(e) are reprinted from M. Kim et al. Nat. Electron. 2020; 3; 546-553. Copyright © 2020, M. Kim et al. under exclusive license to Springer Nature Limited[12]. (f) Optical layout of the cuttlefish-inspired lens with a W-shaped pupil. The inset is a photograph of the fabricated W-shaped pupil. (g) Photograph of a silicon photodiode array with an integrated flexible carbon nanotube polarizing film (FCPF) on a cylindrical substrate. (h) Intensity profiles for the circular pupil system and W-shaped pupil system under uneven illumination setting. (i) Imaging results of an unevenly illuminated object with each pupil type (left: circular pupil, right: W-shaped pupil). (f)–(i) are reprinted with permission from M. Kim et al. Sci. Robot. 2023; 8; eade4698. Copyright © 2023, M. Kim et al. The American Association for the Advancement of Science[13].
Korean Journal of Optics and Photonics 2024; 35: 265-275https://doi.org/10.3807/KJOP.2024.35.6.265

Fig 3.

Figure 3.(a) Cross-sectional view of the artificial fovea. (b) Schematic illustration of foveated vision application of an avian-inspired vision system. The insets are foveal region (top) and peripheral region (bottom). (c) Imaging demonstration of i) foveated and ii) uniform pixel density distributions. Scale bars: 2 mm. (a)–(c) are reprinted with permission from J. Park et al. Sci. Robot. 2024; 9; eadk6903. Copyright © 2024, The American Association for the Advancement of Science[14]. (d) Exploded schematic of the feline-eye-inspired vision system. Image demonstrations and their gradient maps with a small circular pupil (e) i)–ii) and a vertical pupil (f) i)–ii). (d)–(f) are reprinted with permission from M. S. Kim et al. Sci. Adv. 2024; 10; eadp2809. Copyright © 2024, The American Association for the Advancement of Science[15]. (g) Exploded schematic of polymer-based ionic thermoelectric device. (h) Pixel response to varying temperatures (40 ℃ to 200 ℃). (i) Temperature-dependent voltage output of an individual pixel. (j) Infrared radiation (IR) images of a human hand at room temperature. (g)–(j) are reprinted from Y. Ding et al. Sci. Adv. 2022; 8; eabq8432. Copyright © 2022, The American Association for the Advancement of Science[16].
Korean Journal of Optics and Photonics 2024; 35: 265-275https://doi.org/10.3807/KJOP.2024.35.6.265

Fig 4.

Figure 4.(a) Schematic of thin observation module by bound optics (TOMBO) system structure. (b) Overview of TOMBO system’s pixel rearrange method. (c) Picture of a TOMBO system. Reprinted with permission from Tanida et al. Opt. Express 2003; 11; 2109–2117. Copyright © 2003, Optical Society of America[18]. (d) Exploded schematic view of hemispherical compound eye camera components. (e) X-ray computed tomography images before (top) and after (middle) deformation, with finite element method results of post-deformation (bottom). (f) Photograph of a hemispherical compound eye camera after deformation. (g) Imaging results of the wide field-of-view (from −80˚ to 80˚ in x- and y-directions). Reprinted from Y. M. Song et al. Nature 2013; 497; 95–99. Copyright © 2013, Springer Nature Limited[21]. (h) Photograph of a cylindrical, curved artificial compound eye. (i) Illustration of the full field-of-view for the cylindrical, curved system. (j) Transient and steady-state responses with the auto-adaptation function at the single-ommatidium level. (h)–(j) are reprinted from D. Floreano et al. Proc. Natl. Acad. Sci. 2013; 110; 9267–9272. Copyright © 2013, National Academy of Sciences[22].
Korean Journal of Optics and Photonics 2024; 35: 265-275https://doi.org/10.3807/KJOP.2024.35.6.265

Fig 5.

Figure 5.(a) Photograph of a fiddler crab, Uca arcuata. (b) Photographs of periscopic structure of the fiddler crab eye. (c) Transmission electron microscopy image in cross-sectional view of a single corneal lens of the fiddler crab eye. (d) Photograph of the artificial vision systems with omnidirectionally arranged microlenses. (e) Panoramic imaging demonstration with multiple objects. (f) Schematic illustration of an optical setup for amphibious imaging capability of the device in a partially water-filled container with two objects (g) imaging results. Reprinted from M. Lee et al. Nat. Electron. 2022; 5; 452-459. Copyright © 2022, from M. Lee et al., under exclusive license to Springer Nature Limited[23].
Korean Journal of Optics and Photonics 2024; 35: 265-275https://doi.org/10.3807/KJOP.2024.35.6.265

References

  1. L. P. Lee and R. Szema, "Inspirations from biological optics for advanced photonic systems," Science 310, 1148-1150 (2005).
    Pubmed CrossRef
  2. I. Jung, J. Xiao, V. Malyarchuck, C. Lu, M. Li, Z. Liu, J. Yoon, Y. Huang, and J. A. Rogers, "Dynamically tunable hemispherical electronic eye camera system with adjustable zoom capability," Proc. Natl. Acad. Sci. 108, 1788-1793 (2011).
    Pubmed KoreaMed CrossRef
  3. T. Wu, S. S. Hamann, A. C. Ceballos, C.-E. Chang, O. Solgaard, and R. T. Howe, "Design and fabrication of silicon-tessellated structures for monocentric imagers," Microsyst. Nanoeng. 2, 16019 (2016).
    Pubmed KoreaMed CrossRef
  4. H. C. Ko, M. P. Stoykovich, J. Song, V. Malyarchuk, W. M. Choi, C.-J. Yu, J. B. Geddes, J. Xiao, S. Wang, Y. Huang, and J. A. Rogers, "A hemispherical electronic eye camera based on compressible silicon optoelectronics," Nature 454, 748-753 (2008).
    Pubmed CrossRef
  5. L. Gu, S. Poddar, Y. Lin, Z. Long, D. Zhang, Q. Zhang, L. Shu, X. Qiu, M. Kam, A. Javey, and Z. Fan, "A biomimetic eye with a hemispherical perovskite nanowire array retina," Nature 581, 278-282 (2020).
    Pubmed CrossRef
  6. C. Choi, M. K. Choi, S. Liu, M. Kim, O. K. Park, C. Im, J. Kim, X. Qin, G. J. Lee, K. W. Cho, M. Kim, E. Joh, J. Lee, D. Son, S.-H. Kwon, N. L. Jeon, Y. M. Song, N. Lu, and D.-H. Kim, "Human eye-inspired soft optoelectronic device using high-density MoS2-graphene curved image sensor array," Nat. Commun. 8, 1664 (2017).
    Pubmed KoreaMed CrossRef
  7. Z. Rao, Y. Lu, Z. Li, K. Sim, Z. Ma, J. Xiao, and C. Yu, "Curvy, shape-adaptive imagers based on printed optoelectronic pixels with a kirigami design," Nat. Electron. 4, 513-521 (2021).
    CrossRef
  8. B. Guenter, N. Joshi, R. Stoakley, A. Keefe, K. Geary, R. Freeman, J. Hundley, P. Patterson, D. Hammon, G. Herrera, E. Sherman, A. Nowak, R. Schubert, P. Brewer, L. Yang, R. Mott, and G. McKnight, "Highly curved image sensors: A practical approach for improved optical performance," Opt. Express 25, 13010-13023 (2017).
    Pubmed CrossRef
  9. X. Chen, D. S. Gere, and M. C. Waldon, "Small form factor high-resolution camera," U.S. Patent US20140253677A1 (2014).
  10. K. Sugie, "Imaging device," Japan Patent JP2018074217A (2018).
  11. M. Aschwanden, "Optical device with variable focus," World Intellectual Property Organization (WIPO) WO2017118656A1 (2017).
    CrossRef
  12. M. Kim, G. J. Lee, C. Choi, M. S. Kim, M. Lee, S. Liu, K. W. Cho, H. M. Kim, H. Cho, M. K. Choi, N. Lu, Y. M. Song, and D.-H. Kim, "An aquatic-vision-inspired camera based on a monocentric lens and a silicon nanorod photodiode array," Nat. Electron. 3, 546-553 (2020).
    CrossRef
  13. M. Kim, S. Chang, M. Kim, J.-E. Yeo, M. S. Kim, G. J. Lee, D.-H. Kim, and Y. M. Song, "Cuttlefish eye-inspired artificial vision for high-quality imaging under uneven illumination conditions," Sci. Robot. 8, eade4698 (2023).
    Pubmed CrossRef
  14. J. Park, M. S. Kim, J. Kim. S. Chang, M. Lee, G. J. Lee, Y. M. Song, and D.-H. Kim, "Avian eye-inspired perovskite artificial vision system for foveated and multispectral imaging," Sci. Robot. 9, eadk6903 (2024).
    Pubmed CrossRef
  15. M. S. Kim, M. S. Kim, M. Lee, H. J. Jang, D. H. Kim, S. Chang, M. Kim, H. Cho, J. Kang, C. Choi, J. P. Hong, D. K. Hwang, G. J. Lee, D.-H. Kim, and Y. M. Song, "Feline eye-inspired artificial vision for enhanced camouflage breaking under diverse light conditions," Sci. Adv. 10, eadp2809 (2024).
    Pubmed KoreaMed CrossRef
  16. Y. Ding, G. Liu, Z. Long, Y. Zhou, X. Qiu, B. Ren, Q. Zhang, C. Chi, Z. Wan, B. Huang, and Z. Fan, "Uncooled self-powered hemispherical biomimetic pit organ for mid- to long-infrared imaging," Sci. Adv. 8, eabq8432 (2022).
    Pubmed KoreaMed CrossRef
  17. J. Tanida, T. Kumagai, K. Yamada, S. Miyatake, K. Ishida, T. Morimoto, N, Kondou, D. Miyazaki, and Y. Ichioka, "Thin observation module by bound optics (TOMBO): Concept and experimental verification," Appl. Opt. 40, 1806-1813 (2001).
    Pubmed CrossRef
  18. J. Tanida, R. Shogenji, Y. Kitamura, K. Yamada, M. Miyamoto, and S. Miyatake, "Color imaging with an integrated compound imaging system," Opt. Express 11, 2109-2117 (2003).
    Pubmed CrossRef
  19. R. Horisaki, K. Kagawa, Y. Nakao, T. Toyoda, Y. Masaki, and J. Tanida, "Irregular lens arrangement design to improve imaging performance of compound-eye imaging systems," Appl. Phys. Express 3, 022501 (2010).
    CrossRef
  20. A. Akin, O. Cogal, K. Seyid, H. Afshari, A. Schmid, and Y. Leblebici, "Hemispherical multiple camera system for high-resolution omni-directional light field imaging," IEEE J. Emerg. Sel. Top. Circuits Syst. 3, 137-144 (2013).
    CrossRef
  21. Y. M. Song, Y. Xie, V. Malyarchuk, J. Xiao, I. Jung, K.-J. Choi, Z. Liu, H. Park, C. Lu, R.-H. Kim, R. Li, K. B. Crozier, Y. Huang, and J. A. Rogers, "Digital cameras with designs inspired by the arthropod eye," Nature 497, 95-99 (2013).
    Pubmed CrossRef
  22. D. Floreano, R. Pericet-Camara, S. Viollet, F. Ruffier, A. Bruckner, R. Leitel, W. Buss, M. Menouni, F. Expert, R. Juston, M. K. Dobrzynski, G. L'Eplattenier, F. Recktenwald, H. A. Mallot, and N. Franceschini, "Miniature curved artificial compound eyes," Proc. Natl. Acad. Sci. 110, 9267-9272 (2013).
    Pubmed KoreaMed CrossRef
  23. M. Lee, G. J. Lee, H. J. Jang, E. Joh, H. Cho, M. S. Kim, H. M. Kim, K. M. Kang, J. H. Lee, M. Kim, H. Jang, J.-E. Yeo, F. Durand, N. Lu, D.-H. Kim, and Y. M. Song, "An amphibious artificial vision system with a panoramic visual field," Nat. Electron. 5, 452-459 (2022).
    CrossRef
  24. A. Altaqui, P. Sen, H. Schrickx, J. Rech, J.-W. Lee, M. Escuti, W. You, B. J. Kim, R. Kolbas, B. T. O'Connor, and M. Kudenov, "Mantis shrimp-inspired organic photodetector for simultaneous hyperspectral and polarimetric imaging," Sci. Adv. 7, eabe3196 (2021).
    Pubmed KoreaMed CrossRef
  25. Q. Fan, W. Xu, X. Hu, W. Zhu, T. Yue, C. Zhang, F. Yan, L. Chen, H. J. Lezec, Y. Ju, A. Agrawal, and T. Xu, "Trilobite-inspired neural nanophotonic light-field camera with extreme depth-of-field," Nat. Commun. 13, 2130 (2022).
    Pubmed KoreaMed CrossRef
  26. Y. Zhou, Z. Sun, Y. Ding, Z. Yuan, X. Qiu, Y. B. Cao, Z. Wan, Z. Long, S. Poddar, S. Kumar, W. Ye, C. L. J. Chan, D. Zhang, B. Ren, Q. Zhang, H.-S. Kwok, M. G. Li, and Z. Fan, "An ultrawide field-of-view pinhole compound eye using hemispherical nanowire array for robot vision," Sci. Robot. 9, eadi8666 (2024).
    Pubmed CrossRef
  27. B. J. Bae, D. Lee, M. Park, Y. Mu, Y. Baek, I. Sim, S. Shen, and K. Lee, "Stereoscopic artificial compound eyes for spatiotemporal perception in three-dimensional space," Sci. Robot. 9, eadl3606 (2024).
    Pubmed CrossRef
  28. H. J. Jang, Y. J. Kim, Y. J. Yoo, G. J. Lee, M. S. Kim, K. S. Chang, and Y. M. Song, "Double-sided anti-reflection nanostructures on optical convex lenses for imaging applications," Coatings 9, 404 (2019).
    CrossRef
  29. B. A. Palmer, G. J. Taylor, V. Brumfeld, D. Gur, M. Shemesh, N. Elad, A. Osherov, D. Oron, S. Weiner, and L. Addabi, "The image-forming mirror in the eye of the scallop," Science 358, 1172-1175 (2017).
    Pubmed CrossRef
  30. J. S. T. Smalley, X. Ren, J. Y. Lee, W. Ko, W.-J. Joo, H. Park, S. Yang, Y. Wang, C. S. Lee, H. Choo, S. Hwang, and X. Zhang, "Subwavelength pixelated CMOS color sensors based on anti-Hermitian metasurface," Nat. Commun. 11, 3916 (2020).
    Pubmed KoreaMed CrossRef
  31. M. Cho, J. Jung, M. Kim, J. Y. Lee, S. Min, J. Hong, S. Lee, M. Heo, J. U. Kim, I.-S. Joe, and J. Shin, "Color arrestor pixels for high-fidelity, high-sensitivity imaging sensors," Nanophotonics 13, 2971-2982 (2024).
    Pubmed KoreaMed CrossRef
  32. P. Xie, Y. Xu, J. Wang, D. Li, Y. Zhang, Z. Zeng, B. Gao, Q. Quan, B. Li, Y. Meng, W. Wang, Y. Li, Y. Yan, Y. Shen, J. Sun, and J. C. Ho, "Birdlike broadband neuromorphic visual sensor arrays for fusion imaging," Nat. Commun. 15, 8298 (2024).
    Pubmed KoreaMed CrossRef
  33. D. Lee, M. Park, Y. Baek, B. Bae, J. Heo, and K. Lee, "In-sensor image memorization and encoding via optical neurons for bio-stimulus domain reduction toward visual cognitive processing," Nat. Commun. 13, 5223 (2022).
    Pubmed KoreaMed CrossRef
  34. F. Liao, Z. Zhou, B. J. Kim, J. Chen, J. Wang, T. Wang, Y. Zhou, A. T. Hoang, C. Wang, J. Kang, J.-H. Ahn, and Y. Chai, "Bioinspired in-sensor visual adaptation for accurate perception," Nat. Electron. 5, 84-91 (2022).
    CrossRef

저널정보

Optical Society of Korea

December 2024
Vol.35 No.6

pISSN 1225-6285
eISSN 2287-321X

Title: Korean Journal of Optics and Photonics
Abbreviation: Korean J. Opt. Photon.

Share this article on :

  • line