[논문]생체모방 시각센서 기술동향

이태재; 박윤재; 구교인; 서종모; 조동일

doi:10.5302/j.icros.2015.15.0105

생체모방 시각센서 기술동향
Trends in Biomimetic Vision Sensor Technology 원문보기

제어·로봇·시스템학회 논문지 = Journal of institute of control, robotics and systems, v.21 no.12, 2015년, pp.1178 - 1184

이태재 (서울대학교 전기정보공학부, 자동화 시스템공동연구소, 국방생체모방자율로봇 특화연구센터) , 박윤재 (서울대학교 전기정보공학부, 자동화 시스템공동연구소, 국방생체모방자율로봇 특화연구센터) , 구교인 (울산대학교 전기공학부, 국방생체모방자율로봇 특화연구센터) , 서종모 (서울대학교 전기정보공학부, 자동화 시스템공동연구소, 국방생체모방자율로봇 특화연구센터) , 조동일 (서울대학교 전기정보공학부, 자동화 시스템공동연구소, 국방생체모방자율로봇 특화연구센터)

Abstract ▼ AI-Helper

In conventional robotics, charge-coupled device (CCD) and complementary metal-oxide-semiconductor (CMOS) cameras have been utilized for acquiring vision information. These devices have problems, such as narrow optic angles and inefficiencies in visual information processing. Recently, biomimetic vision sensors for robotic applications have been receiving much attention. These sensors are more efficient than conventional vision sensors in terms of the optic angle, power consumption, dynamic range, and redundancy suppression. This paper presents recent research trends on biomimetic vision sensors and discusses future directions.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

다음으로 안구의 수정체 두께변화를 모사하여 초점거리조절이 가능한 렌즈 개발에 관한 연구를 살펴보겠다. Jeong 등은 안구 수정체의 두께 변화를 모사한 시각센서를 개발하였다[16].
먼저 곤충의 겹눈 구조를 모방하여 광각 이미징을 위한센서 개발과 관련된 연구를 살펴본다. Song 등은 갑각류의겹눈 형태를 모방한 시각센서를 개발하였다[7].
본 논문에서는 생체모방형 시각센서를 생체의 시각구조를모방한 센서와 생체의 신호처리 방식을 모방한 센서로 분류하여 주요 연구 사례들을 분석하고, 연구 동향을 파악하였다. 생체모방형 시각 센서들은 시이각, 초점거리 조절가능, 동적범위, 소모전력, 정보처리속도 정보압축 측면에서 기존 시각센서에 비해 우수한 특징을 가진다.
이러한 생체 시각처리 방식을 모사한 시각 센서를뉴로모픽 비젼이라고 부르며, 아날로그와 비동기식 디지털회로를 포함하는 개념이다[6]. 본 논문에서는 생체의 시각구조를 모방한 센서와 생체의 신호처리 방식을 모방한 센서에대하여 주요 연구들을 분석하고, 연구 동향을 파악한다.

제안 방법

전체 구면의 지름은 13 cm 이고 368 乂 304 pixel의 PO₄₀10N CMOS 이미지 센서를 사용하였다. 구면 표면의 각위치에서 카메라가 받아들인 정보로부터 이미지를 추정하며, 5개의 FPGA가 20개의 카메라 이미지를 정합하는 계산을 수행한다. 최종적으로 1 개의 FPGA 가 5개의 FPGA로부터 온이미지 정합 결과로부터 전체 구면 이미지를 구성한다.
단위시각모듈을 여러 개 결합할 경우, 넓은 시야각을 가지는 겹눈모방 시각 시스템으로 확장될 수 있다. 연구진에서는 68 개의 단위 시각모듈을 유연한 기판상에 반원 어레이 형태로 배치하여 그림 8과 같이 로봇에 장착한 후, 옵티컬플로우 실험결과를 제시하였다. 어레이 형태의 시각 시스템은 총 수평방향으로 135° 의 시야각을 가지며, 수직방향으로는 5.
곤충의 겹눈은 수많은 겹눈들의조합으로 시야각이 넓지만 초점조절이 불가능하고, 사람의안구는 단일렌즈 시스템이기 때문에 시야각이 좁은 대신 초점 조절이 가능하다. 이러한 단점을 보완하기 위하여 겹눈구조를 모방하면서 액체 기반 마이크로렌즈를 사용하여 160。의넓은 시야각에 28 |im ~ 145 pm 까지 초점거리 조절이 가능한시각센서를 제안하였다. 반구형 폴리머에 액체 마이크로렌즈를 전방향으로 부착하여 온도 조절에 의해 capillaiy number를조절하고 결과적으로 초점거리를 조절할 수 있다.
연구진은 10 개 이하의 포토디텍터를 내장한 단위 시각모듈을 3차원상에배치하기보다는 많은 수의 포토디텍터가 내장된 기존의 2D 시각모듈 여러 개를 3차원상에 배열하는 것이 180° 이상의광각 시각센서 구현에 훨씬 유리하다고 주장하였다. 이를 위해 2D PCB 기판상의 64 X 64 어레이 옵티컬플로우 센서를 제안하였으며, 이를 3차원상에 배치하는 개념도를 제안하였다. 그림 9는 연구진이 제안한 인공 겹눈구조 구현을 위한 단위시각모듈의 3차원 조립 개념도이다.
단위 시각모듈을 제안하였다[14]. 제안한 모듈은 무게가 2 mg 이며, 3개의 포토디텍터로 이루어져 옵티컬플로우 연산을 수행한다. 제안한 단위 시각모듈은 약 5。의시야각을 가지며, 포토디텍터 3개가 삼각형 형태로 배치되어여러 방향으로 옵티컬플로우 정보를 추출해 낼 수 있다.
Huang 등은 곤충의 겹눈 구조를 모사한 원통형 렌즈 어레이 시스템을 개발하였다[8]. 제안한 시스템은 일반적인 사진촬영의 목적은 아니며, 바코드 스캐닝, laser diode collimation, 홀로그래피, 디지털 프로젝션 디스플레이, 마이크로렌즈 어레이, 광학 현미경을 포함한 다양한 제품에 적용 가능한 시스템이다. 제안한 구조는 종횡비가 높은 3차원 미세 거울 어레이로부터 반사된 빛을 모아 시각 정보를 획득하기 때문에 왜곡없이집광할 수 있는 빛의 양이 많으며, 152。의 넓은 시야각을 가진다.

대상 데이터

96 mm 의 곡률반경을 가지는 반구 형태의 멤브레인에 초소형 렌즈 어레이를 배치하여, 160° 의 시각 정보를 감지한다. 각 초소형 렌즈의 곡률반경은 400 pm 이며, 총 256 개의 초소형 렌즈 어레이와와 160 pm X 160 pm 의 실리콘 기반 포토다이오드를 사용한다. 그림 2는 개발된 렌즈어레이와 PCB 상에 구현된 디지털 카메라의 사진이다.
전체 구면의 지름은 13 cm 이고 368 乂 304 pixel의 PO₄₀10N CMOS 이미지 센서를 사용하였다. 구면 표면의 각위치에서 카메라가 받아들인 정보로부터 이미지를 추정하며, 5개의 FPGA가 20개의 카메라 이미지를 정합하는 계산을 수행한다.

성능/효과

Song 등은 갑각류의겹눈 형태를 모방한 시각센서를 개발하였다[7]. 개발된 시각센서는 Polydimethyl-siloxane(PDMS) 기반의 6.96 mm 의 곡률반경을 가지는 반구 형태의 멤브레인에 초소형 렌즈 어레이를 배치하여, 160° 의 시각 정보를 감지한다. 각 초소형 렌즈의 곡률반경은 400 pm 이며, 총 256 개의 초소형 렌즈 어레이와와 160 pm X 160 pm 의 실리콘 기반 포토다이오드를 사용한다.
기존의 프레임 기반 이미지 센서는 ilwhere, , system 을 완전히 배제하는 반면, Dynamic vision sensor(DVS) [18, 19], Asynchronous time-based image sensor(AnS) [20, 21], Dynamic and Active pixel Vision Sensor(DAVIS) [2223] 3종류의 센서는 생체의 侦hem” system을 모방 및 이용하여 소모전력, 정보처리속동적범위 등에서 기존 센서를 극복할 수 있는 가능성을보였다. 각각의 센서의 특징에 대하여 설명하도록 하겠다.
이는 듀얼모드를 만들 수 있는 미소유체 복렌즈 시스템으로 액체 렌즈 (물, 기름으로 실험)와 고체 렌즈归DMS) 로 이루어져 있다. 압력 조절에 따라 양면 볼록 렌즈와 메니스커스 렌즈의 두 가지 모드로 변환되며 압력 변화에 따라초점거리의 조절 가능성을 보였다. 그림 11은 듀얼모드 렌즈의 개략도와 SEM 사진 촬영본이고, 그림 12는 압력 변화에따른 렌즈의 초점거리 조절 측정 결과이다.

후속연구

또한 전체 렌즈 어레이의 크기를 줄이는 소형화 대한연구가 진행될 것으로 예상되며, 나노와이어의 고민감도 특성을 포토디텍터에 활용한 생체모방 시각센서의 개발도 가능할 것으로 보인다[24-26].
생체 신호처리 방식을 모방한 시각센서 기술은 고해상도칼라 기반의 DAVIS 연구가 진행될 것으로 기대된다. DVS, AUS 는 이미 영상추적, 위치인식, 3차원복원, 인식 등 다양한 로보틱스 & 컴퓨터 비젼 분야의 응용 연구가 이루어지고있다.
생체의 구조를 모방한 시각센서 기술은 PDMS와 같은 광투과성이 좋고, 가공성이 좋은 물질들을 중심으로 구면 위에초소형 렌즈 어레이를 제작하는 연구가 진행될 것으로 기대된다. 또한 전체 렌즈 어레이의 크기를 줄이는 소형화 대한연구가 진행될 것으로 예상되며, 나노와이어의 고민감도 특성을 포토디텍터에 활용한 생체모방 시각센서의 개발도 가능할 것으로 보인다[24-26].
DVS, AUS 는 이미 영상추적, 위치인식, 3차원복원, 인식 등 다양한 로보틱스 & 컴퓨터 비젼 분야의 응용 연구가 이루어지고있다. 향후 DAVIS 를 활용한 다양한 응용기술의 개발도 기대된다.

참고문헌 (26)

Y. J. Park, T. J. Lee, K. I. Koo, J. M. Seo, and D. I. Cho, "Research trends on biomimetic vision sensors," Proc. of ICROS Annual Conference (in Korean), Daejeon, Korea, pp. 329-330, 2015.
J. Nakamura, "Image sensors and signal processing for digital still cameras," Boca Raton, FL: CRC Press, 2005.
G. C. Holst, "CCD Arrays, cameras, and displays," Bellingham, WA: SPIE Press, 1998.
H. R. Kim, X. N. Cui, J. H. Lee, S. J. Lee, and H. I. Kim, "Person-following of a mobile robot using a complementary tracker with a camera-laser scanner," Journal of Institute of Control, Robotics and Systems (in Korean), vol. 20, no. 1, pp. 78-86, 2014.

원문보기 상세보기
Y. S. Kim and D. H. Hwang, "INS/vision integrated navigation system considering error characteristics of landmark-based vision navigation," Journal of Institute of Control, Robotics and Systems (in Korean), vol. 19, no. 2, pp. 95-101, 2013.

원문보기 상세보기
C. Mead and I. Mohammed, Analog VLSI and Neural Systems, 1st Ed., Addison Wesley, Boston, 1989.
Y. M. Song, Y. Xie, V. Malyarchuk, J. Xiao, I. H. Jung, K. J. Choi, Z. Liu, H. S. Park, C. Lu, R. H. Kim, R. Li, K. B. Crozier, Y. Huang, and J. A. Rogers, "Digital cameras with designs inspired by the arthropod eye," Nature, vol. 497, no. 7447, pp. 95-99, 2013.

상세보기
Y. Shiuan and G. D. J. Su, "Fabrication of PDMS microlens array on spherical surface using multi-replication process," Journal of Signal Processing System, vol. 24, no. 1, 015016, 2014.
C. Huang and H. Jiang, "Bio-inspired wide-angle broadspectrum cylindrical lens based on reflections from micro-mirror array on a cylindrical elastomeric membrane," Micromachines, vol. 5, no. 2, pp. 373-384, 2014.

상세보기
N. Franceschini, "Visual guidance based on optic flow," Journal of Physiology-Paris, vol. 98, no. 1, pp. 281-292, 2004.

상세보기
P. S. Bhagavatula, C. Claudianos, M. R. Ibbotson, and M. V. Srinivasan, "Optic flow cues guide flight in birds," Current Biology, vol. 21, no. 21, pp. 1794-1799, 2011.

상세보기
M. V. Srinivasan, "Visual control of navigation in insects and its relevance for robotics," Current Opinion in Neurobiology, vol. 21, no. 4, pp. 535-543, 2011.

상세보기
D. Floreano, R. Pericet-Camara, S. Viollet, F. Ruffier, A. Bruckner, R. Leitel, W. Buss, M. Menouni, F. Expert, R. Juston, M. K. Dobrzynski, G. L'Eplattenier, F. Recktenwald, H. A. Mallot, N. Franceschini, "Miniature curved artificial compound eyes," Proc. of the National Academy of Sciences, vol. 110, no. 23, pp. 9267-9272, 2013.

상세보기
R. Pericet-Camara, M. Dobrzynski, R. Juston, S. Viollet, R. Leitel, H. Mallot, and D. Floreano, "An artificial elementary eye with optic flow detection and compositional properties," Journal of The Royal Society Interface, vol. 12, no. 109, 20150414, 2015.

상세보기
S. Park, J. Cho, K. Lee, and E. Yoon, "7.2 243.3pJ/pixel bioinspired time-stamp-based 2D optic flow sensor for artificial compound eyes," Solid-State Circuits Conference Digest of Technical Papers (ISSCC), 2014 IEEE International, pp. 126-127, 2014.
K. H. Jeong, G. L. Liu, N. Chronis, and L. P. Lee, "Tunable microdoublet lens array," Optics Express, vol. 12, no. 11, pp. 2494-2500, 2004.

상세보기
L. Wang, H. Liu, W. Jiang, R. Li, F. Li, Z. Yang, L. Yin, Y. Shi, and B. Chen, "Capillary number encouraged the construction of smart biomimetic eyes," Journal of Materials Chemistry C, 2015.
P. Lichtsteiner, C. Posch, and T. Delbruck, "A $128{\times}128$ 120dB 30mW asynchronous vision sensor that responds to relative intensity change," International Solid-State Circuits Conference Digest of Technical Papers, pp. 508-509, 2006.
P. Lichtsteiner, C. Posch, and T. Delbruck, "A $128{\times}128$ 120dB 15us latency asynchronous temporal contrast vision sensor," IEEE Journal of Solid State Circuits, vol. 43, no. 2, pp. 566-576, 2008.

상세보기
C. Posch, D. Matolin, and R. Wohlgenannt, "An asynchronous time-based image sensor," Circuits and Systems, ISCAS 2008. IEEE International Symposium on, pp. 2130-2133, 2008.
C. Christoph, M. Daniel, and W. Rainer, "A QVGA 143 dB dynamic range frame-free PWM image sensor with lossless pixel-level video compression and time-domain CDS," Solid-State Circuits, IEEE Journal of, 46.1, pp. 259-275, 2011.

상세보기
C. Brandli, R. Berner, M. Yang, S. Liu, and T. Delbruck, "A 240 x 180 130 dB 3 us latency global shutter spatiotemporal vision sensor," IEEE Journal of Solid-State Circuits., vol. 49, no. 10, pp. 2333-2341, 2014.

상세보기
R. Berner, C. Brandli, M. Yang, S. C. Liu, and T. Delbruck, "A $240{\times}180$ 10mW 12us latency sparse-output vision sensor for mobile applications," VLSI Circuits (VLSIC), 2013 Symposium on. IEEE, pp. 186-187, 2013.
Z. Fan, J. C. Ho, Z. A. Jacobson, H. Razavi, and A. Javey, "Large-scale, heterogeneous integration of nanowire arrays for image sensor circuitry," Proc. of the National Academy of Sciences, vol. 105, no. 32, pp. 11066-11070, 2008.

상세보기
S. M. Lee, S. W. Jung, S. K. Park, J. H. Ahn, S. J. Hong, H. J. Yoo, M. H. Lee, and D. I. Cho, "Fabrication and evaluation of silicon nanowire photodetectors on flexible substrate for retinal prosthetic system," Sensors and Materials, vol. 24, no. 4, pp. 205-220, 2012.
S. M. Lee, S. W. Jung, J. H. Ahn, H. J. Yoo, S. J. Oh, and D. I. Cho, "Microelectrode array with integrated nanowire FET switches for high-resolution retinal prosthetic systems," IOP Journal of Micromechanics and Microengineering, vol. 24, no. 7, pp. 075018, 2014.

상세보기

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증