[논문]Synthetic aperture 집적 영상을 이용한 3D 영상 디스플레이 방법

신동학; 유훈

doi:10.6109/jkiice.2012.16.9.2037

Synthetic aperture 집적 영상을 이용한 3D 영상 디스플레이 방법
3D Image Display Method using Synthetic Aperture integral imaging 원문보기

한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering, v.16 no.9, 2012년, pp.2037 - 2042

신동학 (동서대학교) , 유훈 (상명대학교)

초록
AI-Helper

Synthetic aperture 집적 영상 (SAII) 기술은 다수의 카메라를 이용하여 고해상도의 요소 영상을 획득할 수 있는 유망한 3D 이미징 기술이다. 본 논문에서는 SAII 기술을 이용하여 집적 영상 디스플레이를 수행하는 공간 3D 영상을 표시하는 방법을 제안한다. SAII로부터 얻어지는 요소 영상은 직접적으로 공간 3D 영상으로 사용될 수 없기 때문에 깊이 지도를 추출하여 새로운 디스플레이용 요소 영상으로 변환하여 공간 3D 영상을 표시한다. 제안하는 방법의 유용함을 보이기 위해서 장난감 3D 물체를 사용하여 기초적인 실험을 수행하고, 또한 공간 3D 영상이 구현된 실험 결과를 제시한다.

Abstract ▼ AI-Helper

Synthetic aperture integral imaging is one of promising 3D imaging techniques to capture the high-resolution elemental images using multiple cameras. In this paper, we propose a method of displaying 3D images in space using the synthetic aperture integral imaging technique. Since the elemental images captured from SAII cannot be directly used to display 3D images in an integral imaging display system, we first extract the depth map from elemental images and then transform them to novel elemental images for 3D image display. The newly generated elemental images are displayed on a display panel to generate 3D images in space. To show the usefulness of the proposed method, we carry out the preliminary experiments using a 3D toy object and present the experimental results.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서 제안하는 SAII를 이용한 3D 영상 디스플레이 방식의 유용함을 보이기 위한 기초 광학 실험을 수행하였다. 실험에사용한 3D 물체는큐빅모양의 장남감이다.
본 논문에서는 SAII 기술에 기초하여 추출한 깊이 지도를 이용하여 집적 영상의 디스플레이 시스템을 통하여 공간 3D 영상을 표시하는 방법을 보고한다. 사실 SAII 방법으로 얻어진 고해상도 요소 영상은 광학적 디스플레이 시스템에 직접적으로 사용될 수 없기 때문에 디스플레이용 요소 영상으로 변환되어야 한다.
본 논문에서는 SAII 기술을 이용하여 집적 영상 디스플레이를 수행하는 공간 3D 영상을 표시하는 방법을 제안하였다. SAII로부터 얻어지는 요소 영상은 직접적으로 공간 3D 영상으로 사용될 수 없기 때문에 깊이 지도를 추출하여 새로운 디스플레이용 요소 영상으로 변환하여 공간 3D 영상을 표시한다.
사실 SAII 방법으로 얻어진 고해상도 요소 영상은 광학적 디스플레이 시스템에 직접적으로 사용될 수 없기 때문에 디스플레이용 요소 영상으로 변환되어야 한다. 본 논문에서는 이런 변환 과정을 위하여 SAII로 얻어진 요소 영상에 대해서 깊이 지도를 추출하여 새로운 디스플레이용 요소 영상을 생성하는 방법을 제안한다. SAII를 이용하여 깊이 지도를 추출하는 방법은 저자 그룹에서 이전에 개발한 slice 영상 기반의 깊이 추출법을 사용하며 깊이지도 영상과 컬러 영상을 제작한다 [16].
추출된 두 영상을 사용하여 2차원 영상을 컴퓨터를 활용하여 합성하고, 집적 영상 디스플레이 장치에 표시하여 공간 3D 영상을 얻는다. 제안하는 방법의 유용함을 검증하기 위하여 기본적인 실험을 수행하고 그 결과를 보고한다.

제안 방법

렌즈어레이와 패널사이의 거리를 초점거리와 같은 5mm에 위치시켰으며, 디스플레이용 요소 영상을 iphone4에 표시하여 3D 영상을 디스플레이 하였다. 관측된 3D 영상을 카메라를 이용하여 서로 다른 방향에서 기록하였다. 실험에서 관측된 3D 영상의 시야각은 약 10도 정도였으며 이 시야각은 사용한 렌즈 어레이에 의해서 결정된다.
즉, SAII 픽업 과정에서 얻어진 요소 영상들을 이용하여 컴퓨터 집적 영상 복원 (computational integral imaging reconstruction: CIIR) 기법을 이용하여 깊이에 따른 slice 영상을 컴퓨터를 이용하여 계산하고, 요소 영상의 한 가운데 영상을 기준 영상으로 설정한다. 그리고 깊이에 따라 얻어진 slice 영상들과 기준 영상들 사이에 블록 정합(block matching)을 수행하여 가장 상관관계가 높은 거리를 추출하여 깊이지도를 제작하였다. 전체 구현 알고리즘은 참고논문 [16]에 상세히 기술되어있다.
렌즈어레이와 패널사이의 거리를 초점거리와 같은 5mm에 위치시켰으며, 디스플레이용 요소 영상을 iphone4에 표시하여 3D 영상을 디스플레이 하였다. 관측된 3D 영상을 카메라를 이용하여 서로 다른 방향에서 기록하였다.
3D 물체의 크기는 약 10x10x10 cm³이다. 먼저 3D 물체에 대해서 SAII 기술을 이용하여 요소 영상을 기록하였다. 실험에서는 카메라 어레이대신에 하나의 카메라를 좌우로 이동하면서 각각의 위치의 영상을 저장하였다.
2장에서 추출한 깊이 지도 영상과 기준 컬러 영상을 이용하여 집적 영상 디스플레이를 위한 새로운 디스플레이용 요소 영상을 제작하는 과정을 보여준다. 본 논문에서 사용하는 요소 영상 제작 방식은 깊이 지도 영상에 대응하는 컬러 영상들을 깊이 채널별로 분리한다. 예를 들면 깊이 지도가 256레벨을 가진다면, 깊이 레벨에 따라서 컬러 영상이 256개로 분할된다.
먼저 3D 물체에 대해서 SAII 기술을 이용하여 요소 영상을 기록하였다. 실험에서는 카메라 어레이대신에 하나의 카메라를 좌우로 이동하면서 각각의 위치의 영상을 저장하였다.
이는 그림 4에 나타내었다. 즉, SAII 픽업 과정에서 얻어진 요소 영상들을 이용하여 컴퓨터 집적 영상 복원 (computational integral imaging reconstruction: CIIR) 기법을 이용하여 깊이에 따른 slice 영상을 컴퓨터를 이용하여 계산하고, 요소 영상의 한 가운데 영상을 기준 영상으로 설정한다. 그리고 깊이에 따라 얻어진 slice 영상들과 기준 영상들 사이에 블록 정합(block matching)을 수행하여 가장 상관관계가 높은 거리를 추출하여 깊이지도를 제작하였다.
픽업 부분과 디스플레이 부분이다. 집적 영상의 픽업 부분은 3D 물체에서 발생하는 빔의 세기 및 방향 정보를 렌즈 어레이와 영상 검출기를 이용하여 영상을 기록한다. 이렇게 기록된 영상을 2차원 요소 영상이라 부른다.
SAII를 이용하여 깊이 지도를 추출하는 방법은 저자 그룹에서 이전에 개발한 slice 영상 기반의 깊이 추출법을 사용하며 깊이지도 영상과 컬러 영상을 제작한다 [16]. 추출된 두 영상을 사용하여 2차원 영상을 컴퓨터를 활용하여 합성하고, 집적 영상 디스플레이 장치에 표시하여 공간 3D 영상을 얻는다. 제안하는 방법의 유용함을 검증하기 위하여 기본적인 실험을 수행하고 그 결과를 보고한다.

대상 데이터

따라서 본 논문에서처럼 깊이 지도를 이용하여 집적 영상 디스플레이에 맞도록 디스플레이용 요소 영상을 제작해야한다. SAII 실험에 사용한 카메라는 Nikon D70이며 얻어지는 해상도는 2240x1488이다. 사용한 카메라 렌즈는 초점거리가 50 mm이고, 3D 물체가 흐림 현상이 없도록 조리개를 최소화하였다.
사용한 카메라 렌즈는 초점거리가 50 mm이고, 3D 물체가 흐림 현상이 없도록 조리개를 최소화하였다. x축과 y축으로 총 7x7 이동하여 49개의 고해상도요소 영상을 얻었다. 이렇게 얻어진 요소 영상에 대해서 참고논문 [16]의 방법을 이용하여 깊이 지도 추출을 수행하였다.
SAII 실험에 사용한 카메라는 Nikon D70이며 얻어지는 해상도는 2240x1488이다. 사용한 카메라 렌즈는 초점거리가 50 mm이고, 3D 물체가 흐림 현상이 없도록 조리개를 최소화하였다. x축과 y축으로 총 7x7 이동하여 49개의 고해상도요소 영상을 얻었다.
본 논문에서 제안하는 SAII를 이용한 3D 영상 디스플레이 방식의 유용함을 보이기 위한 기초 광학 실험을 수행하였다. 실험에사용한 3D 물체는큐빅모양의 장남감이다. 3D 물체의 크기는 약 10x10x10 cm³이다.
관측된 3D 영상을 카메라를 이용하여 서로 다른 방향에서 기록하였다. 실험에서 관측된 3D 영상의 시야각은 약 10도 정도였으며 이 시야각은 사용한 렌즈 어레이에 의해서 결정된다.
디스플레이용 요소영상을 이용하여 3D 영상으로 복원하는 실험을 수행하기 위하여 그림 7과 같은 시스템을 구성하였다. 요소 영상을 표현하기 위한 디스플레이 패널로는 Iphone 4(해상도: 960x640 pixels)을 사용하였고, 사용한 렌즈 어레이는 기초 렌즈 수가 150x150개이며 직경이 1 mm이며, 초점거리는 5 mm이다.

이론/모형

본 논문에서는 이런 변환 과정을 위하여 SAII로 얻어진 요소 영상에 대해서 깊이 지도를 추출하여 새로운 디스플레이용 요소 영상을 생성하는 방법을 제안한다. SAII를 이용하여 깊이 지도를 추출하는 방법은 저자 그룹에서 이전에 개발한 slice 영상 기반의 깊이 추출법을 사용하며 깊이지도 영상과 컬러 영상을 제작한다 [16]. 추출된 두 영상을 사용하여 2차원 영상을 컴퓨터를 활용하여 합성하고, 집적 영상 디스플레이 장치에 표시하여 공간 3D 영상을 얻는다.
본 논문에서 사용하는 깊이 지도 추출 기술은 저자들이 이전에 제안한 방법을 사용하였다 [16]. 이는 그림 4에 나타내었다.
SAII 기술은 다수의 카메라를 이용하여 고해상도의 요소 영상을 획득할 수 있는 유망한 3D 이미징 기술로 알려져 있다. 본 논문에서는 3D 물체를 획득하기 위하여 SAII 기술을 사용하다. 그림 3은 SAII의 픽업 과정이다.
x축과 y축으로 총 7x7 이동하여 49개의 고해상도요소 영상을 얻었다. 이렇게 얻어진 요소 영상에 대해서 참고논문 [16]의 방법을 이용하여 깊이 지도 추출을 수행하였다.

성능/효과

그림에서 보이듯 이 관측각에 따라서 서로 다른영상의 모습(빨간선으로 표기된 폭 부분 참고)을 확인할 수 있다. 이 실험 결과는 제안하는 방식이 성공적으로 3D 영상 디스플레이가 가능함을 보여주고 있다.
SAII로부터 얻어지는 요소 영상은 직접적으로 공간 3D 영상으로 사용될 수 없기 때문에 깊이 지도를 추출하여 새로운 디스플레이용 요소 영상으로 변환하여 공간 3D 영상을 표시한다. 제안하는 방법의 유용함을 보이기 위해서 큐빅 장난감을 이용한 기초적인 실험을 수행하고, 성공적으로 공간 3D 영상이 재현됨을 보였다.

후속연구

이렇게 생성되는 요소 영상은 고해상도 영상이기 때문에 직접적으로 디스플레이용 요소 영상으로 사용하기에 적절하지 않다. 따라서 본 논문에서처럼 깊이 지도를 이용하여 집적 영상 디스플레이에 맞도록 디스플레이용 요소 영상을 제작해야한다. SAII 실험에 사용한 카메라는 Nikon D70이며 얻어지는 해상도는 2240x1488이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	Synthetic aperture 집적 영상 (SAII) 기술은 무엇인가?	Synthetic aperture 집적 영상 (SAII) 기술은 다수의 카메라를 이용하여 고해상도의 요소 영상을 획득할 수 있는 유망한 3D 이미징 기술이다. 본 논문에서는 SAII 기술을 이용하여 집적 영상 디스플레이를 수행하는 공간 3D 영상을 표시하는 방법을 제안한다.
	집적 영상의 장점은 무엇인가?	최근 상용화된 안경식 3D 디스플레이와는 달리 무안경식 3D 디스플레이에 대한 관심이 매우 높아지면서 다양한 디스플레이 기술들이 개발되어 왔다 [1]. 그 중에서 집적 영상 (integral imaging) 기술은 간단한 시스템 구조,컬러 영상 표현, 무안경 방식, 완전 시차 등의 다양한 장점때문에차세대 3D 디스플레이기술로생각하여, 많이 연구되고 있다 [2-11]. 집적 영상 기술은 1908년에 Lippmann에 의해 처음으로 제안되었으며 [2] 그 기본 원리는 그림 1과 같다.
	집적 영상 기술은 크게 어떻게 나누어지는가?	집적 영상 기술은 크게 두 부분으로 나눌 수 있다. 픽업 부분과 디스플레이 부분이다. 집적 영상의 픽업 부분은 3D 물체에서 발생하는빔의 세기 및 방향 정보를 렌즈 어레이와 영상 검출기를 이용하여 영상을 기록한다.

참고문헌 (17)

B. Javidi and F. Okano, Three-dimensional television, video, and display technology. Berlin Heidelberg NY: Springer-Verlag, 2002.
G. Lippmann, "La photographie integrale," Comptesendus Academie des Sciences 146, pp. 446-451, 1908.
F. Okano, H. Hoshino, J. Arai, and I. Yuyama, "Real-time pickup method for a three-dimensional image based on integral photography," Appl. Opt. Vol. 36(7), pp. 1598-1603, 1997.

상세보기
B. Lee, S. Jung, S.-W. Min, and J.-H. Park, "Three-dimensional display by use of integral photography with dynamically variable image planes," Opt. Lett. Vol. 26(19), pp. 1481-1482, 2001.

상세보기
J.-S. Jang and B. Javidi, "Improved viewing resolution of three-dimensional integral imaging by use of nonstationary micro-optics," Opt. Lett. Vol. 27(5), pp. 324-326, 2002.

상세보기
D.-C. Hwang, J.-S. Park, S.-C. Kim, D.-H. Shin, and E.-S. Kim, "Magnification of 3D reconstructed images in integral imaging using an intermediate-view reconstruction technique," Appl. Opt. Vol. 45(19), pp. 4631-4637, 2006.

상세보기
S.-H. Hong and B. Javidi, "Improved resolution 3-D object reconstruction using computational II with time multiplexing," Opt. Express Vol. 12(19), pp. 4579-588, 2004.

상세보기
Y. Kim, J.-H. Park, H. Choi, J. Kim, S.-W. Cho, and B. Lee, "Depth-enhanced three-dimensional integral imaging by use of multilayered display devices," Appl. Opt. Vol. 45(18), pp. 4334-4343, 2006.

상세보기
J.-B. Hyun, D.-C. Hwang, D.-H. Shin, and E.-S. Kim, "Curved computational integral imaging reconstruction technique for resolution-enhanced display of three-dimensional object images," Appl. Opt. Vol. 46(31), pp. 7697-7708, 2007

상세보기
J.-H. Park, J.-H. Kim, and B.-H. Lee, "Threeimensional optical correlator using a sub-image array," Opt. Express Vol. 13(13), pp. 5116-5126, 2005.

상세보기
B.-G. Lee, H.-H. Kang, and E.-S. Kim, "Occlusion removal method of partially occluded object using variance in computational integral imaging," 3D Res. vol. 1(2), pp. 21-25, 2010.
J. S. Jang and B. Javidi, "Three-dimensional synthetic aperture integral imaging," Opt. Lett. Vol. 27, pp. 1144-1146, 2002.

상세보기
Y. S. Hwang, S. -H. Hong, and B. Javidi, "Free view 3-D visualization of occluded objects by using computational synthetic aperture integral imaging," J. Display Technol. Vol. 3, pp. 64-70, 2007.

상세보기
B. Tavakoli, M. Daneshpanah, B. Javidi, and E. Watson, "Performance of 3D integral imaging with position uncertainty," Opt. Express Vol. 15, pp. 11889-11902, 2007.

상세보기
D. Shin, M. Daneshpanah, and B. Javidi, "Generalization of three-dimensional N-ocular imaging systems under fixed resource constraints," Opt. Lett. Vol. 37, pp. 19-21, 2012.

상세보기
J.-J. Lee, B.-G. Lee, and H. Yoo, "Depth extraction of three-dimensional objects using block matching for slice images in synthetic aperture integral imaging," Appl. Opt. Vol. 50, pp. 5624-5629, 2011.

상세보기
D.-H. Shin, S.-H. Lee and E.-S. Kim, "Optical display of ture 3D objects in depth-priority integral imaging using an active sensor," Opt. Commun. Vol. 275, pp. 330-334, 2007.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증