[논문]스테레오 카메라 추적을 이용한 모바일 3차원 디스플레이 상의 실시간 증강현실

박정식; 서병국; 박종일

doi:10.5909/jbe.2013.18.3.362

스테레오 카메라 추적을 이용한 모바일 3차원 디스플레이 상의 실시간 증강현실
Real-Time Augmented Reality on 3-D Mobile Display using Stereo Camera Tracking 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.18 no.3, 2013년, pp.362 - 371

박정식 (한양대학교 전자컴퓨터통신공학과) , 서병국 (한양대학교 전자컴퓨터통신공학과) , 박종일 (한양대학교 컴퓨터공학부)

초록
AI-Helper

본 논문에서는 스테레오 카메라 추적을 이용한 모바일 3차원 디스플레이 상의 실시간 증강현실 프레임웍에 대하여 기술한다. 모델 기반 추적 방법에 기초하여 카메라 포즈는 스테레오 카메라 간의 기하 관계를 만족하도록 동시 추정된다. 동시 추정된 카메라 포즈를 통해 가상 콘텐츠는 교정된 스테레오 영상에 올바르게 증강된다. 스테레오 카메라 추적과 스테레오 영상 교정은 서로 다른 쓰레드에서 수행하고, 영상 형식 변환 및 스테레오 영상 교정은 GPU로 고속으로 처리함으로써 실시간으로 수행된다. 제안된 프레임웍은 스테레오 카메라와 3차원 디스플레이가 장착된 스마트폰에서 구현되었다.

Abstract ▼ AI-Helper

This paper presents a framework of real-time augmented reality on 3-D mobile display with stereo camera tracking. In the framework, camera poses are jointly estimated with the geometric relationship between stereoscopic images, which is based on model-based tracking. With the estimated camera poses, the virtual contents are correctly augmented on stereoscopic images through image rectification. For real-time performance, stereo camera tracking and image rectification are efficiently performed using multiple threads. Image rectification and color conversion are accelerated with a GPU processing. The proposed framework is tested and demonstrated on a commercial smartphone, which is equipped with a stereoscopic camera and a parallax barrier 3-D display.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 모바일 3차원 디스플레이 상의 증강현실 프레임웍을 제안하였다. 제안된 프레임웍에서는 3차원 모델기반 추적 방법에 기초하여 두 카메라의 포즈를 동시 추정하는 스테레오 카메라 추적 과정과 스테레오 영상 교정 과정으로 구성되어 3차원 디스플레이 상에 스테레오 카메라 영상과 가상 콘텐츠가 올바르게 증강될 수 있도록 하였다.
본 논문에서는 스테레오 카메라 추적을 이용한 모바일 3차원 디스플레이 상의 실시간 증강현실을 위한 프레임웍을 제안한다. 3차원 디스플레이 상의 증강현실을 위해서는 스테레오 영상으로부터 카메라 포즈가 실시간으로 정확하게 추정되어야 할 뿐만 아니라, 추정된 카메라 포즈가 두 카메라 간의 기하관계를 만족하도록 동시 최적화함으로써 증강된 콘텐츠의 입체감이 올바르게 나타나도록 할 필요가 있다.

제안 방법

그림 6는 도자기 모델에 대한 추적 및 증강 결과를 나타낸다. 3차원 영상은 패럴렉스 배리어 모드로 렌더링하는 대신 애너글리프(Anaglyph)로 렌더링하였다. 스테레오 카메라의 기하 관계를 이용하여 카메라 위치 및 자세를 동시 추정하고 영상을 교정한 뒤, 교정 후의 카메라 파라미터를 이용하여 각 카메라 위치 및 자세를 보정한 결과이다.
Java의 느린 속도를 고려하여 카메라 입력 및 사용자 인터페이스 이외의 처리는 C/C++로 구현하고 JNI(Java Native Interface)를 통해 호출하였다. 3차원 디스플레이의 구동에는 LG Real3D SDK를 이용하였다.
제안된 프레임웍에서는 3차원 모델기반 추적 방법에 기초하여 두 카메라의 포즈를 동시 추정하는 스테레오 카메라 추적 과정과 스테레오 영상 교정 과정으로 구성되어 3차원 디스플레이 상에 스테레오 카메라 영상과 가상 콘텐츠가 올바르게 증강될 수 있도록 하였다. 각 과정은 다중 쓰레드를 이용하여 병렬로 처리되며, 특히 YUV 영상에서 RGB 영상으로의 변환과 스테레오 영상 교정은 GPU를 이용하여 고속처리 함으로써 모바일 플랫폼에서 실시간으로 동작할 수 있도록 하였다. 제안된 프레임웍은 스테레오 카메라와 3차원 디스플레이가 장착된 스마트폰 상에 구현되어 추적 및 증강이 올바르게 수행됨을 확인하였다.
하지만 3차원 모델기반 추적방법에서는 투영된 3차원 모델의 외곽선 부근의 에지만 필요하므로 영상 전역에서 에지를 검출하는 것은 불필요한 연산으로 인해 느리고 비효율적이다. 따라서 투영된 3차원 모델의 선 샘플의 대응점 탐색범위에서만 에지를 검출하는 방법을 적용하여 속도를 개선하였다^[6].
PC 상에서는 스테레오 영상 교정이 빠르게 수행될 수 있지만 모바일 플랫폼에서는 잦은 메모리 접근과 실수 연산으로 인해 시간이 많이 소요되므로 다중 쓰레드와 GPU를 이용하여 실시간 처리가 가능하도록 하였다. 또한 제안된 프레임웍은 영상 전역에서 에지를 검출하는 대신, 투영된 3차원 모델의 선 샘플의 대응점 탐색과 동시에 국소 영역에서만 에지를 검출하는 3차원 모델기반 추적방법^[6]을 적용하여 처리 속도를 향상시켰다.
먼저 이전 프레임의 포즈와 3차원 모델의 법선 벡터를 이용한 은면 제거법으로 후면의 선을 제거하고 두 면에 의해 공유되는 선을 제거하여 외곽선을 추출한다. 실제로는 이전 프레임의 포즈에서 본 3차원 모델의 은면과 현재 프레임의 은면은 다르지만 이전 프레임의 카메라 포즈로부터 현재 프레임의 카메라 포즈 간의 카메라 움직임이 작다고 가정함으로써 효과적으로 은면 제거가 가능하다.
영상 형식 변환 및 스테레오 영상 교정에는 약 14 ms가 소요되는데, 듀얼코어 CPU를 가진 모바일 기기 상에서 두 쓰레드가 병렬로 수행되므로 전체적인 속도은 상대적으로 느린 카메라 추적 속도에 좌우된다고 볼 수 있다. 본 논문에서는 영상 형식 변환 및 스테레오 영상 교정은 GPU를 활용하여 고속으로 처리되는데, 표 2에 나타나듯이 CPU에서 수행했을 때와 비교하여 약 8배가량 빠르게 처리된다.
스테레오 카메라 캘리브레이션은 오프라인에서 수행하여 카메라 내부 파라미터, 왜곡 보정 파라미터, 두 카메라 간의 관계를 구하였고, 이를 이용하여 스테레오 영상 교정 변환 행렬과 영상 교정에 사용될 룩업테이블을 계산하였다. 그림 4의 오른쪽은 스테레오 카메라 캘리브레이션을 통해 추정된 왼쪽 카메라 좌표계 상의 오른쪽 카메라 및 체스보드 패턴의 위치를 도식화한 것이다.
우리는 영상 형식 변환과 스테레오 영상 교정을 실시간으로 수행하도록 GPU 병렬처리를 이용하였다. OpenGL ES 2.
제안된 증강현실 프레임웍에서는 3차원 모델기반 추적 방법을 스테레오 추적으로 확장한 방법을 사용한다. 3차원 모델기반 카메라 추적 방법은 영상에서 검출된 에지와 영상평면에 투영된 3차원 모델을 정합하여 카메라 위치 및 자세를 추정하는 방법이다.
본 논문에서는 모바일 3차원 디스플레이 상의 증강현실 프레임웍을 제안하였다. 제안된 프레임웍에서는 3차원 모델기반 추적 방법에 기초하여 두 카메라의 포즈를 동시 추정하는 스테레오 카메라 추적 과정과 스테레오 영상 교정 과정으로 구성되어 3차원 디스플레이 상에 스테레오 카메라 영상과 가상 콘텐츠가 올바르게 증강될 수 있도록 하였다. 각 과정은 다중 쓰레드를 이용하여 병렬로 처리되며, 특히 YUV 영상에서 RGB 영상으로의 변환과 스테레오 영상 교정은 GPU를 이용하여 고속처리 함으로써 모바일 플랫폼에서 실시간으로 동작할 수 있도록 하였다.
프레임웍은 두 개의 쓰레드로 구성되어 있다. 하나는 추적 쓰레드로서 스테레오 카메라 추적을 수행하고. 다른 하나는 렌더링 쓰레드로서 YUV 형식의 입력 영상을 RGB 형식으로 변환하여 스테레오 영상 교정을 수행한 뒤, 교정된 영상과 가상 콘텐츠를 렌더링한다.

대상 데이터

Java의 느린 속도를 고려하여 카메라 입력 및 사용자 인터페이스 이외의 처리는 C/C++로 구현하고 JNI(Java Native Interface)를 통해 호출하였다. 3차원 디스플레이의 구동에는 LG Real3D SDK를 이용하였다. 영상 형식 변환 및 스테레오 영상 교정은 GLSL(OpenGL Shader Language)로 작성되었다.
실험에 사용된 모바일 기기는 LG Optimus 3D로서 ARM Cortex A9 듀얼코어 1.0 GHz CPU, PowerVR SGX 540 GPU, 512 MB RAM, 그리고 스테레오 카메라와 패럴렉스 배리어 방식의 무안경식 3차원 디스플레이가 탑재되었다.
그림 5는 추적 대상으로 사용된 물체와 3차원 모델을 나타낸다. 정육면체 모델은 8개의 정점과 18개의 선, 도자기 모델은 673개의 정점과 2000개의 선으로, 고양이 모델은 1252개의 정점과 3750개의 선으로 각각 구성되었다.
카메라 입력은 좌우 카메라의 영상이 side-by-side 방식으로 결합된 720×480 YUV420 영상으로 추적 처리에는 Y 채널만 추출하여 사용하였다.

이론/모형

이 있다. 본 논문에서는 OpenCV 라이브러리에서 제공하는 Bouguet의 방법을 이용하여 3차원 변환행렬을 계산한 뒤 이를 이용하여 교정된 위치로 옮겨올 화소의 좌표를 룩업테이블로 만들어 사용하였다. 카메라의 초점 모드가 변하지 않는 한 룩업테이블의 값이 바뀔 필요가 없기 때문에 룩업테이블은 GPU로 최초 한 번만 전송되고 이에 따른 오버헤드는 없다고 볼 수 있다.
3차원 디스플레이의 구동에는 LG Real3D SDK를 이용하였다. 영상 형식 변환 및 스테레오 영상 교정은 GLSL(OpenGL Shader Language)로 작성되었다. 카메라 입력은 좌우 카메라의 영상이 side-by-side 방식으로 결합된 720×480 YUV420 영상으로 추적 처리에는 Y 채널만 추출하여 사용하였다.

성능/효과

카메라 추적은 모델에 따라 27 ~ 71 ms가 소요되어 간단한 모델의 경우엔 30 fps 이상으로 동작이 가능하였다. 그리고 추적 방법이 개선됨에 따라 추적 속도가 많게는 3배가량 향상되었다. 영상 형식 변환 및 스테레오 영상 교정에는 약 14 ms가 소요되는데, 듀얼코어 CPU를 가진 모바일 기기 상에서 두 쓰레드가 병렬로 수행되므로 전체적인 속도은 상대적으로 느린 카메라 추적 속도에 좌우된다고 볼 수 있다.
스테레오 카메라의 기하 관계를 이용하여 카메라 위치 및 자세를 동시 추정하고 영상을 교정한 뒤, 교정 후의 카메라 파라미터를 이용하여 각 카메라 위치 및 자세를 보정한 결과이다. 애너 글리프 영상을 통해 증강된 가상 객체의 3차원 효과가 올바르게 표현되는 것을 확인할 수 있었다.
각 과정은 다중 쓰레드를 이용하여 병렬로 처리되며, 특히 YUV 영상에서 RGB 영상으로의 변환과 스테레오 영상 교정은 GPU를 이용하여 고속처리 함으로써 모바일 플랫폼에서 실시간으로 동작할 수 있도록 하였다. 제안된 프레임웍은 스테레오 카메라와 3차원 디스플레이가 장착된 스마트폰 상에 구현되어 추적 및 증강이 올바르게 수행됨을 확인하였다.

질의응답

핵심어	질문	논문에서 추출한 답변
	증강현실은 어떤 기술인가?	최근 실감 콘텐츠로서 많은 관심을 받고 있는 것 중에 모바일 증강현실이 있다. 증강현실은 현실 세계에 대한 카메라 영상에 가상 콘텐츠를 겹쳐 보여줌으로써 사용자의 몰입감을 증대시키거나 부가정보를 제공하는 기술이다. 실감나는 증강 현실을 위해서는 실제 세계와 가상 세계가 정확하게 정합되는 것이 중요하다.
	모바일 플랫폼에서 실시간으로 동작하는 카메라 추적 방법들의 문제점은 무엇인가?	널리 알려진 모바일 플랫폼에서 실시간으로 동작하는 카메라 추적 방법으로는 마커기반 추적 방법[3]과 자연 특징점 기반 추적 방법[4]이 있다. 이러한 방법은 강건하고 빠른 추적이 가능하지만 대상이 평면적인 물체로 제한된다. 3차원 모델기반 추적 방법[5] 또한 모바일 3차원 디스플레이 상의 증강현실의 구현에 유용하게 활용될 수 있다.
	스테레오 영상 교정 방법에는 무엇이 있는가?	스테레오 영상 교정 방법으로는 기초행렬(Fundamental matrix)을 이용한 방법과 3차원 공간상의 회전 및 평행이동 변환을 이용한 Bouguet의 방법[9]이 있다. 본 논문에서는 OpenCV 라이브러리에서 제공하는 Bouguet의 방법을 이용하여 3차원 변환행렬을 계산한 뒤 이를 이용하여 교정된 위치로 옮겨올 화소의 좌표를 룩업테이블로 만들어 사용하였다.

참고문헌 (9)

S. Feiner, B. MacIntyre, T. Hollerer, and A. Webster, "A touring machine: Prototyping 3D mobile augmented reality systems for exploring the urban environment," Personal Technologies, vol. 1, no. 4, pp. 208-217, 1997.

상세보기
C. Yuan, M. Liao, X. Hu, and P. Mordohai, "Depth sensing and augmented reality technologies for mobile 3D platforms," SID Symposium Digest of Technical Papers, vol. 43, no. 1, pp. 233-236, 2012.
D. Wagner and D. Schmalstieg, "ARToolKitPlus for pose tracking on mobile devices," in Proc. Computer Vision Winter Workshop, 2007, pp. 139-146.
D.Wagner, G. Reitmayr, A. Mulloni, T. Drummond, and D. Schmalstieg, "Real-time detection and tracking for augmented reality on mobile phones," IEEE Trans. Vis. Comput. Graphics, vol. 16, no. 3, pp. 355-368, 2010.

상세보기
T. Drummond and R. Cipolla, "Real-time visual tracking of complex structures," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 24, no. 7, pp. 932-946, 2002.

상세보기
B.-K. Seo, J. Park, H. Park, and J.-I. Park, "Real-time visual tracking of less-textured three-dimensional objects on mobile platforms," Optical Engineering, vol. 51, no. 12, pp. 127202, Dec. 2012.
N. Singhal, J. W. Yoo, H. Y. Choi, and I. K. Park, "Implementation and optimization of image processing algorithms on embedded GPU," IEICE Trans. on Information and Systems, vol. E95-D, no. 5, pp. 1475 -1484, May 2012.

상세보기
J. Park, B.-K. Seo, and J.-I. Park, "A framework of augmented reality on 3-D mobile display using stereo camera tracking," in Proc. International Workshop on Advanced Image Technology (IWAIT'13), pp. 745-748, Jan. 2013.
G. Bradski and A. Kaehler, Learning OpenCV, O'Reilly, 2009.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증