[논문]스마트폰 자이로센서를 이용한 Frontal-View 변환 알고리즘 설계 및 구현

조대균; 박석천

doi:10.7236/jiwit.2012.12.6.199

스마트폰 자이로센서를 이용한 Frontal-View 변환 알고리즘 설계 및 구현
Design and Implementation of Frontal-View Algorithm for Smartphone Gyroscopes 원문보기

한국인터넷방송통신학회 논문지 = The journal of the Institute of Internet Broadcasting and Communication, v.12 no.6, 2012년, pp.199 - 206

조대균 (가천대학교 컴퓨터공학과) , 박석천 (가천대학교 컴퓨터공학과)

초록
AI-Helper

본 논문에서는 스마트폰의 자이로센서를 이용하여 다양한 각도에서 촬영한 현실세계의 객체를 증강현실을 위한 자연 마커로 사용할 수 있도록 가상의 Frontal-View로 변환할 수 있는 알고리즘을 설계하고 구현하였다. 제안한 알고리즘은 pitch, roll, yaw 3축에 대한 회전행렬을 획득하여 대상 이미지에 대한 yaw의 기준점을 설정하였다. 그 후 대상 이미지가 바닥, 벽면, 천장 중 어느 면인지 판단하여 그에 대한 회전 행렬을 보정하였다. 마지막으로 자이로 센서 좌표계와 영상 좌표계 사이의 차이를 고려해 Frontal-View를 얻기 위한 호모그래피 행렬을 획득하여 투영변환을 통해 촬영 영상으로부터 Frontal-View를 획득할 수 있도록 설계하였다. 구현된 Frontal-View 변환 프로그램을 평가하기 위해 바닥, 벽면, 천장에 대해 주변 환경을 스마트폰 환경에서 촬영한 영상을 Frontal-View로 변환하도록 테스트를 한 결과 본 논문에서 설계 및 구현한 변환 알고리즘이 여러 각도에서 촬영한 영상을 정상적으로 Frontal-View로 변환하는 것을 확인하였다.

Abstract ▼ AI-Helper

Attempt to use as a marker of natural objects directly in the real world, but there is a way to use the accelerometer of the smartphone, to convert the Frontal-View virtual, because it asks only the pitch of the camera, from the side there is a drawback that can not be converted to images. The proposed algorithm, to obtain the rotation matrix of axis 3 pitch, roll, yaw, we set the reference point of the yaw of the target image. Then, to compensate for the rotation matrix to determine Myon'inji any floor, wall, the ceiling of the target image. Finally, to obtain the homography matrix for obtaining the Frontal-View to account for the difference between the gyro sensor coordinate system and image coordinate system, so we can get the Frontal-View from the captured images through the projection transformation was designed. Was tested to convert Frontal-View the picture was taken in an environment smartphone environment surrounding floor, walls and ceiling in order to evaluate the conversion program Frontal-View has been implemented, in this paper, design and The conversion algorithm implementation, it was confirmed that to convert a regular basis Frontal-View footage taken from multiple angles.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

따라서 본 논문에서는 스마트폰의 자이로 센서를 이용하여 기존의 한가지 축만 연구하는 방법에서 3축의 회전에 대하여 적용가능하도록 개선하여 다양한 각도에서 촬영한 현실 세계의 객체를 증강현실을 위한 자연 마커로 사용할 수 있도록 가상의 Frontal-View 변환하는 알고리즘을 제안한다.

가설 설정

먼저 변환할 대상이 수평면 또는 수직면이라 가정한다. 두 번째로는 대상 면이 수평면인지 수직면인지를 결정하기 위해 휴리스픽를 사용하였다.

제안 방법

구현한 알고리즘은 pitch, roll, yaw 별로 0°, 30°, 60°방향으로 화면을 변화하여 자연 마커를 측정하는 테스트를 하였는데, 기존 Forntal-View 알고리즘에서 pitch 변화에만 화면 변환되어 자연마커가 인식되고, roll과 yaw의 변화에는 화면 변환이 되지 않았지만, 제안하는 알고리즘에서 pitch와 roll, yaw의 변화에서도 화면이 변환되어, 자연마커가 인식되는 것을 검증하였다.
먼저 Frontal-View 변환 알고리즘 테스트를 통해 생성한 자연 마커들을 QCAR을 통해 자연 마커로 등록한다. 그 후 등록된 각각의 자연 마커 상에 색이 다른 주전자 객체를 증강하도록 설정하여 증강현실 적용 테스트를 수행한다.
먼저 변환할 대상이 수평면 또는 수직면이라 가정한다. 두 번째로는 대상 면이 수평면인지 수직면인지를 결정하기 위해 휴리스픽를 사용하였다. 수평면과 휴대폰의 각도를 θ_p라 하였을 때
먼저 Frontal-View 변환 알고리즘 테스트를 통해 생성한 자연 마커들을 QCAR을 통해 자연 마커로 등록한다. 그 후 등록된 각각의 자연 마커 상에 색이 다른 주전자 객체를 증강하도록 설정하여 증강현실 적용 테스트를 수행한다.
바닥에 있는 책 표지를 대상으로 pitch의 값을 0°, 30°, 60°를 각각 측정하였다.
바닥에 있는 책 표지를 대상으로 roll의 값을 0°, 30°, 60°를 각각 측정하였다.
본 논문은 증강현실에서 사용하는 Frontal- View 알고리즘에서 pitch 한 방향만 사용되는 부분을 스마트폰의 자이로 센스를 이용하여 추가적으로 roll, yaw를 사용하기 위해 Frontal-View 변환 호모그래피 행렬을 도출하여, Frontal-View 변환 알고리즘을 설계하였다. 설계한 알고리즘을 이용하여 Frontal-View 변환 호모그래피 행렬 도출 모듈 구현을 하였다.
본 논문은 증강현실에서 사용하는 Frontal- View 알고리즘에서 pitch 한 방향만 사용되는 부분을 스마트폰의 자이로 센스를 이용하여 추가적으로 roll, yaw를 사용하기 위해 Frontal-View 변환 호모그래피 행렬을 도출하여, Frontal-View 변환 알고리즘을 설계하였다. 설계한 알고리즘을 이용하여 Frontal-View 변환 호모그래피 행렬 도출 모듈 구현을 하였다. 구현한 알고리즘은 pitch, roll, yaw 별로 0°, 30°, 60°방향으로 화면을 변화하여 자연 마커를 측정하는 테스트를 하였는데, 기존 Forntal-View 알고리즘에서 pitch 변화에만 화면 변환되어 자연마커가 인식되고, roll과 yaw의 변화에는 화면 변환이 되지 않았지만, 제안하는 알고리즘에서 pitch와 roll, yaw의 변화에서도 화면이 변환되어, 자연마커가 인식되는 것을 검증하였다.
제안하는 알고리즘 구현 시스템 UI는 촬영 화면 가운데에 Frontal-View로 변환 후 가운데 정사각형의 영역으로 변환이 예상되는 사각형의 가이드라인을 제공하였다. 이 가이드라인은 Frontal -View 변환 호모그래피 행렬에 의해 실시간으로 변하여 본 논문에서 제안한 알고리즘 중 카메라 자세 추정과 yaw기준점이 어떻게 적용 되었는지를 알려주도록 하였다. 또한 가운데 4자 모양의 표시를 통해 가이드라인의 방향을 알려주도록 하였다.
이전에 Frontal-View 변환 알고리즘은 pitch만을 사용한 자연마커 계산 알고리즘인데, 본 논문에서 제안하는 논문은 pitch, roll, yaw 3축에 대한 회전행렬을 획득하여 대상 이미지에 대한 yaw의 기준점을 설정하고, 대상 이미지가 바닥, 벽면, 천장 중 어느 면인지 판단하여 그에 대한 회전 행렬을 보정하여, 자이로 센서 좌표계와 영상 좌표계 사이의 차이를 고려해 최종적으로 Frontal-View를 얻기위한 호모그래피 행렬을 획득하여 투영변환을 통해 촬영 영상으로부터 Frontal-View를 획득할 수 있도록 하였다.
제안하는 알고리즘 구현 시스템 UI는 촬영 화면 가운데에 Frontal-View로 변환 후 가운데 정사각형의 영역으로 변환이 예상되는 사각형의 가이드라인을 제공하였다. 이 가이드라인은 Frontal -View 변환 호모그래피 행렬에 의해 실시간으로 변하여 본 논문에서 제안한 알고리즘 중 카메라 자세 추정과 yaw기준점이 어떻게 적용 되었는지를 알려주도록 하였다.

성능/효과

pitch 변화에 따른 Frontal-View 변환 결과는 기존 알고리즘과 제안한 알고리즘 양쪽 모두 유사한 결과를 도출하였다.
roll 변화에 따른 Frontal-View 변환 결과는 기존 알고리즘은 pitch가 0°이므로 촬영 원본 그대로 영상이 나왔으나, 제안한 알고리즘은 Frontal- View로 변환된 결과 영상이 출력되었다.
바닥에 있는 책 표지를 대상으로 yaw의 값을 0°, 30°, 60°를 각각 측정하였다. yaw 변화에 따른 Frotal-View 변환 결과는 기존의 알고리즘은 roll 변화에 따른 변환과 마찬가지로 원본 그대로 출력되었지만, 제안한 알고리즘은 Frontal-View로 변환된 결과 영상이 출력되었다.
따라서 제안한 알고리즘을 사용하게 되면 pitch에 따른 변화뿐만 아니라 roll, yaw에 변화에 따라서 자연마크를 이용한 증강현실을 사용할 수 있다.
그림 5는 위 과정을 통해 생성된 Frontal- View를 이용하여 실제 증강 현실에 적용이 가능한가를 테스트 한 결과이다. 증강현실 테스트를 수행한 결과 해당되는 색의 주전자가 증강되는 모습을 확인하였다. 왼쪽화면은 Frontal-View를 적용한 화면이고, 오른족화면은 적용한 화면을 자연마커를 활용하여 그 위에 증강현실을 한 화면이다.
표 2, 3, 4와 같이 제안하는 알고리즘은 기존의 알고리즘의 비해 더 많은 변화에서도 측정이 가능하여, 텍스쳐 기반 자연 마커의 활용을 높일 수 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	마커기반 증강현실의 단점은?	증강현실을 구현하는 대표적인 기술은 마커를 이용한 방법인데, 마커기반 증강현실은 미리 정의된 마커를 이용해서 증강현실을 만드는데, 증강현실을 사용하려는 물체마다 마커를 부착해야하는 단점을 가지고 있다. 이러한 단점을 해결하기 위한 마커가 없는 실제 사물을 이용한 증강 현실 기술인 텍스쳐 기반 증강현실이 있다.
	증강현실이란 무엇인가?	증강현실(augmented reality: AR)은 일반적으로 가상 환경/현실에서 파생한 것으로 실제 환경에 컴퓨터 그래픽스 영상을 삽입한 실제와 가상 영상의 혼합을 뜻한다.
	마커가 없는 경우 객체를 여러 방향과 거리에서 인식하는 방법으로는 텍스쳐를 이용한 방법이 있는데, 이를 무엇이라고 하는가?	또한 마커가 없는 경우 객체를 여러 방향과 거리에서 인식하는 방법으로는 텍스쳐를 이용한 방법이 있다. 이것은 자연 마커로 사용된 텍스쳐에서 특징점들을 추출하고 현실 세계의 영상에서 추출된 특징점들과 비교를 하여 3차원의 위치를 파악하는 방법으로 Natural Feature Tracking (NFT)라 한다[6][7][8].

참고문헌 (10)

M. J. Koo. "A Study on Developing Educational Content Using Augmented Reality : Focused on Social Studies Curriculum of Elementary School", Dankook University Graduate School of Digital Media Design, 2010.
G. Y. Um, G. J. Kim, M. H. Kim, "A Survey of Markerless Object Recognition and Tracking for Augmented Reality", Dept. of Science, Featured manuscripts, pp.54-66, 2010.
C. S. Shin, "A Survey on Mobile Augmented Reality Services and an Outlook toward a Sustainable Content Ecosystem", Dept. of Science, Volume 28, Issue 6, pp.43-50, 2010.
J. H. Park, "A Develpment of an Augmented Reality authoring Tool for Mobile Devices", Kookmin University Graduate School, 2011.
E. Y. Jung, W. K. Jung, S. J. Lim, C. B Moon, B. M. Kim, "Augmented Reality Logo System Based on Android Platform", Korea information Processing Society, 2011.

원문보기 상세보기
H.J Cho, "Non-marker based Mobile Terminal Augmented Reality using Scale and Rotation Invariant Features", Dankook University Graduate School 2011.
D. Wagner, G. Reitmayr, A. Mulloni, T. Drummond, and D. Schmalstieg, "Pose Tracking from Natural Features on Mobile Phones", ISMAR, September 2008.
Lim J, Jung S, Kim D, Jeon S, Balitanas M, Cagalaban G, Kim S, "A Study on Real Time Media Content Development using Web Ar", Summer Conference Proceedings Korea Institute of Information Technology, May 2011.
Wonwoo Lee, Youngmin Park, Vincent lepetit, Woontack Woo, "Point-and-Shootfor Ubiquitous Tagging on Mobile Phones", ISMAR 2010.
M. Ozuysal, P. Fua, and V. Lepetit, "Fast keypoint recognition in ten lines of code", CVPR, 2007.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증