본 연구에서는 모바일 기기에서 증강현실 기술을 이용한 정보제공 시스템을 제안한다. ICT 기술의 발전으로 일상에서 사용하는 컴퓨터가 소형화되고 휴대가 간편하게 발전된 형태의 대표적인 예로 태블릿 PC와 스마트폰을 들 수 있다. 환경에 구애받지 않고 본인이 원하는 자료를 증강현실 기술을 이용하여 확인하고 학습할 수 있다. 카메라를 이용한 실영상에 원하는 이미지, 영상 등을 추가하여 다양한 도움을 받을 수 있는 것이다. 본 논문에서는 태블릿 PC나 스마트폰 환경에서 증강현실 기술을 이용한 정보제공용 시스템을 구현하였다. 이러한 시스템은 학습, 오락, 광고홍보 등 모든 분야에서 활용 가능하다.
본 연구에서는 모바일 기기에서 증강현실 기술을 이용한 정보제공 시스템을 제안한다. ICT 기술의 발전으로 일상에서 사용하는 컴퓨터가 소형화되고 휴대가 간편하게 발전된 형태의 대표적인 예로 태블릿 PC와 스마트폰을 들 수 있다. 환경에 구애받지 않고 본인이 원하는 자료를 증강현실 기술을 이용하여 확인하고 학습할 수 있다. 카메라를 이용한 실영상에 원하는 이미지, 영상 등을 추가하여 다양한 도움을 받을 수 있는 것이다. 본 논문에서는 태블릿 PC나 스마트폰 환경에서 증강현실 기술을 이용한 정보제공용 시스템을 구현하였다. 이러한 시스템은 학습, 오락, 광고홍보 등 모든 분야에서 활용 가능하다.
In this paper, we propose an information service system using augmented reality technology on mobile devices. With the advancement in ICT technology the computer is smaller and easy to carry and developed into the tablet PC and the smartphone typically. The user can confirm and learn the desired dat...
In this paper, we propose an information service system using augmented reality technology on mobile devices. With the advancement in ICT technology the computer is smaller and easy to carry and developed into the tablet PC and the smartphone typically. The user can confirm and learn the desired data using the augmented reality technology, regardless of the environment. Padding the supplementary images or videos to the real image using the camera, we can have help from such additionally obtained images. In this paper, using an augmented reality technology on a tablet PC or smartphone environment, we implement a system for providing information to the user. This system can be utilized in all areas such as learning, entertainment, public relations and advertisement, etc.
In this paper, we propose an information service system using augmented reality technology on mobile devices. With the advancement in ICT technology the computer is smaller and easy to carry and developed into the tablet PC and the smartphone typically. The user can confirm and learn the desired data using the augmented reality technology, regardless of the environment. Padding the supplementary images or videos to the real image using the camera, we can have help from such additionally obtained images. In this paper, using an augmented reality technology on a tablet PC or smartphone environment, we implement a system for providing information to the user. This system can be utilized in all areas such as learning, entertainment, public relations and advertisement, etc.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
증강현실의 목표는 실세계의 영상에 가상공간에서 제작된 정보를 합성해서 사용자에게 보여주는 기술이다. 사용자에게 어색하지 않게 보여주기 위해서 실시간으로 정확한 좌표를 추정하고 이를 기준 좌표계와 정합하는 작업을 통해 사용자에게 제공하는 것이다. 일반적인 카메라 추적 기법은 카메라를 통해 입력받은 실시간 영상을 기반으로 특징점(feature)을 검출하여 2차원 좌표를 검출한 후에 3차원 공간상에서 특징점 좌표와의 투영기하학(Projective geometry) 관계를 이용하여 카메라의 위치를 추정한다[3].
제안하는 방법은 기존의 환경의 제약 부분과 영상을 처리하는 시간과 데이터양의 증가에 따른 문제를 모바일 환경에서 효율적으로 처리하고자 하는 목표로 진행되었다. 실제 시스템을 구성해서 실험을 하는 과정에서 일반적인 컴퓨터 사양에서의 환경과 유사한 동작 성능을 확인할 수 있었다.
제안 방법
모바일 증강현실 기술을 이용하여 태양계 구조에 대한 내용을 보여주는 콘텐츠를 테스트해보았다. (그림 14)와 같이 마커로 이루어진 책을 제작하였고, 책의 페이지 마다 주제에 맞는 다른 형태의 프레임마커가 존재하고 이를 스마트폰의 카메라를 이용하여 영상을 취득하면 마커의 부분에 가상의 태양계 행성들을 보여주는 것을 실험하였다.
스마트기기의 하드웨어적인 발전에도 불구하고 기존에 구현해놓은 증강현실 알고리즘을 그대로 적용하기에는 시스템에서 이루어지는 계산이 복잡하다는 단점이 있다. 따라서 스마트폰에서 적용하기 위해 입력 영상의 다양한 변화에 강건한 SIFT(Scale Invariant Feature Transform)와 Ferns를 모바일 환경에 적합하게 수정하여 속도와 메모리 문제를 개선한 퀄컴사의 QCAR을 이용하여 모바일 증강현실 구현을 하였다.
특징점을 검출하는 과정들 중 가장 대표적인 방법으로 SIFT(Scale Invariant Feature Transform)[8]와 SURF(Speeded Up Robust Features)[9]이 있다. 또한 마커를 정확하고 빠르게 사용하기 위해서 속도가 빠른 코너 추출 알고리즘 FAST(Features from Accelerated Segment Test)[10]와 SIFT의 128차원의 벡터를 36차원으로 줄여 사용하였다. 모바일 환경의 성능과 메모리를 고려하여 최적화 작업을 수행하였다.
모바일 증강현실 기술을 이용하여 태양계 구조에 대한 내용을 보여주는 콘텐츠를 테스트해보았다. (그림 14)와 같이 마커로 이루어진 책을 제작하였고, 책의 페이지 마다 주제에 맞는 다른 형태의 프레임마커가 존재하고 이를 스마트폰의 카메라를 이용하여 영상을 취득하면 마커의 부분에 가상의 태양계 행성들을 보여주는 것을 실험하였다.
또한 마커를 정확하고 빠르게 사용하기 위해서 속도가 빠른 코너 추출 알고리즘 FAST(Features from Accelerated Segment Test)[10]와 SIFT의 128차원의 벡터를 36차원으로 줄여 사용하였다. 모바일 환경의 성능과 메모리를 고려하여 최적화 작업을 수행하였다. 본 논문의 구성은 다음과 같다.
물체의 상하좌우의 이동, 회전, 스케일 조절에 대한 테스트를 진행하였다.
본 논문에서는 증강현실 기술의 모바일 구현을 위하여 마커의 사용에 있어서 미리 지정된 프레임 마커(Frame Marker)[7]를 통해서 정보를 추출하고, 마커의 위치 정보를 통해서 카메라의 위치 정보를 계산한다. 마커의 경우 조명의 밝기 변화에 민감하기 때문에 모바일 공간의 밝기 변화에 강건한 시스템을 위해 최적의 밝기 분포로 히스토그램 명세화(Histogram Specification)를 수행한다.
추출 포인트 주변의 16*16영역에서 4*4 마스크를 형성하여 16개의 공간 영역을 설정한다. 설정된 16개의 공간 안에 픽셀들에 대한 각각의 방향성과 기울기의 크기를 추출한 후 공간 안의 방향성을 8방향 벡터로 형성한다. 각 방향의 크기는 각 픽셀의 기울기 크기의 합으로 표현할 수 있으며 결과적으로 16개의 영역에 각각 8개의 벡터가 생성된다.
이러한 과정에서 대상 마커의 인식률 저하의 원인이 생기게 된다. 이를 개선하기 위해서 히스토그램 명세화 기법을 수행하였다. 이는 영상의 프레임에서 얻어진 최적의 밝기 분포를 이용하는 방법이다[11].
(그림 12는) 프레임 마커 기반의 책 디자인에 적용해본 내용이다. 책의 내용 부분에 이미지의 형태가 들어간 프레임 마커의 삽입을 통해 모바일 증강현실 구현을 위한 준비 작업을 진행하였다. 프레임 마커의 중앙부분에 이미지를 삽입하여 사용함으로 기존의 ARToolkit 기반의 마커보다 이질감이 줄어든 것을 확인할 수 있었다.
(그림 1)은 구현하는 모바일 환경에서 카메라 영상을 이용한 증강현실 구현을 나타낸 것이다. 카메라 입력 영상에서 프레임 마커를 검출하고, 이를 SIFT 알고리즘을 이용하여 위치를 찾아내고 가상의 정보를 증강시켜 구현한다.
대상 데이터
93GHz, 4GB이고, 320×240 해상도와 초당 30프레임으로 작동되는 USB 카메라를 이용하여 수행되었다. 모바일 환경은 안드로이드 기반의 넥서스원과 갤럭시노트 10.1을 기반으로 테스트 되었다.
실험은 Intel(R) Core(TM)2 Duo CPU 2.93GHz, 4GB이고, 320×240 해상도와 초당 30프레임으로 작동되는 USB 카메라를 이용하여 수행되었다.
이론/모형
(그림 11)은 QCAR에서 사용되는 모바일 프로그래밍을 위해서 안드로이드 API기반의 프로그래밍 방법에 C언어 기반의 코드를 적용하기 위해서 그림과 같이 JNI를 이용한 방식을 사용하였다. 안드로이드 환경에서 자바외의 C언어를 적용할 수 있는 JNI기반의 방법으로 프로그래밍의 효율을 높일 수 있었다.
(그림 2)를 보면 마커는 정사각형의 테두리를 지니게 되고 그 안에 약속되어진 패턴의 형태를 템플릿매칭을 통하여 찾아내는 두 단계를 거쳐서 원하는 마커를 찾아내게 된다. 본 논문에서는 (그림 3)의 프레임 마커를 이용한 방법을 사용한다. 카메라 영역 안에 마커가 들어오게 되면 마커를 이진화 영상으로 변환하여 흰색과 검정색으로 나누어서 테두리를 찾아내게 된다.
SIFT와 SUFR는 회전(rotation), 조명(illumination), 크기 (scale), 어파인(affine) 변환에 크게 영향을 받지 않는 장점이 있어 특징점 검출 및 추적에 있어서 강건한 알고리즘이다. 하지만 많은 연산량으로 인해 모바일 장치에서 실시간으로 적용시키기에는 무리가 따르기 때문에 특징 검출에서는 코너 기반 접근 방법인 FAST Corner Detector, 기존 SIFT 알고리즘의 차원수를 줄인 SIFT를 사용하였다.
성능/효과
제안하는 방법은 기존의 환경의 제약 부분과 영상을 처리하는 시간과 데이터양의 증가에 따른 문제를 모바일 환경에서 효율적으로 처리하고자 하는 목표로 진행되었다. 실제 시스템을 구성해서 실험을 하는 과정에서 일반적인 컴퓨터 사양에서의 환경과 유사한 동작 성능을 확인할 수 있었다. 이러한 증강현실의 모바일 처리 능력은 하드웨어가 발전하고 있는 상황에서는 더욱 빠른 속도의 향상으로 이루어지게 되고 이를 통한 우리 주변의 다양한 기술들과의 융합을 통해 사용할 수 있다.
(그림 11)은 QCAR에서 사용되는 모바일 프로그래밍을 위해서 안드로이드 API기반의 프로그래밍 방법에 C언어 기반의 코드를 적용하기 위해서 그림과 같이 JNI를 이용한 방식을 사용하였다. 안드로이드 환경에서 자바외의 C언어를 적용할 수 있는 JNI기반의 방법으로 프로그래밍의 효율을 높일 수 있었다.
따라서 (그림 7)과 같은 9 개의 공간 영역 안의 4방향 벡터를 가진 36차원의 벡터로 차원 수를 줄여서 사용하였다. 차원 수를 줄여 속도 면에서 빠르고 정확도에서도 10% 정도 떨어진 결과를 나타내어 모바일 환경에 사용하기에 적합하다.[10]
책의 내용 부분에 이미지의 형태가 들어간 프레임 마커의 삽입을 통해 모바일 증강현실 구현을 위한 준비 작업을 진행하였다. 프레임 마커의 중앙부분에 이미지를 삽입하여 사용함으로 기존의 ARToolkit 기반의 마커보다 이질감이 줄어든 것을 확인할 수 있었다.
후속연구
이는 사용자가 디스플레이 장치에 보이는 가상의 3차원 객체를 다양한 방법으로 움직이게 하고 크기를 조절하는 등의 방법을 적용하여 증강현실에 대한 몰입감과 흥미를 유발할 수 있다. 또한 더욱 사실감 있는 정보를 제공하기 위해서 3차원 가상 객체만이 아니라 영상이나 실사 이미지 등을 함께 디스플레이 장치에 출력하는 기술에 관한 연구도 필요하다. 향후 학습자가 증강되는 3차원 객체를 바라보는 것이 아닌 앞에서 이야기한 것처럼 다양한 인터페이스와 상호작용을 이용하여 참여할 수 있는 학습 시스템을 지속적으로 개발할 계획이다.
모바일에서 사용되는 빠른 기술들이 자동차에서 적용이 용이하게 이루어질 수 있다. 또한 이 연구를 기반으로 증강현실의 모바일 적용 및 다양한 콘텐츠를 활용한 교육, 게임 분야의 응용으로 발전시킬 계획이다. 또한 사용자와 시스템 간의 적절한 상호작용(interaction) 및 인터페이스(interface)가 필요하다.
대표적인 예로 소형화 기기에 접목된 증강현실 기술의 자동차 분야로의 융합분야가 가장 두드러진다[13][14]. 자동차에서 보는 전면 유리창을 이용한 증강현실과의 융합 연구는 빠른 속도로 발전하고 있으며 앞으로 더욱 각광받는 분야로 발전될 것이다. 모바일에서 사용되는 빠른 기술들이 자동차에서 적용이 용이하게 이루어질 수 있다.
또한 더욱 사실감 있는 정보를 제공하기 위해서 3차원 가상 객체만이 아니라 영상이나 실사 이미지 등을 함께 디스플레이 장치에 출력하는 기술에 관한 연구도 필요하다. 향후 학습자가 증강되는 3차원 객체를 바라보는 것이 아닌 앞에서 이야기한 것처럼 다양한 인터페이스와 상호작용을 이용하여 참여할 수 있는 학습 시스템을 지속적으로 개발할 계획이다.
질의응답
핵심어
질문
논문에서 추출한 답변
카메라 추적 기법의 장점과 문제점은 무엇인가?
일반적인 카메라 추적 기법은 카메라를 통해 입력받은 실시간 영상을 기반으로 특징점(feature)을 검출하여 2차원 좌표를 검출한 후에 3차원 공간상에서 특징점 좌표와의 투영기하학(Projective geometry) 관계를 이용하여 카메라의 위치를 추정한다[3]. 이러한 방법은 물체의 모양의 다양성이나 크기 등의 형태학적인 요소에 충실할 수 있다는 장점이 있으나, 카메라 입력 영상에서 이러한 정보를 취득하기 위해서 정확한 2차원 좌표 검출 및 추적, 3차원 좌표와 2차원 영상의 대응관계 추정을 통하여 기본 정보를 취득하게 되는데 많은 연산과 처리 시간이 걸리는 문제가 있다. 또한 정확한 정보를 취득하는 문제도 풀어야할 연구내용이다.
증강현실이란 무엇인가?
증강현실(AR:Augmented Reality) 기술은 실세계 영상과 가상으로 만들어진 영상들이 정합(registration)되어 디스플레이 장치를 통하여 사용자에게 보여주는 기술이다. 증강현실 기술은 가상현실과는 다르게 실세계 영상 기반의 가상의 추가적인 정보 전달의 개념이 강하다.
증강현실의 목표는 무엇인가?
사용자는 이렇게 현실의 공간에 가상의 정보를 추가적으로 취득하게 되면서 정보의 확장을 경험하고 이를 기반으로 다양한 직간접적 체험을 하게 된다[1][2]. 증강현실의 목표는 실세계의 영상에 가상공간에서 제작된 정보를 합성해서 사용자에게 보여주는 기술이다. 사용자에게 어색하지 않게 보여주기 위해서 실시간으로 정확한 좌표를 추정하고 이를 기준 좌표계와 정합하는 작업을 통해 사용자에게 제공하는 것이다.
참고문헌 (14)
R. Azuma, "A survey of Augmented Reality," Teleoperators and Virtual Environments, pp.355-385, 1997.
J. Hightower, and G. Borriello, "Location systems for ubiquitous computing," IEEE Computer, vol.34, no.8, pp. 57-66, Aug. 2001.
Jae-Young Lee and Jun-Sik Kwon, "Touch-based Gaming System using Augmented Reality Technology", Journal of Digital Contents Society Vol. 15 No. 1, pp. 69-76, Feb. 2014.
Y. Ohta, and H. Tamura, "Mixed Reality: Mergine Real and Virtual Worlds," Springer-Verlag, 1999.
H. Kato, and M. Billinghurst, "Marker Tracking and HMD Calibration for a Video-based Augmented Reality Conferencing System," In Proceedings of the 2nd IEEE and ACM International Workshop on Augmented Reality(IWAR '99), pp. 85-94, San Francisco, USA, Oct. 1999.
H. Kato, M. Billinghurst, I. Poupyrev, K. Imamoto, and K. Tachibana, "Virtual object manipulation on a table-top AR environment," In Proceedings of IEEE and ACM International Symposium on Augmented Reality(ISAR 2000), pp. 111-119, Munich, Germany, Oct. 2000.
D. Wanger, T. Langlotz and D. Schmalstieg, "Robust and Unbtrusive Marker Tracking on Mobile Phones," in Proc. IEEE and ACM International Symposium on Mixed and Augmented Reality, pp.225-234, 2008
D. G. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints," International Journal of Computer Vision, Vol.60, No.2, pp.91-110, 2004.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.