본 논문은 신문, 잡지, 앨범 등에서 추출한 정적인 영상으로부터 이와 연계된 동영상을 증강현실로 보여주는 서비스를 제공하는 시스템을 설계하고 구현하였다. 먼저, 매체에 인쇄되어 있는 원본 영상에 대하여 SURF 알고리즘을 이용하여 특징점을 추출하여 관련 동영상과 함께 저장한다. 다음으로 스마트폰 등의 모바일 기기의 카메라를 이용하여 이미지를 촬영하면, 이의 특징점을 실시간으로 추출하여 이와 매칭되는 원본 영상을 검색하여 연결된 동영상을 불러와서 스마트폰을 통해 증강현실로 보여준다. 제안 시스템은 안드로이드 스마트폰에 적용시켜 보았으며 테스트 결과, 인쇄매체의 이미지 일부가 오염 또는 훼손되어도 인식에 문제가 없이 잘 동작함을 확인하였다.
본 논문은 신문, 잡지, 앨범 등에서 추출한 정적인 영상으로부터 이와 연계된 동영상을 증강현실로 보여주는 서비스를 제공하는 시스템을 설계하고 구현하였다. 먼저, 매체에 인쇄되어 있는 원본 영상에 대하여 SURF 알고리즘을 이용하여 특징점을 추출하여 관련 동영상과 함께 저장한다. 다음으로 스마트폰 등의 모바일 기기의 카메라를 이용하여 이미지를 촬영하면, 이의 특징점을 실시간으로 추출하여 이와 매칭되는 원본 영상을 검색하여 연결된 동영상을 불러와서 스마트폰을 통해 증강현실로 보여준다. 제안 시스템은 안드로이드 스마트폰에 적용시켜 보았으며 테스트 결과, 인쇄매체의 이미지 일부가 오염 또는 훼손되어도 인식에 문제가 없이 잘 동작함을 확인하였다.
In this paper, a service system which shows linked video clips from the static images extracted from newspapers, magazines, photo albums and etc in an augmented reality. First, the system uses SURF algorithm to extract features from the original photos printed in the media and stores them with the l...
In this paper, a service system which shows linked video clips from the static images extracted from newspapers, magazines, photo albums and etc in an augmented reality. First, the system uses SURF algorithm to extract features from the original photos printed in the media and stores them with the linked video clips. Next, when a photo is taken by using a camera from mobile devices such as smart phones, the system extracts features in real time, search a linked video clip matching the original image, and shows it on the smart phone in an augmented reality. The proposed system is applied to Android smart phone devices and the test results verify that the proposed system operates not only on normal photos but also on partially damaged photos.
In this paper, a service system which shows linked video clips from the static images extracted from newspapers, magazines, photo albums and etc in an augmented reality. First, the system uses SURF algorithm to extract features from the original photos printed in the media and stores them with the linked video clips. Next, when a photo is taken by using a camera from mobile devices such as smart phones, the system extracts features in real time, search a linked video clip matching the original image, and shows it on the smart phone in an augmented reality. The proposed system is applied to Android smart phone devices and the test results verify that the proposed system operates not only on normal photos but also on partially damaged photos.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 스마트 모바일 단말 기반 증강현실 기술 구현을 위해 스마트 단말 장치에 내장된 카메라와 이미지 처리 기술을 활용하여 사용자가 신문, 잡지 등에 인쇄된 현실세계의 영상을 인식하여, 이와 연결된 동영상 정보를 현실세계의 영상에 겹쳐서 보여주게 함으로써 보다 동적인 동영상 서비스를 제공하는 방안을 제안한다. 단순한 위치 기반 방식보다는 SURF 알고리즘 등과 같은 영상처리기법을 활용한 증강현실 기술 구현을 통하여 스마트폰 등의 단말장치에서 증강현실 서비스 기술을 다양하게 확장하여 응용 활용할 수 있음을 보여준다.
제안된 시스템은 이미지가 포함된 신문, 잡지 등의 책자를 보다가 스마트폰 등의 스마트 장치를 이용하여 책자의 이미지를 인식하여 해당 이미지와 매칭된 동영상을 불러와서 증강현실 형태로 보여주는 증강현실기반 동영상 서비스 시스템을 구현하였다. 본 논문에서는 신문, 잡지, 앨범 등의 이미지가 포함되어 정보를 제공하는 인쇄물을 제작할 때 인쇄되는 이미지에 대한 특징점을 추출하여 특징점 정보와 함께 이와 매칭되는 동영상 정보를 서버에 저장한다. 그리고 제작된 인쇄매체에 삽입되어 있는 이미지를 스마트폰으로 인식하여 해당 영상과 연계된 동영상을 실시간으로 증강현실로 보여준다.
본 논문에서는 영상인식 및 증강현실을 이용한 실시간 동영상 정보서비스 시스템을 구현하였다. 기존의 신문, 잡지, 앨범 등의 인쇄 매체는 정적인 이미지를 통한 서비스만을 제공하였으나, 제안 시스템은 정적인 이미지뿐만 아니라 필요시에 정적 이미지와 연결하여 실시간으로 동영상 정보를 증강현실 형태로 보여주는 시스템을 구현하였다.
본 논문에서는 인쇄된 링커 이미지가 포함된 책자를 보다가 스마트폰 등의 스마트 장치를 이용하여 책자의 이미지를 인식하여 해당 이미지와 링커된 동영상을 불러와서 증강현실 형태로 보여주는 증강현실기반 동영상 서비스 시스템을 구현하였다.
본 연구에서는 기존의 정적영상을 이용한 정보서비스에 대한 단점을 보완하고자 영상인식 및 증강현실을 이용한 동영상 정보서비스를 할 수 있도록 하는 시스템을 구현하였다.
제안 방법
본 시스템은 먼저 매체에 인쇄된 링커 이미지의 특징점을 추출하여 동영상과 매칭하여 저장한다. 그리고 스마트폰 등의 카메라를 이용하여 신문 잡지에 인쇄된 링커 이미지를 인식하고 특징점을 실시간으로 추출하여 매칭된 동영상을 불러와서 스마트폰을 통해 증강현실로 보여준다. 본 구현 시스템의 테스트 결과 일부 오염된 이미지의 경우에도 정확하게 인식하여 동영상 서비스를 제공할 수 있었다.
기술어를 생성하는 방법은 먼저 특징점의 벡터가 갖는 방향(Orientation)을 계산하기 위해 6σ의 크기를 갖는 반지름 내에 있는 점들의 Haar 웨이블릿 응답을 계산한다.
본 논문에서는 영상인식 및 증강현실을 이용한 실시간 동영상 정보서비스 시스템을 구현하였다. 기존의 신문, 잡지, 앨범 등의 인쇄 매체는 정적인 이미지를 통한 서비스만을 제공하였으나, 제안 시스템은 정적인 이미지뿐만 아니라 필요시에 정적 이미지와 연결하여 실시간으로 동영상 정보를 증강현실 형태로 보여주는 시스템을 구현하였다. 본 시스템은 먼저 매체에 인쇄된 링커 이미지의 특징점을 추출하여 동영상과 매칭하여 저장한다.
본 논문에서 제안한 SURF 알고리즘을 이용한 스마트 모바일 장치 기반 증강현실 동영상 서비스 시스템을 구현한 후 그에 대한 효용성을 테스트하였다. 먼저 SURF 알고리즘을 이용하여 링커 이미지에 대하여 특징점을 추출하여 서버에 저장하고 이와 연결하여 동영상을 저장하였다. 신문, 잡지 등의 인쇄매체에 인쇄된 링커 이미지를 스마트폰 등의 카메라를 통하여 촬영하여 특징점을 추출한 후, 서버에 저장된 이미지들의 특징점과 매칭되는 원본 링커 이미지 정보를 찾아서 이와 연결된 동영상을 보여준다.
매칭하는 방법은 서버의 기술어들과 스마트폰의 기술어들에 대하여 유클리디안 거리(Euclidean distance)를 이용하여 유사성을 구한다. 모든 서버의 원본 이미지 기술어 쌍에 대하여 유사성이 가장 높은 이미지를 정합하여 해당 이미지에 연결된 동영상을 호출하여 스트리밍 방식으로 스마트폰으로 전송한다. 스마트폰에서는 카메라 프레임과 위치좌표를 매핑하여 스트리밍 데이터를 재생한다.
본 논문에서 제안한 SURF 알고리즘을 이용한 스마트 모바일 장치 기반 증강현실 동영상 서비스 시스템을 구현한 후 그에 대한 효용성을 테스트하였다. 먼저 SURF 알고리즘을 이용하여 링커 이미지에 대하여 특징점을 추출하여 서버에 저장하고 이와 연결하여 동영상을 저장하였다.
그림 3은 링커 이미지의 특징점을 추출하는 것을 나타낸 것이다. 본 논문에서는 링커 이미지를 만들 때 임의의 이미지를 가지고 링커 이미지를 생성하거나, 또는 동영상의 첫 번째 프레임을 링커 이미지로 사용한다.
본 논문의 시스템에서는 먼저 동영상을 저장서버에 저장할 때, 스마트폰 카메라 등으로 인식 과정을 통해 이와 연결된 동영상을 보여주기 위한 연결점의 역할을 하는 인쇄 매체 등에 인쇄된 이미지에 대한 정보를 함께 저장한다. 본 논문에서는 연결점이 되는 인쇄물에 인쇄된 이미지를 링커 이미지(Linker Image)라고 정의 한다.
기존의 신문, 잡지, 앨범 등의 인쇄 매체는 정적인 이미지를 통한 서비스만을 제공하였으나, 제안 시스템은 정적인 이미지뿐만 아니라 필요시에 정적 이미지와 연결하여 실시간으로 동영상 정보를 증강현실 형태로 보여주는 시스템을 구현하였다. 본 시스템은 먼저 매체에 인쇄된 링커 이미지의 특징점을 추출하여 동영상과 매칭하여 저장한다. 그리고 스마트폰 등의 카메라를 이용하여 신문 잡지에 인쇄된 링커 이미지를 인식하고 특징점을 실시간으로 추출하여 매칭된 동영상을 불러와서 스마트폰을 통해 증강현실로 보여준다.
그림 4는 링커 이미지를 인식하여 링커된 동영상을 재생하는 흐름도이다. 스마트폰 카메라로 링커 이미지를 촬영하면 촬영된 카메라 프레임에 대해 SURF알고리즘을 적용 하여 특징점 및 기술어(Descriptor)를 추출한다. 추출된 기술어 정보를 서버로 전송한다.
인쇄된 링커 영상의 특징점을 서버로 전송하여 이전에 저장되어 있는 링커 영상의 특징점과 비교한다. 특징점이 정확하게 매칭된다면 이 특징점에 해당되는 동영상을 RTSP(Real-Time Streaming Protocol)방식으로 동영상 데이터를 스마트폰으로 전송한다.
제안된 시스템은 이미지가 포함된 신문, 잡지 등의 책자를 보다가 스마트폰 등의 스마트 장치를 이용하여 책자의 이미지를 인식하여 해당 이미지와 매칭된 동영상을 불러와서 증강현실 형태로 보여주는 증강현실기반 동영상 서비스 시스템을 구현하였다. 본 논문에서는 신문, 잡지, 앨범 등의 이미지가 포함되어 정보를 제공하는 인쇄물을 제작할 때 인쇄되는 이미지에 대한 특징점을 추출하여 특징점 정보와 함께 이와 매칭되는 동영상 정보를 서버에 저장한다.
이론/모형
스마트폰 등의 카메라를 이용하여 링커 이미지를 인식하여 링커된 동영상을 보기 위하여, 링커 이미지의 특징점을 추출하여 동영상과 함께 저장해야 한다. 이 링커 이미지의 특징점을 추출하기 위해서 본 논문에서는 SURF(Speeded Up Robust Features)알고리즘을 이용한다. 그림 2는 링커 이미지와 동영상 정보를 저장하는 블럭도를 나타낸다.
성능/효과
그리고 스마트폰 등의 카메라를 이용하여 신문 잡지에 인쇄된 링커 이미지를 인식하고 특징점을 실시간으로 추출하여 매칭된 동영상을 불러와서 스마트폰을 통해 증강현실로 보여준다. 본 구현 시스템의 테스트 결과 일부 오염된 이미지의 경우에도 정확하게 인식하여 동영상 서비스를 제공할 수 있었다.
후속연구
향후 연구과제로는 이미지뿐만 아니라 이미지 내의 다양한 사물에 대해서도 인식하여 그 사물에 대한 정보를 사용자에게 서비스하는 연구를 통하여 사용자의 입장에서는 사물에 대한 의미를 보다 더 쉽고 편리하게 이해할 수 있도록 할 것이다. 또한 고속 무선네트워크를 기반으로 한 공간 센싱과 실시간 비주얼 탐색, 실시간 특징 추적과 사물 인식 등을 활용한 증강현실 응용 연구도 계속 진행할 예정이다.
향후 연구과제로는 이미지뿐만 아니라 이미지 내의 다양한 사물에 대해서도 인식하여 그 사물에 대한 정보를 사용자에게 서비스하는 연구를 통하여 사용자의 입장에서는 사물에 대한 의미를 보다 더 쉽고 편리하게 이해할 수 있도록 할 것이다. 또한 고속 무선네트워크를 기반으로 한 공간 센싱과 실시간 비주얼 탐색, 실시간 특징 추적과 사물 인식 등을 활용한 증강현실 응용 연구도 계속 진행할 예정이다.
질의응답
핵심어
질문
논문에서 추출한 답변
증강현실이란?
증강현실은 현실 세계와 가상 세계가 결합되는 기술을 의미한다. 보이지 않는 정보를 실세계 정보에 투영하고 서로 상호 작용함으로써 현실 세계에 대해 다양한 디지털 정보를 보다 실감나게 체험할 수 있도록 한다.
증강현실의 핵심적인 부분은 무엇인가?
보이지 않는 정보를 실세계 정보에 투영하고 서로 상호 작용함으로써 현실 세계에 대해 다양한 디지털 정보를 보다 실감나게 체험할 수 있도록 한다. 이러한 증강현실의 핵심적인 부분은 가상의 객체가 실질적인 3차원 좌표계 환경에 정확히 일치시키는 것이다. 일반적인 과정으로는 위치(positioning), 렌더링(rendering), 병합(merging)으로 구성된다.
증강현실을 구현하기 위한 3차원 좌표계 환경를 일치시키는 과정은 어떻게 구성되는가?
이러한 증강현실의 핵심적인 부분은 가상의 객체가 실질적인 3차원 좌표계 환경에 정확히 일치시키는 것이다. 일반적인 과정으로는 위치(positioning), 렌더링(rendering), 병합(merging)으로 구성된다. 위치는 가상의 객체를 카메라의 위치에 맞춰 변환 및 회전하는 과정이고, 렌더링은 3D모델로부터 투영된 2D 영상을 계산하는 과정이고, 병합은 가상의 객체를 실세계 환경과 병합하는 영상 처리이다[4].
참고문헌 (12)
홍동표, 우운택, "모바일 증강 현실 시스템에 대한 연구 동향," 한국정보과학회지, 26, 1, pp. 5-14, 2008.
S. Oh and W. Woo, "CAMAR: Context-aware Mobile Augmented Reality in Smart Space," International Workshop on Ubiquitous Virtual Reality, pp.48-51, 2009.
Windsor Holden, Mobile Augmented Reality-A whole new world, Whitepaper, Juniper research, 2009.
전준철, "모바일 증강현실 물체와 몰입형 상호작용을 위한 비전기반 동작제어," 한국 인터넷정보학회, 제12권 3호, pp.119-129, 2011.
Lee, T. and Hollerer, T., "Hand AR: Markerless Inspection of Augmented Reality Objects Using Fingertip Tracking," In Proceedings of IEEE International Symposium on Wearable Computers, pp. 83-90, 2007.
조휘준, 김대원, "이미지 인식을 이용한 비마커 기반 모바일 증강현실 기법 연구," 신호처리.시스템학회논문지, v.12 no.4, pp.258-266, 2011.
H. Bay. T. Tuytelaars, and L. V. Gool. "SURF:Speed Up Robust Feature," In Computer Vision of Lecture Notes in the Computer Science, Springer, Vol.3951, pp.404-417, 2006.
윤협섭, 한영준, 한헌수, "컬러 불변 특징과 광역 특징을 갖는 확장 SURF(Speed Up Robust Features) 알고리즘", 전자공학회 논문지 제46권, SP편 제6호, 2009.
목승준, 정경부, 최병욱, "건물 증강현실을 위한 특징점들의 반복패턴 군집화 및 정합," 정보과학회논문지 : 소프트웨어 및 응용, 제39권 제11호, pp.902-911, 2012.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.