스마트폰의 보급 확산으로 다양한 콘텐츠가 등장하고 있다. 이러한 콘텐츠 중에서 위치 기반 서비스를 이용한 증강현실 응용프로그램의 필요성이 널리 대두되고 있다. 본 논문에서는 안드로이드 스마트폰을 이용한 위치정보기반 AR 시스템에서 발생하는 정합 오차를 컴퓨터 비전 기술을 이용하여 효과적으로 줄이는 방법을 제안한다. 위치정보 오차 누적 때문에 객체가 정확하게 정합되지 않는 부정합 현상 최소화를 위해 연산 속도는 유지하면서 연산량을 줄여 성능을 향상한 방법인 SURF(Speeded Up Robust Features)를 사용해 초기 특징점을 검출하고 검출된 특징점을 추적하여 모바일 환경에 적용한다. 위치정보 검색을 위해 GPS 정보를 사용하고 자세추정 및 방향 정보를 위해 자이로 센서, G-센서 등을 이용한다. 하지만 위치정보의 누적된 오차는 객체가 고정되지 않는 부정합 현상을 유발한다. 또한, 증강현실 기술은 구현하면서 많은 연산량이 필요하므로 모바일 환경에서 구현하는데 어려움이 발생한다. 제안된 방법은 모바일 환경에서 성능 저하를 최소화하고 비교적 간단하게 구현할 수 있어 기존 시스템 및 다양한 모바일 환경에서 유용하게 이용될 수 있다.
스마트폰의 보급 확산으로 다양한 콘텐츠가 등장하고 있다. 이러한 콘텐츠 중에서 위치 기반 서비스를 이용한 증강현실 응용프로그램의 필요성이 널리 대두되고 있다. 본 논문에서는 안드로이드 스마트폰을 이용한 위치정보기반 AR 시스템에서 발생하는 정합 오차를 컴퓨터 비전 기술을 이용하여 효과적으로 줄이는 방법을 제안한다. 위치정보 오차 누적 때문에 객체가 정확하게 정합되지 않는 부정합 현상 최소화를 위해 연산 속도는 유지하면서 연산량을 줄여 성능을 향상한 방법인 SURF(Speeded Up Robust Features)를 사용해 초기 특징점을 검출하고 검출된 특징점을 추적하여 모바일 환경에 적용한다. 위치정보 검색을 위해 GPS 정보를 사용하고 자세추정 및 방향 정보를 위해 자이로 센서, G-센서 등을 이용한다. 하지만 위치정보의 누적된 오차는 객체가 고정되지 않는 부정합 현상을 유발한다. 또한, 증강현실 기술은 구현하면서 많은 연산량이 필요하므로 모바일 환경에서 구현하는데 어려움이 발생한다. 제안된 방법은 모바일 환경에서 성능 저하를 최소화하고 비교적 간단하게 구현할 수 있어 기존 시스템 및 다양한 모바일 환경에서 유용하게 이용될 수 있다.
Spread of smartphone creates various contents. Among many contents, AR application using Location Based Service(LBS) is needed widely. In this paper, we propose error correction algorithm for location-based Augmented Reality(AR) system using computer vision technology in android environment. This me...
Spread of smartphone creates various contents. Among many contents, AR application using Location Based Service(LBS) is needed widely. In this paper, we propose error correction algorithm for location-based Augmented Reality(AR) system using computer vision technology in android environment. This method that detects the early features with SURF(Speeded Up Robust Features) algorithm to minimize the mismatch and to reduce the operations, and tracks the detected, and applies it in mobile environment. We use the GPS data to retrieve the location information, and use the gyro sensor and G-sensor to get the pose estimation and direction information. However, the cumulative errors of location information cause the mismatch that and an object is not fixed, and we can not accept it the complete AR technology. Because AR needs many operations, implementation in mobile environment has many difficulties. The proposed approach minimizes the performance degradation in mobile environments, and are relatively simple to implement, and a variety of existing systems can be useful in a mobile environment.
Spread of smartphone creates various contents. Among many contents, AR application using Location Based Service(LBS) is needed widely. In this paper, we propose error correction algorithm for location-based Augmented Reality(AR) system using computer vision technology in android environment. This method that detects the early features with SURF(Speeded Up Robust Features) algorithm to minimize the mismatch and to reduce the operations, and tracks the detected, and applies it in mobile environment. We use the GPS data to retrieve the location information, and use the gyro sensor and G-sensor to get the pose estimation and direction information. However, the cumulative errors of location information cause the mismatch that and an object is not fixed, and we can not accept it the complete AR technology. Because AR needs many operations, implementation in mobile environment has many difficulties. The proposed approach minimizes the performance degradation in mobile environments, and are relatively simple to implement, and a variety of existing systems can be useful in a mobile environment.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 기존의 위치정보를 이용한 증강현실 애플리케이션의 위치 오차를 컴퓨터 비전 기술을 사용하여 줄이고자 하였다. 이를 위해 자연 특징점을 검출 및 추적하고 카메라 자세 추정 계산을 통해 부정합 현상을 최소화하는 방법을 제안하였다.
실제 환경에서 가상의 물체를 추정하여 증강하려면 많은 과정의 조합으로 구현된다. 본 논문에서는 안드로이드 모바일 시스템에 응용하기 위해 SIFT 알고리즘보다 연산량이 적고 속도가 빠른 SURF 알고리즘을 사용하여 자연 특징점을 추출 및 검출한다. 먼저 자연 특징점 검출을 위해 적분 영상(integral image)과 근사화된 헤시안 검출기(Hessian detector)를 기반으로 자연 특징점을 추출하는 고속 헤시안 검출기(fast-Hessian detector)를 사용한다[16],[17].
고속 헤시안 매트릭스를 통해 검출된 자연 특징점 후보들의 응답(response) 값들의 합을 각방향으로 자연 특징점 후보들에 대해 오리엔테이션을 할당한다. 이러한 특징점 후보들을 바탕으로 강건한 자연 특징점들을 검출한다. (그림 7)의 (a)는 검출된 자연 특징점의 정보를 바탕으로 레퍼런스 이미지와 카메라 입력 영상과의 자연 특징점 매칭을 수행한 결과 영상이다.
가설 설정
하지만 이 값으로는 대상 객체의 높이 및 위치를 추정할 수 없어 객체의 2차원 좌표값에 대한 3차원 공간상으로의 역사영을 통하여 대상 객체의 높이 및 위치를 계산되는 개념을 (그림 4)에 보인다. 제안된 시스템은 카메라 입력 영상 에서 검출한 좌표값은 2차원이기 때문에, 이를 3차원 공간으로 변환할 때 깊이 값(z축)이 모두 0이라는 가정을 한다. 만약 검출된 자연 특징점 화소들이 동일 평면에 있지 않으면 오차가 생길수 있다는 문제점을 가진다.
제안 방법
초기 카메라로부터 입력 반은 영상을 C/C++에서 처리할 수 있는 영상의 타입으로 변환시켜 C/C++에서 구현된 자연 특징점 검출 및 추적, 그리고 카메라 자세 추정 및 영상의 정합을 효과적으로 수행하여 기존 위치정보기반 AR System에서 발생하는 부정합 현상을 최소화시킨다. (그림 6)과 같이 카메라 영상의 입출력 수행은 안드로이드 API에서 수행하였고, 제안된 수행과정은 JNI를 통해 C++로 프로그래밍하였다.
Sensor 등을 이용하여 찾은 정보를 컴퓨터 비전 기술로 부정합 현상을 최소화하는 방법을 제안 한다. 실세계에서 응용할 수 있는 범위가 한정된 기존의 정해진 형태의 마커와는 달리 자연 상태의 정보를 통해 특징점을 추출함으로써 더욱 넓은 범위에서 증강현실 기술의 활용이 가능하고 자연 특징점을 추출하여 사용하는 마커리스(markerless) 기반의 시스템 연구가 많이 진행되었다[12],[13].
(그림 3)은 기준영상을 취득하기 위하여 다각도에서 레퍼런스 이미지를 촬영한 영상이다. 이러한 정보를 갖고 SURF 알고리즘을 통해 카메라 입력 영상 기반의 자연 특징점을 검출한다. 그리고 미리 학습된 레퍼런스 이미지의 자연 특징점과의 매칭을 통해 일치하는지 검사하게 된다.
본 논문에서는 기존의 위치정보를 이용한 증강현실 애플리케이션의 위치 오차를 컴퓨터 비전 기술을 사용하여 줄이고자 하였다. 이를 위해 자연 특징점을 검출 및 추적하고 카메라 자세 추정 계산을 통해 부정합 현상을 최소화하는 방법을 제안하였다. 제안된 시스템은 자연 특징점 검출 및 추적에 안정적이면서도 빠른 연산 속도를 보여 기존의 위치기반서비스를 사용하는 증강현실 애플리케이션에 바로 적용할 수 있을 뿐만 아니라 다양한 모바일 환경에서 유용하게 이용될 수 있다.
따라서 초기화 시카메라가 배경 영상의 평면과 수직 방향에 위치해야 한다는 전제를 필요로 하고 있다[18]. 이후연속된 프레임에서 취득한 특징점의 2차원 좌표와 초기화 단계에서 취득한 3차원 공간 좌표의 관계를 통해서 카메라의 자세 정보를 계산한다. 3차원 공간 내의 한점 \(M=(X, Y, Z)\,\)와 영상의 한 점 \(m=(x, y)\)에 대한 동차 좌표계 좌표를 각각 #과 #라고 할 때, 이들 사이의 사영 관계는 3 × 4 카메라 행렬 #에 의해서 다음과 같이 정의된다.
자연 특징점을 중심으로 4×4의 세부 영역을 구성하고각 세부 영역에서 Haar 웨이블릿(Haar wavelet feature)을 사용하여 영상 피라미드를 구성하는데 있어서 스케일링된 영상을 사용하는 SIFT 알고리즘과는 달리 사각 필터의 크기를 변화시켜 특징을 추출한다.
컨벌루션을 계산하는데 앞서 연산을 통해 얻어진 적분 영상을 이용함으로써 사각 영역의 크기에 상관없이 빠르게 헤시안 매트릭스(Hessian matrix)를 구하고 자연 특징점을 찾아낸다. 찾아낸 자연 특징점을 추적하기 위해 헤시안 매트릭스에서 계산한 라플라시안의 부호를 비교해서 간단하게 매칭을 한다. 이렇게하면 추가적인 연산도 필요하지 않고, 표현자(descriptor)의 성능감소 없이도 매칭 속도가 증가하게 된다[15].
자연 특징점을 중심으로 4×4의 세부 영역을 구성하고각 세부 영역에서 Haar 웨이블릿(Haar wavelet feature)을 사용하여 영상 피라미드를 구성하는데 있어서 스케일링된 영상을 사용하는 SIFT 알고리즘과는 달리 사각 필터의 크기를 변화시켜 특징을 추출한다. 컨벌루션을 계산하는데 앞서 연산을 통해 얻어진 적분 영상을 이용함으로써 사각 영역의 크기에 상관없이 빠르게 헤시안 매트릭스(Hessian matrix)를 구하고 자연 특징점을 찾아낸다. 찾아낸 자연 특징점을 추적하기 위해 헤시안 매트릭스에서 계산한 라플라시안의 부호를 비교해서 간단하게 매칭을 한다.
대상 데이터
그리고 Android Device 환경은 HTC NexusOne Android 2.3, QSD8250 1GHz, RAM 512MB 와 HTC Sensation Android 2.3, QSD MSM8260 1.5GHz, RAM 768MB이고 사용된 영상 크기는 카메라 입력 영상 160×120 pixel로 설정하였다.
이론/모형
본 논문에서는 안드로이드 모바일 시스템에 응용하기 위해 SIFT 알고리즘보다 연산량이 적고 속도가 빠른 SURF 알고리즘을 사용하여 자연 특징점을 추출 및 검출한다. 먼저 자연 특징점 검출을 위해 적분 영상(integral image)과 근사화된 헤시안 검출기(Hessian detector)를 기반으로 자연 특징점을 추출하는 고속 헤시안 검출기(fast-Hessian detector)를 사용한다[16],[17]. 자연 특징점을 중심으로 4×4의 세부 영역을 구성하고각 세부 영역에서 Haar 웨이블릿(Haar wavelet feature)을 사용하여 영상 피라미드를 구성하는데 있어서 스케일링된 영상을 사용하는 SIFT 알고리즘과는 달리 사각 필터의 크기를 변화시켜 특징을 추출한다.
Java 기반인 안드로이드 API의 수행 능력은 연산 속도의 저하 등의 많은제약이 발생하게 되어 C++ 환경의 수행 능력보다 떨어진다. 이러한 점을 보완하고자 JNI(Java Native Interface)를 사용한다. JNI는 C/C++에서의 함수를 바로 호출해주기 때문에 시스템의 성능 저하를 최소화하여 안드로이드 모바일 환경에서 실시간으로 컴퓨터 비전 기술을 구현할 수있게 도와준다.
SURF 알고리즘은 SIFT 알고리즘보다 2배 이상의 빠른 연산 속도를 유지하면서 증강되는 3차원 객체가 안정적으로 정합하고 증강되는 결과가 나왔다. 이에 본 논문에서는 안드로이드 환경의 SURF 알고리즘을 채용하였다.
성능/효과
(그림 8)은 데스크톱PC 환경에서 SURF 알고리즘과 SIFT 알고리즘을 사용하여 3차원 객체를 정합하고 증강한 결과 영상의 초당 프레임률(FPS:Frame Per Second) 측정 결과로 SURF 알고리즘은 평균 30.63fps으로, SIFT 알고리즘은 12.29fps로 측정되었다. SURF 알고리즘은 SIFT 알고리즘보다 2배 이상의 빠른 연산 속도를 유지하면서 증강되는 3차원 객체가 안정적으로 정합하고 증강되는 결과가 나왔다.
(그림 9)는 기존 데스크탑PC 시스템과 제안된안드로이드 시스템에서 초당 프레임률을 측정한 결과로 과 같으며, 기존 시스템은 평균 20.84fps, 제안된 시스템은 평균17.02fps로 측정되었다.
29fps로 측정되었다. SURF 알고리즘은 SIFT 알고리즘보다 2배 이상의 빠른 연산 속도를 유지하면서 증강되는 3차원 객체가 안정적으로 정합하고 증강되는 결과가 나왔다. 이에 본 논문에서는 안드로이드 환경의 SURF 알고리즘을 채용하였다.
02fps로 측정되었다. 기존 데스크탑PC 환경보다 느린 것으로 보이나 실험에 사용된 스마트폰이 1GHz 초기모델에서의 실험환경임을 고려하면 빠른 연산과 안정적으로 구현되었음을 확인할 수 있다. 제안된 시스템은 안드로이드 모바일 환경에서 좋은 결과를 보였고 다양한 모바일 환경에서도 충분히 적용할 수 있음을 보였다.
기존 데스크탑PC 환경보다 느린 것으로 보이나 실험에 사용된 스마트폰이 1GHz 초기모델에서의 실험환경임을 고려하면 빠른 연산과 안정적으로 구현되었음을 확인할 수 있다. 제안된 시스템은 안드로이드 모바일 환경에서 좋은 결과를 보였고 다양한 모바일 환경에서도 충분히 적용할 수 있음을 보였다.
후속연구
이를 위해 자연 특징점을 검출 및 추적하고 카메라 자세 추정 계산을 통해 부정합 현상을 최소화하는 방법을 제안하였다. 제안된 시스템은 자연 특징점 검출 및 추적에 안정적이면서도 빠른 연산 속도를 보여 기존의 위치기반서비스를 사용하는 증강현실 애플리케이션에 바로 적용할 수 있을 뿐만 아니라 다양한 모바일 환경에서 유용하게 이용될 수 있다. 향후 진행될 연구에서는 실제 증강현실 애플리케이션에 제안한 기법을 적용하고 LKT[20]와 같이 특징점 추적에 강건하고 연산속도를 향상시키는 방법을 포함해 데스크탑 PC 환경에서보다 속도 및 안정적인 운용 면에서도 진전된 연구를 진행할 예정이다.
제안된 시스템은 자연 특징점 검출 및 추적에 안정적이면서도 빠른 연산 속도를 보여 기존의 위치기반서비스를 사용하는 증강현실 애플리케이션에 바로 적용할 수 있을 뿐만 아니라 다양한 모바일 환경에서 유용하게 이용될 수 있다. 향후 진행될 연구에서는 실제 증강현실 애플리케이션에 제안한 기법을 적용하고 LKT[20]와 같이 특징점 추적에 강건하고 연산속도를 향상시키는 방법을 포함해 데스크탑 PC 환경에서보다 속도 및 안정적인 운용 면에서도 진전된 연구를 진행할 예정이다.[21]
질의응답
핵심어
질문
논문에서 추출한 답변
실세계는 어떤 공간이라고 할 수 있는가?
증강현실 기술은 카메라로 보이는 현실의 공간 속에 3차원 가상 객체를 마커에 정합하는 기술로써 사용자와 상호작용이 가능 하게 하여 흥미와 몰입을 극대화할 수 있는 기술 이다. 실세계는 인위적인 시스템만으로는 완벽하게 대체될 수 없는 많은 정보를 포함하고 있으며, 이를 현실감 있게 전달하는 가장 완벽한 공간이라고 할 수 있다. 즉, 증강현실은 실세계와 가상세계를 결합함으로써 실시간으로 상호작용하여 사용자의 지각과 일 처리에 도움을 주는 기술이라 할 수 있다[2],[3].
위치 기반 서비스 정보를 이용한 증강현실 애플리케이션의 대표적인 예로는 어떤 것들이 있는가?
이러한 콘텐츠 중에서 정보검색을 위해 GPS(Global Positioning System) 정보를 사용하고 자세추정 및 방향 정보를 활용하기 위해 Gyro Sensor, G-Sensor 등을 사용한 위치 기반 서비스(LBS:Location- Based Service) 정보를 이용한 증강현실 애플리케이션들을 많이 볼 수 있다. 대표적인 예로 Ovjet[4]와 Layar[5], ScanSearch[6]등으로 위치 정보에 해당하는 데이터를 사용자에게 제공함 으로써, 더욱 편리하고 효과적인 정보를 제공한다. 하지만 이때 발생하는 GPS 정보의 오차를 줄이지 못해 정보 전달에 정확한 결과를 얻지 못한다.
증강현실 기술이란 무엇인가?
이것은 컴퓨터 모델을 이용하여 생성된 현실성을 강조한 가상의 정보를 현실 세계에 대한 이해와 인식력을 개선하고 향상한다[1]. 증강현실 기술은 카메라로 보이는 현실의 공간 속에 3차원 가상 객체를 마커에 정합하는 기술로써 사용자와 상호작용이 가능 하게 하여 흥미와 몰입을 극대화할 수 있는 기술 이다. 실세계는 인위적인 시스템만으로는 완벽하게 대체될 수 없는 많은 정보를 포함하고 있으며, 이를 현실감 있게 전달하는 가장 완벽한 공간이라고 할 수 있다.
참고문헌 (21)
S. H. Lee, S. K. Lee and J. S. Choi, "Real-time camera tracking using a particle filter and multiple featuretrackers," Games Innovations Conference, 2009. ICE-GIC 2009. International IEEE Consumer Electronics Society's, pp. 29-36, Aug. 2009.
H. Park and J. I. Park, "Invisible Marker Tracking for AR," in Proc. IEEE and ACM International Symposium on Mixed and Augmented Reality, Arlington, USA, Nov. 2004.
R. Azuma, "Recent Advances in Augmented Reality", IEEE Computer Graphic and Applications, vol. 21, pp. 34-47, 2001.
http://www.ovjet.com
http://www.layar.com
http://www.scan-search.com
S. K. Choi, "The Case Analysis of Augmented Reality Contents Services and Business Forecast," KSII, vol. 12, no. 1, pp. 51-62, Mar. 2011.
G. Klein and D. Murray, "Parallel tracking and mapping for small AR workspaces," in Proc. IEEE and ACM International Symposium on Mixed and Augmented Reality, pp. 225-234, Sep. 2007.
A. Davison, I. Reid, N. Morton and O. Stasse, "Monoslam: Real-time single camera slam," IEEE Trans.Pattern Analysis and Machine Intelligence, vol. 29,no.6, pp. 1052-1067, Jun. 2007.
P. Keitler, "Mobile Augmented Reality based 3D Snapshots," in Proc. IEEE and ACM International Symposium on Mixed and Augmented Reality, pp. 199-200, 2009.
S. J. Velat, J. S. Lee, N. Johnson, and C. D. Crane,"Vision Based Vehicle Localization for Autonomous Navigation," in Proc. IEEE International Symposium on Computational Intelligence in Robotics and Automation, pp. 528-533, Jun. 2007.
D. Wanger, T. Langlotz and D. Schmalstieg, "Robust and Unbtrusive Marker Tracking on Mobile Phones," in Proc. IEEE and ACM International Symposium on Mixed and Augmented Reality, pp. 225-234,Sep. 2008.
P. Viola and M. Jones, "Rapid object detection usinga boosted cascade of simple features," IEEE Conference on Computer Vision and Pattern Recognition,pp. 511-518, 2001.
D. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints," International Journal of Computer Vision, vol. 60, pp. 91-110, Feb. 2004.
H. Bay, T. Tuytelaars, and L. V. Gool, "Speeded-Up Robust Features(SURF)," Similarity Matching in Computer Vision and Multimedia, vol. 110, pp. 346-359, Jun. 2008.
K. Mikolajczyk and C. Schmid, Indexing based onscale invariant interest points," in Proc. IEEE Conference on Computer Vision, vol. 1, pp. 525-531, 2001.
T. Lindeberg. "Feature detection with automatic scale selection," International Journal of Computer Vision, Vol. 30 pp. 77-116, Nov. 1998.
A. H. Lee, J. Y. Lee, S. H. Lee, and J. S. Choi, "Augmented Reality System using Planar Natural Feature Detection," IEEK, vol. 48, SP no. 4, pp.49-58, Jul.2011.
S. H. Lee and J. S. Choi, "Estimation of HumanHeight and Position using a Single Camera," IEEK, vol. 45, SC no. 3, pp. 20-31, May. 2008.
J-Y. Bouguet, "Pyramidal Implementation of the Lucas Kanade Feature Tracker," Intel Corporation, Microprocessor Research Labs, 2000.
J. Y. Lee and J. S. Kwon, "Touch-based Gaming System using Augmented Reality Technology," Journal of Digital Contents Society, vol. 15, no. 1, pp.69-76, Feb. 2014.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.