프로젝션 기반의 증강현실(AR, augmented reality) 시스템이란, 고화질의 가상 정보를 프로젝터를 통하여 정해진 공간에 정확하게 표시해 주는 시스템을 말한다. 대부분의 증강현실 시스템은 사용자의 몰입감을 높이기 위해 고화질, 대화면을 제공하기 위한 디스플레이 장치를 사용한다. 또한 영상처리의 복잡도에 따라 고성능의 프로세스 장치를 요구하기 때문에 데스크탑 환경에서 처리되었다. 하지만 이러한 데스크탑 환경에서의 증강현실 시스템은 휴대가 불편하다는 단점을 가지고 있다. 다행히, 최근 프로젝터의 소형화와 모바일 프로세서의 성능 향상은 휴대가 편리한 모바일 증강현실 시스템의 등장을 가능하게 하였다. 그러나 기존의 모바일 증강현실 시스템은 작은 디스플레이를 이용하여 영상 정보를 표시해 주기 때문에 높은 해상도를 지원할 수 없으며, 사용자의 몰입감을 감소시킨다는 단점을 가지고 있다. 본 논문에서는 기존의 모바일 증강현실 시스템의 단점을 보완하기 위하여 PDA와 휴대형 프로젝터를 결합함으로써 장소의 제약 없이 고화질, 대화면의 증강현실 영상을 제공해 줄 수 있는 휴대형 프로젝션 기반의 디스플레이 시스템을 제안한다. 다양한 실험 결과 및 사용자 평가를 통해 모바일 환경에서의 프로젝션 기반의 증강 현실 시스템의 활용 가능성을 제시한다.
프로젝션 기반의 증강현실(AR, augmented reality) 시스템이란, 고화질의 가상 정보를 프로젝터를 통하여 정해진 공간에 정확하게 표시해 주는 시스템을 말한다. 대부분의 증강현실 시스템은 사용자의 몰입감을 높이기 위해 고화질, 대화면을 제공하기 위한 디스플레이 장치를 사용한다. 또한 영상처리의 복잡도에 따라 고성능의 프로세스 장치를 요구하기 때문에 데스크탑 환경에서 처리되었다. 하지만 이러한 데스크탑 환경에서의 증강현실 시스템은 휴대가 불편하다는 단점을 가지고 있다. 다행히, 최근 프로젝터의 소형화와 모바일 프로세서의 성능 향상은 휴대가 편리한 모바일 증강현실 시스템의 등장을 가능하게 하였다. 그러나 기존의 모바일 증강현실 시스템은 작은 디스플레이를 이용하여 영상 정보를 표시해 주기 때문에 높은 해상도를 지원할 수 없으며, 사용자의 몰입감을 감소시킨다는 단점을 가지고 있다. 본 논문에서는 기존의 모바일 증강현실 시스템의 단점을 보완하기 위하여 PDA와 휴대형 프로젝터를 결합함으로써 장소의 제약 없이 고화질, 대화면의 증강현실 영상을 제공해 줄 수 있는 휴대형 프로젝션 기반의 디스플레이 시스템을 제안한다. 다양한 실험 결과 및 사용자 평가를 통해 모바일 환경에서의 프로젝션 기반의 증강 현실 시스템의 활용 가능성을 제시한다.
Projection-based augmented reality (AR) system refers to the system that accurately project high quality virtual information at the user-specified area by using the projector. Most of projection-based AR systems use the display device to support high quality and wide screen for increasing the user-i...
Projection-based augmented reality (AR) system refers to the system that accurately project high quality virtual information at the user-specified area by using the projector. Most of projection-based AR systems use the display device to support high quality and wide screen for increasing the user-immersion. Furthermore, they are implemented on the desktop environment due to the computational complexity. However, these projection-based AR systems are not suited as a mobile system and thus it may be inconvenient in the user point of view. Fortunately, Miniaturization of projectors and improved capacity of the mobile processor allowed the mobile AR system to be convenient. The limitation of established mobile AR system is that it uses small display screen which does not support high-resolutions and thus it may reduce the user-immersion into the system. In this paper, we propose portable projection-based display system, which overcomes the limitations of both projection-based and mobile-based AR systems. We have conducted the user evaluation to verify the effectiveness and the utmost capacity of the system.
Projection-based augmented reality (AR) system refers to the system that accurately project high quality virtual information at the user-specified area by using the projector. Most of projection-based AR systems use the display device to support high quality and wide screen for increasing the user-immersion. Furthermore, they are implemented on the desktop environment due to the computational complexity. However, these projection-based AR systems are not suited as a mobile system and thus it may be inconvenient in the user point of view. Fortunately, Miniaturization of projectors and improved capacity of the mobile processor allowed the mobile AR system to be convenient. The limitation of established mobile AR system is that it uses small display screen which does not support high-resolutions and thus it may reduce the user-immersion into the system. In this paper, we propose portable projection-based display system, which overcomes the limitations of both projection-based and mobile-based AR systems. We have conducted the user evaluation to verify the effectiveness and the utmost capacity of the system.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
높은 시장성을 뒷받침하듯 고성능, 고화질의 서비스를 제공하기 위한 노력은 계속되고 있으나, 여전히 디스플레이 화면이 작아 사용자에게 충분한 몰입감을 제공 해 주지 못하고 시각적인 피로까지 주는 단점을 가진다. 따라서 본 논문에서는 기존의 멀티미디어 디스플레이 시스템 들의 단점을 보완하여, 고화질의 영상을 대화면으로 제공 해 줄 수 있으며, 휴대가 편리한 디스플레이 시스템을 제안 한다.
본 논문에서 논의한 휴대형 프로젝션 기반의 디스플레이 시스템은 증강현실 기술을 접목함으로써 모바일 환경에서 의 다양한 응용 가능성을 보여주며, 사용자 평가를 통하여 시스템의 유용성을 검증해 보였다. 이러한 실험의 결과는 PM??가 새로운 휴대형 디스플레이 시스템의 프로토타입 으로 제안될 수 있음을 보여준다
PMV는 기존의 데스크탑 환경에서는 생각할 수 없었던 모바일 환경에서의 증강현실 시스템으로써 새로운 응용 이라 할 수 있다. 본 논문에서는 기하 및 컬러 보정과 같은 증강현실 기술을 접목한 PMP2 시스템의 활용 가능성을 검증하고, 다양한 분야에서의 유용성을 확인해 보일 것이다.
이번 절에서는 PDA와 SDIO타입의 모바일 카메라, 소형 프로젝터를 이용하여 스크린의 기하와 칼라에 대한 정보를 측정하여 보정 영상을 만들기 위한 방법과 모바일 환경에 서의 처리 속도 개선을 위한 문제 해결 방법에 대해 이야기 한다.
제안 방법
휴대용 멀티미디어 플레이어 장치로써 PMP와 PN#의 사용자 평가를 실시하였다. 15명의 사용자에게 각 장치의 디스플레이를 이용하여 멀티미디어를 감상하도록 하였다.
실험에 사용된 모바일 카메라의 경우 주변 광량에 따라 민감하게 작용하기 때문에 스크린의 칼라 상태를 정확히 파악할 수 없는 경우가 발생한다. 그림 8의 결과 영상은 PDA에서 휴대형 디스플레이 시스템에서의 처리 성능 및 결과를 보여주기 위하여, 스크린의 기하 및 칼라 상태를 파악하기 위해 필요한 그림 6과 같은 binary-coded pattern 영 상의 캡쳐 단계를 PC에 연결된 카메라를 이용하여 캡쳐 한 후, 캡쳐된 binary-coded pattern 영상을 이용하여 스크린의 상태를 계산하고 보정 처리 및 프로젝션을 통한 디스플레이 과정은 PDA 환경에서 처리 및 진행하였다. 칼라 보정에 대한 문제는 단순한 카메라의 성능 문제이다.
또한 PDA를 연산 장치로 사용하기 때문에 처리 속도가 크게 저하되는데, 본 논문에서는 모든 연산을 정수로 변환하여 수행함으로써 처리 속도 문제를 해결하였다. 기존의 휴대 형 멀티미디어 플레이어와의 차별성을 부각시키기 위해 본 논문에서 제안하는 시스템을 휴대형 프로젝션 기반의 멀티 미디어 플레이어, PMP2라고 명명한다.
왜곡 되어 나타난 mesh를 보정하기 위하여 프로젝터 캘리브레이션 파라미터 를 이용하여 사용자 시점을 기준으로 정상적인 스크린 mesh 를 구한다. 두 개의 mesh에서 mesh를 구성하고 있는 작은 삼각형의 3점을 이용하여 3×3 매트릭스를 가지는 호모그래 피를 구한다. 대응되는 삼각형들에 의해 구해진 호모그래피 로 삼각형 내부의 좌표들을 워핑한다.
현 시스템에서 스크린 표면의 모델링은 모바일 장치의 위치가 정해진 다음 한번만 이루어진다는 가정을 가지고 있다. 따라서 스크린 표면의 모델링이 끝난 후 보정 된 좌표로 이동하기 위한 정수 타입의 좌표 맵을 구성하였다. 정수 타입의 좌표 맵을 이용하면 한 프레임 당 약 0.
본 논문에서는 기존의 데스크탑 환경에서 동작하던 프로젝션 기반의 증강현실 기술[1,2,3]을 PDA 환경으로 확장한다. 또한 PDA를 연산 장치로 사용하기 때문에 처리 속도가 크게 저하되는데, 본 논문에서는 모든 연산을 정수로 변환하여 수행함으로써 처리 속도 문제를 해결하였다. 기존의 휴대 형 멀티미디어 플레이어와의 차별성을 부각시키기 위해 본 논문에서 제안하는 시스템을 휴대형 프로젝션 기반의 멀티 미디어 플레이어, PMP2라고 명명한다.
칼라 보정 기술은 프로젝터와 카 메라의 특성을 이용하여 프로젝션된 영상의 칼라를 인식하고 스크린에 프로젝션 되었을 때 스크린의 칼라 성분과 합 쳐져 본래의 색으로 보이도록 하는 영상을 만들어낸다. 본 논문에서는 [2]와 [3]에서 제시하고 있는 radiometric compensation 방법을 이용하여 카메라의 응답 특성과 프로젝 터의 출력 특성을 구하고 보정된 칼라의 영상을 만든다. 그림 4는 radiometric compensation 방법을 이용하여 얻어진 칼라 보상에 대한 결과 영상을 보여준다.
프로젝터를 디스플레이 장치로 활용할 경우, 스크 린에 따른 기하 및 컬러 왜곡을 보정하는 기술이 수반되어 야 임의의 스크린에서도 정확한 영상을 전달할 수 있다. 본 논문에서는 기존의 데스크탑 환경에서 동작하던 프로젝션 기반의 증강현실 기술[1,2,3]을 PDA 환경으로 확장한다. 또한 PDA를 연산 장치로 사용하기 때문에 처리 속도가 크게 저하되는데, 본 논문에서는 모든 연산을 정수로 변환하여 수행함으로써 처리 속도 문제를 해결하였다.
표 2와 그림 5에서와 같이 휴대용 프로젝션 기반의 멀티 미디어 디스프레이 시스템인 PM??의 실험 환경을 만들었 다. 스크린의 상태를 측정하기 위하여 처리를 위한 Dell Axim x51v PDA, 삼성 포켓 프로젝터와 SDIO 타입으로 PDA에 연결하여 사용할 수 있는 HP mobile camera를 사용하여 projector-camera system을 구성하였다. 왜곡 보정 과 멀티미디어 플레이에 관한 시스템 개발은 Window Mobile 5.
그림 1(a)의 파트 은 전처리 단계로 카메라와 프로 젝터의 특성 계산하는 단계로 각 장치에 대해서 한번만 수행된다. 실세계에 있는 모델과 장치간의 관계를 나타내는 캘리브레이션 파라미터를 구하고 카메라와 프로젝터 의 칼라 응답 특성을 구하는 칼라 캘리브레 이션 파라미터 를 계산한다. 파트 에서는 그림 1(b)와 같이 스크린 의 특성을 측정하기 위한 패턴 이미지와 미리 계산된 캘 리브레 이션 파라미터를 이용하여 스크린의 기하 및 칼라 특성을 계산하고, 원본 이미지에 대하여 스크린에 적응된 보정 이미지로 만들기 위한 처리가 이루어진다.
스크린 표면은 작은 평면 조각들의 모임으로 구성된다고 가정하기 때문에 mesh를 작은 삼각형 단위로 구성한다. 왜곡 되어 나타난 mesh를 보정하기 위하여 프로젝터 캘리브레이션 파라미터 를 이용하여 사용자 시점을 기준으로 정상적인 스크린 mesh 를 구한다. 두 개의 mesh에서 mesh를 구성하고 있는 작은 삼각형의 3점을 이용하여 3×3 매트릭스를 가지는 호모그래 피를 구한다.
스크린의 상태를 측정하기 위하여 처리를 위한 Dell Axim x51v PDA, 삼성 포켓 프로젝터와 SDIO 타입으로 PDA에 연결하여 사용할 수 있는 HP mobile camera를 사용하여 projector-camera system을 구성하였다. 왜곡 보정 과 멀티미디어 플레이에 관한 시스템 개발은 Window Mobile 5.0 환경에서 MFC와 모바일 플랫폼으로 변환한 OpenCV 라이브러리를 이용하였다.
휴대용 멀티미디어 플레이어 장치로써 PMP와 PN#의 사용자 평가를 실시하였다. 15명의 사용자에게 각 장치의 디스플레이를 이용하여 멀티미디어를 감상하도록 하였다.
이론/모형
프로젝터의 캘리브레이션 파 라미터는 [6]에서 언급한 방법을 참고하였다. Zhang's calibration method"로 프로젝터와 카메라의 캘리브레 이션 파 라미터를 계산하였고 본 논문에서 자세한 설명 생략한다
(a):binary-coded pattern. (b):(a)와 같은 원본 패턴과 캡쳐된 패턴의 합성으로 만들어진 코드화된 셀로 표현된 이미치 (c):(b)와 같이 코드화된 두 개의 패턴 영상을 linear triangulation method를 이용하여 스크린 표면의 3차원 좌표를 모델링한다.
스크린의 기하에 따른 3차원 좌표 정보를 얻기 위하여 선형 삼각 방법(linear triangulation method)[8]을 이용한다. 스크린은 평평한 조각들의 모임으로 구성되어 있다고 가정 하기 때문에 스크린의 표면을 삼각형 단위의 mesh형태로 재구성한다.
원본 패턴들을 합성한 영상과 프로젝션된 패턴을 캡 쳐하여 얻어진 영상들을 합성하여 그림 2(b)에서와 같이 코드화 된 셀을 얻을 수 있다. 코드화된 두 개의 2차원 이미지 에서 대응되는 셀의 중심점들로 선형 삼각 방법(linear triangulation method)으로 스크린 표면을 모델링한다. 그림 2(c)와 같이, 두 개의 2차원 이미지에서 프로젝션 매트릭스 P와 P'을 알고 있을 때, 대응되는 셀의 두 중심점 X와 X'을 이용하여 스크린 표면의 3차원 좌표 X를 알아낼 수 있다.
프로젝터는 카메라와 다르게 2차원 영상을 3차원 영상으 로 투영하기 위한 장치이기 때문에 캘리브레이션하기 위하여 전처리 단계가 필요하다. 프로젝터의 캘리브레이션 파 라미터는 [6]에서 언급한 방법을 참고하였다. Zhang's calibration method"로 프로젝터와 카메라의 캘리브레 이션 파 라미터를 계산하였고 본 논문에서 자세한 설명 생략한다
성능/효과
사용자들은 PMV의 경우, 크기나 무게 면에서 불리하기 때문에, 휴대의 편의성에서 PMP에 더 높은 점수를 부여하였다. 그리고 사용자 평가 결과 몰입도에 대해서는 PMP와 PMP2 사이에 큰 차이를 보이지 않았다. 디스플레이 화면이 커지면 사용자가 멀티미디어를 감상하는데 더 높은 몰입감 을 제공할 수 있을 것이라 예상했지만 몰입도에 대한 사용 자들 간의 개인차가 있는 것으로 나타났다.
그리고 사용자 평가 결과 몰입도에 대해서는 PMP와 PMP2 사이에 큰 차이를 보이지 않았다. 디스플레이 화면이 커지면 사용자가 멀티미디어를 감상하는데 더 높은 몰입감 을 제공할 수 있을 것이라 예상했지만 몰입도에 대한 사용 자들 간의 개인차가 있는 것으로 나타났다. 디스플레이가 작을수록 더욱 집중하여 화면을 주시할 수 있기 때문에 몰 입도가 높다고 생각하는 사용자들이 있는 반면 디스플레이 가 클수록 사용자와 디스플레이 되는 영상과의 밀접도가 높아지기 때문에 몰입도가 높아진다고 생각하는 사용자들 이 있었다.
265초의 시간이 소 요된다. 보정된 결과 영상을 얻기 위한 워핑 단계에서 부동 소수점이 아닌 정수 연산을 이용하면 5배 정도의 빠른 처리 가 가능하다. 현 시스템에서 스크린 표면의 모델링은 모바일 장치의 위치가 정해진 다음 한번만 이루어진다는 가정을 가지고 있다.
하지만 PMP2는 기존의 PMP가 가지고 있는 시각적인 불편함을 해 소하고, 단일 사용자가 아닌 다수의 사용자가 함께 사용할 수 있는 가능성을 제시함으로써 제안된 시스템의 유용성을 확인할 수 있었다. 또한 기하 및 칼라에 대한 보정 기술을 도입하여 프로젝션을 위한 스크린의 제약을 최대한 줄였기 때문에 사용자들이 PMP?와 같은 휴대용 디스플레 이 시스템을 이용하여 보다 다양한 장소에서 활용할 수 있다는 가 능성을 확인할 수 있다.
휴대적인 측면에 대해서는 아직까지 PMP가 더욱 편리하다는 결과를 보이고 있다. 하지만 PMP2는 기존의 PMP가 가지고 있는 시각적인 불편함을 해 소하고, 단일 사용자가 아닌 다수의 사용자가 함께 사용할 수 있는 가능성을 제시함으로써 제안된 시스템의 유용성을 확인할 수 있었다. 또한 기하 및 칼라에 대한 보정 기술을 도입하여 프로젝션을 위한 스크린의 제약을 최대한 줄였기 때문에 사용자들이 PMP?와 같은 휴대용 디스플레 이 시스템을 이용하여 보다 다양한 장소에서 활용할 수 있다는 가 능성을 확인할 수 있다.
후속연구
하나는 모바일 환경에서의 처리 속도를 개선할 수 있는 방법에 대한 연구가 필요하고, 다른 하나는 현재 PMP2에서 사용하고 있는 스크린의 기하 및 칼라에 대한 상태를 측정 하는 방법에 대한 보다 효과적인 기술이 필요하다. 사용자 에게 불필요한 패턴 정보를 숨겨주면서 모바일 장치의 움 직임에 상관없이 실시간으로 보정이 가능한 기술을 모바일 환경에 적용할 수 있는 방법 등에 대한 연구가 계속 되어야 할 것이다";].
또한 모바일 환경이 가지고 있는 기술적 제약을 최소 화하기 위한 문제가 해결되어야 한다. 기하 및 칼라 보정을 위한 증강현실 시스템 구현의 기술적인 부분과 이를 모바 일 환경에서 처리가 가능하도록 속도 개선을 위한 방법의 연구가 필요하다.
참고문헌 (10)
Raskar, R., et al.: iLamps: Geometrically aware and self-configuring projectors. Proc. of SIGGRAPH, vol.22 (2003) 809-818
Mitsunaga, T. and Nayar, S. K. : Radiometric self calibration. Proc. of IEEE Comp. Vision and Pattern Recog., pp. 374-380, 1999
Park, H., Lee, M.-H., Kim, S.-J., Park, J.-I.: Surface-independent direct-projected augmented reality. Proc. of ACCV (2006) 892-901
Wagner, D., Schmalstieg, D.: First steps towards handheld augmented reality. Proceedings of the 7th International Symposium on Wearable Computers(ISWC 2003), White Plains, NY, USA, IEEE Computer Society (2003) 127-137
Wagner, D., Schmalstieg, D. 'Handheld Augmented Reality Displays' Proc. of the IEEE Virtual Reality Conference, pp.67, 2006
Bruns, E., Brombach, B., Zeidler, T., Bimber, O.: Enabling mobile phones to support large-scale museum guidance. IEEE Multimedia, 2006
Zhang, Z.: Flexible camera calibration by viewing a plane from unknown orientation. Proc. of ICCV (1999) 666-673
Hartley, R., Zisserman, A.: Multiple View Geometry, Cambridge University Press (2003)
J. C. Lee et al.: Automatic projector calibration with embedded light sensors. Proc. of the 17th annual ACM Symp. on User Interface Software and Technology (2004)
Park, H., Park, J.-I.: Invisible marker based augmented reality system. Proceedings of Visual Communications and Image Processing (VCIP) 2005, vol.5960 (2005) 501-508
※ AI-Helper는 부적절한 답변을 할 수 있습니다.