증강현실은 실제 현실세계와 맥락을 유지하며 3차원의 가상객체를 통한 증강된 정보를 학습자에게 제공한다. 또한 기존 PC를 통해 지배적으로 활용되어 오던 그래픽 인터페이스 방식이 아닌 구체적인 실제 세계의 사물을 가지고 가상객체를 조작하는 실물형(tangible) 인터페이스를 제공한다. 특히, 최근 휴대 모바일 기기의 급속한 보급으로 인한 휴대용 정보단말기의 대중화로 인해 개인화된 서비스의 요구가 증가하게 되었고, 이는 카메라와 그래픽 처리 능력은 높인 단말기, 충분한 속도의 무선통신 등의 기능을 갖춘 스마트폰이 등장하게 되었고 전통적인 AR(Augmented Reality) 기술이 모바일 기기로 전이 되면서 모바일 AR이 스마트폰의 애플리케이션 형태로 보급되어 많은 사람들의 관심을 받고 있다.
특히, AR은 ...
증강현실은 실제 현실세계와 맥락을 유지하며 3차원의 가상객체를 통한 증강된 정보를 학습자에게 제공한다. 또한 기존 PC를 통해 지배적으로 활용되어 오던 그래픽 인터페이스 방식이 아닌 구체적인 실제 세계의 사물을 가지고 가상객체를 조작하는 실물형(tangible) 인터페이스를 제공한다. 특히, 최근 휴대 모바일 기기의 급속한 보급으로 인한 휴대용 정보단말기의 대중화로 인해 개인화된 서비스의 요구가 증가하게 되었고, 이는 카메라와 그래픽 처리 능력은 높인 단말기, 충분한 속도의 무선통신 등의 기능을 갖춘 스마트폰이 등장하게 되었고 전통적인 AR(Augmented Reality) 기술이 모바일 기기로 전이 되면서 모바일 AR이 스마트폰의 애플리케이션 형태로 보급되어 많은 사람들의 관심을 받고 있다.
특히, AR은 가상현실과 달리 사용자가 현실 세계에서 가상의 콘텐츠 또는 서비스와 직접적이고 직관적인 상호작용을 할 수 있다는 장점이 있다. 또한 이러한 AR이 갖는 장점과 모바일기기의 장점이 결합되어, 사용자에게 필요한 정보를 원하는 시간과 장소에서 제공할 수 있도록 다양한 서비스들이 제공되고 있다. 실용화 단계에 들어선 증강현실은 2 ~ 3년 내에 여러 산업과 연계를 통해 편의성 제고, 체험 공간 확대, 안전 효율성 제고 측면에서 부가가치를 만들어 낼 전망이다.
증강현실 시스템 측면에서는 김 진국 등은 증강 현실 보드게임프레임 워크를 제안하면서 플랫폼으로 UMPC(Ultra Mobile PC), PDA(Personal Digital Assistants), 모바일 폰에서 이를 구현하였으며, 김 치중 등은 멀티모달 인터렛션 이용한 증강현실 게임플랫폼 설계를 하면서 HMD(Head Mounted Display)를 이용하였다. 개인화 및 협업을 위한 테이블 탑 모바일 증강현실 시스템을 제안하면서 테이블 탑은 워크스테이션에서 구현하였다. 최근 차량의 지능화가 발전 되면서 증강현실을 접목한 차량 내비게이션 시스템을 노트북 환경에서 개발하였고 증강현실을 다양한 분야에 적용하는 의미에서 한전 체험 시설을 위한 위치기반 상호작용 시스템의 설계를 하면서 서버에 이를 탑재하였다. 최근 모바일 폰이 스마트 폰 환경으로 이동하고 안드로이드가 공개 소프트웨어를 지양하므로 이에 발맞추어 안드로이드 에뮬레이터 환경에서 개발을 하고 이를 스마트 폰에 적용한 경우도 발표되고 있다.
증강현실 기술은 실세계와 가상 세계를 결합하여 실물과 가상 객체들이 공존하는 새로운 환경을 만들고 사용자가 해당 환경과 실시간으로 상호작용을 함으로써 다양한 디지털 정보들을 보다 실감나게 체험할 수 있도록 하는 기술이다. 증강현실 기술측면에서는 첫 번째, 트래킹(Tracking) 기술로는 센서기반 트래킹 기술, 비전기반 트래킹 기술, 혼합 트래킹 기술 등으로 분류되며, 두 번째 상호 작용 기술과 사용자 인터페이스로는 실물형 AR, 협업형 AR, 혼합 AR 인터페이스로 나누어지며, 세 번째 디스플레이 기술로는 투시형(See-through) HMD, 프로젝션 기반 디스플레이, 핸드-헬드(Handheld) 디스플레이 등으로 나누어지며, 이에 대한 연구도 발표되고 있다. 최근 들어 유비쿼터스 환경 하에서의 다양한 서비스 제공에 대한 사용자 요구들이 급속도로 확대됨에 따라 휴대형 모바일 기기들에 대한 수요 또한 증대되고 있는 실정이다. 따라서 기존의 데스크톱 및 웨어러블 환경에서 주로 구현되어 왔던 증강현실 관련 기술들이 핸드-헬드 형태의 모바일 기기들에 최적으로 적용되기 위해 약간의 기술적 변형이 불가피하게 되었다. 이러한 증강현실 기술을 이용해서 원하는 목적의 콘텐츠들을 제작하고 이를 모바일 관련 응용분야에 활용하기 위해서 요구되는 세부 핵심기술들을 크게 위치인식 기술, 영상정합 및 합성 기술, 저작도구 기술, 상호작용 기술로 나누어지며, 이에 대한 연구도 발표되고 있다.
증강현실 기술은 산업체의 다양한 분야에서 응용하고 있다. 증강현실 응용 측면에서 먼저 게임 분야에서는 실시간으로 사용자와 가상 물체 간에 상호작용을 통해 사용자로 하여금 더욱 현실감을 느끼게 할 수 있도록 하였다. 건설 및 제조분야도 산업의 특성상 AR이 적용되었을 때 많은 효과를 볼 수 있는 산업분야이다. 일일이 목합이나 모형을 만들어야 했던 것들을 쉽게 AR을 이용해 입체적으로 구현한 사례도 발표되고 있다. 증강현실은 실제 존재하지 않는 필요한 객체만을 모델링 하고, 존재하는 환경 객체는 모델링 되는 그래픽 객체 대신 실제 객체를 그대로 이용함으로써, 전체를 모델링하는 가상현실 보다 모델링이 간단할 뿐만 아니라 내용들을 보다 사실적으로 볼 수 있는 장점으로 인하여 교육부분에도 많이 활용되고 있다. 또한, 공사 현장이나 제조 현장에서도 AR을 이용한 사례가 많이 발표되고 있으며, 이를 통해 안전하고, 정확한 공사를 할 수 있을 것이다. ISMAR07에서 컬럼비아 대학 연구팀이 발표한 미국 해병대의 공병들이 ARMAR(Augmented Reality for Maintenance and Repair)을 이용해서 유지보수 시간을 거의 절반으로 줄인 사례이다.
산업체에서 일반적으로 사용하고 있는 도면을 보면 설계자의 뜻을 작업자에게 완전하게 전달시켜 물품을 만들기 위해 사용되는 제작도, 주문자가 주문하는 물품의 모양, 기능의 개요를 주문받는 사람에게 지시하는 주문도, 주문자의 검토를 거쳐 승인을 받아 계획, 제작을 하는데 기초가 되는 승인도, 견적 조회 또는 주문의 경우 견적서에 첨부되는 견적도, 전체의 조립을 나타내는 조립도, 부품의 상세를 표시하는 부품도, 일부분의 축척을 확대하여 모양과 치수, 기구 등을 분명히 하기 위해 사용하는 상세도, 공장 내부의 많은 기계 등의 설치 위치를 나타내는 배치도 등 수없이 많이 있다. 생산, 유지, 보수를 해야만 하는 제조 공장에서 수많은 기계의 도면을 들춰가면서 작업을 하므로 비효율적이며 어려운 일이다. 따라서 산업체에서는 생산성 향상을 위하여 다각도의 노력을 하고 있다.
증강현실 기술과 여러 가지 형태의 라벨, 이미지 등을 적절하게 조합한 매뉴얼을 제작하여 생산 현장에 사용한다면 실시간으로 도움을 받을 수 있을 뿐만 아니라, 작업 처리가 더욱 빨라질 것이다. 이를 위한 증강현실 시스템으로 서버나 PC를 이용하면 성능은 좋으나 휴대성에서 떨어지고, 스마트 폰과 같은 모바일 시스템에서 구현된 것은 휴대성은 좋으나 콘텐츠의 크기나 몰입성 등에서는 문제가 있다.
본 논문에서는 산업현장을 위하여 증강현실 어플리케이션을 기존 모바일 시스템에 도입했을 경우 발생할 수 있는 성능과 콘텐츠 크기의 한계를 해결하고자 한다. 먼저 상용화되고 있는 모바일 시스템을 분석하고, 제조 공장에서 작업자들이나 현장에서 장비를 수리하는 자들에게 작업에 필요한 도면을 이미지, 오디오, 동영상 등으로 지원할 수 있는 증강현실 모바일 시스템의 요구분석을 한다. 이를 토대로 모바일 시스템을 설계 구현하고, 증강현실 기법을 지원하는 NyARToolkit 기반으로 증강현실 어플리케이션을 구현하고자 한다. 구현한 콘텐츠를 설계 구현 시스템에서 실행시켜 봄으로 시스템의 적정성 및 타당성을 확인하고자 한다.
모바일 시스템 구현을 위하여 먼저 프로세서 파트에서 CPU는 NVIDIA Cortex A9 Dual Core 기반의 T250, 메모리는 고성능의 LPDDR2(667MHz)와 NOR Flash에 비해 매우 적은 비용으로 높은 용량이 가능한 eMMC(8GB)를 도입하므로 시스템 성능 향상을 가져 올 수 있었다.
입출력 파트는 헤더, 통신부, 입력키, OS등의 porting을 위한 JTAG 및 충분한 크기의 LCD 지원을 위한 display 인터페이스를 갖도록 하므로 콘텐츠의 크기 한계를 극복할 수 있었다. 그리고 최대 480Mbps 속도 기반의 USB 2.0 Device를 구축하고 USB Host 2.0, USB OTG(On-The-Go) 2.0을 지원 할 수 있도록 하므로 대용량 리눅스, 안드로이드 BSP 이미지의 초고속 다운로딩 가능으로 최적의 개발 환경을 구축할 수 있었다. 직렬통신을 위해서 UART DSUB 1 Port/ 확장 코넥터 2 Port를 두었으며, 다양한 외부 지원을 위해 SPI, I2C, I2S 등도 제공하도록 하였다.
앞서 설계된 I/O 파트의 회로도를 이용하여 PCB레이아웃 작업을 수행 하였다. 기판은 6층으로 TOP, GND, IN1, IN2, PWR, BOT 순으로 하였으며, 배선의 복잡도를 고려하여 라우팅 작업은 수동으로 하였으며, 리눅스 환경 구축은 설계한 모바일 장치의 운영체제인 프로요 안에 GCC 4.4가 포함되어 있고, 이것을 컴파일 하기 위해서는 이 사항에 맞는 GLIBC를 가지고 있으며 계속적인 지원을 위해서 우분투 10.4로 하였다.
마커인식에 따른 이미지 처리와 증강현실을 위한 개발 도구로는 높은 해상도의 모델 파일을 지원하고, 모바일 기기라는 하드웨어 특성을 고려하여 증강현실을 위한 기술지원을 보다 효율적으로 하는 NyARToolkit과, 이클립스 SDK-3.5.2, JDK, 안드로이드 SDK를 사용하여 PC에서 앱을 구현한 후 이를 개발한 시스템에 다운로드 하였다.
개발한 모바일 시스템에서 모든 장치들이 잘 동작함을 알 수 있었고, 스마트 폰에 부착된 LCD 보다는 크므로 구현한 앱과 관련된 콘텐츠를 정확히 볼 수 있었으며, CPU 모듈에서 빠른 그래픽 처리를 해 주므로 해당 마커와 관련된 도면 이미지, 동영상 등이 떨림 없이 출력되는 것을 확인 할 수 있었다. 이로써 설계 및 구현한 시스템은 모바일 증강현실 시스템으로 공장에서 생산성 향상뿐만 아니라 다양한 분야에 활용될 수 있을 것으로 판단된다.
증강현실은 실제 현실세계와 맥락을 유지하며 3차원의 가상객체를 통한 증강된 정보를 학습자에게 제공한다. 또한 기존 PC를 통해 지배적으로 활용되어 오던 그래픽 인터페이스 방식이 아닌 구체적인 실제 세계의 사물을 가지고 가상객체를 조작하는 실물형(tangible) 인터페이스를 제공한다. 특히, 최근 휴대 모바일 기기의 급속한 보급으로 인한 휴대용 정보단말기의 대중화로 인해 개인화된 서비스의 요구가 증가하게 되었고, 이는 카메라와 그래픽 처리 능력은 높인 단말기, 충분한 속도의 무선통신 등의 기능을 갖춘 스마트폰이 등장하게 되었고 전통적인 AR(Augmented Reality) 기술이 모바일 기기로 전이 되면서 모바일 AR이 스마트폰의 애플리케이션 형태로 보급되어 많은 사람들의 관심을 받고 있다.
특히, AR은 가상현실과 달리 사용자가 현실 세계에서 가상의 콘텐츠 또는 서비스와 직접적이고 직관적인 상호작용을 할 수 있다는 장점이 있다. 또한 이러한 AR이 갖는 장점과 모바일기기의 장점이 결합되어, 사용자에게 필요한 정보를 원하는 시간과 장소에서 제공할 수 있도록 다양한 서비스들이 제공되고 있다. 실용화 단계에 들어선 증강현실은 2 ~ 3년 내에 여러 산업과 연계를 통해 편의성 제고, 체험 공간 확대, 안전 효율성 제고 측면에서 부가가치를 만들어 낼 전망이다.
증강현실 시스템 측면에서는 김 진국 등은 증강 현실 보드게임 프레임 워크를 제안하면서 플랫폼으로 UMPC(Ultra Mobile PC), PDA(Personal Digital Assistants), 모바일 폰에서 이를 구현하였으며, 김 치중 등은 멀티모달 인터렛션 이용한 증강현실 게임플랫폼 설계를 하면서 HMD(Head Mounted Display)를 이용하였다. 개인화 및 협업을 위한 테이블 탑 모바일 증강현실 시스템을 제안하면서 테이블 탑은 워크스테이션에서 구현하였다. 최근 차량의 지능화가 발전 되면서 증강현실을 접목한 차량 내비게이션 시스템을 노트북 환경에서 개발하였고 증강현실을 다양한 분야에 적용하는 의미에서 한전 체험 시설을 위한 위치기반 상호작용 시스템의 설계를 하면서 서버에 이를 탑재하였다. 최근 모바일 폰이 스마트 폰 환경으로 이동하고 안드로이드가 공개 소프트웨어를 지양하므로 이에 발맞추어 안드로이드 에뮬레이터 환경에서 개발을 하고 이를 스마트 폰에 적용한 경우도 발표되고 있다.
증강현실 기술은 실세계와 가상 세계를 결합하여 실물과 가상 객체들이 공존하는 새로운 환경을 만들고 사용자가 해당 환경과 실시간으로 상호작용을 함으로써 다양한 디지털 정보들을 보다 실감나게 체험할 수 있도록 하는 기술이다. 증강현실 기술측면에서는 첫 번째, 트래킹(Tracking) 기술로는 센서기반 트래킹 기술, 비전기반 트래킹 기술, 혼합 트래킹 기술 등으로 분류되며, 두 번째 상호 작용 기술과 사용자 인터페이스로는 실물형 AR, 협업형 AR, 혼합 AR 인터페이스로 나누어지며, 세 번째 디스플레이 기술로는 투시형(See-through) HMD, 프로젝션 기반 디스플레이, 핸드-헬드(Handheld) 디스플레이 등으로 나누어지며, 이에 대한 연구도 발표되고 있다. 최근 들어 유비쿼터스 환경 하에서의 다양한 서비스 제공에 대한 사용자 요구들이 급속도로 확대됨에 따라 휴대형 모바일 기기들에 대한 수요 또한 증대되고 있는 실정이다. 따라서 기존의 데스크톱 및 웨어러블 환경에서 주로 구현되어 왔던 증강현실 관련 기술들이 핸드-헬드 형태의 모바일 기기들에 최적으로 적용되기 위해 약간의 기술적 변형이 불가피하게 되었다. 이러한 증강현실 기술을 이용해서 원하는 목적의 콘텐츠들을 제작하고 이를 모바일 관련 응용분야에 활용하기 위해서 요구되는 세부 핵심기술들을 크게 위치인식 기술, 영상정합 및 합성 기술, 저작도구 기술, 상호작용 기술로 나누어지며, 이에 대한 연구도 발표되고 있다.
증강현실 기술은 산업체의 다양한 분야에서 응용하고 있다. 증강현실 응용 측면에서 먼저 게임 분야에서는 실시간으로 사용자와 가상 물체 간에 상호작용을 통해 사용자로 하여금 더욱 현실감을 느끼게 할 수 있도록 하였다. 건설 및 제조분야도 산업의 특성상 AR이 적용되었을 때 많은 효과를 볼 수 있는 산업분야이다. 일일이 목합이나 모형을 만들어야 했던 것들을 쉽게 AR을 이용해 입체적으로 구현한 사례도 발표되고 있다. 증강현실은 실제 존재하지 않는 필요한 객체만을 모델링 하고, 존재하는 환경 객체는 모델링 되는 그래픽 객체 대신 실제 객체를 그대로 이용함으로써, 전체를 모델링하는 가상현실 보다 모델링이 간단할 뿐만 아니라 내용들을 보다 사실적으로 볼 수 있는 장점으로 인하여 교육부분에도 많이 활용되고 있다. 또한, 공사 현장이나 제조 현장에서도 AR을 이용한 사례가 많이 발표되고 있으며, 이를 통해 안전하고, 정확한 공사를 할 수 있을 것이다. ISMAR07에서 컬럼비아 대학 연구팀이 발표한 미국 해병대의 공병들이 ARMAR(Augmented Reality for Maintenance and Repair)을 이용해서 유지보수 시간을 거의 절반으로 줄인 사례이다.
산업체에서 일반적으로 사용하고 있는 도면을 보면 설계자의 뜻을 작업자에게 완전하게 전달시켜 물품을 만들기 위해 사용되는 제작도, 주문자가 주문하는 물품의 모양, 기능의 개요를 주문받는 사람에게 지시하는 주문도, 주문자의 검토를 거쳐 승인을 받아 계획, 제작을 하는데 기초가 되는 승인도, 견적 조회 또는 주문의 경우 견적서에 첨부되는 견적도, 전체의 조립을 나타내는 조립도, 부품의 상세를 표시하는 부품도, 일부분의 축척을 확대하여 모양과 치수, 기구 등을 분명히 하기 위해 사용하는 상세도, 공장 내부의 많은 기계 등의 설치 위치를 나타내는 배치도 등 수없이 많이 있다. 생산, 유지, 보수를 해야만 하는 제조 공장에서 수많은 기계의 도면을 들춰가면서 작업을 하므로 비효율적이며 어려운 일이다. 따라서 산업체에서는 생산성 향상을 위하여 다각도의 노력을 하고 있다.
증강현실 기술과 여러 가지 형태의 라벨, 이미지 등을 적절하게 조합한 매뉴얼을 제작하여 생산 현장에 사용한다면 실시간으로 도움을 받을 수 있을 뿐만 아니라, 작업 처리가 더욱 빨라질 것이다. 이를 위한 증강현실 시스템으로 서버나 PC를 이용하면 성능은 좋으나 휴대성에서 떨어지고, 스마트 폰과 같은 모바일 시스템에서 구현된 것은 휴대성은 좋으나 콘텐츠의 크기나 몰입성 등에서는 문제가 있다.
본 논문에서는 산업현장을 위하여 증강현실 어플리케이션을 기존 모바일 시스템에 도입했을 경우 발생할 수 있는 성능과 콘텐츠 크기의 한계를 해결하고자 한다. 먼저 상용화되고 있는 모바일 시스템을 분석하고, 제조 공장에서 작업자들이나 현장에서 장비를 수리하는 자들에게 작업에 필요한 도면을 이미지, 오디오, 동영상 등으로 지원할 수 있는 증강현실 모바일 시스템의 요구분석을 한다. 이를 토대로 모바일 시스템을 설계 구현하고, 증강현실 기법을 지원하는 NyARToolkit 기반으로 증강현실 어플리케이션을 구현하고자 한다. 구현한 콘텐츠를 설계 구현 시스템에서 실행시켜 봄으로 시스템의 적정성 및 타당성을 확인하고자 한다.
모바일 시스템 구현을 위하여 먼저 프로세서 파트에서 CPU는 NVIDIA Cortex A9 Dual Core 기반의 T250, 메모리는 고성능의 LPDDR2(667MHz)와 NOR Flash에 비해 매우 적은 비용으로 높은 용량이 가능한 eMMC(8GB)를 도입하므로 시스템 성능 향상을 가져 올 수 있었다.
입출력 파트는 헤더, 통신부, 입력키, OS등의 porting을 위한 JTAG 및 충분한 크기의 LCD 지원을 위한 display 인터페이스를 갖도록 하므로 콘텐츠의 크기 한계를 극복할 수 있었다. 그리고 최대 480Mbps 속도 기반의 USB 2.0 Device를 구축하고 USB Host 2.0, USB OTG(On-The-Go) 2.0을 지원 할 수 있도록 하므로 대용량 리눅스, 안드로이드 BSP 이미지의 초고속 다운로딩 가능으로 최적의 개발 환경을 구축할 수 있었다. 직렬통신을 위해서 UART DSUB 1 Port/ 확장 코넥터 2 Port를 두었으며, 다양한 외부 지원을 위해 SPI, I2C, I2S 등도 제공하도록 하였다.
앞서 설계된 I/O 파트의 회로도를 이용하여 PCB 레이아웃 작업을 수행 하였다. 기판은 6층으로 TOP, GND, IN1, IN2, PWR, BOT 순으로 하였으며, 배선의 복잡도를 고려하여 라우팅 작업은 수동으로 하였으며, 리눅스 환경 구축은 설계한 모바일 장치의 운영체제인 프로요 안에 GCC 4.4가 포함되어 있고, 이것을 컴파일 하기 위해서는 이 사항에 맞는 GLIBC를 가지고 있으며 계속적인 지원을 위해서 우분투 10.4로 하였다.
마커인식에 따른 이미지 처리와 증강현실을 위한 개발 도구로는 높은 해상도의 모델 파일을 지원하고, 모바일 기기라는 하드웨어 특성을 고려하여 증강현실을 위한 기술지원을 보다 효율적으로 하는 NyARToolkit과, 이클립스 SDK-3.5.2, JDK, 안드로이드 SDK를 사용하여 PC에서 앱을 구현한 후 이를 개발한 시스템에 다운로드 하였다.
개발한 모바일 시스템에서 모든 장치들이 잘 동작함을 알 수 있었고, 스마트 폰에 부착된 LCD 보다는 크므로 구현한 앱과 관련된 콘텐츠를 정확히 볼 수 있었으며, CPU 모듈에서 빠른 그래픽 처리를 해 주므로 해당 마커와 관련된 도면 이미지, 동영상 등이 떨림 없이 출력되는 것을 확인 할 수 있었다. 이로써 설계 및 구현한 시스템은 모바일 증강현실 시스템으로 공장에서 생산성 향상뿐만 아니라 다양한 분야에 활용될 수 있을 것으로 판단된다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.