[논문]비접촉식 3차원 사용자 인터페이스 기술 동향

김익재

문제 정의

본고에서는 최근 들어 3D TV와 모니터 등의 3차원 디스플레이의 빠른 보급과 보급형 Depth 카메라를 활용하여 사용자가 직접 참여 가능한 3차원 실감 콘텐츠의 생성이 용이해짐에 따라, 3차원 공간 인터페이스 기술의 필요성이 더욱 증대되고 있는 상황에 따라 해당 기술의 동향에 대해서 알아보았다. 현재 주로 게임 분야에서 3차원 인터페이스를 주로 활용해 왔으나, 앞으로는 교육, 의료, 원격 작업 등 다양한 분야로의 확대 적용이 가능할 것으로 예상된다.
<그림 13>의 Depth 카메라 기반 연구보다 앞서 연구된 사례로, 영국 Image Metrics사에서는 한 대의 칼라 카메라로부터 획득한 손 영상과 3차원 손 모델로 생성한 칼라 영상을 비교하여 손 움직임을 검출하고자 하였다[15]. 모델 정합 기반이기 때문에, 앞선 연구와 마찬가지로 초기화 및 정합 실패 문제가 존재하며 , 무엇보다 초당 40초가량 소요되는 많은 연산량 때문에 실시간성이 중요한 인터랙션에는 그 활용도가 많이 떨어진다고 볼 수 있다.

제안 방법

형태로 진행되고 있다. 능동형 센서 기반 방식과는 별개로 Depth 카메라만을 이용하여 정교한 손가락 관절 모션을 이용한 3차원 객체의 이동/회전 등의 상호작용을 위해서, 영역 인식기반 손가락 관절 위치를 검출하고, 역기구학 기반 관절 모션을 추출하는 방식을 개발하였다. 손가락 관절 위치 검출을 위해, 손 영역을 손바닥과 20개의 손가락 관절 영역으로 21개의 영역으로 구분하고, 영상 특징을 이용한 학습 방식으로 각 영역을 구분한다.
이 후, 2009년 9월에 소니에서는 자사 게임 플랫폼인 플레이스테이션용 게임 컨트롤러로 무브 (move)를 소개하였다. 닌텐도사의 위모트와 같은 모션 컨트롤러 스틱 기반이고, 위모트의 정확도보다 우수하며, 진동 피드백뿐만 아니라, 컨트롤러 스틱 상단에 시각적 피드백을 위해 색상 구를 장착하였다. 이 색상 구는 RGB LED를 사용하여 360 가지의 다양한 색깔을 표현할 수 있는데, 자체적으로 빛을 발산함으로써 카메라 트래킹이 유도하고, 적외선 방식인 위모트와 차별성을 부각하고, 동시에 사용자에게 시각적으로 움직임에 대한 감성을 주는 역할을 한다.
능동형 센서 기반 방식과는 별개로 Depth 카메라만을 이용하여 정교한 손가락 관절 모션을 이용한 3차원 객체의 이동/회전 등의 상호작용을 위해서, 영역 인식기반 손가락 관절 위치를 검출하고, 역기구학 기반 관절 모션을 추출하는 방식을 개발하였다. 손가락 관절 위치 검출을 위해, 손 영역을 손바닥과 20개의 손가락 관절 영역으로 21개의 영역으로 구분하고, 영상 특징을 이용한 학습 방식으로 각 영역을 구분한다. 구분 된 손가락 관절영역의 중심점 계산을 통한 관절의 정확한 위치를 검출한다.

대상 데이터

위모트는 닌텐도사의 대표적인 게임기인 Wii를 위한 게임 컨트롤러로서, 2005년 11월에 있었던, 도쿄 게임쇼에서 최초로 소개된 이후로 현재까지 9000만대 이상 판매가 된 리모콘형 컨트롤러이다. 아날로그 디바이스사의 ADXL330 모델의 3축의 가속도 센서와 틸트 센서, PixArt 사에서 제공하는 CMOS 이미지 센서를 탑재하고 있다. 가속도 센서와 틸트 센서를 이용하여 사용자의 공간상의 움직임을 알아내고, TV 등 디스플레이 상단에 부착하여 사용하는 센서 바 내부의 좌우 끝에 장착되어있는 적외선 LED의 광점을 이미지 센서로 파악하여, 양 끝단의 광점의 위치 관계와 간격으로부터 디스플레이 화면으로부터의 사용자와의 거리와 방향을 계산하는 방식으로 구성되어있다「
아래에서 보인바와 같이, 적외선 패턴 조사 조명과 이를 통해 깊이 정보를 알아내는 Depth 영상용 CMOS 센서, 칼라 영상 정보를 획득하는 칼라 영상용 CMOS 센서로 구성된다.

이론/모형

게임 인터페이스로서의 역할을 하기 위해서는 입력되는 깊이 정보로부터 사용자의 관절 움직임을 정확히 추출해 내는 소프트웨어 기술이 필요하다. 이를 위해서 MS사에서는 관절 추적 시스템(skeleton tracking system)을 구현하였으며, 이 추적 시스템의 알고리듬은 Randomized Decision Forest 기법을 활용한다[12].<그림 12>에서 한 장의 깊이 맵으로부터 사용자의 3차원 조인트를 추출하는 과정을 간략히 표현하였다.

성능/효과

사용자의 편의성 측면에서 비착용형이 착용형에 비해 훨씬 자연스럽고 유리하지만, 인식 성능 측면에서는 착용형이 더 유리하다. 비착용형 방식으로 미세한 손동작을 삼차원으로 인식하여 화면 제어용으로 이용하려면 매우 고난이도의 기술이 요구되며 이를 보편적인 활용을 위해서 상용화하기까지는 다소 시간이 걸릴 것이다.
이로 인해, 키넥트에서 사용하는 방식인 적외선 카메라 기반 시스템의 활용도가 더욱 늘어날 것으로 판단된다. 키넥트의 성공적인 출시가 시사하는 점은 기존의 고가 시스템에서만 가능했던 부분이 저가의 시스템으로 보급되어 다양한 시도가 가능해짐에 따라 인터페이스 분야에서도 보다 더 정교하면서, 자연스러운 상호 작용이 가능한 시스템들이 상용 제품으로 출시될 가능성을 높이고 있다는 것이다. 이미 언급했지만, 현재의 키넥트 카메라를 활용한 방식은 원거리에서 인체의 큰 움직임 인식에는 적합하지만, 손동작과 같이 세밀한 움직임을 추적하기에는 적합하지 않다.

후속연구

전신 움직임 정보를 이용하는 마이크로소프트사의 키넥트의 경우, MS사의 엔터테인먼트 사업 매출의 60% 이상의 성장세를 견인하였으며, 손모양 및 동작 정보를 추가 활용할 경우에는 기존 게임 산업 전체로 확대 가능성이 있어서, 그 파급 효과가 더욱 커질 것으로 판단된다. 따라서, 미래형 사용자 인터페이스 기술은 기존 3차원 콘텐츠 활용 범위를 확대하고 사용자에게는 새로운 경험과 서비스를 제공함으로써, 새로운 수익 모델 창출이라는 경제적 효과를 기대할 수 있으며, 초소형 센서를 기반으로 한 착용형 인터페이스와 Depth 카메라 등 비착용형 인터페이스 기술의 하드웨어 내재화를 통한 자연스러운 3차원 공간 인터페이스 통합 솔루션 제공으로 새로운 IT 기기 분야의 시장을 활성화 할 수 있으리라 기대된다. 미래형 3차원 실감 공간에서의 인터페이스 분야의 원천 기술을 확보하기 위해서는 3차원 가시화 및 촉감 전달 기술과의 융합을 통한 3차원 탠저블 인터페이스 기술이 향후 주목을 받을 것으로 예상된다.
미래형 3차원 실감 공간에서의 인터페이스 분야의 원천 기술을 확보하기 위해서는 3차원 가시화 및 촉감 전달 기술과의 융합을 통한 3차원 탠저블 인터페이스 기술이 향후 주목을 받을 것으로 예상된다. 이를 위해서 소프트웨어 측면에서는 사용자의 거시적/미시적 움직임 모두를 잘 추적하고, 정확한 동적 제스쳐 인식을 위한 인식 기술 향상이 필요하며, 적외선 영상기반의 카메라 기술뿐만 아니라, 초소형 포토 다이오드, 초소형 고감도 관성/촉감 센서 등의 저가의 센서를 이용한 하드웨어 기술도 동시에 발전되어야 할 것이다.
현재 주로 게임 분야에서 3차원 인터페이스를 주로 활용해 왔으나, 앞으로는 교육, 의료, 원격 작업 등 다양한 분야로의 확대 적용이 가능할 것으로 예상된다. 전신 움직임 정보를 이용하는 마이크로소프트사의 키넥트의 경우, MS사의 엔터테인먼트 사업 매출의 60% 이상의 성장세를 견인하였으며, 손모양 및 동작 정보를 추가 활용할 경우에는 기존 게임 산업 전체로 확대 가능성이 있어서, 그 파급 효과가 더욱 커질 것으로 판단된다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

비접촉식 3차원 사용자 인터페이스 기술 동향 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

참고문헌 (18)

이 논문을 인용한 문헌

저자의 다른 논문 :

연구과제 타임라인

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

비접촉식 3차원 사용자 인터페이스 기술 동향 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

참고문헌 (18)

이 논문을 인용한 문헌

저자의 다른 논문 :

김익재 (4)

연구과제 타임라인

전체(0) 논문(0) 특허(0) 보고서(0)

전체(0) 논문(0) 특허(0) 보고서(0)

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

초록
AI-Helper

AI 본문요약
AI-Helper