[논문]Video see-through HMD 기반 증강현실을 위한 손 인터페이스

하태진; 우운택

Video see-through HMD 기반 증강현실을 위한 손 인터페이스
Video see-through HMD based Hand Interface for Augmented Reality 원문보기

하태진 (광주과학기술원 U-VR 연구실) , 우운택 (광주과학기술원 U-VR 연구실)

본 논문에서는 Video see-through HMD 에 기반 하여 증강 현실을 위한 손 인터페이스를 제안한다. 착용형 컴퓨터의 입력 장치로써 Video see-through HMD 에 부착된 USB 카메라로부터 영상을 입력 받은 후, HSV 컬러 공간에서 탐색 윈도우 안의 개체를 이중 임계 값을 이용해 손과 팔이 포함된 객체로 분리한다. 그 다음 거리 변형 행렬을 이용하여 손과 팔을 분리하고, 볼록 다각형 외각점 추출을 통해 손 끝의 좌표를 검출한다. 이를 기반으로 한 어플리케이션 "AR-Memo"은 현실세계에서 손끝에 가상의 펜을 증강하여 메모를 하고 이동중에 손바닥을 통해 메모를 볼 수 있다. 증강 현실 기반 손 인터페이스를 사용함으로써 사용자는 이동중에도 직관적으로 입력을 할 수 있다. 또한 어떠한 물리적인 장치나 마커를 손에 부착하지 않기 때문에 자연스러운 인터페이스이다. 본 시스템은 착용형 컴퓨터와 결합되어 사용자에게 편리한 인터페이스를 제공할 수 있을 것으로 기대된다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 시각 기반 증강 현실 기술을 활용한 사용자 인터페이스를 제안하였다. 추적을 통한 탐색 윈도우 내에서 손 객체를 분리, 손바닥 영역 추출, 손끝 추출 그리고 두 손 추적과 손 사이의 충돌 처리를 하였다.
본 논문에서는 이러한 단점들을 보완하기 위하여 HMD 를 이용한 증강 현실 기반 손 입력 인터페이스를 제안한다. 이를 위해서 첫 번째로 HMD 에 부착된 USB 카메라로부터 얻어진 영상을 HSV 컬러 공간으로 변환 후, 탐색윈도우 내에서 이중 임계값 처리를 통해 손과 손목이 포함된 객체로 분리한다.
13Ghz, 256 RAM 에 연결하고, 컴퓨터의 비디오 출력은 다시 HMD 로 연결하였다. 컴퓨터는 HMD 에 부착 카메라로부터의 비디오 영상 처리와 HMD 상에 디스플레이 하기 위한 가상객체의 생성이 그 목적이다. 컴퓨터 비전 라이브러리는 OpenCV 4.

제안 방법

다음으로 메모하는 것, 펜의 색깔과 굵기를 선택하는 것, 저장한 영상을 보는 것 그리고 테트리스 게임을 하는 것에 대한 직관성과 만족도에 대한 비교를 하였다. 본 논문에서 제안한 손 인터페이스를 이용한 방법과 PDA 스타일러스 펜을 이용한 방법 중 상대적으로 어느 것에 더 만족하는지에 따라 “ 불편하다” 또는 “ 편하다” 나타내었다.
이를 위해서 첫 번째로 HMD 에 부착된 USB 카메라로부터 얻어진 영상을 HSV 컬러 공간으로 변환 후, 탐색윈도우 내에서 이중 임계값 처리를 통해 손과 손목이 포함된 객체로 분리한다. 두 번째로는 손과 팔이 포함된 개체에서 거리변형 행렬을 이용해 손과 팔을 분리를 하고 볼록 다각형의 외각점 추출을 통해 손가락 끝을 검출한다. 마지막으로 이를 응용한 어플리케이션으로써 “ AR-Memo” 는 손가락 끝의 좌표를 이용해 가상의 펜을 증강하여 메모를 하고, 저장한 메모는 손바닥에 증강한다.
두 번째 문제점은 이 알고리즘에서 쓰이는 역 투영 이미지에서는 객체의 윤곽을 구하기 어렵다. 따라서 본 논문에서는 윤곽을 구하는 문제는 탐색윈도우내의 이중 임계 값 처리를 한 후의 이진이미지 결과 값을 이용한다. 그림 3 은 탐색알고리즘을 처리한 후의 역 투영 이미지와 이중 임계 값 처리된 이미지를 통해 손 영역을 구한 결과이다.
양 손 추적을 위하여 위에서 제안한 추적알고리즘과 탐색윈도우를 두 번 적용하고. 또 탐색 윈도우를 손바닥의 크기와 위치에 따라 동적으로 변하도록 하였다. 만약에 양 손이 겹치게 된다면 한 쪽의 탐색윈도우가 다른 한쪽으로 탐색 윈도우 쪽으로 이동할 위험이 있다.
만약에 양 손이 겹치게 된다면 한 쪽의 탐색윈도우가 다른 한쪽으로 탐색 윈도우 쪽으로 이동할 위험이 있다. 본 논문에서는 경계 사각형을 이용하여 두 번의 충돌 검출을 시행한다.
안정적인 손 객체를 검출하기 위해 탐색윈도우를 이용해 손 객체를 추적하고 이 영역 내에서만 영상처리를 한다. 이렇게 함으로써 탐색영역 밖의 얼굴이나 다른 손 객체는 무시할 수 있다.
양 손 추적을 위하여 위에서 제안한 추적알고리즘과 탐색윈도우를 두 번 적용하고. 또 탐색 윈도우를 손바닥의 크기와 위치에 따라 동적으로 변하도록 하였다.
이것을 해결하기 위해서 다음 절에서 구한 손바닥의 중심점으로 탐색윈도우의 중심점을 이동시키고, 탐색 윈도우크기를 손바닥의 반지름의 일정 배수 크기로 제한한다. 이렇게 함으로써 탐색윈도우가 무한히 확장되는 것을 방지하고, 손바닥을 중심으로 탐색윈도우를 설정한다.
또 자연스러운 인터페이스를 위해서 특정한 마커를 사용하지 않아야 한다. 이를 위해서 본 논문에서는 첫 번째 단계로 RGB 컬러 영역에서 HSV 컬러 영역으로 변형을 한다. 입력 영상의 컬러 성분은 RGB 인데, 각각의 성분들에 휘도 성분이 포함되어있기 때문에 조명에 따라 특징치의 값이 매우 현저하게 변환한다.
본 논문에서는 이러한 단점들을 보완하기 위하여 HMD 를 이용한 증강 현실 기반 손 입력 인터페이스를 제안한다. 이를 위해서 첫 번째로 HMD 에 부착된 USB 카메라로부터 얻어진 영상을 HSV 컬러 공간으로 변환 후, 탐색윈도우 내에서 이중 임계값 처리를 통해 손과 손목이 포함된 객체로 분리한다. 두 번째로는 손과 팔이 포함된 개체에서 거리변형 행렬을 이용해 손과 팔을 분리를 하고 볼록 다각형의 외각점 추출을 통해 손가락 끝을 검출한다.
추적을 통한 탐색 윈도우 내에서 손 객체를 분리, 손바닥 영역 추출, 손끝 추출 그리고 두 손 추적과 손 사이의 충돌 처리를 하였다. 제안된 인터페이스를 AR-Memo, Viewer 그리고 테트리스 게임등과 같은 응용 어플리케이션에 적용하였다. 제안된 손 인터페이스는 착용 형 컴퓨터와 결합되어 사용자에게 직관적인 인터페이스가 될 수 있다.
메모를 마친 후에는 그림 11 과 같이 왼손 바닥 위에 메모를 했던 이미지 또는 문서들도 증강이 된다. 추가적으로 사용자에게 오락적 요소를 제공하기 위해서 그림 12 과 같이 손끝을 이용한 테트리스 게임을 구현하였다. 손끝을 이용하여 블록을 움직인다.
본 논문에서는 시각 기반 증강 현실 기술을 활용한 사용자 인터페이스를 제안하였다. 추적을 통한 탐색 윈도우 내에서 손 객체를 분리, 손바닥 영역 추출, 손끝 추출 그리고 두 손 추적과 손 사이의 충돌 처리를 하였다. 제안된 인터페이스를 AR-Memo, Viewer 그리고 테트리스 게임등과 같은 응용 어플리케이션에 적용하였다.

대상 데이터

본 장에서는 제안된 시스템에 의한 실험결과를 나타낸다. 본 시스템의 입출력장치로써 저가의 15 FPS 오는 USB 카메라가 부착된 대양 ENC 의 Cy-glassed 를 사용하였다. 이 HMD 는 640*480 pixel 의 해상도를 가진다.

이론/모형

이렇게 함으로써 탐색영역 밖의 얼굴이나 다른 손 객체는 무시할 수 있다. 본 논문에서는 Continuously Adaptive Mean Shift Algorithm [3]을 이용하여 손 객체를 추적한다.
손끝의 좌표를 검출 하기 위해 3 coins algorithm” [6]을 사용한다. 그러나 손가락 끝 마디는 수많은 볼록 외각 점으로 구성되게 되기 때문에 손가락의 끝 한 개의 좌표를 얻기 위한 방법이 필요하다.

성능/효과

그러나 메모를 할 때 시선이 고정되어야 한다는 점, 불안정한 펜의 증강으로 매끄럽지 못한 글자 그리고 그로 인해 메모하는 데 걸리는 시간이 늘어나는 단점과 불편하다는 결론을 얻었다. 그러나 메뉴를 선택하거나 제어를 위한 인터페이스로는 기존 인터페이스에 비해 상대적으로 더욱 직관적이며 편하다는 것을 알 수 있다.
첫째, 사용자는 직관적으로 손을 입력 장치로 사용할 수 있다. 둘째, 장소에 제약이 없이 이동중에도 입력이 가능하다. 마지막으로 인식을 위한 특정 마커 [4]가 필요가 없다.
다음으로 메모하는 것, 펜의 색깔과 굵기를 선택하는 것, 저장한 영상을 보는 것 그리고 테트리스 게임을 하는 것에 대한 직관성과 만족도에 대한 비교를 하였다. 본 논문에서 제안한 손 인터페이스를 이용한 방법과 PDA 스타일러스 펜을 이용한 방법 중 상대적으로 어느 것에 더 만족하는지에 따라 “ 불편하다” 또는 “ 편하다” 나타내었다.

후속연구

향후에는 펜의 안정적인 증강을 위해 필터를 적용하는 것과 손바닥의 영역이 겹쳐졌을 경우 안정된 손 영역 분리를 위해 3 차원 시각 정보를 이용하는 것이다. 또한 실내 환경뿐만 아니라 실외환경의 조명에도 강인한 색깔 분리 모델을 고안해야 한다.

핵심어

질문

논문에서 추출한 답변

본 논문에서 손 객체를 추적하기 위해 이용한 알고리즘은 무엇인가?

이렇게 함으로써 탐색영역 밖의 얼굴이나 다른 손 객체는 무시할 수 있다. 본 논문에서는 Continuously Adaptive Mean Shift Algorithm [3]을 이용하여 손 객체를 추적한다.

본 논문에서 제안한 HMD 를 이용한 증강 현실 기반 손 입력 인터페이스의 장점 세 가지는 무엇인가?

제안된 시스템은 다음과 같은 장점을 갖는다. 첫째, 사용자는 직관적으로 손을 입력 장치로 사용할 수 있다. 둘째, 장소에 제약이 없이 이동중에도 입력이 가능하다. 마지막으로 인식을 위한 특정 마커 [4]가 필요가 없다.

손 끝 검출에서 손가락의 끝 한 개의 좌표를 얻기 위한 방법이 필요한 이유는 무엇인가?

손끝의 좌표를 검출 하기 위해 3 coins algorithm” [6]을 사용한다. 그러나 손가락 끝 마디는 수많은 볼록 외각 점으로 구성되게 되기 때문에 손가락의 끝 한 개의 좌표를 얻기 위한 방법이 필요하다. 이를 위해서 볼록 다각형의 외각 좌표들 간의 거리에 제한을 둔다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

Video see-through HMD 기반 증강현실을 위한 손 인터페이스
Video see-through HMD based Hand Interface for Augmented Reality 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

Video see-through HMD 기반 증강현실을 위한 손 인터페이스 Video see-through HMD based Hand Interface for Augmented Reality 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

Video see-through HMD 기반 증강현실을 위한 손 인터페이스
Video see-through HMD based Hand Interface for Augmented Reality 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper