[논문]가상 터치스크린 시스템을 위한 TOF 카메라 기반 3차원 손 끝 추정

김민욱; 안양근; 정광모; 이칠우

doi:10.3745/kipstb.2010.17b.4.287

가상 터치스크린 시스템을 위한 TOF 카메라 기반 3차원 손 끝 추정
3D Fingertip Estimation based on the TOF Camera for Virtual Touch Screen System 원문보기

정보처리학회논문지. The KIPS transactions. Part B. Part B, v.17B no.4, 2010년, pp.287 - 294

김민욱 (전남대학교 전자컴퓨터 공학부) , 안양근 (전자부품연구원(KETI)) , 정광모 (전자부품연구원(KETI) 실감정보플랫폼 연구센터) , 이칠우 (전남대학교 전자컴퓨터공학부)

초록
AI-Helper

TOF(Time of Flight) 기술은 물체의 3차원 깊이 정보 추출을 가능케 하는 기술 중의 하나이다. 하지만, TOF의 카메라의 출력인 깊이 영상을 이용한 물체의 3차원 위치 추출은 몸이나 손 등 크기가 큰 물체의 경우에는 비교적 신뢰성 있는 결과를 얻을 수 있는데 비하여 크기가 작은 손 끝의 경우에는 신뢰할 수 있는 값을 얻기 힘들다. 본 논문에서는 TOF 카메라에서 육면체 손 모델을 이용하여 수정된 손의 영상에서의 위치 정보와 팔 모델을 이용하여 손 끝의 3차원 좌표를 추정한다. 제안된 방법으로 실험을 한 결과 TOF 카메라의 깊이 영상만을 사용하여 인식한 손 끝의 3차원 위치정보와 비교하여 훨씬 더 향상된 결과를 얻을 수 있었다.

Abstract ▼ AI-Helper

TOF technique is one of the skills that can obtain the object's 3D depth information. But depth image has low resolution and fingertip occupy very small region, so, it is difficult to find the precise fingertip's 3D information by only using depth image from TOF camera. In this paper, we estimate fingertip's 3D location using Arm Model and reliable hand's 3D location information that is modified by hexahedron as hand model. Using proposed method we can obtain more precise fingertip's 3D information than using only depth image.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 TOF 카메라의 깊이 영상과 팔 모델, 육면체 손 모델을 이용하여 손 끝의 3차원 위치 검출하는 방법을 제안하였다. 기존의 TOF 카메라와 물체와의 거리, 즉 깊이 영상만을 이용하는 경우에는 카메라의 해상도와 손의 위치에 따라서 추정된 손 끝의 3차원 위치는 비교적 많은 오류를 포함하고 있으며, 특정 영상에서는 완전히 다른 부분을 검출하는 경우도 있었다.

가설 설정

영상에서의 객체의 중심점은 모델의 영상에 투영될 손의 3차원 중심점 PM을 2차원 영상 평면에 투영한 점이기 때문에 PM을 2차원으로 투영한 점 Pμ은 PM을 (xm, ym, zm)이라고 가정하고 𝑓를 카메라 렌즈의 초점거리라고 하면 식 11로 표현되고, 이 수식은 2.3절에서 검출했던 객체의 중심 모멘트와 같다.
이미 사전에 알고 있는 영상에서 손의 중심점과 카메라의 내부파라미터인 초점거리를 이용하여 3차원 손의 위치를 추정한다. 하지만, 3차원 손의 위치를 영상에서 추정하고, 손의 중심점은 손의 위치에 따라 중심점이 변하므로 손을 육면체 모델로 가정한다. 회전변환에 따른 모형의 변화를 추정하여 손의 위치에 독립적으로 손의 일정한 지점의 3차원 위치를 추정한다.

제안 방법

Eunjin Koh 등[2]은 스테레오 카메라를 이용하여 가상 터치스크린을 구성하였다. 그리고 실제 AR(Augmented Reality)기술을 이용하여 마커와 HMD(Head Mounted Display)를 이용하여 가상 터치스크린 막을 실제 시각적으로 볼 수 있게 하였다. 다음으로, 스테레오 카메라의 깊이 정보를 이용하여 추정된 손의 3차원 위치를 추정하고 사전에 미리 지정한 HMD와 손 사이의 거리와 비교하여 터치 여부를 결정한다.
그리고 실제 AR(Augmented Reality)기술을 이용하여 마커와 HMD(Head Mounted Display)를 이용하여 가상 터치스크린 막을 실제 시각적으로 볼 수 있게 하였다. 다음으로, 스테레오 카메라의 깊이 정보를 이용하여 추정된 손의 3차원 위치를 추정하고 사전에 미리 지정한 HMD와 손 사이의 거리와 비교하여 터치 여부를 결정한다.
본 논문에서는 TOF 카메라를 사용하여 얻은 손 영역에 대한 3차원 무게 중심점의 위치 및 손의 회전각을 검출하고, 육면체 모델을 이용하여 손의 무게중심점의 3차원 위치 및 회전각을 보정함으로써 손 끝의 3차원 위치를 정확하게 추정한다. 그 결과 단순히 임계치를 이용하여 손 끝을 추정할 때보다 현저하게 개선된 결과를 얻을 수 있었다.
성능 검사는 수작업으로 얻은 손 끝의 픽셀의 위치 참 값(Ground Truth)의 데이터와 각 알고리즘의 손 끝의 위치 추정의 결과값 사이의 오차를 계산하여 비교 평가하였다. 비교 대상 알고리즘은 깊이 영상만을 이용하여 얻은 손 끝 위치 검출 알고리즘, 팔 모델을 이용하여 얻은 손 끝의 추정 알고리즘, 팔 모델과 육각형 손 모델을 이용하여 얻은 손 끝의 추정 알고리즘이다. 각각 알고리즘의 검출 결과와 참 값과의 거리 차에 임계치를 설정하여 정분류된 손 끝의 프레임수를 합산한 결과와 각 알고리즘의 결과의 MSE(Mean Square Error)를 계산한 결과를 통해 성능 평가를 수행하였다.
성능 검사는 수작업으로 얻은 손 끝의 픽셀의 위치 참 값(Ground Truth)의 데이터와 각 알고리즘의 손 끝의 위치 추정의 결과값 사이의 오차를 계산하여 비교 평가하였다. 비교 대상 알고리즘은 깊이 영상만을 이용하여 얻은 손 끝 위치 검출 알고리즘, 팔 모델을 이용하여 얻은 손 끝의 추정 알고리즘, 팔 모델과 육각형 손 모델을 이용하여 얻은 손 끝의 추정 알고리즘이다.
(그림 6)는 임계치 설정만을 이용하여 손 끝 영역을 추출한 결과이다. 실험에서는 실시간 환경에서 임계치은 깊이 영상 중에서 가장 높은 값을 설정하여 카메라에서 가장 가깝게 인식되는 지점을 찾도록 하였다. 그 결과, (그림 6)처럼 손 끝이 인식되는 프레임도 있었지만, 오인식 되는 프레임도 있어서 임계치 설정만으로 손 끝의 위치를 추정하는 것은 한계가 있음을 알 수 있다.
실험은 TOF 카메라의 깊이 영상만을 이용하여 손 끝을 찾는 방법, 팔 모델만을 이용하여 손 끝을 찾는 방법, 그리고 팔 모델과 육면체 손 모델을 이용하여 손 중심점을 보정하여 손 끝을 찾는 방법으로 각각 진행된다. 실험의 입력으로는 3DVSystems의 TOF 카메라인 ZCAM의 320×240 해상도를 갖는 깊이 영상과 컬러 영상이 이용되었다.
제안된 방법은 사용자가 Z축으로 일정한 거리에 고정되어 있어야 한다는 제약을 가지고 있어서 사용자와 움직임에 따라서 어깨의 위치, 즉 팔 모델의 원점 위치를 재설정해주어야 한다. 따라서 향후 가변적인 사용자의 위치에도 정확하게 손 끝의 3차원 지점을 검출할 수 있는 연구가 필요하다.

대상 데이터

실험은 각각 280장의 컬러 영상과 깊이 영상으로부터 팔 모델과 육면체 손 모델을 사용하여 3차원 손 끝을 찾는 것으로 이루어진다. 3차원 손 끝 검출 실험의 신뢰도를 위하여 검출된 3차원 손 끝의 위치를 2차원 영상 평면에 투영해 보고 참 값(Ground Truth)와 비교하였으며, (그림 15)는 OpenGL 그래픽 툴을 이용하여 시각적으로 확인할 수 있게 하였다.
실험의 입력으로는 3DVSystems의 TOF 카메라인 ZCAM의 320×240 해상도를 갖는 깊이 영상과 컬러 영상이 이용되었다.

데이터처리

실험은 각각 280장의 컬러 영상과 깊이 영상으로부터 팔 모델과 육면체 손 모델을 사용하여 3차원 손 끝을 찾는 것으로 이루어진다. 3차원 손 끝 검출 실험의 신뢰도를 위하여 검출된 3차원 손 끝의 위치를 2차원 영상 평면에 투영해 보고 참 값(Ground Truth)와 비교하였으며, (그림 15)는 OpenGL 그래픽 툴을 이용하여 시각적으로 확인할 수 있게 하였다.
비교 대상 알고리즘은 깊이 영상만을 이용하여 얻은 손 끝 위치 검출 알고리즘, 팔 모델을 이용하여 얻은 손 끝의 추정 알고리즘, 팔 모델과 육각형 손 모델을 이용하여 얻은 손 끝의 추정 알고리즘이다. 각각 알고리즘의 검출 결과와 참 값과의 거리 차에 임계치를 설정하여 정분류된 손 끝의 프레임수를 합산한 결과와 각 알고리즘의 결과의 MSE(Mean Square Error)를 계산한 결과를 통해 성능 평가를 수행하였다.

이론/모형

TOF 카메라의 깊이 정보만을 이용하여 손 끝의 위치 추적하는 것은 한계성을 갖는다. 따라서 본 논문에서는 실제 동작자와 같은 길이를 갖는 3D 팔모델을 이용한다. 어깨로부터 팔 길이만큼 공간에 위치해 있는 손의 3차원 위치를 추정하고, 그 기울기에 따라 손 끝의 위치를 추정하는 방법이다.

성능/효과

결과적으로 과 같이 팔 모델과 손 위치보정을 해서 손 끝을 검출한 결과가 깊이 영상만을 이용한 결과보다 훨씬 더 좋은 결과를 얻었다.
본 논문에서는 TOF 카메라를 사용하여 얻은 손 영역에 대한 3차원 무게 중심점의 위치 및 손의 회전각을 검출하고, 육면체 모델을 이용하여 손의 무게중심점의 3차원 위치 및 회전각을 보정함으로써 손 끝의 3차원 위치를 정확하게 추정한다. 그 결과 단순히 임계치를 이용하여 손 끝을 추정할 때보다 현저하게 개선된 결과를 얻을 수 있었다.
그리고 손의 3차원 위치에 따른 x, z 축을 기준으로 하는 회전 자유도 θx, θz를 구함으로써 손 끝의 3차원 위치를 추정하고, 그 결과 깊이 영상만을 이용하여 손 끝을 검출하였을 때보다 개선된 결과를 얻을 수 있었다.

후속연구

제안된 방법은 사용자가 Z축으로 일정한 거리에 고정되어 있어야 한다는 제약을 가지고 있어서 사용자와 움직임에 따라서 어깨의 위치, 즉 팔 모델의 원점 위치를 재설정해주어야 한다. 따라서 향후 가변적인 사용자의 위치에도 정확하게 손 끝의 3차원 지점을 검출할 수 있는 연구가 필요하다.

질의응답

핵심어	질문	논문에서 추출한 답변
	TOF 카메라는 어떻게 깊이 영상을 생성하는가?	TOF 카메라는 카메라 내부에서 발산한 적외선 광분자가 대상 물체에 부딪쳐서 되돌아오는 시간을 카메라 내부에 센서가 인지한 후, 측정된 시간을 대상과의 거리로 변환하여 깊이 영상을 생성한다. TOF 카메라의 특성을 이용하면 2m 이내의 근거리에서의 물체의 3차원 깊이 정보를 비교적 정확하게 얻을 수 있다[13].
	가상 터치스크린은 무엇인가?	이와 같은 터치스크린의 단점을 보완하기 위하여 개발된 것이 가상 터치스크린이다. 가상 터치스크린은 기존의 터치스크린에서 요구되는 물리적인 막이 없이, 카메라나 센서만을 이용하여 손이나 다른 물리적인 물체로부터의 터치 제스처를 인식하는 기술이다. 따라서 가상 터치스크린 기술은 기존의 터치스크린의 단점을 보완할 수 있고 3DTV 등 3D 디스플레이를 조작하는 도구로 사용될 수 있기 때문에 차세대 실감형 입력 인터페이스로 활용할 수 있다.
	근거리 내의 손의 깊이정보를 추출하는 경우 TOF 카메라의 한계점은?	근거리 내의 손의 깊이정보를 추출하는 경우, TOF 카메라는 스테레오 카메라보다 강건하게 3차원 위치의 검출이 가능하다[14]. 하지만, 손 끝 검출의 경우에는 영상에서 차지하는 픽셀 수가 극히 작아서 정확한 위치를 검출하기 어렵다. 따라서 손 끝의 3차원 위치를 추정하기 위해 손의 정확한 위치를 추적하는 방법이 필요하다.

참고문헌 (18)

김형준, "게임 응용을 위한 가상 터치스크린 시스템", 한국게임학회논문지, 제6권, 제3호, pp.77-86, 2006.

원문보기 상세보기
Eunjin Koh, Jongho Won, and Changseok Bae, "Vision-based Virtual Touch Screen Interface", ICCE 2008, LasVegas, USA, 2008.
석홍일, 이지홍 and 이성환, "3차원 손 모델링 기반의 실시간 손 포즈 추적 및 손가락 동작 인식", 정보과학회논문지, 제35권, 제12호, 2008.

원문보기 상세보기
A. Heap and D. Hogg, "Improving Specificity in PDMs using a Hierarchical Approach," Proc. British Machine Vision Conference, Essex, UK, Vol.1, pp.80-89, Sept. 1997.
R. Rosales, S. Sclaroff, and V. Athitsos, "3D Hand Pose Reconstruction using Specialized Mappings," Proc. 8th IEEE International Conference on Computer Vision, Vancouver, Canada, Vol.1, pp.378-385, July, 2001.
Y. Wu and T. Huang, "View-Independent Recognition of Hand Postures," Proc. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, South California, USA, Vol.2, pp.88-94, June, 2000.
J. Deutscher, A. Blake, and I. Reid, "Articulated Body Motion Capture by Annealed Particle Filtering," Proc. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, South California, USA, Vol.2, pp.126-133, June, 2000.
N. Shimada, Y. Shirai, Y. Kuno, and J. Miura."Hand Gesture Estimation and Model Refinement using Monocular Camera Ambiguity Limitation by Inequality Constraints," Proc. 3rd IEEE International Conference on Automatic Face and Gesture Recognition, Nara, Japan, pp.268-273, 1998.
Y. Wu and T. Huang, "Capturing Articulated Human Hand Motion: A Divide-and-Conquer Approach," Proc. 7th IEEE International Conference on Computer Vision, Kerkyra, Greece, Vol.1, pp.606-611, 1999.
B. Stenger, A. Thayananthan, P. Torr, and R. Cipolla, "Hand Pose Estimation Using Hierarchical Detection," Proc. European Conference on Computer Vision, Lecture Notes in Computer Science, Prague, Czech Republic, Vol.3058, pp.105-116, May, 2004.
J. Kuch and T. Huang, "Vision based Hand Modeling and Tracking for Virtual Teleconferencing and Telecollaboration," Proc. 5th International Conference on Computer Vision, Cambridge, USA, pp.666-671, June, 1995.
J. Lee and T. Knuii, "Model-based Analysis of Hand Posture," Proc. IEEE Computer Graphics and Application, New York, USA, Vol.15, No.5, pp.77-86, 1995.

상세보기
G.J. Iddan and G. Yahav, "3D IMAGING IN THE STUDIO (AND ELSEWHERE...)," Proceedings of SPIE, Vol.4298, pp.48-55, 2001.
김민욱, 안양근 and 이칠우, "다층신경망과 3차원 시각정보에 기반한 가상스크린 시스템,"멀티미디어학회 춘계학술대회, 제12권, 제1호, p.87, 2009.
양정석, "모델 기반 헤드포즈 인식에 의한 응시 위치 인식", 석사학위논문, 전남대학교 대학원, 2002.
Yi Ma, Stefano Soatto, Jana Kosecka and S. Shankar Sastry, An Invitation to 3-D Vision From Image to Geometric Models, Springer, 2006.
주우석, "OpenGL로 배우는 컴퓨터 그래픽스," 한빛미디어, 2006.
Meskers C.G.M, Vermeulen H.M., Groot de J.H., Helm van der F.C.T. and Rozing P.M.. "3D shoulder position measurements using a six-degree-of-freedom electromagnetic tracking device," Clinical Biomechanics, Vol.13, pp.280-292, 1998.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증