[논문]비전을 이용한 비접촉 스크린 입력장치

서효동; 주영훈

doi:10.5370/kiee.2011.60.10.1946

비전을 이용한 비접촉 스크린 입력장치
Input Device of Non-Touch Screen Using Vision 원문보기

전기학회논문지 = The Transactions of the Korean Institute of Electrical Engineers, v.60 no.10, 2011년, pp.1946 - 1950

서효동 (군산대학교 제어로봇공학과) , 주영훈 (군산대학교 제어로봇공학과)

Abstract ▼ AI-Helper

This paper deals with an input device without the touch. The existing touch screens have some problems such as the week durability by frequent contact and the high cost by complex hardware configuration. In this paper, a non-touch input device is proposed to overcome these problems. The proposed method uses a skin color generated by the HCbCr color model and a hand region obtained by the labeling technique. In Addition, the skeleton model is employed to improve the recognition performance of the hand motion. Finally, the experiment results show the applicability of the proposed method.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

기존의 터치스크린이 가지고 있던 문제점인 낮은 내구성과 복잡한 하드웨어 구성으로 인한 비용 상승 등을 해결하기 위해, 본 논문에서는 비전을 이용한 비접촉 스크린 입력 장치를 제안하였다. 별도로 손에 부착하는 마커나 센서 없이 일반 모니터와 웹 카메라만을 사용하며, 입력된 영상에 HCbCr 컬러 모델을 이용하여 피부를 검출하였다.
본 논문에서는 별도의 하드웨어 조작없이 사용자의 손을 이용한 비전방식의 비접촉 스크린 입력 장치를 제안한다. 제안하는 시스템의 구성은 그림 1과 같다.
다양한 환경에서의 손 영역을 추출하기 위한 알고리즘이 필요하며 실시간에서의 응용을 위한 빠른 검출 속도를 필요로 한다. 본 논문에서는 손 동작 인식에 대한 기존연구의 문제점을 개선하여 비전 방식의 비접촉 스크린 입력장치를 제안한다. 빠른 손 영역을 추출하고 스켈레톤 모델을 생성 후, 입력 장치로 인식시키기 위해 다음과 같은 처리 과정을 거친다.
손가락의 구부러진 각도를 계산하여 클릭 동작을 인식하고 각 손가락에 이벤트를 부여하여 터치 동작을 수행하는 입력장치로 인식시킨다. 비전을 이용한 비접촉 스크린 입력장치는, 스크린에 손의 직접적인 터치가 없이 터치 하는 동작만으로 원거리 제어가 가능함을 목표로 한다.
손 영역 스켈레톤이 생성되는가의 여부를 3단계를 나누어 판단하였으며 스켈레톤이 계속 유지 되면 좋음, 10초 이내에 재생성되면 보통, 생성되지 않으면 나쁨으로 판단하였다. 이 실험은 높은 곳에 위치한 스크린이나 대형 스크린에서의 사각지대 터치 유용성을 확인하기 위해 실행하였다.

제안 방법

손 영역의 특징점은 무게 중심법과 굴곡 기법을 이용하여 추출한다. 각 특징점들을 이용하여 손 스켈레톤 모델을 생성하고 손가락의 구부러진 각도를 이용하여 터치 이벤트를 부여한다.
별도로 손에 부착하는 마커나 센서 없이 일반 모니터와 웹 카메라만을 사용하며, 입력된 영상에 HCbCr 컬러 모델을 이용하여 피부를 검출하였다. 레이블링을 이용하여 손 영역만을 추출하고 손 끝 특징점 및 중심점을 이용하여 손 영역 스켈레톤 모델을 생성하였다. 손가락의 구부러진 각도를 이용하여 터치 동작을 인식시키고 각각의 손가락에 이벤트를 부여한다.
기존의 터치스크린이 가지고 있던 문제점인 낮은 내구성과 복잡한 하드웨어 구성으로 인한 비용 상승 등을 해결하기 위해, 본 논문에서는 비전을 이용한 비접촉 스크린 입력 장치를 제안하였다. 별도로 손에 부착하는 마커나 센서 없이 일반 모니터와 웹 카메라만을 사용하며, 입력된 영상에 HCbCr 컬러 모델을 이용하여 피부를 검출하였다. 레이블링을 이용하여 손 영역만을 추출하고 손 끝 특징점 및 중심점을 이용하여 손 영역 스켈레톤 모델을 생성하였다.
피부색만의 분포를 적절한 모델로 근사화 하여 배경색과 피부색의 구분이 가능하다. 본 논문에서는 HSI 및 YCbCr 컬러 모델 중에서, 조도 변화에 강인한 색상 정보인 H값, Cb값 및 Cr값만을 추출하여 새로운 HCbCr 컬러 모델을 생성한다. HCbCr 컬러 모델을 구하는 방법은 식(1)와 같다.
한편, 표 2는 손과 웹 카메라 간의 거리에 따른 스켈레톤 인식률을 나타내었다. 손 영역 스켈레톤이 생성되는가의 여부를 3단계를 나누어 판단하였으며 스켈레톤이 계속 유지 되면 좋음, 10초 이내에 재생성되면 보통, 생성되지 않으면 나쁨으로 판단하였다. 이 실험은 높은 곳에 위치한 스크린이나 대형 스크린에서의 사각지대 터치 유용성을 확인하기 위해 실행하였다.
피부 이외의 잡음들을 제거하기 위해 모폴로지 필터링을 수행한다. 손 영역을 추출하기 위해서 레이블링 기법으로 객체를 생성 한 후, 일정 크기 이 객체는 필터링을 거쳐 최종적인 손 영역을 추출한다. 손 영역의 특징점은 무게 중심법과 굴곡 기법을 이용하여 추출한다.
스켈레톤 모델은 손가락 움직임의 중요한 관절 위치만으로 표현한 특징 벡터 방식이다. 인간의 손 DB를 이용하여 손의 구조적 비례 정보를 구하고, 막대형 특징점 추출 방식인 스켈레톤 모델 형태를 사용한 손 영역 스켈레톤 모델을 생성한다. 막대형 특징점을 추출하기 위하여 앞 절에서 추출한 손 끝 특징점과 손의 무게중심을 이용한다.
입력 영상은 640 × 480의 해상도를 가지는 24bit RGB 영상이고 웹 카메라로 실시간 처리하였다.
빠른 손 영역을 추출하고 스켈레톤 모델을 생성 후, 입력 장치로 인식시키기 위해 다음과 같은 처리 과정을 거친다. 조도 변화에 민감한 2차원 이미지를 HCbCr 컬러 모델을 이용하여 피부를 검출하고 레이블링 기법을 이용해 손을 추출한다. 손 무게 중심과 손 끝점을 생성하고 이를 이용하여 스켈레톤 모델을 생성한다.
웹 카메라로부터 입력받은 RGB 색상정보는, 조도의 변화에 강인한 HCbCr 컬러 모델로 변환하여 피부 영역을 추출한다. 피부 이외의 잡음들을 제거하기 위해 모폴로지 필터링을 수행한다. 손 영역을 추출하기 위해서 레이블링 기법으로 객체를 생성 한 후, 일정 크기 이 객체는 필터링을 거쳐 최종적인 손 영역을 추출한다.
그림 2의 (a)에서는 이진영상 내에서 이웃 화소로 뭉쳐있는 영역을 검출하고 (b)에서 모든 픽셀에 고유한 번호를 붙여 하나의 객체라고 규정한다. 한 화소가 다른 화소들에 연결되어 있는지를 알기 위하여 8-이웃화소를 통해 손 후보 영역을 레이블링 한다.

대상 데이터

본 연구에 사용된 하드웨어 시스템은 IBM 호환 컴퓨터(CPU : Intel Q6600, RAM : 4GB)이며 1440*900의 해상도를 갖는 모니터 2대가 사용되었다. 입력 영상은 640 × 480의 해상도를 가지는 24bit RGB 영상이고 웹 카메라로 실시간 처리하였다.

이론/모형

손 영역을 추출하기 위해서 레이블링 기법으로 객체를 생성 한 후, 일정 크기 이 객체는 필터링을 거쳐 최종적인 손 영역을 추출한다. 손 영역의 특징점은 무게 중심법과 굴곡 기법을 이용하여 추출한다. 각 특징점들을 이용하여 손 스켈레톤 모델을 생성하고 손가락의 구부러진 각도를 이용하여 터치 이벤트를 부여한다.
비접촉 스크린에서 손 스켈레톤 모델은 입력장치로써 손가락의 터치 유무를 인식 한다. 터치 판단 방법은 각 손가락에 추출 된 3개의 특징점을 이용하여, 코사인 제2법칙으로 손가락의 구부림에 따른 각도를 계산한다. 계산된 각도는 임계값 이상의 각도가 되면 터치로 판단되며 터치되는 좌표는 손 영역의 중심에 해당한다.

성능/효과

실험 결과 40cm에서 180cm 사이의 거리에서는 좋은 인식률을 나타내는 것을 알 수 있다.
손가락의 구부러진 각도를 이용하여 터치 동작을 인식시키고 각각의 손가락에 이벤트를 부여한다. 제안하는 입력 방법과 윈도우 7 멀티터치 플렛폼을 연동한 실험을 통해, 기본 클릭, 뒤로 가기, 스크롤 다운, 스크롤 업, 창 전환 등 다양한 컴퓨터 어플리케이션의 조작이 가능함을 보였다.

질의응답

핵심어	질문	논문에서 추출한 답변
	손 동작 인식은 어떠한 방법으로 구분할 수 있는가?	이를 극복하기 위해서 비전 기반의 손 동작 인식을 이용한 시스템 개발이 필요하다[11]. 손 동작 인식은 글러브 데이터를 이용하는 방법과, 비전을 이용하는 방법으로 구분할 수 있다. 글러브 데이터를 사용하는 방법은 손의 각 부위에 광센서 또는 굴절계측기를 장착한 장갑의 출력 값을 이용하는 기기 기반의 측정 방식으로 손동작에 대한 정확한 위치를 얻을 수 있다.
	정보기기는 어떠한 방식으로 발전하고 있는가?	현대 사회에서 컴퓨터 정보기술의 발전으로 정보기기 사용이 보편화됨에 따라 사용기기와 인간 사이에, 자연스러운 상호작용(HCI : Human-Computer Interaction)의 중요성이 증가하고 있다[1-3]. 이에 따라 정보기기는 Text 위주의 인터페이스에서, 인간의 다양한 제스쳐 등을 사용하고 사용자 경험(UX : User Experience)을 중요시 하는 MMI (Multimodal Interface) 방식으로 발전하고 있다[4-7]. 그 중에서도 터치스크린은 사용자 경험을 고려하는 대표적인 장치로서 스마트폰, 태블릿PC, 게임 등에 많이 이용되고 있다[8,9].
	터치스크린은 어떠한 장점을 가진 방식인가?	그 중에서도 터치스크린은 사용자 경험을 고려하는 대표적인 장치로서 스마트폰, 태블릿PC, 게임 등에 많이 이용되고 있다[8,9]. 이러한 방식은 직관적인 도구인 손을 이용하여 직접 정보를 입력하기 때문에 별도의 입력 장치가 필요하지 않고 사용자 훈련 여부와 관계없이 사용할 수 있다는 장점이 있다. 기존의 터치스크린은 구현원리와 동작 방법에 따라 저항막(감압) 방식, 정전용량 방식, 적외선 방식, 초음파 방식 등의 다양한 방식으로 구분된다.

참고문헌 (11)

R. Cowie, "Emotion Recognition In Human-Computer Interaction," Signal Processing Magazine, IEEE, Vol.18 pp. 32-80, January 2001.

상세보기
T. Huang, and V. Pavloic, "Hand Gesture Modeling, Analysis, and Synthesis," International Workshop on Automatic Face and Gesture-Recongnition, pp. 73-79, June 1995.
F. Karray, M. Alemzadeh, J. Saleh, and M. Arab, "Human-Computer Interaction: Overview on State of the Art," Intl. Journal on Smart Sensing and Intelligent Systems, Vol.1, no.1, pp. 137-159, March 2008.
J. Han, "Low-Cost Multi-Touch Sensing through Frustrated Total Internal Reflection," In Proceedings of the 18th Annual ACM Symposium on User Interface Software and Technology, pp. 115-118, 2005.
S. Oviatt, "Advances In Robust Multimodal Interface Design," IEEE Computer Graphics and Applications, Vol.23 pp. 62-68, September-October 2003.

상세보기
C. Spence, "Crossmodal Attention and Multisensory Integration: Implications for Multimodal Interface Design," International Conference on Multimodal Interfaces, Vol.5, November 2003.
M. Kolsch, R. Bane, T. Hollerer, and M. Turk, "Multimodal Interaction with a Wearable Augmented Reality System," IEEE Computer Graphics and Applications, Vol.26, no.3 pp. 62-71, May-Jun 2006.

상세보기
M. Kim, and J. Yoon, "Implementation of Mobile Game Interface through an Operating Interface Analysis of Touchscreen Devices," Journal of Society of Design Science, No.81, pp. 231-244, 2009.
J. Rantala, R. Raisamo, J. Lylykangas, V. Surakka, J. Raisamo, K. Salminen, T. Pakkanen, and A. Hippula, "Methods for Presenting Braille Characters on a Mobile Device with a Touchscreen and Tactile Feedback," IEEE Trans. on Haptics, Vol. 2, no. 1, pp. 28-39, 2009.

상세보기
F. Wang, H. Deng, K. Ki, and Q. Ting, "A Study on Image Splicing Algorithm for Large Screen Multi-touch Technique," Machine Vision and Human-Machine Interface, pp. 526-529, April 2010.
Z. Pan, "A Real-time-cue Hand Tracking Algorithm Based On Computer Vision," IEEE Virtual Reality Conference, pp. 219-222, March 2010.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증