[논문]영상처리를 이용한 지화인식 기반의 차세대 인터페이스 시스템 개발

김남호

doi:10.6109/jkiice.2011.15.4.935

영상처리를 이용한 지화인식 기반의 차세대 인터페이스 시스템 개발
A Development of the Next-generation Interface System Based on the Finger Gesture Recognizing in Use of Image Process Techniques 원문보기

한국해양정보통신학회논문지 = The journal of the Korea Institute of Maritime Information & Communication Sciences, v.15 no.4, 2011년, pp.935 - 942

김남호 (호남대학교 인터넷콘텐츠학과)

초록
AI-Helper

본 연구는 카메라를 통하여 취득한 지화를 자동으로 인식하고, 컴퓨터를 제어하는 지화인식 시스템을 설계하고 구현하는데 목적이 있다. 먼저 영상을 취득하기 위하여 일반 카메라를 개조하여 적외선 CCD 카메라를 제작하였고, 입력영상의 전처리와 손의 특징들을 찾아 분석하여 손 모양에 따라 해당되는 지화를 판독하고, 이벤트를 발생시켜 마우스 제어와 프리젠테이션을 수행할 수 있는 방법을 제시하였다. 본 연구에서 제안하는 지화인식 시스템은 미래형 정보기기의 마우스와 키보드를 대체할 수 있는 차세대 인터페이스로서의 사용가능성을 검증하였다.

Abstract ▼ AI-Helper

This study aims to design and implement the finger gesture recognizing system that automatically recognizes finger gestures input through a camera and controls the computer. Common CCD cameras were redesigned as infrared light cameras to acquire the images. The recorded images go through the pre-process to find the hand features, the finger gestures are read accordingly, and an event takes place for the follow-up mouse controlling and presentation, and finally the way to control computers is suggested. The finger gesture recognizing system presented in this study has been verified as the next-generation interface to replace the mouse and keyboard for the future information-based units.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 미래의 가상현실 환경의 응용에 적합한 차세대 인터페이스 개발을 위하여 다음과 같은 사항을 수행하였다. 먼저 적외선 카메라를 사용하여 일반 카메라보다 외부환경에 영향을 적게 받아 오차를 줄였다.
본 논문에서는 이러한 지화를 인식하기 위하여 영상처리 기술을 도입하였고, 손의 모양에 따라 컴퓨터를 제어하는 시스템을 개발하여 컴퓨터 사용 인터페이스로서의 지화인식의 활용가능성을 제시하고자 하였다.
본 연구에서는 이진 모폴로지 연산을 잡음 제거를 위한 목적으로 사용하기 위해 팽창연산 수행 후 침식 연산을 수행하는 제거(opening) 연산을 적용하였다.

제안 방법

일반 카메라에는 적외선을 차단하는 IR-Cut 필터가 붙어있기 때문에 적외선을 통과시기기 위해서 IR-Cut 필터를 제거해 준다. 그 다음에 적외선 카메라에 가시광선이 들어오는 것을 차단하기 위해 가시광선 차단 역할을 하는 네거티브 필름을 붙여 적외선만 통과할 수 있도록 하여 간단하게 일반 카메라를 적외선 카메라로 개조하여 사용하였다.
본 논문에서는 미래의 가상현실 환경의 응용에 적합한 차세대 인터페이스 개발을 위하여 다음과 같은 사항을 수행하였다. 먼저 적외선 카메라를 사용하여 일반 카메라보다 외부환경에 영향을 적게 받아 오차를 줄였다. 한편 역전파 알고리즘의 신경망을 이용한 지화 인식은 기계학습을 해야 하기 때문에 손 모양에 따라 많은 학습 자료가 요구되며, 학습시간이 오래 걸려 개발하기에 많은 어려움이 있었으나 본 연구에서는 특징값을 추출해 지화를 인식함으로써 개발 시간을 줄이고, 인식률을 높 였다.
모델 기반 방법은 인식하려는 손동작을 3차원적으로 미리 모델링한 후, 두대 이상의 카메라를 통하여 입력되는 영상으로부터 3차원 정보를 획득하여 이미 정의된 모델들과 비교함으로써 가장 유사한 모델을 선택한다[9][10]. 이에 비해 윤곽선 기반 방법은 손 모양 영상들에서 손 영역의 형태상의 특징을 추출함으로써 손 모양을 인식하는 방법이다[11].
무게중심을 기준으로 일정한 길이로 원을 그려 원 밖에 있는 개체(손가락)의 경계 좌표 중 무게중심에 가장 멀리 떨어져 있는 좌표를 손가락 끝 점으로 잡고, 그 개체의 개수를 세서 손가락의 개수를 구한다.
Glassfire 알고리즘은 마른 잔디에서 불이 번져나가는 모양과 비슷하게 화소를 라벨링하기 때문에 붙여진 이름이다. 본 연구에서는 스택을 사용하여 라벨링을 구현하고, 이를 이용하여 손과 배경을 분리한다.
일반(RGB) 카메라는 외부 환경인 빛과 배경에 따라 영향을 많이 받기 때문에 오차 발생률이 매우 높다. 외부 환경의 영향을 적게 받기위해 본 연구에서는 적외선 카메라와 적외선 LED 모듈을 이용한다.
이를 위해, 적외선 카메라를 통하여 입력영상을 취득하였고, 입력영상의 전처리와 분석을 통하여 수화를 인식하여 컴퓨터를 제어하는 시스템을 개발하였다.
이번 센서 적외선 카메라를 통해 들어온 영상을 이진화 시킨 후 원치 않은 잡음을 제거하기 위해 미디언 필터를 수행한다. 미디언 필터는 이진 이미지를 x, y로 보았을 때 0, 0 좌표에서 3×3 mask로 좌표이동 하는데, x, y 좌표 주변 픽셀들의 값들을 내림차순으로 정렬하여 그 중앙에 있는 픽셀 값을 이용하는 필터이다.
지화 인식 시스템은 적외선 카메라에 입력된 손 영상을 이진화, 미디언 필터, 이진 모폴로지 연산 등의 전처리를 통하여 잡음을 제거하고, 라벨링과 경계 추적 알고리즘을 이용하여 배경과 손을 분리한 후, 손의 특징들을 추출해 내고, 이 특징들을 분석하여 지화를 인식한다. 해당 지화에 따라 이벤트를 연결하여 마우스 제어 모드와 파워포인트 제어 모드로 변환하고 제어할 수 있게 만들어 키보드나 마우스가 필요 없는 차세대 인터페이스를 제작하였다. 위에서 설명한 영상처리 과정은 다음의 그림2와 같다.

이론/모형

미디언 필터는 이진 이미지를 x, y로 보았을 때 0, 0 좌표에서 3×3 mask로 좌표이동 하는데, x, y 좌표 주변 픽셀들의 값들을 내림차순으로 정렬하여 그 중앙에 있는 픽셀 값을 이용하는 필터이다. 미디언 필터를 구현하기 위해서 픽셀 값을 정렬하는 삽입 정렬 알고리즘을 사용하였다.
영상에서 관심 있는 영역은 물체가 되고 나머지는 배경으로 취급된다. 본 연구에서는 물체 분할을 위해 라벨링(labeling)과 경계 추적 알고리즘을 이용한다.

성능/효과

이번 연구에 사용한 적외선 카메라는 형광등을 사용 하는 실내 환경에서는 만족할만한 결과가 나왔지만 실외나 백열등이 있는 환경에서는 적외선이 과다하게 방출되어 오차발생률이 높았다. 앞으로 외부환경 빛에 따라 자동으로 이미지를 보정하는 알고리즘을 개발하여 사용한다면, 보다 나은 결과를 얻을 수 있어 실용화하기에 충분할 것으로 판단된다.
먼저 적외선 카메라를 사용하여 일반 카메라보다 외부환경에 영향을 적게 받아 오차를 줄였다. 한편 역전파 알고리즘의 신경망을 이용한 지화 인식은 기계학습을 해야 하기 때문에 손 모양에 따라 많은 학습 자료가 요구되며, 학습시간이 오래 걸려 개발하기에 많은 어려움이 있었으나 본 연구에서는 특징값을 추출해 지화를 인식함으로써 개발 시간을 줄이고, 인식률을 높 였다.

후속연구

앞으로 외부환경 빛에 따라 자동으로 이미지를 보정하는 알고리즘을 개발하여 사용한다면, 보다 나은 결과를 얻을 수 있어 실용화하기에 충분할 것으로 판단된다. 또한 본 결과물은 청각장애우들이 일상적으로 사용하는 지화를 이용하여 컴퓨터를 제어할 수 있도록 하였으며, IPTV나 스마트 TV에 적용하여 리모컨 없이 TV를 제어하는데 활용할 수 있을 것으로 보여진다.
본 적외선 카메라를 이용한 지화인식 시스템은 마우스와 키보드를 대체할 차세대 인터페이스로서 상당히 좋은 결과를 얻을 수 있었으며, 앞으로의 활용 가능성을 확인할 수 있었다.
이번 연구에 사용한 적외선 카메라는 형광등을 사용 하는 실내 환경에서는 만족할만한 결과가 나왔지만 실외나 백열등이 있는 환경에서는 적외선이 과다하게 방출되어 오차발생률이 높았다. 앞으로 외부환경 빛에 따라 자동으로 이미지를 보정하는 알고리즘을 개발하여 사용한다면, 보다 나은 결과를 얻을 수 있어 실용화하기에 충분할 것으로 판단된다. 또한 본 결과물은 청각장애우들이 일상적으로 사용하는 지화를 이용하여 컴퓨터를 제어할 수 있도록 하였으며, IPTV나 스마트 TV에 적용하여 리모컨 없이 TV를 제어하는데 활용할 수 있을 것으로 보여진다.

질의응답

핵심어	질문	논문에서 추출한 답변
	음성을 이용하는 방법의 단점은 무엇인가?	현재 음성을 이용하는 방법은 어느 정도 안정화를 이루었으며, 실용화 제품도 일부 생산되고 있다. 하지만 음성을 이용하는 방법의 경우 주변의 환경적 영향을 많이 받아 소음이 많은 공간에서 사용하기 곤란한 단점을 갖고 있다.
	영역의 경계 추적이란 무엇인가?	영역의 경계 추적이란 이진화 된 영상 또는 라벨링된 영상에서 일정한 밝기값을 가지는 영역의 경계를 추적하여 경계 픽셀의 순서화된 정보를 얻어내는 것이다.
	가까운 미래에는 하드웨어가 어떻게 대체될 것인가?	하드웨어의 비약적인 발전에도 불구하고 키보드, 마우스와 같은 컴퓨터 인터페이스는 큰 발전 없이 정체되어있다. 가까운 미래에는 점차 키보드나 마우스가 사라지고 이를 음성이나 손 혹은 눈 등으로 대체하게 될 것이다. 현재 음성을 이용하는 방법은 어느 정도 안정화를 이루었으며, 실용화 제품도 일부 생산되고 있다.

참고문헌 (12)

Carnegie Mellon University Wearable Group, http://www.weqrablegroup.org/
Essential Reality Corp. http://www.essentialreality.com/
Immersion Corp. http://www.immersion.com/
Kinect-Introduction. http://kinect.gamespot.com/
송준환, 강효주, 김광백, "FCM 알고리즘을 이용한 지화인식", 한국해양정보통신학회 2008 춘계종합학술대회, pp. 353-358, 2008. 5.
민승기, 정기철 외, "한글 지화 인식에 최적화된 데이터 글로브 시스템", 2007 한국컴퓨터종합학술대회 논문집 Vol. 34. No. 1, 2007.
Kostas N. Tarchanidis and John N. Lygouras. "Data Glove With a Force Sensor", IEEE Transactions on Instrumentation and Measurement, VOL. 52, NO. 3. 2003.
David J.Sturman and David Zeltzer. "A Survey of Glove-based Input. Computer Graphics and Applications", IEEE, 1994.
J. Lee, T. L. Knuii, "Model-based analysis of hand posture", IEEE Computer Graphics Application, pp.77-86, 1995.
C. C. Lien, C. L. Huang, "Model-based articulated hand motion tracking for Gesture recognition", Image andVision Computing 16 pp.121-134, 1998

상세보기
S. Tamura, S. Kawasaki, "Recognition of sign language motion images", Pattern Recognition 21(4) pp.343-353, 1988

상세보기
T. S. Huang, V. I. Pavlovic, "Hand Gesture Modeling, Analysis, and Synthesis", Proc. of International Workshop on Automatic Face- and Gesture- Recognition (IWAFGR), Zurich, Switzerland, June 26-28, 1995

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증