본 논문에서는 DID 시스템에서 사용할 수 있는 제스쳐 인식을 이용한 비접촉식 인터페이스를 구현하였다. 비접촉식 인터페이스는 별도의 부착물 없이 키넥트 카메라만을 사용함으로, 사용자의 편의와 공간적인 활용도를 높일 수 있다. 손 동작인식에는 사용자의 손 움직임의 기울기와 속력을 인식하는 방향성 기반의 인식 기법을 채용하였고 손 모양인식을 위해서 YCbCr 칼라모델을 이용한 손 영역 추출과 손 넓이의 원을 이용한 영상처리 기술로 손가락의 수를 인식하였다. 이러한 손 동작인식과 손 모양인식을 이용하여 다음 페이지, 이전 페이지, 화면 위로, 화면 아래로, 커서 움직임, 클릭 등의 이벤트를 발생시켜 DID 시스템 제어 명령으로 사용하였으며, 구현한 시스템을 갖고 동작 실험한 결과 93%의 명령 인식률을 보여 실용화의 가능성을 확인할 수 있었다.
본 논문에서는 DID 시스템에서 사용할 수 있는 제스쳐 인식을 이용한 비접촉식 인터페이스를 구현하였다. 비접촉식 인터페이스는 별도의 부착물 없이 키넥트 카메라만을 사용함으로, 사용자의 편의와 공간적인 활용도를 높일 수 있다. 손 동작인식에는 사용자의 손 움직임의 기울기와 속력을 인식하는 방향성 기반의 인식 기법을 채용하였고 손 모양인식을 위해서 YCbCr 칼라모델을 이용한 손 영역 추출과 손 넓이의 원을 이용한 영상처리 기술로 손가락의 수를 인식하였다. 이러한 손 동작인식과 손 모양인식을 이용하여 다음 페이지, 이전 페이지, 화면 위로, 화면 아래로, 커서 움직임, 클릭 등의 이벤트를 발생시켜 DID 시스템 제어 명령으로 사용하였으며, 구현한 시스템을 갖고 동작 실험한 결과 93%의 명령 인식률을 보여 실용화의 가능성을 확인할 수 있었다.
In this paper, we implemented a touchless interface for DID(Digital Information Display) system using gesture recognition technique which includes both hand motion and hand shape recognition. Especially this touchless interface without extra attachments gives user both easier usage and spatial conve...
In this paper, we implemented a touchless interface for DID(Digital Information Display) system using gesture recognition technique which includes both hand motion and hand shape recognition. Especially this touchless interface without extra attachments gives user both easier usage and spatial convenience. For hand motion recognition, two hand-motion's parameters such as a slope and a velocity were measured as a direction-based recognition way. And extraction of hand area image utilizing YCbCr color model and several image processing methods were adopted to recognize a hand shape recognition. These recognition methods are combined to generate various commands, such as, next-page, previous-page, screen-up, screen-down and mouse -click in oder to control DID system. Finally, experimental results showed the performance of 93% command recognition rate which is enough to confirm the possible application to commercial products.
In this paper, we implemented a touchless interface for DID(Digital Information Display) system using gesture recognition technique which includes both hand motion and hand shape recognition. Especially this touchless interface without extra attachments gives user both easier usage and spatial convenience. For hand motion recognition, two hand-motion's parameters such as a slope and a velocity were measured as a direction-based recognition way. And extraction of hand area image utilizing YCbCr color model and several image processing methods were adopted to recognize a hand shape recognition. These recognition methods are combined to generate various commands, such as, next-page, previous-page, screen-up, screen-down and mouse -click in oder to control DID system. Finally, experimental results showed the performance of 93% command recognition rate which is enough to confirm the possible application to commercial products.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
하지만 현재 DID는 일방적인 정보제공에 그치는 경우가 대부분이며, 이는 정보의 단방향 흐름에만 의존함으로 그 활용도가 매우 떨어지고 있다. 따라서 DID 시스템에 직관적이며 효율적인 인터페이스 기술개발의 필요성이 커지고 있어서 본 논문에서는 별도의 부착물 및 장비 없이 동작인식을 이용한 비접촉식 인터페이스방식을 제안하여 사용자의 편의성을 높이고자 하였다.
가설 설정
퍼지 논리는 근사치나 주관적 값을 사용하는 규칙들을 생성함으로써 부정확함을 표현할 수 있는 규칙 기반 기술로 본 논문에는 Mamdani의 min-max 중심법을 사용하였다. 먼저 퍼지 제어 시스템의 입력 변수 X와 Y에 대한 퍼지(상태)집합으로 각각 {A1, A2}, {B1, B2}가 있으며, 상태 Ai와 Bi에 대한 소속함수는 (그림12)와 같은 모양을 가졌으며, 논의의 편의상 Ai와 Bi 모두 같은 모양이라고 가정한다.[3][8]
제안 방법
손동작 인식에서 인식하고자 하는 동작들은 직관적이며 방향성이 강한 동작으로, 동작의 기울기와 속력을 이용한 인식 방법을 사용한다. 또한, 손 모양 인식을 위해서 YCbCr 칼라 모델을 이용한 손 영역 추출과 퍼지 제어를 이용하여 손목 영상을 제거를 하였고, 손 넓이의 원을 이용한 영상 처리 기술로 손가락의 수를 인식할 수 있었다.
이때 소속함수의 입력값의 범위는 Fx는 Min값은 -4, Max 값은 16, Fy는 Min값은 -18, Max값은 6, 출력 u의 Min값은 -40, Max값은 40으로 하였다[2]. 무게중심법을 사용한 비퍼지화로 구한 최종 퍼지 제어 출력값 u를 사용하여 해당 영상의 손목 여부를 판단하여 손 모양 이외의 부분을 영상에서 제거하였다.
본 논문에서는 DID 시스템 인터페이스를 위하여 손 움직임 속도와 방향 정보를 이용한 손동작인식 알고리즘과 YCbCr 칼라모델과 영상의 팽창과 침식을 이용한 손모양 인식 알고리즘을 구현하였다[1-4].
본 논문에서는 DID 시스템에서 사용할 수 있는 비접촉식 인터페이스를 구현하였으며, 이를 위해 손 동작 인식과 손 모양 인식기술을 사용하였다. 시스템 구현을 위한 입력 장치로 키넥트 카메라를 사용하였으며, RGB영상을 입력 받기 위해 openNI와 Kinect SDK를 사용하였다.
본 논문에서는 DID 시스템의 인터페이스를 구현하기 위해 손 동작인식과 손 모양인식을 이용하였으며 시스템의 동작 블록도는 그림1과 같다.
이를 이용하여 동작인식을 하면 깊이 정보와 왼손과 오른손을 구분할 수 있는 장점이 있다. 본 논문에서는 주로 손의 관절 정보를 사용하며 어깨와 몸통 정보를 통해 상대적인 위치를 알 수 있도록 했다.
입력 장치로 이용되는 키넥트 카메라는 영상의 깊이 정보와 컬러 정보와 더불어 사용자 관절의 3차원 좌표까지 제공해준다. 키넥트 카메라를 통해 입력된 위와 같은 정보를 이용하여 손동작인식을 하였으며, 과정은 아래 (그림2 )와 같이 5단계로 구성된다.
대상 데이터
본 논문에서 컴퓨터 제어 인터페이스 구현을 위하여 OS로는 윈도우 7(Windows 7)을, 프로그램 개발에는 openNI, OpenCV, OpenGL 등의 open Library를 사용하였다. 또한 Kinect SDK의 유져 트래킹, 뼈 구조 생성 소스 등을 참고하였으며, 컴파일러는 Microsoft Visual Studio 2010을 사용하였다.
본 논문에서는 DID 시스템에서 사용할 수 있는 비접촉식 인터페이스를 구현하였으며, 이를 위해 손 동작 인식과 손 모양 인식기술을 사용하였다. 시스템 구현을 위한 입력 장치로 키넥트 카메라를 사용하였으며, RGB영상을 입력 받기 위해 openNI와 Kinect SDK를 사용하였다.
이론/모형
본 논문에서 컴퓨터 제어 인터페이스 구현을 위하여 OS로는 윈도우 7(Windows 7)을, 프로그램 개발에는 openNI, OpenCV, OpenGL 등의 open Library를 사용하였다. 또한 Kinect SDK의 유져 트래킹, 뼈 구조 생성 소스 등을 참고하였으며, 컴파일러는 Microsoft Visual Studio 2010을 사용하였다.
외접 사각형의 중심점을 구하기 위해서 영상의 수평히스토그램과 수직 히스토그램을 이용한다. (그림 10)와 같이 히스토그램의 시작 부분(x1,y1)과 마지막 부분(x2,y2) 사이의 사각형 영역 내에서만 손의 이미지가 존재하며, 영역의 중심 좌표는 식(6)을 통해 구할 수 있으며, (그림 11)은 손 영역의 외접 사각형과 그 중심점 좌표를 보여준다.
으로 정한다. 이와 같이 C1과 C2가 결정되면, 퍼지제어의 최종 출력 Z값을 구하기 위하여 역으로 비퍼지화를 하게 되는데 논문에서는 일반적으로 사용되는 무게중심법을 이용하였다. 무게중심법은 위에서 구한 C1과 C2값을 가지고 역으로 Cn의 소속함수 면적의 무게중심을 계산하여 이를 퍼지제어 알고리즘의 최종 출력 Z로 결정하는 방식이다.
퍼지 추론이란 불분명하고 모호한 상태를 참 혹은 거짓의 이진 논리가 아닌 다치성으로 표현하는 논리 개념을 말한다. 퍼지 논리는 근사치나 주관적 값을 사용하는 규칙들을 생성함으로써 부정확함을 표현할 수 있는 규칙 기반 기술로 본 논문에는 Mamdani의 min-max 중심법을 사용하였다. 먼저 퍼지 제어 시스템의 입력 변수 X와 Y에 대한 퍼지(상태)집합으로 각각 {A1, A2}, {B1, B2}가 있으며, 상태 Ai와 Bi에 대한 소속함수는 (그림12)와 같은 모양을 가졌으며, 논의의 편의상 Ai와 Bi 모두 같은 모양이라고 가정한다.
성능/효과
기존 방법의 인식율이 92%에 비해 제안한 제스쳐 인식 방법은 평균 인식율이 93.7% 정도로 상용화 가능성이 충분함을 보여주고 있다. 그리고 실제 이미지 출력과 동작을 시연하기 위해서 이미지 뷰어 프로그램(pictomio)에 적용하여 실제 출력된 화면과 동작되는 상황을 (그림 17)과 (그림 18)에서 볼 수 있다.
실험 결과 명령 인식률은 93.7% 정도로 나왔으며, 사용자가 별도의 부착물이나 장치 없이도 직관적이고 편리한 인터페이스로 활용할 수 있음을 확인할 수 있었다. 향후 연구방향은 시스템의 인식률을 높이기 위해 키넥트의 신체 주요 관절 데이터의 잡음처리와 보다 많은 인식 동작을 추가함으로써 다양한 분야에 적용이 가능하게 하는 것이다.
후속연구
7% 정도로 나왔으며, 사용자가 별도의 부착물이나 장치 없이도 직관적이고 편리한 인터페이스로 활용할 수 있음을 확인할 수 있었다. 향후 연구방향은 시스템의 인식률을 높이기 위해 키넥트의 신체 주요 관절 데이터의 잡음처리와 보다 많은 인식 동작을 추가함으로써 다양한 분야에 적용이 가능하게 하는 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
퍼지 추론이란?
퍼지 추론이란 불분명하고 모호한 상태를 참 혹은 거짓의 이진 논리가 아닌 다치성으로 표현하는 논리 개념을 말한다. 퍼지 논리는 근사치나 주관적 값을 사용하는 규칙들을 생성함으로써 부정확함을 표현할 수 있는 규칙 기반 기술로 본 논문에는 Mamdani의 min-max 중심법을 사용하였다.
디지털 정보 디스플레이가 공공장소에서의 정보제공 및 백화점과 쇼핑몰 등 매장에서의 광고 장치로 많이 사용되는 이유는?
디지털 정보 디스플레이(DID, Digital Information Display) 시스템은 기존의 수작업에 기반을 둔 게시판을 대치할 새로운 디스플레이 장치로서 주목받고 있다. 이러한 DID는 기존의 게시판과 달리 다양한 형태의 디스플레이가 가능하며 일방적인 정보전달이 아닌 문서의 편집, 저장, 관리, 검색 등의 컴퓨터 기반의 다양한 제어가 가능하기 때문에 지하철, 버스 정류장, 공항 등의 공공장소에서의 정보제공 및 백화점과 쇼핑몰 등 매장에서의 광고 장치로 많이 사용되는 추세이다. 하지만 현재 DID는 일방적인 정보제공에 그치는 경우가 대부분이며, 이는 정보의 단방향 흐름에만 의존함으로 그 활용도가 매우 떨어지고 있다.
비접촉식 인터페이스의 이점은?
본 논문에서는 DID 시스템에서 사용할 수 있는 제스쳐 인식을 이용한 비접촉식 인터페이스를 구현하였다. 비접촉식 인터페이스는 별도의 부착물 없이 키넥트 카메라만을 사용함으로, 사용자의 편의와 공간적인 활용도를 높일 수 있다. 손 동작인식에는 사용자의 손 움직임의 기울기와 속력을 인식하는 방향성 기반의 인식 기법을 채용하였고 손 모양인식을 위해서 YCbCr 칼라모델을 이용한 손 영역 추출과 손 넓이의 원을 이용한 영상처리 기술로 손가락의 수를 인식하였다.
참고문헌 (8)
김종호, 윤요섭, 김태영, 임철수 "은닉 마르코프 모델 기반 동작 인식 방법" 멀티미디어학회 논문지 제12권 제4호 2009. 4
황문구, 김형래, 강석범, 양태규, "퍼지 추론을 이용한 비전 기반 실시간 손모양 인식" 한국정보기술학회논문집 제6권 제2호 2008. 2
Calibration of a Depth and Color Camera Pair", Proc eedings of the 14th International Conference on Computer Analysis of Images and Patterns (CAIP) 2011, LNCS 6855, pp. 437-445.
김상기, 박건혁, "3차원 가속도 데이타를 이용한 HMM 기반의 동작인식" 정보과학회논문지 컴퓨팅의 실제 및 레터 제 15 권 제 3 호 2009.
임성빈, 최우경, "관성 센서를 이용한 동작 인식 시스템의 개발" Proceedings of KFIS Spring Conference 제 16 권 제 1 호 2006.
이상헌, 김대진, 최홍섭, "키넥트의 좌표변환을 이용한 동작인식과 그 응용에 관한 연구" 2011년 음향학회 추계 학술대회 논문집, 제30권, 2011
이상헌, 김대진, 최홍섭, "키넥트를 이용한 동작인식과 컴퓨터 제어 인터페이스 설계 "2011년 음향학회춘계 학술대회 논문집, 제 30권, 2011.5
J. Jantzen, "Foundations of Fuzzy Control", John Wiley & Sons, 2007.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.