선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 이러한 한계로 대부분의 프리젠테이션 제어는 무선주파수 혹은 적외선 신호를 이용하는 전용 제어용 기구를 활용하는 실정이다. 본 논문에서는 제스처 인식의 일환으로 손동작을 인식하여 컴퓨터 프레젠테이션을 제어하는 알고리즘을 제안한다. 즉 손 동작의 다양한 운동 형태를 인식, 구분함으로써 부가적인 제어용 장치 없이 프레젠테이션을 제어하는 시스템이다.
제안 방법
- 사용자는 이와 관련된 컴퓨터 명령을 미리 설정할 수 있고, 손의 동작 형태에 따라 미리 지정된 작업을 수행할 수 있다. 제안하는 시스템은 손동작의 시작과 끝, 동작의 크기 및 방향을 판단하는 기준으로 이용하기 위하여 얼굴 영역 검출을 시행하며, 얼굴영역으로부터 세로 중심축을 설정하고 이를 기준으로 다양한 손동작을 인식하고 컴퓨터 제어에 이용한다. 따라서, 발표자는 카메라의 FOV(Field of View)내에서 얼굴과 손이 노출되는 범위 안에서 전후좌우의 움직임에 제한을 받지 않으며 자연스러운 동작 상황에서도 손 동작 인식에 의한 컴퓨터 제어가 가능하다.
- 제 2장 본론에서는 제안하는 알고리즘의 구조와 흐름을 기술한다. 카메라로부터 실시간 영상을 입력받아 Haar Classifier와 HSV 색상모델 상에서 얼굴과 손을 검출한다. 추출된 영상에서 발표자의 손 무게중심 위치정보와 얼굴 무게중심 정보를 얻어 현재 위치 상태를 확인한다.
- 카메라로부터 실시간 영상을 입력받아 Haar Classifier와 HSV 색상모델 상에서 얼굴과 손을 검출한다. 추출된 영상에서 발표자의 손 무게중심 위치정보와 얼굴 무게중심 정보를 얻어 현재 위치 상태를 확인한다. 이후에 모션 식별 룰을 적용하여 해당 프레젠테이션 명령이 실행된다.
- Haar-like Feature는 Haar Wavelet Transform을 근간으로 하며, 이는 데이터를 분할하거나 압축하는 데 있어서 적은 에러를 가지고 원 데이터를 재구성을 할 수 있도록 하는 손실 압축기법 중의 하나이다. 본 논문에서는 픽셀 자체를 이용하는 것보다 영상이 가지고 있는 특징을 더 잘 대변할 수 있는 Haar-like Feature를 얼굴 영역을 검출하는 인식자로 사용하였다. 이는 학습 알고리즘에서 학습 입력 정보는 줄여주는 반면에 학습 결과의 다양성을 증가시켜주어 더욱 쉬운 분류가 가능하게 한다.
- 배경학습과 HSV색상 모델의 Hue 성분 분석에 의하여 영상 내의 손 영역을 검출한 뒤, 손의 상태를 확인하기 위해 손 객체의 외곽 극점의 좌표들의 상대적 위치 및 거리로부터 손의 상태를 파악한다. 우선 검출한 손 영역의 경계를 추출하고, 경계 화소를 대상으로 추적을 수행한다.
- 우선 검출한 손 영역의 경계를 추출하고, 경계 화소를 대상으로 추적을 수행한다. 외곽선을 이루는 화소간 상대적인 각도 정보를 이용하여 Convex Hull을 구하고 이를 토대로 손의 상태를 확인한다.
- 검출한 엣지를 이용하여 최외곽 경계들을 좌표값으로 저장하고 처리하기 위해 외곽선 추적을 통하여 외곽경계를 검출한다. 외곽선은 처음으로 나타나는 임의의 경계에 좌표를 정하고 해당 픽셀의 이웃해 있는 화소의 8방향 이웃점의 존재유무를 검사하는 방식으로 추출할 수 있다.
- 외곽선 추적을 이용하여 윤곽을 검출한 뒤, 윤곽점군 중에 이웃화소와 상대각이 일정 크기 이상이 되는 점들을 연결하여 Convex Hull을 구한다. 외곽선은 개체를 구성하는 점들을 모두 모아놓은 것이고, Convex Hull은 그 중에서도 기울기가 가장 큰 점들을 연결하여 보여준 것이다.
- 하르 분류기(Haar classifier)와 HSV 색상 모델을 이용하여 입력 영상에서 얼굴과 손 영역을 검출한 뒤, 손 객체의 무게중심점과 Convex Hull 로부터 얻어진 다각형의 각 극점과의 연결관계로부터 손의 형태를 인식한다. 이후 얼굴영역의 중심을 기준으로 세로 및 가로 기준축을 설정하고 기준축과 손의 무게중심의 상대적 위치를 참조하여 손 위치 및 운동 상태를 판별한다.
- 하르 분류기(Haar classifier)와 HSV 색상 모델을 이용하여 입력 영상에서 얼굴과 손 영역을 검출한 뒤, 손 객체의 무게중심점과 Convex Hull 로부터 얻어진 다각형의 각 극점과의 연결관계로부터 손의 형태를 인식한다. 이후 얼굴영역의 중심을 기준으로 세로 및 가로 기준축을 설정하고 기준축과 손의 무게중심의 상대적 위치를 참조하여 손 위치 및 운동 상태를 판별한다.
- 손의 무게중심점으로부터 손가락의 시점, 종점까지 거리의 상대 정보를 이용하여 손목 이하의 정보를 제거하며, 손가락의 굽힘 혹은 폄 여부를 판별한다. 이에 따라 5종의 명령을 구분하여 실행할 수 있으며 각 명령은 사용자가 사전 정의하여 사용할 수 있도록 한다.
- 얼굴 영역으로부터 가로 및 세로 기준축을 설정하고 이를 기준으로 손동작의 상하, 좌우 이동여부를 판단함으로써 컴퓨터 제어에 이용한다. 가로 및 세로 기준축은 다음 식(3)과 같이 정의한다.
- 일반적으로 컴퓨터에 내장 혹은 외장의 형태로 장착되는 카메라의 입력영상으로부터 발표자의 손동작을 인식함으로써 별도의 제어도구 없이 프리젠티이션 제어가 가능한 알고리즘을 구현하였다. 제안하는 시스템은 손동작의 시작과 끝, 동작의 크기 및 방향을 판단하는 데 이용하기 위하여 얼굴영역 검출을 시행하며, 얼굴영역으로부터 가로, 세로 기준축을 설정하고 이를 기준으로 다양한 손동작을 인식 및 구분하여 프리젠테이션 제어에 이용한다.
- 일반적으로 컴퓨터에 내장 혹은 외장의 형태로 장착되는 카메라의 입력영상으로부터 발표자의 손동작을 인식함으로써 별도의 제어도구 없이 프리젠티이션 제어가 가능한 알고리즘을 구현하였다. 제안하는 시스템은 손동작의 시작과 끝, 동작의 크기 및 방향을 판단하는 데 이용하기 위하여 얼굴영역 검출을 시행하며, 얼굴영역으로부터 가로, 세로 기준축을 설정하고 이를 기준으로 다양한 손동작을 인식 및 구분하여 프리젠테이션 제어에 이용한다.
- 미리 훈련해놓은 객체 인식 특징 파일을 이용하여 해당되는 특정 영역을 검출할 수 있도록 해 주는 하르 분류기(Haar classifier)를 사용하여 얼굴영역을 검출 하였다. 또한 손 영역을 검출하기 위한 처리과정으로 HSV컬러 모델상에서 피부색에 해당하는 Hue 정보의 범위를 설정하여 피부 화소를 검출 하였다.
- 미리 훈련해놓은 객체 인식 특징 파일을 이용하여 해당되는 특정 영역을 검출할 수 있도록 해 주는 하르 분류기(Haar classifier)를 사용하여 얼굴영역을 검출 하였다. 또한 손 영역을 검출하기 위한 처리과정으로 HSV컬러 모델상에서 피부색에 해당하는 Hue 정보의 범위를 설정하여 피부 화소를 검출 하였다. 검출된 피부 화소의 상,하,좌,우 극점의 위치를 근간으로 바운딩 박스로서 얼굴 영역 및 손영역을 정의하였다.
- 얼굴영역의 무게중심으로부터 가로, 세로 기준축을 설정한 후 이를 기준으로 한 손의 형태 및 운동 상태 판별 규칙에 따라 사전 설정한 네 가지의 운동형태를 판별하는 실험을 행하였다. 손 동작에 따라 다음 슬라이드 이동 동작, 모드를 변경하는 동작, 이전 슬라이드 이동 동작, 그리고 전체화면 동작 총 4가지로 구분하며 그림 13으로 표현하였다.
- 그림 13에서 Hrx는 얼굴영역으로부터 상대적 거리를 고려한 가로 기준축이며 Vrx는 얼굴영역 세로방향 중심을 고려한 세로 기준축이다. 모션 식별 룰에 의한 손동작 인식은 주간 사무실 환경에서 상반신이 노출되는 거리에 카메라를 위치시킨 후 3인에 대하여 그림 13에 제시한 모션 식별 룰을 인식하여 프레젠테이션을 제어하는 방식으로 실시하였다. 세 사람에 대하여, 손동작 식별 룰 한 동작을 50번씩 두 세트를 반복하여 100회 실시하였고 한 사람당 총 실험 횟수는 400회 반복실시 하였다.
- 모션 식별 룰에 의한 손동작 인식은 주간 사무실 환경에서 상반신이 노출되는 거리에 카메라를 위치시킨 후 3인에 대하여 그림 13에 제시한 모션 식별 룰을 인식하여 프레젠테이션을 제어하는 방식으로 실시하였다. 세 사람에 대하여, 손동작 식별 룰 한 동작을 50번씩 두 세트를 반복하여 100회 실시하였고 한 사람당 총 실험 횟수는 400회 반복실시 하였다. 이에 대한 실험 결과는 표 1에 나타내었다.
- 손동작을 인식하여 컴퓨터 프레젠테이션을 제어하는 알고리즘을 제안하였다. 손 동작의 다양한 운동 형태를 인식, 구분함으로써 부가적인 제어용 장치 없이 프레젠테이션을 제어하는 시스템이다.
- 손 동작의 다양한 운동 형태를 인식, 구분함으로써 부가적인 제어용 장치 없이 프레젠테이션을 제어하는 시스템이다. 하르 분류기를 통한 얼굴검출과 HSV 색상모델상에서 피부색 검출을 통한 손 영역 추출을 통하여 강건한 손동작 인식을 실현하였다. 본 논문에서 구현한 시스템의 프리젠테이션 제어 실험에서 97.
대상 데이터
- 배경학습과 HSV색상 모델의 Hue 성분 분석에 의하여 영상 내의 손 영역을 검출한 뒤, 손의 상태를 확인하기 위해 손 객체의 외곽 극점의 좌표들의 상대적 위치 및 거리로부터 손의 상태를 파악한다. 우선 검출한 손 영역의 경계를 추출하고, 경계 화소를 대상으로 추적을 수행한다. 외곽선을 이루는 화소간 상대적인 각도 정보를 이용하여 Convex Hull을 구하고 이를 토대로 손의 상태를 확인한다.
이론/모형
- SVM(Support Vector Machines)이나 신경망을 이용한 검출기[3]는 구별 기능이 매우 뛰어난 것으로 알려져 있지만 학습에 많은 시간이 소요된다는 단점을 가지고 있기 때문에 실시간 처리를 요구하는 제안 시스템에서는 입력 영상에서 얼굴 영역을 검출하기 위해 AdaBoost학습 알고리즘의 Haar-like Feature를 사용하였다.[4]
성능/효과
- 하르 분류기를 통한 얼굴검출과 HSV 색상모델상에서 피부색 검출을 통한 손 영역 추출을 통하여 강건한 손동작 인식을 실현하였다. 본 논문에서 구현한 시스템의 프리젠테이션 제어 실험에서 97.2%의 인식률을 얻어 제안한 알고리즘이 실제 환경에서 효과적으로 사용될 수 있음을 확인하였다. 실험과정에서 발생한 에러는 손동작의 시작 지점과 끝 지점이 가로 혹은 세로 기준축을 왕복하는 경우, 모션 식별룰에서 정의하지 않은 타원 운동의 경우에 발생하였는데 이러한 에러는 조작자의 손동작 식별 룰에 대한 숙지 혹은 모션 식별룰의 정교화에 의하여 개선될 수 있을 것으로 기대된다.
후속연구
- 2%의 인식률을 얻어 제안한 알고리즘이 실제 환경에서 효과적으로 사용될 수 있음을 확인하였다. 실험과정에서 발생한 에러는 손동작의 시작 지점과 끝 지점이 가로 혹은 세로 기준축을 왕복하는 경우, 모션 식별룰에서 정의하지 않은 타원 운동의 경우에 발생하였는데 이러한 에러는 조작자의 손동작 식별 룰에 대한 숙지 혹은 모션 식별룰의 정교화에 의하여 개선될 수 있을 것으로 기대된다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.