선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 영상입력과 HMM 기반의 수신호 인식기를 이용한 로봇 사용자 제어 시스템을 제안한다. 로봇과 client computer 사이의 네트워크 통신을 이용하여 인식이 이루어진다.
- 이전까지 손동작 패턴 설계 방법에 대해 연구를 진행하였다[12]. 이는 사람의 음성이 구분 가능한 최소 단위인 음소의 조합으로 이루어지는 것을 손동작에도 적용하여, 손동작의 기본이 되는 구분 가능한 최소단위인 모션 프리미티브를 찾는 연구이다. 손동작을 분석하기 위해서 Boston university에서 공개한 미국 수화 (American Sign Language) DB를 분석하였다[13].
- 본 논문에서는 실제 로봇 시스템에 적용하기 위해 수신호를 변경 및 확장의 중요성을 인지하여, HMM 기반의 수신호조합을 이용한 로봇 사용자 제어 시스템을 제안하였다. 임의의 수신호 집합을 생성하여 인식률 실험을 통해 시스템의 성능을 검증하였다.
제안 방법
- 제안한 시스템의 성능 평가를 위해 구별성 있는 기본 손동작의 무작위 조합을 통해 50 여 개의 수신호 집합을 생성한다. 50 여 개의 수신호 집합을 훈련하여 그에 대한 인식률을 얻고 또한, 기본 손동작 모델의 조합을 통해 50여개의 수신호 집합에 대한 인식률을 평가한다. 그리고 비교 대상을 위해 기존의 문자와 기호, 숫자를 이용한 수신호 집합을 만들어 성능을 평가하여 두 집합을 비교하여 제안한 시스템의 우수성을 판단한다.
- 50 여 개의 수신호 집합을 훈련하여 그에 대한 인식률을 얻고 또한, 기본 손동작 모델의 조합을 통해 50여개의 수신호 집합에 대한 인식률을 평가한다. 그리고 비교 대상을 위해 기존의 문자와 기호, 숫자를 이용한 수신호 집합을 만들어 성능을 평가하여 두 집합을 비교하여 제안한 시스템의 우수성을 판단한다.
- 이는 사람의 음성이 구분 가능한 최소 단위인 음소의 조합으로 이루어지는 것을 손동작에도 적용하여, 손동작의 기본이 되는 구분 가능한 최소단위인 모션 프리미티브를 찾는 연구이다. 손동작을 분석하기 위해서 Boston university에서 공개한 미국 수화 (American Sign Language) DB를 분석하였다[13]. DB는 총 201개의 미국 수화 문장으로 구성되어있으며, 같이 제공된 양손의 좌표를 이용하여 시간에 따른 각각의 손의 좌표의 점과 점 사이의 벡터가 이루는 각도를 구하여 그림 1(a)와 같은 통계를 얻었다.
- 손동작의 기본이 되는 모션 프리미티브를 조합하여 기본 손동작 집합을 생성하였다. 예를 들면 그림 2의 왼쪽과 같은 손동작을 생성하고 싶다면 4개의 모션 프리미티브의 조합을 통해 만들 수 있다.
- HCI 명령어 체계에 적합한 손동작 집합을 위해 위의 “기본 손동작 집합”의 12가지 기본 손동작들을 조합하여 최종적인 수신호 집합을 생성하였다.
- 임의의 손동작 집합을 생성하기 위하여, 이어 붙이는 2개의 손동작 중 앞에 오는 손동작을 한 종류 당 4개씩 오도록 고정시킨 후 이어지는 동작을 임의로 선택하여 표 2와 같이 총 48개의 손동작을 생성하였고 ‘48가지 수신호 집합’이라 하고 이를 인식하는 인식기를 ‘48가지 수신호 집합’ 인식기라 한다.
- HMM은 시변적인 신호를 통계적으로 모델링 할 수 있어서 음성인식을 비롯하여 HCI 및 정보과학 등 다양한 분야에 적용되어 왔다. 손동작 모델링을 위해서 다음과 같은 simple left to right 구조의 HMM을 이용하며, 위의 12가지 기본 손동작의 인식률 실험을 통해 최적의 state와 mixture가 각각 9와 4인 것을 알 수 있었다. 모델을 구성하는 각 파라미터는 기본적인 HMM의 이론과 동일하다.
- 11g이며 최대속도는 54Mbps이다. 처리속도를 위해 160x120 픽셀의 영상을 전송하며 웹 캠의 영상은 조명 및 환경변화에 따라 같은 색이라도 밝기차이가 있지만 최적의 환경을 제공하기 위해 입력영상 픽셀의 마우스 클릭을 통한 색상 재설정으로 조명 및 환경변화에 대응하였다. Client Computer에서 인식 과정 연산이 되어 인식결과 index만 로봇에게 다시 넘겨주고, 로봇에서는 index에 따른 동작을 실행하게 된다.
- 이는 연산량을 획기적으로 줄일 수 있으며, 속도를 위해 160x120의 매우 작은 크기의 영상을 이용하기 때문에 픽셀의 색상정보가 아닌 형태의 특징을 추출하여 인식하는 알고리즘에 부적합하였다. 초록색 장갑의 픽셀 영역의 중심점을 구하여 손의 x-y 좌표를 구하고 통해 특징을 추출한다. 특징 벡터는 그림 5와 같이 시간에 따른 궤적의 각도 (θ )와 프레임 당 픽셀거리 (l ), 총 2개의 특징으로 이루어지며 HMM 기반의 손동작 인식기에 적용된다[7].
- 인식기는 HMM을 이용하여 단일 인식기와 연속 인식기 두 가지를 설계하였다. 실험에 쓰인 휴머노이드 로봇 사양은 CPU는 임베디드 AMD 지오드 LX800 500MHz이며 메모리는 DDR 512MB 저장공간은 CF메모리카드를 이용한다.
- 두 번째 실험은 ‘48가지 수신호 집합’의 인식률을 알아보고, 기존의 문자와 숫자를 이용한 ‘baseline 수신호 집합’의 인식률을 비교하기 위한 실험이다.
- 즉, 기본 손동작 집합’ 과 ‘48가지 수신호 집합’에 대해서 27명의 데이터베이스를 훈련용으로 이용하고 남은 1명의 데이터베이스를 인식용으로 쓰는 방법으로 총 28명을 돌아가며 인식률을 내어 평균을 얻었다.
- 실험은 ‘baseline 수신호 집합’의 인식률을 최대로 하는 최적의 state와 mixture를 찾고 두 집합의 인식률을 비교하며 추가로 연결 수신호 인식을 통해 단일 수신호 인식 성능과 비교한다.
- Baseline 손동작 집합의 최적 mixture와 state를 찾는 실험이다. 첫 번째로 mixture를 2로 고정하고 state 수의 변화 따른 인식률의 변화를 보았다. 그림 8과 같이 ‘baseline 수신호 집합’의 경우 state가 5일 때 91.
- 각각의 인식률이 최대로 나온 state로 고정시킨 후 mixture를 변화시켜가며 실험해 보았다. 그 결과 그림 9과 같이 ‘baseline 수신호 집합’은 mixture가 6일 때 92.
- 두 번째 실험은 ‘48가지 수신호 집합’의 인식률을 알아보고, 기존의 문자와 숫자를 이용한 ‘baseline 수신호 집합’의 인식률을 비교하기 위한 실험이다. 실험환경은 위에서 얻은 각 손동작 집합 별 최적의 state와 mixture에서의 인식률을 구하였다.
- 기본 손동작 집합의 12가지 모델의 조합을 통해 생성한 수신호 집합 의 DB를 이용해 총 48개의 모델을 생성하여 인식률을 구하였다. 그 결과 인식률을 97.
- 연결 수신호 인식 task의 각 인식기 성능평가 실험에서는 ‘기본 손동작 집합’ HMM의 단순한 네트워크를 통하여 ‘48가지 수신호 집합’의 손동작을 연결 인식 하였다.
- 본 논문에서는 실제 로봇 시스템에 적용하기 위해 수신호를 변경 및 확장의 중요성을 인지하여, HMM 기반의 수신호조합을 이용한 로봇 사용자 제어 시스템을 제안하였다. 임의의 수신호 집합을 생성하여 인식률 실험을 통해 시스템의 성능을 검증하였다.
대상 데이터
- 제안한 시스템의 성능 평가를 위해 구별성 있는 기본 손동작의 무작위 조합을 통해 50 여 개의 수신호 집합을 생성한다. 50 여 개의 수신호 집합을 훈련하여 그에 대한 인식률을 얻고 또한, 기본 손동작 모델의 조합을 통해 50여개의 수신호 집합에 대한 인식률을 평가한다.
- 손동작을 분석하기 위해서 Boston university에서 공개한 미국 수화 (American Sign Language) DB를 분석하였다[13]. DB는 총 201개의 미국 수화 문장으로 구성되어있으며, 같이 제공된 양손의 좌표를 이용하여 시간에 따른 각각의 손의 좌표의 점과 점 사이의 벡터가 이루는 각도를 구하여 그림 1(a)와 같은 통계를 얻었다. 이를 통해 0o, 90o, 180o, 270o를이루는 벡터가 많은 것을 알 수 있고, 이 4가지 방향을 그림과 같이 모션 프리미티브로 정의하였다.
- 영상 입력을 통해 제스처 인식을 위해 특수효과 영상 촬영에 쓰이는 초록색 장갑을 이용하였다. 이는 연산량을 획기적으로 줄일 수 있으며, 속도를 위해 160x120의 매우 작은 크기의 영상을 이용하기 때문에 픽셀의 색상정보가 아닌 형태의 특징을 추출하여 인식하는 알고리즘에 부적합하였다.
- 인식기는 HMM을 이용하여 단일 인식기와 연속 인식기 두 가지를 설계하였다. 실험에 쓰인 휴머노이드 로봇 사양은 CPU는 임베디드 AMD 지오드 LX800 500MHz이며 메모리는 DDR 512MB 저장공간은 CF메모리카드를 이용한다. OS는 Windows XP이고, 640x480 해상도를 지원하는 130만 화소 웹캠이 달려있다.
- ‘48가지 수신호 집합’에 대한 데이터베이스는 28명이 48개의 모델을 3번씩 촬영하여 모았다.
- 실험에 쓰인 기본 손동작 집합 에 대한 데이터베이스는 28명이 12개의 모델을 3번씩 촬영하여 모았다. ‘48가지 수신호 집합’에 대한 데이터베이스는 28명이 48개의 모델을 3번씩 촬영하여 모았다.
이론/모형
- 로봇에서의 연산량을 줄이기 위해 robot-client computer 간의 네트워크 인식기를 구현하였고 MFC (Microsoft Foundation Class library)를 이용하였다. 전체 시스템은 그림 4와 같다.
- 실험에 쓰인 인식률을 얻는 방법은 ‘Leave-one-out cross-validation’ 방법을 적용하였다.
성능/효과
- 모션 프리미티브를 2개 혹은 4개를 이용하여 표 1과 같이 12개의 기본 손동작을 만들고 인식률 실험을 통해 성능을 평가한 결과 99.01%의 높은 인식률을 보였다. 이를 통해 기본 손동작이 높은 구별성을 가지는 것을 알 수 있었으며, 모션 프리미티브를 이용하여 조합하는 방법의 우수성을 알 수 있었다.
- 01%의 높은 인식률을 보였다. 이를 통해 기본 손동작이 높은 구별성을 가지는 것을 알 수 있었으며, 모션 프리미티브를 이용하여 조합하는 방법의 우수성을 알 수 있었다. 또한 모든 손동작의 시작점과 끝점을 시작점으로 돌아오게 하였기 때문에 연속 수신호 인식에 있어 중요한 문제인 비 손동작(non-gesture) [10] 구분하는 문제를 없앨 수 있을 것이다.
- ‘baseline 손동작 집합’의 각 모델 별 인식률을 살펴보면 인식률이 비교적 높은 모델들은 90% 대에 있지만 특정 모델들에 대해서, 특히 ‘1’과 ‘9’, ‘C’ 등의 모델에서 현저하게 낮은 인식률을 보이는 것을 확인할 수 있다.
- 수신호 인식 task를 위한 최적의 mixture, state 평가 실험을 통하여 ‘baseline 수신호 집합’의 최적의 state는 5개, mixture는 6개인 것을 확인하였다.
- 기존 문자를 이용한 ‘baseline 수신호 집합’ 의 인식률인 92.4%에 비해 7% 더 높은 인식률을 보였다.
- 단일 수신호 인식 task의 각 인식기 성능 평가 실험의 결과를 보면 기존 문자와 숫자, 기호를 이용한 ‘baseline 수신호 집합’를 이용한 실험에서의 인식률은 92.4%로 비교적 낮은 결과를 보였다.
- 07%이다. 조합을 통해 12개의 모델에서 48개의 모델로 모델의 개수가 4배로 많아졌지만 인식률은 1.94%의 비교적 적은 하락을 보인다. 이로써 모션 프리미티브의 조합으로 구별성이 보장된 손동작 집합을 이용하여 한번 더 조합한 손동작 집합도 역시 구별성을 보장하는 것을 보여주고 있다.
- 연결 수신호 인식 task의 각 인식기 성능평가 실험에서는 ‘기본 손동작 집합’ HMM의 단순한 네트워크를 통하여 ‘48가지 수신호 집합’의 손동작을 연결 인식 하였다. 손동작의 구조가 끝점이 모두 시작점으로 돌아오므로 다음 손동작이 이어지더라도 비손동작 부분이 생기지 않기 때문에 실험결과와 같이 97.37%의 높은 인식률을 보였다. 이는 ‘48가지 수신호 집합’의 단일 수신호 인식 결과인 97.
- 그 결과 모션 프리미티브를 바탕으로 생성된 기본 손동작 집합을 이용하여 임의로 생성한 48가지 손동작 집합의 인식률은 97.07$로 높게 나타났다. 기존 문자를 이용한 ‘baseline 수신호 집합’ 의 인식률인 92.
- 4%에 비해 7% 더 높은 인식률을 보였다. 끝점이 시작점으로 돌아오는 구조를 통한 손동작은 두 단어의 연결 손동작 인식 실험을 통해 97.37%의 인식결과를 보여 로봇에 연속적으로 명령을 내릴 수 있는 것을 확인하였다. 이러한 실험 결과들은 로봇의 사용자 제어를 위해 새로운 손동작을 만들거나 그 손동작이 많아지더라도 충분히 구별성이 보장되는 인식률이 높은 로봇 사용자 제어 시스템을 구성할 수 있는 근거가 된다.
후속연구
- 또한 모든 손동작의 시작점과 끝점을 시작점으로 돌아오게 하였기 때문에 연속 수신호 인식에 있어 중요한 문제인 비 손동작(non-gesture) [10] 구분하는 문제를 없앨 수 있을 것이다. 이러한 구별성을 보장하는 기본 손동작을 조합하여 HCI (Human Computer Interaction) 명령체계에 적합한 수신호를 만든다면 구별성이 보장되어 높은 인식률을 보일 것이다.
- 향 후, 연속 인식을 통하여 명령어의 체계를 성립하여 주어, 동사, 목적어의 형태를 갖는 명령 체계를 만들고, 언어모델을 적용시킨다면 더욱 정교한 제어를 하며 높은 인식률을 갖는 로봇 사용자 제어 시스템을 구성할 수 있을 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.