선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 쉽고 정확하게 로봇을 제어하는 문제를 해결하기 위해, 3차원 거리영상 데이터를 사용해 사람들이 실생활에서 사용되는 것 같은 자연스러운 손동작으로 로봇을 제어하게 한다[6]. 자연스러운 손동작이란 사람들이 일반적으로 사용하는 손동작을 말하며 특별히 정의된 손동작을 배우지 않아도 로봇을 쉽게 제어하게 해준다.
- 본 논문에서는 인위적으로 정한 손동작이 아닌, 사람들이 실제 생활에서 사용하는 자연스러운 손동작을 이용하여 로봇을 제어하는 방법을 제안했다. 키넥트 센서를 사용해 3차원 거리 영상 데이터와 색상 데이터 정보를 획득하고, 영상의 차이를 분석한 결과로 로봇을 제어할 수 있는 여러 가지 정보를 추출하였고 손 동작을 인식하기 위하여 HMM 알고리즘을 이용했다.
가설 설정
- 움직이는 손에서 시작 위치, 움직인 경로, 속도, 가속도, 위치경로, 시작 위치와 끝나는 위치 등을 추출한다. 본 연구에서 사용자는 로봇과 마주보고 있다는 가정을 하며, 명령을 위해 손을 앞으로 뻗으면 손 영역 추적을 시작한다. 은닉 마르코프 모델을 사용하여 손동작을 인식하여 로봇을 제어한다.
제안 방법
- 피부색 샘플에서 구해진 각 요소별 최소 최대값을 기준으로 임계값을 설정한 후 테스트 해본 결과, YCrCb 모델로 피부값 추출을 사용했을 시 낮에 따른 오차율이 존재함을 확인하여 밤과 낮에 따른 임계치를 다르게 설정하였다. 각각의 요소들의 최소값과 최대값을 구하여 일차적인 임계치로 결정하였다.
- 손의 특징점을 추출하는 방법은 시간 변화에 따른 손의 위치 변화를 취득한 다음 3차원 거리영상 데이터를 사용해 위치 변화를 재구성하였다. 그 후 데이터를 4개의 구간으로 분류하여 사용하였다. 3차원 거리영상 데이터를 사용해 짧은 거리에 대한 검출율을 높였으며 Z축 움직임에 대한 손동작도 해석이 가능하게 하였다.
- 이렇게 구해진 임계값의 범위를 조금씩 변화하며 다수의 반복 실험에 적용시켜 피부색의 범위를 추출하였다. 그 후 피부색이 검출된 범위와 골격화 하여 얻어진 손의 위치를 비교하여 정확한 손의 위치를 추정한다. 그림 6은 원본 영상 이미지이고 그림 7은 손 추출 결과 이미지이다.
- 하지만 움직이는 객체가 사람이라는 보장을 할 수 없고, 만약 사람이 어떠한 물체를 들고 있다면 그 물체까지도 인식하여 골격화 된다. 따라서 본 연구에서는 골격화된 물체의 끝부분을, 피부색 검출을 사용해 손으로 판단한다. 물론 색상이 있는 장갑을 낄 수도 있지만 본 연구의 범위에서 제외하였다.
- 동양과 서양 사이에는 ‘전진’ 과 ‘후진’ 이 반대이긴 하지만, 나머지 손동작은 동일하다. 본 논문에서는 오른손잡이가 왼손잡이보다 인구수가 많기 때문에 지역 좌표계를 신체의 오른손에 맞추어 설계하였다.
- 본 연구에서는 마이크로소프트에서 만든 키넥트 센서로부터 3차원 거리 영상 데이터를 획득하고, 연속적으로 획득한 두 영상의 차영상을 생성하여 활용한다. 키넥트 API는 움직이는 많은 물체들을 검출하는데 본 연구에서는 손을 검증해서 사용해야 하기 때문에 전처리 과정이 필요하다.
- 본 연구에서는 손의 위치 변화에 따른 이동 속도, 가속도, 시작 위치, 마지막으로 종료 위치를 계속 반복하며 저장한다. 손이 여러 번 움직이는 경우는 이동속도가 정확한지 그리고 어느 방향으로 움직인 것이 로봇 제어에 있어서 중요한 문제이다.
- 손을 검증한 후에 시스템은 손 추적을 시작한다. 본 연구에서는 오른손의 중심을 계산하고 이전 프레임의 중심점의 차이를 사용한다. 손의 특징점을 추출하는 방법은 시간 변화에 따른 손의 위치 변화를 취득한 다음 3차원 거리영상 데이터를 사용해 위치 변화를 재구성하였다.
- 본 연구에서는 자연스러운 손동작을 사용한다. 사람들이 멀리 있어서 말하는 것을 듣지 못하거나 크게 이야기 할 수 없는 상황에 있을 때, 혹은 말을 하면서 동작을 함께 사용하는, 일반적으로 사용된다고 판단되는 여섯 가지 손동작을 사용한다.
- 또한 키넥트 센서가 움직이는 객체의 전체를 볼 수없다면 정확한 골격을 얻을 수는 없다. 본 연구에서는 해당 문제를 극복하기 위해 팬-틸트 장치를 사용하였다. 골격화를 통해서 얻은 신체의 위치 정보에서 신체의 중앙점이 영상의 가운데에 위치하고 있지 않다면, 키넥트 센서가 장착된 팬-틸트 장치가 동작하여 영상의 중심에 객체가 오도록 키넥트센서가 움직이고, 객체의 전체를 볼 수 있도록 하게 한다.
- 상황 변화에 따른 적절한 피부색이 범위를 찾기 위해 획득된 컬러 데이터에서 피부색에 해당하는 부분을 우선적으로 추출하여 피부색으로만 이루어진 표본 데이터을 제작하였다. 피부색 샘플에서 구해진 각 요소별 최소 최대값을 기준으로 임계값을 설정한 후 테스트 해본 결과, YCrCb 모델로 피부값 추출을 사용했을 시 낮에 따른 오차율이 존재함을 확인하여 밤과 낮에 따른 임계치를 다르게 설정하였다.
- 본 연구에서는 오른손의 중심을 계산하고 이전 프레임의 중심점의 차이를 사용한다. 손의 특징점을 추출하는 방법은 시간 변화에 따른 손의 위치 변화를 취득한 다음 3차원 거리영상 데이터를 사용해 위치 변화를 재구성하였다. 그 후 데이터를 4개의 구간으로 분류하여 사용하였다.
- 실험방법은 각 동작에 대하여 20회, 30회, 50회 반복 실험하여 인식률을 산출했고, 또한 거리에 따른 오차를 확인하기 위하여 1.4m, 3.3m 의 거리에서 각각 동작 인식실험을 수행하였다. 본 연구에서는 상체만을 인식하여 사용하므로 상체가 명확히 인식되는 시점인 1.
- 앞 절에서 검출한 파라미터를 이용한 학습을 통해 상태 천이 확률 행렬과 관측 모델 확률 행렬의 값을 결정하며, 이를 바움-웰치 알고리즘을 사용해 HMM 데이터를 학습하고, 학습된 HMM 데이터와 찾고자 하는 손동작 데이터의 우도(likelihood)를 구하고 로그 우도(Log likelihood)의 최대가 되는 값을 인식 결과로 인식해 모바일 로봇에게 해당 명령을 블루투스로 전송한다.
- 본 연구에서 사용자는 로봇과 마주보고 있다는 가정을 하며, 명령을 위해 손을 앞으로 뻗으면 손 영역 추적을 시작한다. 은닉 마르코프 모델을 사용하여 손동작을 인식하여 로봇을 제어한다. 그림 1은 본 연구에서 제안한 시스템의 전체 순서도이다.
- 이렇게 구해진 임계값의 범위를 조금씩 변화하며 다수의 반복 실험에 적용시켜 피부색의 범위를 추출하였다. 그 후 피부색이 검출된 범위와 골격화 하여 얻어진 손의 위치를 비교하여 정확한 손의 위치를 추정한다.
- 83Ghz, 2GB 메모리의 사양이며, 로봇은 3축 모션 컨트롤 보드와 2개의 바퀴, 16조 초음파 센서 제어 보드로 구성되어 있다. 이번 실험에서는 로봇 설계상의 문제로 인해 로봇에 키넥트 센서를 장착하지 못하여, 적절한 장소에 설치한 후 진행하였다.
- 상황 변화에 따른 적절한 피부색이 범위를 찾기 위해 획득된 컬러 데이터에서 피부색에 해당하는 부분을 우선적으로 추출하여 피부색으로만 이루어진 표본 데이터을 제작하였다. 피부색 샘플에서 구해진 각 요소별 최소 최대값을 기준으로 임계값을 설정한 후 테스트 해본 결과, YCrCb 모델로 피부값 추출을 사용했을 시 낮에 따른 오차율이 존재함을 확인하여 밤과 낮에 따른 임계치를 다르게 설정하였다. 각각의 요소들의 최소값과 최대값을 구하여 일차적인 임계치로 결정하였다.
대상 데이터
- PC는 Core2Duo 2.83Ghz, 2GB 메모리의 사양이며, 로봇은 3축 모션 컨트롤 보드와 2개의 바퀴, 16조 초음파 센서 제어 보드로 구성되어 있다. 이번 실험에서는 로봇 설계상의 문제로 인해 로봇에 키넥트 센서를 장착하지 못하여, 적절한 장소에 설치한 후 진행하였다.
- 본 논문에서 제안한 방법을 실험하기 위하여 구현한 시스템은 다음과 같다. 마이크로소프트 비주얼 스튜디오 2008, OpenNI 1.4.0.2 그리고 OpenCV 2.2를 사용하였고, 키넥트 센서로부터 초당 30프레임으로 640x320 크기의 색상 영상과 3차원 거리 영상을 획득하였다. 실험에 사용된 PC는 영상처리, 동작인식 그리고 로봇 제어를 위한 PC 1대와 UMPC 1대 마지막으로 한울로보틱스에서 제작한 주행로봇 Hanuri-RD3를 사용하였다.
- 본 연구에서는 상체만을 인식하여 사용하므로 상체가 명확히 인식되는 시점인 1.4m의 경우와 마이크로소프트사에서 지정한 키넥트의 적정 거리인 3∼4m 사이인 3.3m 이다.
- 2를 사용하였고, 키넥트 센서로부터 초당 30프레임으로 640x320 크기의 색상 영상과 3차원 거리 영상을 획득하였다. 실험에 사용된 PC는 영상처리, 동작인식 그리고 로봇 제어를 위한 PC 1대와 UMPC 1대 마지막으로 한울로보틱스에서 제작한 주행로봇 Hanuri-RD3를 사용하였다.
- 표 1에 나온 자연스러운 손동작과 단방향의 경우를 합하여 총 14개의 구성요소로 이루어진 손동작을 실험에 사용하였으며 각 손동작과 그 의미는 표 2에 정리하였다. 로봇은 두 개의 바퀴와 하나의 유동 바퀴를 가지고 있기 때문에 움직임에 제한이 있다.
이론/모형
- 본 연구에서는 피부색의 추출을 위하여 YCrCb 칼라 모델을 사용하였다. RGB 모델의 경우 빛의 영향에 따른 값의 차이가 크기 때문에 조명이 자주 바뀌는 실외에서의 피부색 추출에는 적합하지가 않다.
- 손동작을 인식하기 위해선 얻은 파라미터를 패턴화하고 패턴화된 데이터를 목적에 맞게 구조화하는 모델링 과정이 필요하다. 시간적으로 상태가 천이가 있는 패턴들을 각각 본 논문에서는 패턴 모델링 방법으로서 음성인식에 자주 사용되는 HMM을 사용하였다. HMM은 관측이 불가능한 과정을 관측이 가능한 다른 과정으로 추정하는 이중 확률처리 모델이다.
- 본 논문에서는 인위적으로 정한 손동작이 아닌, 사람들이 실제 생활에서 사용하는 자연스러운 손동작을 이용하여 로봇을 제어하는 방법을 제안했다. 키넥트 센서를 사용해 3차원 거리 영상 데이터와 색상 데이터 정보를 획득하고, 영상의 차이를 분석한 결과로 로봇을 제어할 수 있는 여러 가지 정보를 추출하였고 손 동작을 인식하기 위하여 HMM 알고리즘을 이용했다. 인식률은 평균 94.
성능/효과
- 그 후 데이터를 4개의 구간으로 분류하여 사용하였다. 3차원 거리영상 데이터를 사용해 짧은 거리에 대한 검출율을 높였으며 Z축 움직임에 대한 손동작도 해석이 가능하게 하였다.
- 키넥트 센서의 특징상 보다 가까운 거리는 명확하게 인식이 되지 않았다. 그 외의 거리 차에는 인식률에 큰 차이를 보이지 않았으며 거리에 따른 강인성이 높게 나타남을 확인할 수 있었다.
- 은닉 마르코프 모델을 이용해 실험한 결과 모든 손동작은 85%∼100% 사이의 인식률을 보였다.
- 키넥트 센서를 사용해 3차원 거리 영상 데이터와 색상 데이터 정보를 획득하고, 영상의 차이를 분석한 결과로 로봇을 제어할 수 있는 여러 가지 정보를 추출하였고 손 동작을 인식하기 위하여 HMM 알고리즘을 이용했다. 인식률은 평균 94.8% 로 비교적 우수한 실험결과를 보여주었다.
후속연구
- 추후 연구에서는 어느 정도 크기이상으로 손짓을 하는 것이 인식하기 좋은지에 대한 연구도 필요하다. 또한 이동할 방향 뿐만 아니라 이동할 위치를 지적하였을 때, 얼마나 정확하게 이동하는 지에 대한 연구도 수행할 계획이다.
- 사람의 경우에도 상대방의 손짓의 크기가 작으면 정확하게 어떤 동작을 지시하는지 알 수 없는 것과 같이, 본 연구에서도 작은 동작들을 인식하지 못하는 경우가 있었다. 추후 연구에서는 어느 정도 크기이상으로 손짓을 하는 것이 인식하기 좋은지에 대한 연구도 필요하다. 또한 이동할 방향 뿐만 아니라 이동할 위치를 지적하였을 때, 얼마나 정확하게 이동하는 지에 대한 연구도 수행할 계획이다.
- 하지만 센서가 너무 가까이 있다면, 몸 전체 영상을 획득하는 것은 현재 시스템으로는 가능하지 않다. 추후로 키넥트 센서를 로봇에 장착하면 로봇이 뒤로 물러나는 등의 방법에 의해서 해결이 가능하다. 그림 2는 원본 영상 이미지이고 그림 3은 동적 객체 검출한 영상이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.