선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 연구에서는 예측 모델을 생성하기 위해서 데이터를 구성하고 수집 방법을 제시한다. 또한 3차원 벡터 형태를 입력 데이터로 활용하기 때문에, 이의 적절한 학습 데이터를 구성하는 방법을 제시한다. 딥 러닝 기반의 제스처 인식 모델의 학습을 위해서 제스처 종류를 선정했으며 Fig.
- 본 연구에서는 기존 연구에서 언급된 제한점을 통해서 효율적이고 보완된 제스처 인식 알고리즘을 제안하고 구축한다.
- 본 연구에서는 딥 러닝 기반의 제스처 인식 모델에 적합한 입력 데이터 생성하고, 효율적으로 정규화하는 방법을 제안한다. 이 방법은 사용자의 입력 제스처에 대해 시간적 및 공간적 정규화를 통해서 사용자의 다양한 형태의 제스처 행동에 대응하기 위한 것이다.
- 본 연구에서는 실시간 처리가 필요한 계산 효율 및 성능을 얻기 위하여 제스처 이동 경로에 대한 위치 값을 벡터화 하는 방법을 제안한다. 이를 통해 기존 연구에서 발생했던 정보 손실을 줄이고 제스처를 그리는 3차원 공간의 정보를 그대로 활용하여 정확도를 높인다.
- 딥 러닝은 많은 데이터를 학습하고 모델의 파라미터를 조정하여 예측모델을 생성한다. 본 연구에서는 예측 모델을 생성하기 위해서 데이터를 구성하고 수집 방법을 제시한다. 또한 3차원 벡터 형태를 입력 데이터로 활용하기 때문에, 이의 적절한 학습 데이터를 구성하는 방법을 제시한다.
- 본 연구에서는 제안된 모델의 성능평가를 위해서 인식률과 학습 손실를 측정했다. 제안된 모델을 포함하여 총 5개의 경쟁 모델을 선정했다.
제안 방법
- 제안한 방법의 성능에 대한 신뢰성을 확보하기 위해, 21종의 제스처에 대해서 각 500개의 데이터를 확보한다. 같은 종류의 제스처라도 재활치료 적용을 위해 팔과 손이 불편한 환자와 유사한 데이터가 함께 수집되도록 하였다. 특히, 팔과 어깨 부분이 불편한 사람이 직접 참가하여 데이터의 신뢰도 높일 수 있도록 구성하였다.
- 첫 번째 입력 계층에서는 데이터의 차원을 고려하여 101차원을 구성했다. 구성된 차원과 입력 계층의 차원은 동일하므로 100차원의 노드를 구성하고 편향(Bias)를 포함하여 101차원을 구성했다. 두 번째 은닉 계층은 총 5개의 은닉 계층을 구성하여 심층 구조를 형성했다.
- 또한 3차원의 입력 벡터를 제안 모델에 학습하기 위해서 시 공 간적 정규화를 적용하고, 제안된 모델은 신경망을 통해서 심층 구조를 갖는 DNN(Deep Neural Network)을 활용했다. 그리고 빠른 학습을 수행하고, 과적합을 방지하기 위해서 활성화 함수를 SELU를 적용했다. 제안된 모델의 인식률과 학습 성능을 측정하기 위해서 실험을 진행했으며, 제안된 모델은 99.
- 구성된 차원과 입력 계층의 차원은 동일하므로 100차원의 노드를 구성하고 편향(Bias)를 포함하여 101차원을 구성했다. 두 번째 은닉 계층은 총 5개의 은닉 계층을 구성하여 심층 구조를 형성했다. 은닉 계층의 노드 개수는 Fig.
- 총 21개의 제스처 종류를 구성하고 Unity3D와 립모션을 활용하여 제스처 데이터를 수집했다. 또한 3차원의 입력 벡터를 제안 모델에 학습하기 위해서 시 공 간적 정규화를 적용하고, 제안된 모델은 신경망을 통해서 심층 구조를 갖는 DNN(Deep Neural Network)을 활용했다. 그리고 빠른 학습을 수행하고, 과적합을 방지하기 위해서 활성화 함수를 SELU를 적용했다.
- 본 논문에서는 입력 벡터의 시 공간 정규화를 통해서 딥 러닝을 활용하여 3D 제스처를 인식했다. 총 21개의 제스처 종류를 구성하고 Unity3D와 립모션을 활용하여 제스처 데이터를 수집했다.
- 본 연구에서 구현된 모델은 실제 재활 환자를 위 하여 활용될 게임과 연동되기 위해 구성된 환경으로서 재활치료를 위해 게임 등의 환경으로 연동하기 위해 무거운 딥러닝 연산구조를 분리하여 구성하였다. 딥 러닝에서 생성된 모델만을 활용할 시에는 구 동에 무겁지 않겠으나, 본 연구의 결과가 적용되는 재활치료에서는 신규로 생성되는 환자의 데이터를 추가적으로 연산하여 지속적으로 모델 갱신이 필요하다.
- (2) 사용자의 요구에 따라 프레임마다 벡터를 입력받는다면 제스처 인식 모델이 요구하는 입력 차원을 획득하지 못하고 입력 데이터가 누락될 수 있다. 본 연구에서 제안한 정규화 방법은 획득하지 못한 입력 벡터를 보충하는 과정을 수행한다.
- 본 연구에서는 신경망을 토대로 깊은 심층 구조를 형성하여 3차원 제스처 인식을 수행했다. 모델의 구조는 입력 계층, 은닉 계층, 출력 계층으로 간단한 구조를 가진다.
- 유도한 과정은 앞서 언급한 총 5개의 과정을 수행한다. 수행한 과정을 통해서 딥 러닝 기반의 3D 제스처 인식 모델의 입력 벡터를 정규화할 수 있는 방법을 제안했다.
- 본 연구에서는 실시간 처리가 필요한 계산 효율 및 성능을 얻기 위하여 제스처 이동 경로에 대한 위치 값을 벡터화 하는 방법을 제안한다. 이를 통해 기존 연구에서 발생했던 정보 손실을 줄이고 제스처를 그리는 3차원 공간의 정보를 그대로 활용하여 정확도를 높인다. 제안한 방법은 사용자마다 다른 제스처의 수행속도 및 형태크기에 불변한 데이터를 얻기 위하여 시간 정규화 과정과 공간 정규화 과정을 수행한다.
- 전체적인 데이터 처리 과정은 제스처 데이터를 입력받고 보간을 통해서 데이터의 수를 조정하는 시간적 정규화 방법과 공간영역에서 정규화하는 방법을 적용하여 적절한 데이터 형식을 생성한다. 데이터 처리 과정은 중요하기 때문에, 단계적으로 언급한다.
- 제스처 데이터 수집 과정은 라벨링을 입력하고 스페이스 바를 활용하여 제스처의 시작과 끝을 구성했다. 그리고 수집한 데이터는 시간별로 라벨링 번호가 입력된 폴더에 저장한다.
- Xu와 Lee[14]의 연구에서는 2차원 및 3차원 공간을 기반으로 HMM을 활용하여 제스처 인식을 수행하였다. 제스처 데이터의 특징 추출은 2차원 위치를 통해서 8방향의 각도를 추출하여 HMM을 통해 제스처 인식을 처리한다. 쉬운 패턴에서는 높은 성능 확인할 수 있으나 2차원 위치를 추출하기 때문에 실질 적인 3차원 공간에서 복잡한 패턴을 인식하는 것은 해결 과제로 남아있다.
- 제스처 종류는 총 21개로 방향성을 고려하여 쉬운 패턴, 어려운 패턴, 비슷한 패턴까지 구성했으며, 곡선과 직선, 깊이 값을 혼합해서 제스처 인식의 복잡도를 높였다. 그리고 15–20번의 제스처는 각각 문 열기, 책장 넘기기, 머리 빗기, 물컵 들고 물 먹기, 닦기(책상, 바닥), 물병 따기 동작을 모사했다.
- 특징 추출을 통하여 연속적인 데이터에서 양자화된 입력 데이터는 HMM을 통해서 제스처 인식을 처리 한다. 제안된 알고리즘은 비교적 빠른 제스처 인식 속도와 높은 인식률을 기대할 수 있다. 하지만 2D 평면에 투영하는 것을 통해서 제스처 인식을 수행하기 때문에, 움직임이 많은 직접적인 가상공간에 적용하기 어렵다.
- 이를 통해 기존 연구에서 발생했던 정보 손실을 줄이고 제스처를 그리는 3차원 공간의 정보를 그대로 활용하여 정확도를 높인다. 제안한 방법은 사용자마다 다른 제스처의 수행속도 및 형태크기에 불변한 데이터를 얻기 위하여 시간 정규화 과정과 공간 정규화 과정을 수행한다. 또한 해당 벡터를 1차원 레이어로 구성하여 기존 2차원 영상을 입력한 연구와는 달리 학습 및 수행 의 연산 시간을 획기적으로 줄인다.
- 획득한 데이터에 대하여 특징을 추출하기 위해서 다각도 결합 히스토그램이 활용된다. 추출된 특징은 랜덤 결정 포레스트를 분류기를 통해서 행동 인식과 손 제스처 인식을 수행했다. 기존 연구보다 상대적으로 인식률은 개선 했지만, 손 제스처 인식에 대해서 특화된 모델이 아니기 때문에 3차원, 이하 3D(3 Dimension) 공간에서의 손 제스처 인식의 어려운 점이 있다.
- 이 방법은 광학 흐름(optical flow)을 활용하여 히스토그램을 통해 손의 움직임을 추적한다. 추출한 손의 위치 데이터는 SVM, K-NN, 베이지안(Bayesian) 분류기를 통해서 학습하고 인식하였다. 이 방법은 다양한 기계학습 모델을 활용하여 비교적 높은 인식률을 나타내었으나 인식 모델을 선정하기가 어려울 뿐만 아니라 쉬운 제스처 패턴을 대상으로 실험을 수행하였기 때문에, 복잡한 패턴의 제스처에 대응하기가 어렵다.
- Kim과 Lee[12]의 연구에서는 카메라를 통해서 2차원 평면에 제스처의 위치를 투영(projection)한 벡터를 16개의 방향으로 정규화(normalization)한다. 특징 추출을 통하여 연속적인 데이터에서 양자화된 입력 데이터는 HMM을 통해서 제스처 인식을 처리 한다. 제안된 알고리즘은 비교적 빠른 제스처 인식 속도와 높은 인식률을 기대할 수 있다.
- 같은 종류의 제스처라도 재활치료 적용을 위해 팔과 손이 불편한 환자와 유사한 데이터가 함께 수집되도록 하였다. 특히, 팔과 어깨 부분이 불편한 사람이 직접 참가하여 데이터의 신뢰도 높일 수 있도록 구성하였다. 제안한 방법으로 실험한 결과 빠른 학습속도와 실행속도 뿐만 아니라, 인식률에서도 매우 우수한 성능을 나타내어, 실제 병원에서 재활치료를 위한 매우 효율적인 시스템으로 사용될 수 있을 것이다.
대상 데이터
- 13과 같이 각각의 경쟁 모델의 손실을 도시했다. 그리고 학습 세대(Epoch)는 70회로 한정했다.
- 또한 3차원 벡터 형태를 입력 데이터로 활용하기 때문에, 이의 적절한 학습 데이터를 구성하는 방법을 제시한다. 딥 러닝 기반의 제스처 인식 모델의 학습을 위해서 제스처 종류를 선정했으며 Fig. 1과 같다.
- 실험 환경은 Windows 10, RAM 16GB, NVIDIA GTX 1080에서 진행했다. 또한, 수집 인원 4명, 제스처 종류 21개, 총 10500개의 데이터를 통해서 학습 데이터(training set)는 6300개, 검증 데이터(validation set)는 2100 개, 테스트 데이터(test set)는 2100개를 구축하였다. 실험 결과는 Table 1과 같다.
- 본 연구에서는 3차원 손 위치를 추적할 수 있는 립 모션(leap motion)을 활용하고 Unity3D 게임 엔진을 통해서 GUI를 구성하여 제스처 데이터를 수집했다. Fig.
- 9에 표현된 것과 동일하다. 세 번째 출력 계층은 실제로 분류를 수행 하는 개수와 동등해야 하므로 총 21개의 노드를 구성한다.
- 본 연구에서는 제안된 모델의 성능평가를 위해서 인식률과 학습 손실를 측정했다. 제안된 모델을 포함하여 총 5개의 경쟁 모델을 선정했다. 실험 환경은 Windows 10, RAM 16GB, NVIDIA GTX 1080에서 진행했다.
- 제안한 방법의 성능에 대한 신뢰성을 확보하기 위해, 21종의 제스처에 대해서 각 500개의 데이터를 확보한다. 같은 종류의 제스처라도 재활치료 적용을 위해 팔과 손이 불편한 환자와 유사한 데이터가 함께 수집되도록 하였다.
- 본 논문에서는 입력 벡터의 시 공간 정규화를 통해서 딥 러닝을 활용하여 3D 제스처를 인식했다. 총 21개의 제스처 종류를 구성하고 Unity3D와 립모션을 활용하여 제스처 데이터를 수집했다. 또한 3차원의 입력 벡터를 제안 모델에 학습하기 위해서 시 공 간적 정규화를 적용하고, 제안된 모델은 신경망을 통해서 심층 구조를 갖는 DNN(Deep Neural Network)을 활용했다.
이론/모형
- 제안된 모델에서 은닉 계층의 활성화 함수는 SELU(Scaled Exponential Linear Unit)[20]을 활용했다. SELU의 식은 (2)과 같으며, 그래프로 나타냈을 때는 Fig.
성능/효과
- (2) 사용자의 요구에 따라 프레임마다 벡터를 입력받는다면 제스처 인식 모델이 요구하는 입력 차원을 획득하지 못하고 입력 데이터가 누락될 수 있다. 본 연구에서 제안한 정규화 방법은 획득하지 못한 입력 벡터를 보충하는 과정을 수행한다.
- 제안된 모델의 학습 손실이 가장 빨리 떨어지는 것을 확인할 수 있다. RNN은 비교적 빨리 학습 손실이 감소를 보이나, 제안된 모델보다는 비우수한 결과 를 보인다. 또한 Logistic regression은 점진적으로 학습 손실이 감소하는 것을 알 수 있다.
- 또한 Logistic regression은 점진적으로 학습 손실이 감소하는 것을 알 수 있다. 그리고 LSTM과 GRU는 Logistic regression보다 비교적 빠르게 감소하는 것을 확인할 수 있다. 따라서 상기 실험을 통해서 제안된 모델의 학습 성능과 인식률이 경쟁 모델에 비해서 우수한 것을 확인할 수 있다.
- 5%로 두 번째로 높은 인식률을 확인할 수 있다. 네 번째로 LSTM[23]은 인식률 91.7%로 비교적 높은 인식률을 보여주고 있다. 마지막으로 GRU[24]는 인식률 95.
- 그리고 LSTM과 GRU는 Logistic regression보다 비교적 빠르게 감소하는 것을 확인할 수 있다. 따라서 상기 실험을 통해서 제안된 모델의 학습 성능과 인식률이 경쟁 모델에 비해서 우수한 것을 확인할 수 있다.
- 3%의 인식률을 확인할 수 있다. 또한 기존의 알고리즘에 비해 높은 인식률을 보여주었으며, 학습 손실이 가장 빠르게 떨어지는 것을 확인 할 수 있다. 하지만 정규화 방법에 대한 추가적인 분석과 데이터 수집, 다양한 경쟁 모델에 대한 실험을 필요로 한다.
- 학습 과정에서도 본 연구에서 제안된 시공간 정규화 방법은 입력 벡터를 1차원 레이어로 구성하여 기존 2차원 영상을 입력한 연구와는 달리 계산비용을 줄이는데 그 의의를 가진다. 본 연구에서 제안하는 시공간 정규화 방법을 통해서 학습 과정의 계산 비용을 줄이면서 효율적으로 모델의 학습을 수행할 수 있다.
- 두 번째로 Logistic regression[21]은 인식률 86%로 가장 낮은 인식률을 보여주고 있다. 세 번째로 RNN[22]은 인식률 98.5%로 두 번째로 높은 인식률을 확인할 수 있다. 네 번째로 LSTM[23]은 인식률 91.
- 실험 결과에서 제안된 모델은 99.3%로 가장 높은 인식률을 확인할 수 있다. 두 번째로 Logistic regression[21]은 인식률 86%로 가장 낮은 인식률을 보여주고 있다.
- 또한 해당 벡터를 1차원 레이어로 구성하여 기존 2차원 영상을 입력한 연구와는 달리 학습 및 수행 의 연산 시간을 획기적으로 줄인다. 제스처 인식에 2차원 영상의 CNN 알고리즘을 사용하면, 컨볼루션 단계에서 계산비용이 증가하게 되나, 본 연구에서 제안하는 1차원 벡터 처리를 위한 다단의 MLP는 계산 비용이 훨씬 적어 실시간 처리가 필요한 게임 응용 단계에서 매우 효율적이다.
- 그리고 빠른 학습을 수행하고, 과적합을 방지하기 위해서 활성화 함수를 SELU를 적용했다. 제안된 모델의 인식률과 학습 성능을 측정하기 위해서 실험을 진행했으며, 제안된 모델은 99.3%의 인식률을 확인할 수 있다. 또한 기존의 알고리즘에 비해 높은 인식률을 보여주었으며, 학습 손실이 가장 빠르게 떨어지는 것을 확인 할 수 있다.
- 제안된 모델의 학습 손실이 가장 빨리 떨어지는 것을 확인할 수 있다. RNN은 비교적 빨리 학습 손실이 감소를 보이나, 제안된 모델보다는 비우수한 결과 를 보인다.
- 생성된 100차원의 벡터를 통해서 제안된 모델의 학습을 수행할 수 있다. 학습 과정에서도 본 연구에서 제안된 시공간 정규화 방법은 입력 벡터를 1차원 레이어로 구성하여 기존 2차원 영상을 입력한 연구와는 달리 계산비용을 줄이는데 그 의의를 가진다. 본 연구에서 제안하는 시공간 정규화 방법을 통해서 학습 과정의 계산 비용을 줄이면서 효율적으로 모델의 학습을 수행할 수 있다.
후속연구
- 본 연구에서 구현된 모델은 실제 재활 환자를 위 하여 활용될 게임과 연동되기 위해 구성된 환경으로서 재활치료를 위해 게임 등의 환경으로 연동하기 위해 무거운 딥러닝 연산구조를 분리하여 구성하였다. 딥 러닝에서 생성된 모델만을 활용할 시에는 구 동에 무겁지 않겠으나, 본 연구의 결과가 적용되는 재활치료에서는 신규로 생성되는 환자의 데이터를 추가적으로 연산하여 지속적으로 모델 갱신이 필요하다.
- 최근의 딥러닝 연구는 연구 그 자체로서의 목적을 가지고 있기 때문에 게임 등에 대한 활용으로서의 응용은 고려되지 않은 바가 많다. 따라서 이러한 환경을 통한 실제 구현이 된 기존 연구가 미비하여 상세한 비교는 불가 하나, 향후 유사한 연구에서는 게임 등과 같이 무거운 시스템 구동에 딥 러닝을 함께 사용 할 때 반드시 필요한 과정이다.
- 특히, 팔과 어깨 부분이 불편한 사람이 직접 참가하여 데이터의 신뢰도 높일 수 있도록 구성하였다. 제안한 방법으로 실험한 결과 빠른 학습속도와 실행속도 뿐만 아니라, 인식률에서도 매우 우수한 성능을 나타내어, 실제 병원에서 재활치료를 위한 매우 효율적인 시스템으로 사용될 수 있을 것이다.
- 또한 기존의 알고리즘에 비해 높은 인식률을 보여주었으며, 학습 손실이 가장 빠르게 떨어지는 것을 확인 할 수 있다. 하지만 정규화 방법에 대한 추가적인 분석과 데이터 수집, 다양한 경쟁 모델에 대한 실험을 필요로 한다. 향후 연구에서는 이러한 사항을 개선할 수 있을 것으로 기대된다.
- 하지만 정규화 방법에 대한 추가적인 분석과 데이터 수집, 다양한 경쟁 모델에 대한 실험을 필요로 한다. 향후 연구에서는 이러한 사항을 개선할 수 있을 것으로 기대된다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.