선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- HMM은 동일하게 동작인식에 사용할 수 있다. 기본적으로 마코프 프로세스(Markov process)를 기반으로 순차 데이터를 분류하는 것이 목적이다. 동작 인식에서 순차데이터는 개별동작들이 모인 시퀀스에 해당된다.
- 본 논문에서는 Kinect를 이용하여 탁구 동작을 분석하는 알고리듬에 대해 다루도록 한다. Lu Xia et al.
가설 설정
- 상태전이는 한 방향으로만 가능하도록 설정하였다. 상태전이행렬 A 는 다음과 같다.
제안 방법
- 20개의 관절정보 중에서 9개의 관절정보를 사용하였다. 2-1절에서 얻은 84차원의 관절정보를 데이터의 손실을 최대한 줄이며 차원을 축소하는 방법으로 LDA를 적용하였다. 동작의 종류 8가지를 각각 클래스로 설정하여 8-1=7차원으로 차원을 줄였다.
- 기본적으로 포핸드 스윙과 백핸드 스윙에 해당하는 데이터를 수집하여 이용하였으며 두 가지의 동작을 강인하게 하기 위하여 탁구 동작 이외의 다양한 동작을 추가하여 데이터를 수집하였다. 30fps로 획득한 관절 데이터를 이용하여 2초 동안 얻어진 60장의 이미지가 하나의 시퀀스를 이루도록 하였다. 총 8가지의 동작들로 구성 된 동작 데이터들은 300 시퀀스로 그 중에서 100 시퀀스는 그림 5에 나온 동작에 해당한다.
- 본 논문에서는 Kinect 센서를 통해 얻을 수 있는 3D 관절정보를 이용하여 동작인식을 통한 탁구 스윙 분석을 시도하였다. 3D 관절정보를 구면좌표로 변환 한 후 K-평균 군집화를 거쳐 각각의 자세들에 해당하는 특징치를 얻었다. 구해진 특징치를 이용하여 포핸드 스윙과 백핸드 스윙을 구분하기 위해 각 동작에 대해 HMM 모델을 생성 후 이용하였다.
- 표 1. HMM에 의한 동작 인식 성능 평가.
- 분류기의 성능평가는 교차검증(cross validation)을 이용하여 수행하였다. 각각 100 시퀀스씩 200 시퀀스로 이루어진 탁구자세를 5개의 그룹으로 나누어 수행하였다. 각 자세마다 4개의 그룹(80 시퀀스)은 HMM 모델을 학습시키고 나머지 1개의 그룹(20 시퀀스)을 테스트용 샘플로 사용하였다.
- Kinect로부터 받아오는 관절정보는 Kinect 센서를 기준으로 하는 직교좌표계 (x,y,z)로 표현된다. 관절정보의 정규화를 위하여 [2]에서 제안한 엉덩이 중심을 기준으로 한 좌표계로 변환하였다.
- 오인식율을 줄이기 위해 탁구 동작 이외의 다른 다양한 동작을 학습시 추가하였다. 구분한 탁구자세에서 자동으로 시작, 중간, 마무리단계의 3단계로 특징치를 이용하여 구분하는 방법을 제안하도록 한다. 각 구간 별로 해당하는 특징점들의 빈도수를 고려하여 해당하는 자세의 특징점들을 선별한다.
- 3D 관절정보를 구면좌표로 변환 한 후 K-평균 군집화를 거쳐 각각의 자세들에 해당하는 특징치를 얻었다. 구해진 특징치를 이용하여 포핸드 스윙과 백핸드 스윙을 구분하기 위해 각 동작에 대해 HMM 모델을 생성 후 이용하였다. 또한 이들 특징치를 이용하여 각 동작의 구분점을 구하는 방법을 제안하였다.
- 구면좌표로 변환한 관절정보는 LDA 차원축소와 k-means 클러스터링을 통해서 동작 구분을 위한 특징점을 추출한다. 동작 인식은 HMM을 이용하여 수행하며 본 논문에서는 탁구 동작을 두개의 동작으로 구분하도록 한다. 전체적인 시스템 구성은 그림 1과 같다.
- 두 가지 동작을 구분하기 위해 해당하는 동작 각각에 대한 HMM 모델 λ1, λ2 를 구성하였다.
- 구해진 특징치를 이용하여 포핸드 스윙과 백핸드 스윙을 구분하기 위해 각 동작에 대해 HMM 모델을 생성 후 이용하였다. 또한 이들 특징치를 이용하여 각 동작의 구분점을 구하는 방법을 제안하였다. 향후 연구 방향으로는 성능 향상을 위해 다수의 동기화된 Kinect 정보를 이용하는 방안을 시도해보고자 한다.
- 본 논문에서는 Kinect 센서를 통해 얻을 수 있는 3D 관절정보를 이용하여 동작인식을 통한 탁구 스윙 분석을 시도하였다. 3D 관절정보를 구면좌표로 변환 한 후 K-평균 군집화를 거쳐 각각의 자세들에 해당하는 특징치를 얻었다.
- 각 구간 별로 해당하는 특징점들의 빈도수를 고려하여 해당하는 자세의 특징점들을 선별한다. 사용자의 자세 분석의 편의를 위해 리플레이시 탁구자세의 구간 별 관절이미지와 처음 구분한 탁구자세 시퀀스 관절이미지를 출력하도록 하였다.
- 그림 11. 실시간 자세 구분 및 유사도 비교.
- 오인식율을 줄이기 위해 탁구 동작 이외의 다른 다양한 동작을 학습시 추가하였다. 구분한 탁구자세에서 자동으로 시작, 중간, 마무리단계의 3단계로 특징치를 이용하여 구분하는 방법을 제안하도록 한다.
- 각 자세마다 4개의 그룹(80 시퀀스)은 HMM 모델을 학습시키고 나머지 1개의 그룹(20 시퀀스)을 테스트용 샘플로 사용하였다. 이렇게 테스트용 샘플과 학습시킬 그룹을 교대로 5회씩 자세마다 실시하였다.
- 좌표계 변환이 이루어진 후, 구면좌표를 적용하여 관절의 3D 위치상태를 표현하였다.
대상 데이터
- 20개의 관절정보 중에서 9개의 관절정보를 사용하였다. 2-1절에서 얻은 84차원의 관절정보를 데이터의 손실을 최대한 줄이며 차원을 축소하는 방법으로 LDA를 적용하였다.
- 각각 100 시퀀스씩 200 시퀀스로 이루어진 탁구자세를 5개의 그룹으로 나누어 수행하였다. 각 자세마다 4개의 그룹(80 시퀀스)은 HMM 모델을 학습시키고 나머지 1개의 그룹(20 시퀀스)을 테스트용 샘플로 사용하였다. 이렇게 테스트용 샘플과 학습시킬 그룹을 교대로 5회씩 자세마다 실시하였다.
- 기본적으로 포핸드 스윙과 백핸드 스윙에 해당하는 데이터를 수집하여 이용하였으며 두 가지의 동작을 강인하게 하기 위하여 탁구 동작 이외의 다양한 동작을 추가하여 데이터를 수집하였다. 30fps로 획득한 관절 데이터를 이용하여 2초 동안 얻어진 60장의 이미지가 하나의 시퀀스를 이루도록 하였다.
- 이러한 특징점은 시퀀스의 구성요소가 된다. 사용된 9개의 관절은 얼굴, 왼쪽/오른쪽 손, 왼쪽/오른쪽 팔꿈치, 왼쪽/오른쪽 무릎, 왼쪽/오른쪽 발이다.
- 그림 5. 탁구 동작 샘플 데이터.
- 동작 인식에서 순차데이터는 개별동작들이 모인 시퀀스에 해당된다. 탁구 자세에 대한 HMM 모델을 제작하기 위하여 그림 5에서 보인 2가지 자세인 포핸드 스윙과 백핸드 스윙 동작에 해당하는 200개의 기본 동작들을 수집하여 이용하였다.
데이터처리
- 분류기의 성능평가는 교차검증(cross validation)을 이용하여 수행하였다. 각각 100 시퀀스씩 200 시퀀스로 이루어진 탁구자세를 5개의 그룹으로 나누어 수행하였다.
이론/모형
- Lu Xia et al. [9]의 동작인식 방법을 따르며 탁구 동작 분석을 시도하였다. 구면좌표로 변환한 관절정보는 LDA 차원축소와 k-means 클러스터링을 통해서 동작 구분을 위한 특징점을 추출한다.
- 이로 인하여 계산량의 부담을 줄이고 특징점을 추출하는 것을 용이하도록 할 수 있다. 각 자세를 대표하는 특징점으로 추출하기 위하여 K-평균 클러스터링 기법을 이용하였다. 이 방식을 이용하면 이미지로부터 동작들을 대표하는 자세를 하나의 정수로 표현 가능하다.
성능/효과
- 임계값을 두고 평가한 이유는 구분하고자 하는 동작의 최소값들과 오인식을 주로 유발하고 있는 동작들의 임계값의 분포를 고려하기 위한 것이다. 또한 총 8가지의 동작들로 이루어진 실험 데이터들은 다양한 자세의 특징점을 가질 수 있게 되었다. 이것은 오인식을 발생시키는 기타 자세들로부터 탁구자세를 구분 가능하도록 한다.
- 표 2는 신장이 다른 4명으로부터 각각 탁구자세에 대한 샘플(10 시퀀스씩)들을 습득하여 10회 반복한 HMM 분류기의 평균 인식률 결과이다. 신체의 크기와 운동신경에 따른 차이는 있으나, 4명의 성인남성으로부터 포핸드 스윙의 인식률이 85.3%, 백핸드 스윙 인식률이 75.1%, 총 인식률은 80.2%로 나타났다.
- 일반적인 분류기 성능평가에서는 인식률이 각각 100%, 99%의 결과가 나왔다. 임계값을 둔 상태에서의 평균 인식률은 90%, 최고 96%의 분류기 성능을 보였다. 임계값을 두고 평가한 이유는 구분하고자 하는 동작의 최소값들과 오인식을 주로 유발하고 있는 동작들의 임계값의 분포를 고려하기 위한 것이다.
후속연구
- 또한 이들 특징치를 이용하여 각 동작의 구분점을 구하는 방법을 제안하였다. 향후 연구 방향으로는 성능 향상을 위해 다수의 동기화된 Kinect 정보를 이용하는 방안을 시도해보고자 한다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.