[논문]인체 골격의 정보의 기계학습을 통한 자세 인식 개선 방법

강민주; 류수경; 김나영; 이지은; 강제원

문제 정의

본 논문에서는 사람의 골격 구조를 추출하여 12 개의 각도를 특징점으로 삼아 자세 인식을 수행 할 수 있는 기법을 제안하였다. 제안 기법에 따르면 자세를 취하고 있는 사람을 각자세의 주 표현 부분이라고 할 수 있는 오른쪽 팔, 왼쪽 팔, 오른쪽 다리, 왼쪽 다리를 기준으로 4 등분 한다.
본 논문에서는 사람의 자세를 보다 효율적으로 인식하기 위하여 사람의 골격 정보로부터 특징을 추출하고 그를 이용한 신경망 학습 기반의 자세 인식 기법을 제안한다. 제안 기법에서는 Kinect를 통해 영상의 깊이 정보에서 사람의 관절 위치를 획득하고 이로부터 사람의 자세 및 동작을 학습하는 데 필요한 각도의 고차원 특징점을 추출한다.

제안 방법

제안 기법의 효율적인 자세 인식 성능을 보이기 위하여 사람의 자세 인식하는 실험과 사람의 동작 또한 인식하는 실험을 구성하였다. 3 명의 사람으로 실험을 진행하였으며 3 개의 자세(옆으로 나란히, 소총, 가스)를 구분하는 실험과 2 개의 동작(걷기, 달리기)를 구분하는 실험을 진행하였다. 이미지의 크기는 480x640pixel 이며 이미지는 깊이 정보에서 skeleton 이 추출 될 때 마다 1.
은 스켈레톤 정보를 이용한 춤 동작 분류 시스템을 제안하였다. 동작 인식을 위한 특징점으로 몸통 정보와 1차 관절의 각도와 2차 관절의 각도를 이용하였다 [5]. 그러나 한번의 판단만으로는 사람의 모션의 일치 여부를 판단하기에 정확성이 떨어지기 때문에 사람의 모션을 학습 한 후 보다 정확히 인지하는 학습을 통한 기법이 제시되었다.
Kinect 를 통해 위치 정보를 얻을 수 있는 사람의 관절은 그림 2 와 같다. 자세는 4 등분으로 나누며 각 부분마다 몸의 중심으로부터 3 개의 관절 정보를 추출한다. 그림 2 에서 P_jⁱ (i= 1, 2, 3, 4, j=1, 2, 3) 는 i 번째 사분면의 j 번째 관절을 의미한다.
을 찾는다. 자세의 i 사분면에 위치한 우측 상단의 어깨, 팔꿈치, 손목의 skeleton 정보를 얻어 관절과 관절 사이의 각도 정보로부터 3 개의 특징점을 구한다. 그 첫 번째 특징점으로 그림 3 에서 보듯이 어깨-팔꿈치, 팔꿈치-손목 사이의 각도 u 를 어깨의 좌표가 P₁ⁱ (x₁ⁱ, y₁ⁱ, z₁ⁱ) 팔꿈치의 좌표가 P₂ⁱ (x₂ⁱ, y₂ⁱ, z₂ⁱ) 손목의 좌표가 P₃ⁱ (x₃ⁱ, y₃ⁱ, z₃ⁱ) 이라고 할 때, 다음과 같은 수식을 사용하여 각도 uⁱ 를 구한다.
본 논문에서는 사람의 골격 구조를 추출하여 12 개의 각도를 특징점으로 삼아 자세 인식을 수행 할 수 있는 기법을 제안하였다. 제안 기법에 따르면 자세를 취하고 있는 사람을 각자세의 주 표현 부분이라고 할 수 있는 오른쪽 팔, 왼쪽 팔, 오른쪽 다리, 왼쪽 다리를 기준으로 4 등분 한다. 각 부분의 양팔과 다리 부분의 관절 12 개의 공간 좌표를 얻은 뒤 12 개의 각도를 계산하고, 고차원의 특징점을 사용하여 신경망 학습을 한 후 복잡한 동작 임에도 약 96%의 제스처 인식률을 보였다.
본 논문에서는 사람의 자세를 보다 효율적으로 인식하기 위하여 사람의 골격 정보로부터 특징을 추출하고 그를 이용한 신경망 학습 기반의 자세 인식 기법을 제안한다. 제안 기법에서는 Kinect를 통해 영상의 깊이 정보에서 사람의 관절 위치를 획득하고 이로부터 사람의 자세 및 동작을 학습하는 데 필요한 각도의 고차원 특징점을 추출한다. 추출한 각도 특징점은 신경망 네트워크 모델(neural network model)을 이용해 자세를 분류하게 된다.
제안 기법에서는 기계학습 중 신경망 학습을 통해 자세을 인식하는 방식을 보인다. 신경망 학습은 감독학습 중 하나로 입력 데이터에 X 에 대해 올바른 정답 Y 를 학습하는 방식으로 제안방식에서의 그림 4 에서의 입력 데이터 X 는 12 개의 각도 특징점(u 각P_jⁱ 의 관절의 위치 정보는 (x_jⁱ, y_jⁱ, z_jⁱ) 의 3차원 공간 좌표를 가진다. 제안 기법에서는 사름의 주요 모션을 4 등분하여 우측 상단(1 사분면), 좌측 상단(2 사분면), 좌측 하단(3 사분면), 우측 하단(4 사분면)으로 나누어 각각의 관절 정보를 고려한다.
즉 skeleton 정보 P_jⁱ ∈ P 로부터 집합 P 내 원소들 간의 조합을 통해 특징점 집합 A 을 생성하여 자세 인식의 기반이 되는 특징점으로 사용하는데 이러한 과정을 특징점 추출이라고 한다. 제안 기법에서는 특징점 집합으로 각 관절 간 각도를 계산하여 원소로 한다.
제안 기법의 효율적인 자세 인식 성능을 보이기 위하여 사람의 자세 인식하는 실험과 사람의 동작 또한 인식하는 실험을 구성하였다. 3 명의 사람으로 실험을 진행하였으며 3 개의 자세(옆으로 나란히, 소총, 가스)를 구분하는 실험과 2 개의 동작(걷기, 달리기)를 구분하는 실험을 진행하였다.
3. 제안기법

제안하는 자세 인식 기법에서는 Microsoft 사의 Kinect를 통해 획득한 인체의 skeleton 정보를 이용하여 사람 모션에서 특정 부분의 각도를 추출하여 특징점의 차원을 감소시키고 신경망 학습을 통해 사람의 편차에 강인한 신경망을 생성한다. 학습된 신경망에 새로운 자세가 포함되어 있는 영상은 학습한 신경망에 적용되어 어떤 자세인지 분류 된다.

대상 데이터

자세 인식 실험에서는 학습에 사용된 데이터 121 개, validation 에 사용된 데이터 26 개, 테스트에 사용된 데이터 25 이고 신경망 은닉층의 개수는 10 개 혹은 15 개로 설정하였다. 액션 실험에서는 학습에 480 개의 데이터를 사용하였으며 validation 과 test 에는 각각 60 개 씩 사용하였으며 신경망 은닉층의 개수를 15 개로 설정하였다. 그림 5 는 걷는 동작과 달리는 동작의 깊이 정보의 예시를 보여준다.
5fps 의 속도로 이미지를 캡쳐하였다. 자세 인식 실험에서는 총 163 개의 영상 샘플(옆으로 나란히 58 개, 소총 60 개, 가스 55 개)와 액션 인식 실험에서는 총 600 개의 영상 샘플 (걷는 동작 300 개, 달리는 동작 300 개)를 사용하였다. 자세 인식 실험에서는 학습에 사용된 데이터 121 개, validation 에 사용된 데이터 26 개, 테스트에 사용된 데이터 25 이고 신경망 은닉층의 개수는 10 개 혹은 15 개로 설정하였다.
자세 인식 실험에서는 총 163 개의 영상 샘플(옆으로 나란히 58 개, 소총 60 개, 가스 55 개)와 액션 인식 실험에서는 총 600 개의 영상 샘플 (걷는 동작 300 개, 달리는 동작 300 개)를 사용하였다. 자세 인식 실험에서는 학습에 사용된 데이터 121 개, validation 에 사용된 데이터 26 개, 테스트에 사용된 데이터 25 이고 신경망 은닉층의 개수는 10 개 혹은 15 개로 설정하였다. 액션 실험에서는 학습에 480 개의 데이터를 사용하였으며 validation 과 test 에는 각각 60 개 씩 사용하였으며 신경망 은닉층의 개수를 15 개로 설정하였다.

이론/모형

제안 기법에서는 Kinect를 통해 영상의 깊이 정보에서 사람의 관절 위치를 획득하고 이로부터 사람의 자세 및 동작을 학습하는 데 필요한 각도의 고차원 특징점을 추출한다. 추출한 각도 특징점은 신경망 네트워크 모델(neural network model)을 이용해 자세를 분류하게 된다. 제안 기법은 사람마다 가진 신체적 편차를 극복하여 높은 동작 인식 성능을 제공하며 자세인식뿐만 아니라 동작인식에 대해서도 확장이 가능하다.

성능/효과

표 1 에서 사용한 동작은 군대의 수신호로 사용되고 있는 옆으로 나란히, 소총, 가스 동작이었으며 타 동작과 달리 상대적으로 다리의 움직임은 큰 영향을 미치지 않고 상체의 움직임이 제스처의 주요 의미를 담고 있다. 가스 동작과 같이한 손으로 코를 잡는 듯한 복잡한 동작 또한 여러 사람을 적용 하였을 때에도 96.7%의 높은 인식률을 보였다. 표 2 에서 또한 걷거나 달리는 연속 동작을 구분해 내는 인식률이 약 90%에 가까움을 보여주고 있다.
제안 기법에 따르면 자세를 취하고 있는 사람을 각자세의 주 표현 부분이라고 할 수 있는 오른쪽 팔, 왼쪽 팔, 오른쪽 다리, 왼쪽 다리를 기준으로 4 등분 한다. 각 부분의 양팔과 다리 부분의 관절 12 개의 공간 좌표를 얻은 뒤 12 개의 각도를 계산하고, 고차원의 특징점을 사용하여 신경망 학습을 한 후 복잡한 동작 임에도 약 96%의 제스처 인식률을 보였다. 또한 약 90%의 동작 인식률의 높은 성능을 보이면서 제안 방식이 동작 인식 방법에도 확장 가능하다는 것을 알 수 있다.
각 부분의 양팔과 다리 부분의 관절 12 개의 공간 좌표를 얻은 뒤 12 개의 각도를 계산하고, 고차원의 특징점을 사용하여 신경망 학습을 한 후 복잡한 동작 임에도 약 96%의 제스처 인식률을 보였다. 또한 약 90%의 동작 인식률의 높은 성능을 보이면서 제안 방식이 동작 인식 방법에도 확장 가능하다는 것을 알 수 있다.
추출한 각도 특징점은 신경망 네트워크 모델(neural network model)을 이용해 자세를 분류하게 된다. 제안 기법은 사람마다 가진 신체적 편차를 극복하여 높은 동작 인식 성능을 제공하며 자세인식뿐만 아니라 동작인식에 대해서도 확장이 가능하다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

인체 골격의 정보의 기계학습을 통한 자세 인식 개선 방법 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

3. 제안기법

대상 데이터

이론/모형

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

인체 골격의 정보의 기계학습을 통한 자세 인식 개선 방법 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

3. 제안기법

대상 데이터

이론/모형

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

초록
AI-Helper

AI 본문요약
AI-Helper