[논문]Skeleton Joints 기반 행동 분류 모델 설계

조재현; 문남미

Skeleton Joints 기반 행동 분류 모델 설계
Design of Behavioral Classification Model Based on Skeleton Joints 원문보기

조재현 (호서대학교 컴퓨터정보공학과) , 문남미 (호서대학교 컴퓨터정보공학과)

키넥트는 RGBD 카메라로 인체의 뼈대와 관절을 3D 공간에서 스켈레톤 데이터수집을 가능하게 해주었다. 스켈레톤 데이터를 활용한 행동 분류는 RNN, CNN 등 다양한 인공 신경망으로 접근하고 있다. 본 연구는 키넥트를 이용해서 Skeleton Joints를 수집하고, DNN 기반 스켈레톤 모델링 학습으로 행동을 분류한다. Skeleton Joints Processing 과정은 키넥트의 Depth Map 기반의 Skeleton Tracker로 25가지 Skeleton Joints 좌표를 얻고, 학습을 위한 전처리 과정으로 각 좌표를 상대좌표로 변경하고 데이터 수를 제한하며, Joint가 트래킹 되지 않은 부분에 대한 예외 처리를 수행한다. 스켈레톤 모델링 학습 과정에선 3계층의 DNN 신경망을 구축하고, softmax_cross_entropy 함수로 Skeleton Joints를 집는 모션, 내려놓는 모션, 팔짱 낀 모션, 얼굴을 가까이 가져가는 모션 해서 4가지 행동으로 분류한다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구는 Skeleton Joints를 이용해서 4가지 행동으로 분류하는 모델을 제안했다. 데이터 수집 측면에서 키넥트 v2의 Skeleton Tracker는 위에서 내려보거나 너무 가까울 경우 Skeleton Joints를 정상적으로 수집하지 못하며, 학습 측면에서 10회의 적은 촬영 횟수에도 70.

제안 방법

본 연구는 키넥트를 사용해 25 종류의 Skeleton Joints를 수집하고, DNN 기반 인공신경망으로 행동분류를 학습한다. Skeleton Joints는 학습 할수 있는 데이터로 만들기 위해 전처리 과정을 거치며, DNN 학습은 Input_Data로 Skeleton Joints의 x좌표 y좌표로 총 50개의 데이터를 학습시키며, Output_Data는 팔짱 낀 모션, 집는 모션, 내려놓는 모션, 얼굴을 가까이 가져가는 모션으로 총 4가지 행동으로 분류한다.
인공신경망의 첫 번째 계층에선 50개의 데이터를 받고 절반 크기의 25개의 데이터를 전달하며, 두 번째 계층에선 25개의 데이터를 받고 같은 크기의 25개의 데이터를 전달하고, 세 번째 계층에선 25개의 데이터를 받고 행동 분류 개수인 4개의 데이터를 전달한다. softmax 함수인 softmax_cross_entropy 함수를 사용해서 cost와 loss를 구하고, AdamOptimizer를 사용해서 최적화를 진행한다.
본 연구는 키넥트를 사용해 25 종류의 Skeleton Joints를 수집하고, DNN 기반 인공신경망으로 행동분류를 학습한다. Skeleton Joints는 학습 할수 있는 데이터로 만들기 위해 전처리 과정을 거치며, DNN 학습은 Input_Data로 Skeleton Joints의 x좌표 y좌표로 총 50개의 데이터를 학습시키며, Output_Data는 팔짱 낀 모션, 집는 모션, 내려놓는 모션, 얼굴을 가까이 가져가는 모션으로 총 4가지 행동으로 분류한다.
본 연구의 전체 설계는 (그림 3)와 같이 Skeleton Joints를 수집하고 학습을 위한 전처리를 수행하는 Skeleton Joints Processing과 Skeleton Joints를 학습하고 행동을 분류하는 Skeleton Model Learning이 있다.
연구는 Window10 운영체제에서 GTX2080ti GPU를 사용했으며, Python3.5 환경에서 Pygame 기반 영상 촬영과 Tensorflow 기반 인공신경망을 진행했다. 키넥트는 사람의 Skeleton Joints를 수집하는데 오류가 가장 적었던 지상에서 1.
또한, DNN 기반의 인공신경망의 경우엔 약 10초 길이의 영상에서 시계열 변화를 반영한 행동 분류를 해주지 못한다. 이를 보완하기 위해 데이터를 행동별로 10회의 촬영을 진행해서 균등한 데이터를 보유한 상태로 학습을 진행하며, 학습 과정에선 시계열 데이터에 강력한 성능을 보여주는 RNN 기반의 인공신경망을 사용해서 각각의 프레임에 대한 Skeleton Joints를 학습하는 것이 아니라, 약 10초 길이의 영상 전체의 행동을 분류할 수 있도록 할 것이다[8].
저장된 25개의 Skeleton Joints는 학습의 Input_Data로 사용하기 위해 세 가지 전처리 과정을 거친다. 첫 번째로 절대 좌표를 상대좌표로 바꾸는 과정으로 사람이 영상 내에 어디에 있던지 값이 변하지 않도록 Skeleton Joints에서 각각 SpineMid 값을 뺀다. SpineMid는 몸의 중심으로 사람이 다른 좌표에 있어도 같은 행동을 하면 같은 상대 좌표가 나온다.
총 15회의 학습을 진행했고, 집는 모션에 대한 정확도를 측정했다. 그 결과 (그림 6)처럼 accuracy=1.
2m 높이, 1m 거리에서 설치하고, 사람의 양팔이 가리지 않는 30에서 60도 회전한 상태를 유지했다. 촬영은 각 모션 당 12초에서 15초 사이로 촬영했으며, 집는 모션 7회, 팔짱 낀 모션 1회, 내려놓는 모션 1회, 얼굴을 가까이 가져가는 모션 1회로 10회 촬영했다. (그림 5)처럼 집는 모션과 내려놓는 모션의 차이가 모호해서 집는 모션은 손을 오므린 상태로 팔을 뻗는 것에 특징을 두었고, 내려놓는 모션은 손을 벌린 상태에서 팔을 뻗는 것에 특징을 두었다.
학습은 3 계층의 DNN 기반 인공신경망을 사용한다. Input_Data는 Skeleton Joints Processing에서 전처리 과정을 거친 데이터를 사용한다.

대상 데이터

Input_Data는 Skeleton Joints Processing에서 전처리 과정을 거친 데이터를 사용한다. 2000개의 프레임에서 25개의 x, y좌표를 [2000*n, 50] 형태의 데이터로 사용하며, Output_Data는 Input_Data와 같은 프레임에서 4가지 팔짱 낀 모션, 집는 모션, 내려놓는 모션, 얼굴을 가까이 가져가는 모션을 표현해야 하므로 [2000*n, 4] 형태의 데이터로 사용한다. 사용하는 데이터 중에서 80%는 train 데이터로, 20%는 test 데이터로 사용한다.
키넥트에서 RGB Map과 Depth 맵을 동시에 받기 위해 pygame 모듈을 사용한다. Skeleton Tracker로 수집하는 Joints는 총 25개로 SpineBase, SpineMid, Neck, Head, ShoulderLeft, ElbowLeft, WristLeft, HandLeft, ShoulderRight, ElbowRight, WristRight HandRight, HipLeft, KneeLeft, AnkleLeft, FootLeft, HipRight, KneeRight, AnkleRight, FootRight, SpineShoulder, HandTipLeft, ThumbLeft, HandTipRight, ThumbRight가 있다. 저장할 때 프레임 마다 각 부위의 x, y좌표를 차례대로 저장해서 한 프레임당 50개의 데이터가 쌓이도록 한다.
데이터를 수집하기 위해 키넥트로 사람을 촬영한다. Skeleton Tracker가 사람을 인식할 수 있는 높이, 각도, 거리 등을 측정해서 오류 값이 가장 적게 나오는 위치를 선정한다[7].
2000개의 프레임에서 25개의 x, y좌표를 [2000*n, 50] 형태의 데이터로 사용하며, Output_Data는 Input_Data와 같은 프레임에서 4가지 팔짱 낀 모션, 집는 모션, 내려놓는 모션, 얼굴을 가까이 가져가는 모션을 표현해야 하므로 [2000*n, 4] 형태의 데이터로 사용한다. 사용하는 데이터 중에서 80%는 train 데이터로, 20%는 test 데이터로 사용한다.

성능/효과

본 연구는 Skeleton Joints를 이용해서 4가지 행동으로 분류하는 모델을 제안했다. 데이터 수집 측면에서 키넥트 v2의 Skeleton Tracker는 위에서 내려보거나 너무 가까울 경우 Skeleton Joints를 정상적으로 수집하지 못하며, 학습 측면에서 10회의 적은 촬영 횟수에도 70.0이라는 정확도가 측정되는 것을 확인했다. 보완해야 할 점은 데이터가 집는 모션에 집중돼있어서 편향된 데이터로 왜곡된 정확도를 나타낼 수 있다는 점이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

Skeleton Joints 기반 행동 분류 모델 설계
Design of Behavioral Classification Model Based on Skeleton Joints 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

Skeleton Joints 기반 행동 분류 모델 설계 Design of Behavioral Classification Model Based on Skeleton Joints 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

Skeleton Joints 기반 행동 분류 모델 설계
Design of Behavioral Classification Model Based on Skeleton Joints 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper