[논문]시공간 템플릿과 컨볼루션 신경망을 사용한 깊이 영상 기반의 사람 행동 인식

음혁민; 윤창용

doi:10.5370/kiee.2016.65.10.1731

시공간 템플릿과 컨볼루션 신경망을 사용한 깊이 영상 기반의 사람 행동 인식
Depth Image-Based Human Action Recognition Using Convolution Neural Network and Spatio-Temporal Templates 원문보기

전기학회논문지 = The Transactions of the Korean Institute of Electrical Engineers, v.65 no.10, 2016년, pp.1731 - 1737

음혁민 (Dept. of Electrical and Electronic Engineering, Yonsei University) , 윤창용 (Dept. of Electrical Engineering, Suwon Science College)

Abstract ▼ AI-Helper

In this paper, a method is proposed to recognize human actions as nonverbal expression; the proposed method is composed of two steps which are action representation and action recognition. First, MHI(Motion History Image) is used in the action representation step. This method includes segmentation based on depth information and generates spatio-temporal templates to describe actions. Second, CNN(Convolution Neural Network) which includes feature extraction and classification is employed in the action recognition step. It extracts convolution feature vectors and then uses a classifier to recognize actions. The recognition performance of the proposed method is demonstrated by comparing other action recognition methods in experimental results.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문은 사람 행동 인식 성능을 개선하기 위해 시공간 템플릿과 컨볼루션 신경망을 사용하여 깊이 영상 기반의 사람 행동인식 방법을 제안하였다. 제안된 방법은 깊이 영상을 통해 객체를 찾고 MHI를 사용하여 사람 행동 묘사를 하였다.
본 논문은 실내 환경에서 고정된 카메라를 통해 얻어지는 깊이 영상을 기반으로 실험하였다. 카메라에서 30 fps로 영상을 받아오고 시야각은 수평 57도이고 수직 43도이다.
본 논문은 행동 인식의 성능을 개선하기 위해 시공간 템플릿과 컨볼루션 신경망을 통한 방법을 제안하고 성능을 평가 하고자 한다. 본 논문의 구성은 다음과 같이 나타난다.
이러한 분류기는 행동 묘사를 통해 관측된 특징들을 분류하여 사람의 행동을 인식하게 된다. 본 논문은 행동 인식의 성능을 개선하기 위해 인공 신경망 중에 컨볼루션 신경망을 이용하여 다른 분류기들 보다 행동 인식 성능을 개선하고자 한다[13, 14].
먼저, 사람 행동 묘사 단계는 영상 분할, 노이즈 제거 및 홀 메움, MHI로 구성된다. 영상 분할은 배경과 배경이 아닌 전경을 분리하는 것을 주된 목적으로 한다. 카메라에서 받아진 깊이 영상을 통해 객체(전경)를 찾기 위한 과정이다.

가설 설정

필터를 사용하여 노이즈를 줄이고 전경 부분에서 홀이 생기는 경우가 존재하기 때문에 홀을 메워준다. 위의 과정들은 MHI를 생성하기 위한 전처리와 같고 전경을 찾게 되면 이것을 사람으로 가정하고 MHI를 수행하게 된다. MHI는 시간의 흐름에 따라 나타나는 전경을 통해 정보의 중요도를 밝기 차이로 나타낸다.

제안 방법

인식하고자 하는 행동은 총 6가지(걷기, 구부리기, 뛰기, 앉기, 손 흔들기, 발차기)로 구성하였으며 정면, 좌, 우 방향에서 나타는 영상을 포함하고 있다. 6가지의 단일 행동들에 대해 총 45,000개(각각 3,000~5,000개)의 영상을 사용하였고 학습과 평가는 각각의 행동의 영상들의 1/2로 나누어 실험하였다.
또한, 제안된 방법의 성능을 평가하기 위해 다양한 사람 행동 인식 방법들을 비교할 수 있다. 그 중에서 가장 많이 사용하는 특징 추출 방법과 분류 방법을 비교하였다. 특징 추출 방법은 본 논문에서 사용한 시공간 템플릿에 HOG(Histogram of Oriented Gradient)[18]를 적용한 것이고 분류 방법은 그림 7과 같이 SVM과 k-Nearest Neighbor 알고리즘을 제안된 방법과 비교하였다.
사람 행동 묘사 방법을 수행한 후 얻어지는 MHI 영상들은 크기가 동일하지 않고 신경망의 구조에 영향을 주기 때문에 영상의 크기를 감소시켜 동일하게 만들게 된다. 또한, 정규화를 위해 학습 과정에서 학습 데이터의 평균을 구한다. 이러한 정규화 과정은 데이터의 값의 범위를 조정하게 된다.
제안된 방법은 깊이 영상을 통해 객체를 찾고 MHI를 사용하여 사람 행동 묘사를 하였다. 또한, 컨볼루션 신경망에 MHI를 적용하여 사람의 행동을 인식하였다. 실험 결과에서 나타난 것과 같이 기존의 방법들보다 높은 인식 성능을 보여주었다.
본 논문에서 사람 행동 묘사 방법은 영상 분할과 시공간 템플릿 생성을 포함한다. 깊이 정보를 기반으로 배경 제거, 이진화 그리고 필터를 사용하여 전처리를 수행하고 나서 템플릿을 만들게 된다.
본 논문에서 사람 행동 인식 방법은 행동 묘사를 통해 얻어진 시공간 템플릿을 컨볼루션 신경망에 적용하여 인식하고자 하는 행동들로 분류한다. 이 방법은 인공 신경망 방법 중의 하나이며 인식 정확도를 높이기 위해 사용된다.
본 논문은 사람의 행동을 인식하기 위해 실내 환경의 단일 객체의 행동, 고정된 카메라의 깊이 정보를 사용한다. 그리고 전체 시스템 구성은 그림 1과 같이 나타난다.
시각 기반의 행동 인식은 사람이 행할 수 있는 기본 행동, 스포츠 행동, 영화 행동 등으로 인식하는 대상들에 따라 나뉜다. 본 논문은 시각 기반의 방식을 통하여 사람이 행할 수 있는 기본 행동 6가지(걷기, 구부리기, 뛰기, 앉기, 손 흔들기, 발차기)를 다룬다. 이러한 행동들은 감지 시스템에서 이상 행동들을 인식하는데 기초로 사용될 수 있다.
또한, 사람 행동 인식 단계는 사람 행동 묘사 단계에서 얻어진 MHI 영상을 특징으로서 인식을 수행한다. 분류기인 컨볼루션 신경망의 구조를 간단하게 구성하기 위해 우선적으로 MHI 영상의 크기를 조절한다. 그러고 나서 분류기의 계산 속도와 계산 량을 줄이기 위해 정규화를 시킨다.
그리고 전체 시스템 구성은 그림 1과 같이 나타난다. 실내에서 고정된 카메라의 깊이 영상을 기반으로 사람 행동 묘사를 수행하고 행동을 인식한다. 전체 시스템은 영상 분할, 노이즈 제거 및 홀 메움, MHI, MHI 사이즈 조절, 정규화, 컨볼루션 신경망의 세부 사항들로 이루어져 있고 순서대로 수행된다.
이 접근 방법은 카메라만 있으면 가능하기 때문에 센서 기반의 방법에 비해 실험 환경이 단조롭고 장치의 부착이 필요가 없다는 장점이 있다. 이러한 이유로, 제안된 시스템은 카메라를 사용하여 사람 행동들을 인식한다.
인식하고자 하는 행동은 총 6가지(걷기, 구부리기, 뛰기, 앉기, 손 흔들기, 발차기)로 구성하였으며 정면, 좌, 우 방향에서 나타는 영상을 포함하고 있다. 6가지의 단일 행동들에 대해 총 45,000개(각각 3,000~5,000개)의 영상을 사용하였고 학습과 평가는 각각의 행동의 영상들의 1/2로 나누어 실험하였다.
실내에서 고정된 카메라의 깊이 영상을 기반으로 사람 행동 묘사를 수행하고 행동을 인식한다. 전체 시스템은 영상 분할, 노이즈 제거 및 홀 메움, MHI, MHI 사이즈 조절, 정규화, 컨볼루션 신경망의 세부 사항들로 이루어져 있고 순서대로 수행된다.
본 논문은 사람 행동 인식 성능을 개선하기 위해 시공간 템플릿과 컨볼루션 신경망을 사용하여 깊이 영상 기반의 사람 행동인식 방법을 제안하였다. 제안된 방법은 깊이 영상을 통해 객체를 찾고 MHI를 사용하여 사람 행동 묘사를 하였다. 또한, 컨볼루션 신경망에 MHI를 적용하여 사람의 행동을 인식하였다.
제안된 방법은 깊이 정보를 기반으로 시공간 템플릿인 MHI를 사용하여 행동을 묘사하였다. 깊이 정보와 컬러 정보의 비교는 그림 6과 같이 나타난다.
입력 영상은 추출하고 싶은 전경과 제거하고 싶은 배경으로 구성되어 있다. 제안된 시스템은 실내 환경의 정적인 배경이기 때문에 쉽고 간단한 배경 제거 알고리즘을 사용한다.
그 중에서 가장 많이 사용하는 특징 추출 방법과 분류 방법을 비교하였다. 특징 추출 방법은 본 논문에서 사용한 시공간 템플릿에 HOG(Histogram of Oriented Gradient)[18]를 적용한 것이고 분류 방법은 그림 7과 같이 SVM과 k-Nearest Neighbor 알고리즘을 제안된 방법과 비교하였다.

이론/모형

또한, 풀링 층은 2가지(Mean-Pooling, Max-Pooling)가 존재하는데 이는 부 샘플링(Sub sampling)과 축소 샘플링을 의미한다. 본 논문에서는 최대화를 하는 축소 샘플링 방식을 사용한다. 위에서 설명한 컨볼루션과 풀링 과정을 그림 5와 같이 반복하여 500x1의 특징 벡터를 추출하게 된다.

성능/효과

그림 7과 같이 실험에서 다른 방법들과 비교를 해보았을 때 전체 행동들에서 대체적으로 제안된 방법의 성능이 우수한 것으로 나타났다. 결과적으로 실험을 통해 제안된 방법의 인식 성능이 기존의 방법보다 3~5% 증가한 것으로 보인다. 또한, 제안된 방법을 통해 사람 행동 인식에 대한 실험 결과 예시는 그림 8과 같이 도출된다.
그림 7과 같이 실험에서 다른 방법들과 비교를 해보았을 때 전체 행동들에서 대체적으로 제안된 방법의 성능이 우수한 것으로 나타났다. 결과적으로 실험을 통해 제안된 방법의 인식 성능이 기존의 방법보다 3~5% 증가한 것으로 보인다.
대체적으로 모든 행동들에서 인식률이 높게 나타났는데 세부적으로 확인해보면 구부리기와 손 흔들기 행동은 데이터 전체를 정확하게 인식하는 반면 그 외 행동들은 오 분류들이 이루어졌다. 그 중에서도 걷거나 뛰는 행동은 다른 행동들에 비해 낮은 인식률을 보이는데 이는 걷거나 뛰는 행동이 비슷하게 나타나는 부분들이 있기 때문이다.
본 논문에서 사람 행동 인식 방법은 컨볼루션 신경망을 통해 수행되었으며 총 인식률은 99.84%로 나타났다. 그리고 각각의 행동에 대한 성능은 표 1을 통해 확인할 수 있다.
또한, 컨볼루션 신경망에 MHI를 적용하여 사람의 행동을 인식하였다. 실험 결과에서 나타난 것과 같이 기존의 방법들보다 높은 인식 성능을 보여주었다. 이를 통해 보다 정확한 사람 행동 인식을 수행할 수 있다.

후속연구

하지만, 실험에서 뛰는 행동과 걷는 행동에서 인식 성능이 다소 낮아지는 부분들도 있기 때문에 향후에 이러한 문제점을 개선하거나 보완할 것이다. 그리고 보다 동적인 환경과 복잡한 행동들을 추가하여 다양한 실험을 할 것이다.
이를 통해 보다 정확한 사람 행동 인식을 수행할 수 있다. 하지만, 실험에서 뛰는 행동과 걷는 행동에서 인식 성능이 다소 낮아지는 부분들도 있기 때문에 향후에 이러한 문제점을 개선하거나 보완할 것이다. 그리고 보다 동적인 환경과 복잡한 행동들을 추가하여 다양한 실험을 할 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	카메라를 사용하는 행동 인식 방법 두 단계의 특징은?	카메라를 사용하는 행동 인식 방법들은 2가지 단계(행동 묘사 단계와 행동 인식 단계)로 구성된다. 행동 묘사 단계는 사람의 행동에 대한 특징을 추출하고 행동 인식 단계는 분류기를 통해서 특징들을 행동들로 인식하게 된다. 본 논문에서 사용한 2가지 단계에 대한 사전 연구를 들을 수 있다.
	자연스러운 인터페이스 구축을 위해 비언어적 표현에 대한 연구가 중요한 이유는?	일상생활에서 사람은 언어를 통하여 정보를 교환하기도 하고 비언어적인 행동을 사용하여 정보를 교환하기도 한다. 예를 들어, 손을 흔들어서 인사를 하는 것을 들을 수 있다.
	센서 기반의 방법은 어떻게 행동을 인식하는가?	행동을 인식하는 시스템은 센서 기반의 방법과 시각(카메라) 기반의 방법으로 나눌 수 있다. 먼저, 센서 기반의 방법은 사람의 몸 관절에 센서를 부착하여 얻어진 변위 값을 이용하여 행동을 인식한다[7]. 이 방법은 센서와 같은 장치를 몸에 붙이는 과정이 번거롭고 복잡하며, 항상 같은 부위에 부착하는 것이 아니라 초기 교정이 어렵다.

참고문헌 (18)

A. A. Chaaraoui, J. R. Padilla-Lopez, F. J. Ferrandez-Pastor, M. Nieto-Hidalgo, and F. Florez-Revuelta, "A Vision-Based System for Intelligent Monitoring: Human Behaviour Analysis and Privacy by Context," Sensors, vol. 14, no. 5, pp. 8895-8925, 2014.

상세보기
Z. Ren, J. Yuan, J. Meng, and Z. Zhang, "Robust partbased hand gesture recognition using kinect sensor," IEEE Trans. Multimed, vol. 15, no. 5, pp. 1110-1120, 2013.

상세보기
J. B. Kim, and H. J. Kim, "Model Based Gaze Direction Estimation Using Support Vector Machine", The Proceedings of Korean Institute of Electrical Engineers (KIEE) pp. 121-122, 2007. 10
D. Tao, X. Li, X. Wu, and S. J. Maybank, "General tensor discriminant analysis and gabor features for gait recognition," IEEE Trans. Pattern Anal. Mach. Intell, vol. 29, no. 10, pp. 1700-1715, 2007.

상세보기
F. Lv and R. Nevatia, "Single view human action recognition using key pose matching and viterbi path searching," in Proceedings of IEEE Conference on Computer Vision and Pattern Recognition(CVPR), Minneapolis, pp. 1-8, 2007.
H. Eum, C. Yoon, H. Lee, and M. Park, "Continuous Human Action Recognition Using Depth-MHI-HOG and a Spotter Model," Sensors, vol. 15, no. 3, pp. 5197-5227, 2015.

상세보기
O. D. Lara and M. A. Labrador, "A survey on human activity recognition using wearable sensors," Communications Surveys & Tutorials, IEEE, vol. 15, no. 3, pp. 1192-1209, 2013.

상세보기
S. Vishwakarma and A. Agrawal, "A survey on activity recognition and behavior understanding in video surveillance," The Visual Computer, vol. 29, no. 10, pp. 983-1009, 2013.

상세보기
J. Wang, Z. Liu, and Y. Wu, "Learning actionlet ensemble for 3D human action recognition," in Human Action Recognition with Depth Cameras, ed: Springer, 2014, pp. 11-40.
M. A. Ahad, "Motion History Image," in Motion History Images for Action Recognition and Understanding, ed: Springer, 2013, pp. 31-76.
R. Poppe, "A survey on vision-based human action recognition," Image and Vision computing, vol. 28, no. 6, pp. 976-990, 2010.

상세보기
X. Wu, D. Xu, L. Duan, J. Luo, and Y. Jia, "Action Recognition Using Multilevel Features and Latent Structural SVM," IEEE Trans. Circuits Syst. Video Techn., vol. 23, no. 8, pp. 1422-1431, 2013.

상세보기
K. He, X. Zhang, S. Ren, and J. Sun, "Spatial pyramid pooling in deep convolutional networks for visual recognition," Pattern Analysis and Machine Intelligence, IEEE Transactions on, vol. 37, no. 9, pp. 1904-1916, 2015.

상세보기
Y. Zhou and N.-M. Cheung, "Vehicle Classification using Transferable Deep Neural Network Features," arXiv preprint arXiv: 1601.01145, 2016.
L. Xia, C.-C. Chen, and J. Aggarwal, "Human detection using depth information by kinect," in IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), Colorado Springs, pp. 15-22, 2011.
M. A. R. Ahad, J. Tan, H. Kim, and S. Ishikawa, "Motion history image: its variants and applications," Machine Vision and Applications, vol. 23, no. 2, pp. 255-281, 2012.

상세보기
A. Vedaldi and K. Lenc, "MatConvNet: Convolutional neural networks for matlab," in Proceedings of the 23rd Annual ACM Conference on Multimedia Conference, pp. 689-692, 2015.
N. Dalal and B. Triggs, "Histograms of oriented gradients for human detection," in IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), San Diego, pp. 886-893, 2005.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증