[논문]비전 점유센서를 위한 합성곱 신경망 기반 사람 인식

이승수; 최창열; 김만배

doi:10.5909/jbe.2018.23.2.274

초록
AI-Helper

대부분의 건물 등에 설치된 점유센서는 PIR(pyroelectric infra-red)이 주로 활용되고 있다. 하지만 PIR은 온도 변화를 감지하는 기능 때문에 정지된 사람을 감지할 수 없는 단점이 있다. 최근 이 단점을 극복하기 위해 카메라 비전 센서의 연구가 진행되고 있다. 비전 센서는 객체 트랙킹을 통해 정지된 사람을 검출한다. 그러나 객체 트랙킹은 트랙커 표류가 발생하는 문제점이 있다. 본 논문에서는 정지 트랙커가 사람을 포함하는지의 여부를 판단하기 위하여 합성곱 신경망 기반 사람 인식 기법을 제안한다. 실험에서는 카메라로 획득한 영상에 제안 방법을 적용한 결과 약 88%의 정확도로 사람과 비사람이 분류가 되어 실제 점유센서에 활용이 가능하다는 것을 증명하였다.

Abstract ▼ AI-Helper

Most occupancy sensors installed in buildings, households and so forth are pyroelectric infra-red (PIR) sensors. One of disadvantages is that PIR sensor can not detect the stationary person due to its functionality of detecting the variation of thermal temperature. In order to overcome this problem,...

Most occupancy sensors installed in buildings, households and so forth are pyroelectric infra-red (PIR) sensors. One of disadvantages is that PIR sensor can not detect the stationary person due to its functionality of detecting the variation of thermal temperature. In order to overcome this problem, the utilization of camera vision sensors has gained interests, where object tracking is used for detecting the stationary persons. However, the object tracking has an inherent problem such as tracking drift. Therefore, the recognition of humans in static trackers is an important task. In this paper, we propose a CNN-based human recognition to determine whether a static tracker contains humans. Experimental results validated that human and non-humans are classified with accuracy of about 88% and that the proposed method can be incorporated into practical vision occupancy sensors.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이 표류된 트랙커가 사람인지 아닌지를 결정해야 하는데, 기존 hand-crafted feature, 점유시간을 이용하는 것은 오류가 발생한다. 본 논문에서는 최근 각광을 받고 있는 합성곱 신경망을 이용하여 사람의 여부를 결정하는 방법을 제안하였다. 실험 결과분류 정확도는 85% 이상이며 가장 간단한 구조의 CNN도 SVM보다도 월등한 성능을 보인다.
본 논문에서는 이 기능을 구현하기 위해서 최근 영상인식 분야에서 사용되고 있는 합성곱 신경망(convolutional neural network, CNN)을 활용한다. 이 신경망을 통해서 표류된 또는 정상 트랙킹된 객체가 사람인지를 결정하게 되어, 점유센서의 성능을 향상시키고자 한다.

제안 방법

이러한 결과는 표류 트랙커를 분류하기엔 L5-CNN은 한계가 있음을 보여준다. 따라서 사람과 비사람을 분류하는 이진 분류기인 L2-CNN을 구현하였다.
또한 L1∼L4에서 상대적으로 수가 많았던 L1과 L2의 나머지 영상도 포함하여 새로운 L1을 제작하였다.
이 트랙커가 정지하면 Ⅳ장에서 제안한 CNN으로 사람을 판별하게 된다. 연구실에 설치된 카메라로 영상을 입력받아서 Ⅲ장에서 소개한 트랙킹을 수행하였다. 트랙 커가 정지 상태에 있으면 경계박스를 영상으로 저장하였다.
. 이를 위해 측면에 카메라를 고정하고 얼굴 검출 및 트랙킹 기술을 활용하였다. Han 등은 비전 센서와 PIR를 이용하여 사람 검출 연구를 수행하였다^[4].
입력영상에 합성곱 가중치를 적용하여 분류에 필요한 특징을 생성하고, 영역을 이동하면서 이 과정을 반복한다. 즉 국부 영역으로부터 의미 있는 특징을 생성하는 방식에 해당한다.
객체 트랙킹은 이동하는 사람이 정지 상태에 있을 때에도 계속 점유로 판단하기 위해서 필요하다. 트랙킹 방법으로 실시간 처리를 위해 운동 히스토리 영상(Motion History Image, MHI) 기반으로 트랙킹을 수행한다. 트랙커는 이동과 정지를 반복하는데, 이동은 사람일 확률이 크기 때문에, 정지 상태에 있을 때에만 CNN을 이용하여 해당 영상에 사람이 존재하는 지를 판단하는 과정에 CNN을 이용한다.
하지만 레이블 L1∼L4를 L1으로 통합하게 되면 사람 레이블인 L2와 개수 차이가 커지므로, L2의 모든 데이터에 대해 영상 회전 및 크롭(crop)으로 데이터 확장(data aug- mentation)을 수행하였다.

대상 데이터

L₁∼L₄의 학습 데이터를 얻기 위해 사람의비점유 상태에서 촬영한 영상에서 64x64 영상을 이동 윈도우(sliding window)로 획득한다. L₅의 학습 데이터를 얻기 위하여 다수의 사람을 입실 및 퇴실하게 하면서 사람 학습 영상을 획득하였다. 획득한 학습 영상은 사람이 없는 영상(L₁∼L₄)과 사람을 포함한 영상(L₅)이며 약 2,000장이다.
실험에서 사용한 영상들은 모두 연구실에 획득하였다. 카메라를 2.
제로 패딩을 사용하므로 합성곱 연산 과정에서 입력의 크기는 변하지 않는다. 은닉 노드의 수는 한 층일 때는 50개, 두 층일 때는 각각 100개, 50개로 설정하였다.
SVM은 이진 분류를 수행하는 L2-SVM과 5가지 레이블을 분류하는 L5-SVM으로 구성하였다. 입력 영상은 제안하는 신경망에서 사용한 것과 동일하게 3,000장을 사용하였다. 성능 비교 결과는 표 5에서 보여진다.
입력영상의 80%는 학습 데이터, 20%는 테스트 데이터로 사용하였다. 표 3은 L 그림 8은 제안하는 합성곱 신경망의 네트워크 구조를 보여준다. 입력은 64x64의 grayscale 영상이므로 입력 노드의 개수는 4,096개다. 합성곱 계층은 입력영상의 특징맵(feature map)을 추출하고 ReLU^[8] 활성함수를 적용하여 풀링계층으로 전달한다.
또한 L₁∼L₄에서 상대적으로 수가 많았던 L₁과 L₂의 나머지 영상도 포함하여 새로운 L₁을 제작하였다. 학습 입력영상은 레이블별로 1,500장씩 총 3,000장을 사용하였다. 표 4는 L2-CNN의 구조에 따른 분류 정확도를 보여준다.
획득한 학습 영상은 사람이 없는 영상(L1∼L4)과 사람을 포함한 영상(L5)이며 약 2,000장이다.

데이터처리

제안하는 신경망의 성능을 검증하기 위해 SVM(Support Vector Machine)^[12]과 비교 실험을 하였다. SVM은 사람 인식에서 탁월한 성능을 보여준 기계학습 기법이다.

이론/모형

본 논문에서는 이 기능을 구현하기 위해서 최근 영상인식 분야에서 사용되고 있는 합성곱 신경망(convolutional neural network, CNN)을 활용한다. 이 신경망을 통해서 표류된 또는 정상 트랙킹된 객체가 사람인지를 결정하게 되어, 점유센서의 성능을 향상시키고자 한다.
본 장에서는 카메라 점유센서의 한 기능인 트랙킹을 설명한다. 본 연구의 목적은 트랙커에 사람 점유 여부의 판단이기 때문에, 트래킹 기법은 운동 히스토리 영상(motion history image, MHI)을 활용한다.
표 2는 신경망에서 사용하는 파라메타들을 보여준다. 신경망의 가중치 초기화는 Xavier 초기화^[9]를 사용하고, 가중치 갱신 방식은 확률적 경사 하강법(stochastic gradient descent)을 사용한다.

성능/효과

표 3의 L5-CNN보다 분류 정확도가 대폭 향상되는 것을 확인할 수 있다. 가장 간단한 형태인 1-1 CNN의 분류 정확도는 83.17%이고 최대 정확도는 3-2CNN의 88.17%이다. 네트워크 구조의 관점에서 볼 때, 분류 정확도는 합성곱 계층의 깊이에 비례하여 향상되는데, 반대로 완전연결 계층의 은닉 계층의 수에는 큰 영향을 받지 않는다.
서론에서 언급한 것처럼 활용 측면에서 PIR과 유사한 가격 대비 성능 경쟁력을 갖기 위해서는 점유센서 알고리즘은 단순화되어야 한다. 실용화를 위해서 가장 간단한 구조의 신경망 구조를 설계하고 실제 활용 가능한 성능이만족되어야 하는데 본 실험 결과는 이것이 가능함을 증명한다.
17%까지 성능이 향상된다. 실험 결과는 1-1 CNN과 같이 간단한 구조의 네트워크도 SVM보다 좋은 성능을 보임을 증명한다.
본 논문에서는 최근 각광을 받고 있는 합성곱 신경망을 이용하여 사람의 여부를 결정하는 방법을 제안하였다. 실험 결과분류 정확도는 85% 이상이며 가장 간단한 구조의 CNN도 SVM보다도 월등한 성능을 보인다. 이는 제안하는 CNN이 PIR과 유사한 가격 대비 성능 경쟁력을 갖기에 충분함을 증명한다.
3333px;">5-CNN의 구조에 따른 분류 정확도를 보여준다. 실험한 모든 조건에서 L5-CNN의 분류 정확도는 4-1 CNN에서 최대 62.8%이고, 가장 간단한 구조인 1-1 CNN도 50%의 분류 정확도를 얻고 있다. 이러한 결과는 표류 트랙커를 분류하기엔 L5-CNN은 한계가 있음을 보여준다.

질의응답

핵심어	질문	논문에서 추출한 답변
	트랙킹의 문제점은 무엇인가?	그러나 트랙킹은 객체와 주변 환경과의 색의 유사성, 조명에 의한 조도 변화 등으로 표류(drifting)가 발생하고, 이 표류는 트랙킹의 문제점으로 인식되고 있다. 또한 표류가 발생하면 대부분 일정시간 후에는 정지 상태를 유지한다.
	CNN의 구성 요소에는 무엇이 있는가?	합성곱 신경망(CNN)은 일반적인 신경망과 달리 각 노드의 형태가 2차원 필터와 같은 형태로 이루어져 있으며, 퍼셉트론에서는 노드들의 가중치가 단순히 곱해지는 형태이며 각각의 가중치가 입력치와 합성곱이 된다. CNN은 합성 곱 계층과 풀링 계층, 완전연결 계층으로 구성된다. 합성곱계층은 각각의 필터들이 입력영상에 합성곱이 되면서 여러 가지 특징 값들을 추출하고 풀링(pooling)계층에서는 생성된 특징맵을 서브샘플링한다.
	PIR울 사용한 점유센서의 단점은 무엇인가?	따라서 사람이 정지 상태에 있을 때에는 검출 성능이 낮아진다. 이 센서는 1)정지된 사람의 검출이 불가능하고, 2) 뜨거운 공기의 흐름 또는 햇볕 복사(radiation)에 민감하고, 3) 사람이 아닌 생물체와 사람을 구분하지 못하는 등의 단점이 있다.

참고문헌 (12)

P. Liu et al. "Occupancy inference using pyroelectric infrared sensors through hidden markov model", IEEE Sensors Journal, 16(4), Feb. 2016.
F. Wahl, M. Milenkovic, and O. Amft, "A distribted PIR-based approach for estimating people count in office environments", IEEE conf on Computational Science and Engineering, 2012.
Y. Benezeth et al. "Towards a sensor for detecting human presence and characterizing activity", Energy and Buildings, 43, 2011.

상세보기
J. Han and B. Bhanu, "Fusion of color and infrared video for moving human detection", Pattern Recognition, 40, 2007.

상세보기
S. Nakashima, Y. KItazono, L. Zhang, and S. Serikawa. "Development of privacy-preserving sensor for person detection," Procedia, 2, 2010.
I. Amin, A. Taylor, F. Junejom, A. Al-Habaibeh, and R. Parkin, "Automated people-counting by using low-resolution infrared and visual cameras", Measurement, 41, 2008.
A. Bobick and J. Davis, "The recognition of human movement using temporal templates," IEEE Trans. Pattern Recognition and Pattern Analysis, Vol 23, No. 3, Mar. 2001.
A. L. Maas, A. Y. Hannun, A. Y. Ng, "Rectifier Nonlinearities Improve Neural Network Acoustic Models," Proc. of the 30th Int. Conf. on Machine Learning, Atlanta, USA, June 2013.
X. Glorot and Y. Bengio, "Understanding the difficulty of training deep forward neural networks", Int' Conf. Artificial Intelligence and Statistics, Society for Artificial Intelligence and Statistics, 2010.
J. Gil and M. Kim, "Real-time People Occupancy Detection by Camera Vision Sensor", Journal of Broadcast Engineering, Vol 22, No. 6, Nov. 2017.
T. Tian, R. Schmidt, H. Liu, A. Hampapur, and M. T. Sun, "Robust Detection of Abandoned and Removed objects in complex surveillance videos," IEEE Trans. Sym. Man and Cybernetics - Part C: Applications and Reviews, Vol. 41, No. 5. pp. 565-577, Sep. 2011.

상세보기
C-C. Chang and C-J. Lin, "LIBSVM: A library for support vector machines", ACM Tran. on Intelligent Systems and Technology, Vol 2, No. 3, pp. 27:1-27:27, 2011

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

비전 점유센서를 위한 합성곱 신경망 기반 사람 인식
CNN-based People Recognition for Vision Occupancy Sensors 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

질의응답

참고문헌 (12)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

비전 점유센서를 위한 합성곱 신경망 기반 사람 인식 CNN-based People Recognition for Vision Occupancy Sensors 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

질의응답

참고문헌 (12)

이 논문을 인용한 문헌

저자의 다른 논문 :

이승수 (3) 최창열 (24) 김만배 (56)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

비전 점유센서를 위한 합성곱 신경망 기반 사람 인식
CNN-based People Recognition for Vision Occupancy Sensors 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper