[논문]영상 특성과 스켈레톤 분석을 이용한 실시간 인간 객체 추출

김민준; 이주철; 김원하

doi:10.5909/jbe.2016.21.5.782

영상 특성과 스켈레톤 분석을 이용한 실시간 인간 객체 추출
Realtime Human Object Segmentation Using Image and Skeleton Characteristics 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.21 no.5, 2016년, pp.782 - 791

김민준 (경희대학교 전자정보대학 전자전파공학과) , 이주철 (KT 융합기술원) , 김원하 (경희대학교 전자정보대학 전자전파공학과)

초록
AI-Helper

영상에서 배경으로부터 객체를 추출하는 영상 segmentation 알고리즘은 물체 인식 및 추적 등 다양한 응용분야에서 활용될 수 있다. 본 논문에서는 고정된 카메라에서 다수의 초기 프레임을 참조하여 실시간 객체 segmentation 방법을 제안한다. 먼저 객체와 배경을 분류하는 확률모델을 제안하였으며 초기 프레임 동안에 카메라의 color consistency와 focus 특성을 분석하여 안정적인 segmentation 성능을 증가시켰다. 또한 분류된 객체에서 human의 skeleton 특성을 이용하여 추출 결과를 보정하는 방법을 제안한다. 마지막으로 제안된 알고리즘은 객체 segmentation 실시간 처리를 위하여 복잡도를 최소화하므로 다양한 mobile 단말에 확대 적용 가능하다.

Abstract ▼ AI-Helper

The object segmentation algorithm from the background could be used for object recognition and tracking, and many applications. To segment objects, this paper proposes a method that refer to several initial frames with real-time processing at fixed camera. First we suggest the probability model to segment object and background and we enhance the performance of algorithm analyzing the color consistency and focus characteristic of camera for several initial frames. We compensate the segmentation result by using human skeleton characteristic among extracted objects. Last the proposed method has the applicability for various mobile application as we minimize computing complexity for real-time video processing.

주제어

AI 본문요약
AI-Helper

문제 정의

또한, 기존의 이진분류 방식과 다르게 전경과 배경을 확률적으로 분류함으로써 이진분류에서 나타나는 under/over 분류 문제를 감소시킨다. 본 논문에서는 실시간 처리를 위해 block 단위로 영상 segmentation을 수행하며 낮은 복잡도로 색, texture를 분석하는 방법을 제안한다. 마지막으로 human face 인식과 skeleton 알고리즘을 통해 영상 segmentation의 성능을 향상시켰다.
앞서 소개한 논문과 비교하여 본 논문에서는 추가적인 장치 없이 단일 카메라로 실시간 영상 segmentation 알고리즘을 제안한다. 제안하는 알고리즘은 다수의 초기 프레임으로 카메라 color consistency와 focus 특성을 분석하여 참조 프레임과 현재 프레임의 intensity, 색 그리고 texture정보 비교를 통해 영상 segmentation을 수행한다.

제안 방법

본 논문은 다음과 같이 구성되어 있다. 두 번째 장은 영상 특성과 카메라 특성을 활용한 영상 segmentation 방법을 제안한다. 세 번째 장은 human skeleton 알고리즘을 활용하여 추출된 객체 결과를 보정하는 방법을 소개한다.
본 논문에서는 실시간 처리를 위해 block 단위로 영상 segmentation을 수행하며 낮은 복잡도로 색, texture를 분석하는 방법을 제안한다. 마지막으로 human face 인식과 skeleton 알고리즘을 통해 영상 segmentation의 성능을 향상시켰다. 본 논문은 다음과 같이 구성되어 있다.
이렇듯 새로운 물체가 유입되지 않은 참조 프레임의 정보와 현재 프레임의 정보를 비교함으로써 현재 프레임에 새롭게 출현한 물체를 추출 할 수 있다. 본 논문에서는 3단계(영상의 Intensity, 색, Texture) 객체 추출방법을 제안한다. 1단계 영상 Intensity 차이를 통해 객체로 확실하게 분류되지 못한 영역은 2단계인 색 차이를 통해 다시 한 번 검증되고, 그래도 객체로 분류되지 못한 영역은 최종 3단계로 넘어가는 cascade 알고리즘 구조를 갖는다.
본 장에서는 Intensity, 색, texture 차이를 이용한 객체 추출 결과에서 객체로 분류된 영역이 human 객체인지를 분석한다. Human의 여부를 판단하기 위하여 classification and regression tree analysis(CART)에 기반을 둔 face 검출 [17] 알고리즘을 사용한다.
이 절에서는 현재 프레임에서 새로 유입된 물체가 사람인 경우 전 단계에서 얻은 분류 결과를 보정하기 위해 Face 검출[17] 및 Skeleton 추출[18]방법을 활용한 보정기법을 제안 한다.
제안하는 알고리즘은 intensity와 색, 그리고 texture의 변화를 측정하고 카메라의 color consistency와 focus 특성을 분석하여 배경으로부터 객체를 실시간으로 추출하는 방법으로 추출된 객체 영역에 human skeleton 특성을 적용하여 최종 객체 추출 결과를 향상시켰다. 또한 intensity, 색 그리고 texture의 분석의 복잡도를 낮추어 알고리즘의 속도를 향상시켜 알고리즘의 범용성을 증가시켰다.
앞서 소개한 논문과 비교하여 본 논문에서는 추가적인 장치 없이 단일 카메라로 실시간 영상 segmentation 알고리즘을 제안한다. 제안하는 알고리즘은 다수의 초기 프레임으로 카메라 color consistency와 focus 특성을 분석하여 참조 프레임과 현재 프레임의 intensity, 색 그리고 texture정보 비교를 통해 영상 segmentation을 수행한다. 또한, 기존의 이진분류 방식과 다르게 전경과 배경을 확률적으로 분류함으로써 이진분류에서 나타나는 under/over 분류 문제를 감소시킨다.

대상 데이터

그림 8은 기존 방법 중에서 texture정보를 분석하는 feature로써 주로 사용하는 LBP(Local Binary Pattern)의 Histogram방법[5]과 DCT(Discrete Cosine Transform)방법을 적용하여 이진 분류한 결과와 제안하는 방법으로 분류한 결과이다. LBP 검사 화소 는 1 화소이며 비트 수는 8비트로 LBP를 설계하였다.

이론/모형

본 장에서는 Intensity, 색, texture 차이를 이용한 객체 추출 결과에서 객체로 분류된 영역이 human 객체인지를 분석한다. Human의 여부를 판단하기 위하여 classification and regression tree analysis(CART)에 기반을 둔 face 검출 [17] 알고리즘을 사용한다. 이 알고리즘을 통해 human으로 판단된 물체가 존재하면 객체 분류 결과에 labeling을 적용하여 human을 제외한 나머지 객체는 결과에서 제외시킴으로서 human 객체 추출의 정확도를 향상시킨다.
전 단계인 색 차이를 이용한 객체 추출방법에서 여전히 Foreground 영역으로 분류되지 못한 영역에 대하여 3단계인 Texture 차이 객체 추출 방법을 적용한다. Texture 정도는 참조 프레임의 intensity와 현재 프레임의 intensity를 이용하여 구하게 된다.

성능/효과

제안하는 알고리즘은 intensity와 색, 그리고 texture의 변화를 측정하고 카메라의 color consistency와 focus 특성을 분석하여 배경으로부터 객체를 실시간으로 추출하는 방법으로 추출된 객체 영역에 human skeleton 특성을 적용하여 최종 객체 추출 결과를 향상시켰다. 또한 intensity, 색 그리고 texture의 분석의 복잡도를 낮추어 알고리즘의 속도를 향상시켜 알고리즘의 범용성을 증가시켰다.
참조 프레임과 현재 프레임 block의 색 및 texture 특성이 유사한 영역에서 human의 skeleton 특성을 이용하여 결과를 보정하지만 만약 human face를 검출하지 못한다면 실제 객체 일지라도 보정이 어려운 것이 사실이다. 또한 고정된 카메라를 이용하여 초기 프레임 정보를 분석하므로 카메라의 움직임, 조명의 변화에 취약하다. 위의 한계점들은 후속연구에서 다루어 질 것이다.
표와 같이 제안한 방법에서 Ground Truth와 화소 개수의 차이가 상대적으로 작은 것을 관찰할 수 있다. 제안하는 방법의 성능이 더 뛰어난 이유는 그림 8을 통해 오검출/미검출 부분에 대한 보정 때문임을 알 수 있다.

후속연구

제안하는 알고리즘은 영상 전체에서 Alpha값을 사용하여 객체를 색인화하기 때문에 영상 압축/전송 등 다양한 응용분야에 사용될 수 있다. 또한 human의 skeleton 특징을 이용하여 움직이는 human을 검출하므로 동작인식 및 패턴분석의 응용분야에서 활용도가 높아질 것이다. 본 논문에서는 움직이는 물체를 안정적이며 실시간으로 추출할 수 있는 새로운 영상 객체 추출 방법을 제시하고 있지만 몇 가지 제한사항이 존재한다.
또한 고정된 카메라를 이용하여 초기 프레임 정보를 분석하므로 카메라의 움직임, 조명의 변화에 취약하다. 위의 한계점들은 후속연구에서 다루어 질 것이다.
제안하는 알고리즘은 영상 전체에서 Alpha값을 사용하여 객체를 색인화하기 때문에 영상 압축/전송 등 다양한 응용분야에 사용될 수 있다. 또한 human의 skeleton 특징을 이용하여 움직이는 human을 검출하므로 동작인식 및 패턴분석의 응용분야에서 활용도가 높아질 것이다.

참고문헌 (19)

T. Yu, C. Zhang, M. Cohen, Y. Rui and Y. Wu, "Monocular Video Foreground/Background Segmentation by Tracking Spatial-Color Gaussian Mixture Models," . In IEEE Workshop on Motion and Video Computing,pages 5-5, 2007.
J.J. Verbeek, N. Vlassis and B. Kr ose, "Efficient Greedy Learning of Gaussian Mixture Models," Published in Neural Computation 15(2), pages 469-485, 2003.

상세보기
Cheol-Jun Jeong, Tae-Ki Ahn, Jong-Hwa Park, and Goo-Man Park, "Real Time Abandoned and Removed Objects Detection System," JBE, VOL. 16, NO. 3, 462-470, May 2011.
J. Yao and J.M. Odobez, "Multi-Layer Background Subtraction Based on Color and Texture," IN IEEE The CVPR Visual Surveillance Workshop (CVPR-VS), MINNEAPOLIS, June 2007.
X. Sun and F. Chang, "Background Model Combining Gauss Model with Local Binary Pattern Feature," Journal of Convergence Information Technology(JCIT) Volume 7, Number 17, Sep 2012.
M. Heikkila and M. Pietikainen, "A Texture-Based Method for Modeling the Background and Detecting Moving Objects," IEEE Transactions on Pattern Analysis and Machine Intelligence, VOL. 28, NO. 4, April 2006.

상세보기
A. Shimada and R.I Taniguchi, "Hybrid Background Model using Spatial-Temporal LBP," DOI: 10.1109/AVSS.2009.12 Conference: Sixth IEEE International Conference on Advanced Video and Signal Based Surveillance, AVSS 2009, 2-4 September 2009.
B. Vishnyakov, V. Gorbatsevich, S. Sidyakin, Y. Vizilter, I. Malin and A. Egorov, "Fast Moving Objects detection Using iLBP Background Model," The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume XL-3, 2014.
L. Jeisung and P. Mignon, "An Adaptive Background Subtraction Method Based on Kernel Density Estimation," Sensors journal, 2012.
L. Li, W. Huang, I. Y.H. Gu, and Q. Tian, "Foreground Object Detection from Videos Containing Complex Background," In Proceedings of the Eleventh ACM International Conference on Multimedia, Berkeley, CA, USA, 2-8 November 2003.
R. Rodriguez-Gomez, E. J. Fernandez-Sanchez, J. Diaz and E. Ros, "FPGA Implementation for Real-Time Background Subtraction Based on Horprasert Model," Sensors journal, 2012.
Soon-kak Kwon and Yoohyun Park, "Picture Quality Control Method for Region of Interest by UsingDepth Information", JBE, VOL. 17, NO. 4, 676-683, July 2012.
V. Kolmogorov, A. Criminisi, A. Blake, G. Cross and C. Rother, "Bilayer segmentation of binocular stereo video," In Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, San Diego, CA, USA, 20-25 pp. 407-414. June 2005.
V. Ganapathi, C. Plagemann, D. Koller and S. Thrun, "Real Time Motion Capture Using a Single Time-Of-Flight Camera," In Proceedings of the 2010 IEEE Conference on Computer Vision and Pattern Recognition, San Francisco, CA, USA, 13-18 pp. 755-762. June 2010.
E. J. Fernandez-Sanchez and J.Diaz and E.Ros, "Background Subtraction Based on Color and Depth Using Active Sensors," Sensors journal, 2013.
Saeed Mahmoudpour and Manbae Kim, "Detecting Foreground Objects Under Sudden Illumination Change Using Double Background Models", JBE, VOL. 21, NO. 2, 268-271, March 2016.
R. Lienhart, A. Kuranov, and V. Pisarevsky, "Empirical Analysis of Detection Cascades of Boosted Classifiers for Rapid Object Detection," Proc. DAGM 25th Pattern Recognition Symp., pp. 297-304, 2003.
R. C. Gonzalez, R. E. Woods and S. L. Eddins, Digital Image Processing Using MATLAB, Gatesmark Publishing, 2009.
T. porter and T.Duff. "Compositing Digital Images," Computer Graphics Volume 18, Number 3 July 1984.

상세보기

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증