[논문]CCD카메라와 적외선 카메라의 융합을 통한 효과적인 객체 추적 시스템

김승훈; 정일균; 박창우; 황정훈

doi:10.5302/j.icros.2011.17.3.229

CCD카메라와 적외선 카메라의 융합을 통한 효과적인 객체 추적 시스템
Efficient Object Tracking System Using the Fusion of a CCD Camera and an Infrared Camera 원문보기

제어·로봇·시스템학회 논문지 = Journal of institute of control, robotics and systems, v.17 no.3, 2011년, pp.229 - 235

김승훈 (전자부품연구원, 지능로보틱스연구센터) , 정일균 (전자부품연구원, 지능로보틱스연구센터) , 박창우 (전자부품연구원, 지능로보틱스연구센터) , 황정훈 (전자부품연구원, 지능로보틱스연구센터)

Abstract ▼ AI-Helper

To make a robust object tracking and identifying system for an intelligent robot and/or home system, heterogeneous sensor fusion between visible ray system and infrared ray system is proposed. The proposed system separates the object by combining the ROI (Region of Interest) estimated from two different images based on a heterogeneous sensor that consolidates the ordinary CCD camera and the IR (Infrared) camera. Human's body and face are detected in both images by using different algorithms, such as histogram, optical-flow, skin-color model and Haar model. Also the pose of human body is estimated from the result of body detection in IR image by using PCA algorithm along with AdaBoost algorithm. Then, the results from each detection algorithm are fused to extract the best detection result. To verify the heterogeneous sensor fusion system, few experiments were done in various environments. From the experimental results, the system seems to have good tracking and identification performance regardless of the environmental changes. The application area of the proposed system is not limited to robot or home system but the surveillance system and military system.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

기존의 연구들이 열영상의 가시화를 돕기 위하여 또는 각각 별도의 목적으로 가시광선 카메라와 적외선 카메라의 이종(heterogeneous) 센서를 사용한 경우라면, 본 연구에서는 두 영상센서에서 모두 관심 객체의 추적을 실시하고 결과를 융합하여 최선의 결과를 도출하고자 한다.
본 논문에서는 실내 환경에서 로봇이나 지능형 홈 시스템이 조명의 변화와 배경의 복잡성 등에 강건하게 객체를 추적할 수 있도록, 가시광선 영상기반으로 객체의 추적과 인식을 수행하기 위한 움직임 추정(motion estimation)과 사람 형상 추정(human shapes estimation)을 하는 추적 시스템과 조명의 변화에 둔감한 적외선 영상을 기반으로 객체의 위치, 움직임 등을 추적하는 기술을 융합한 상황 인지 기술을 개발하였다. 본 연구의 주는 로봇과 상호작용을 하는 대상인 사람으로 가시광선과 적외선을 동시에 사용함으로써 사람의 움직임과 자세, 얼굴 등의 인식율을 높이고자 하였다.
본 논문은 이종 센서간의 영상 정합을 통한 센서간 관계를 유도할 수 있음을 보였고 이종 센서를 이용하여 각각의 카메라에서 얻을 수 있는 부정확한 객체 정보들을 이용하여 정확한 객체를 추출하고 추적할 수 있는 시스템을 보였다. 모션 정보를 이용한 객체 검출, 얼굴 특징을 이용한 얼굴 영역 검출, 열 영상의 객체 추출 및 얼굴 영역 추출을 해서 얻은 부정확한 사람 영역을 이용하여 사람의 정확한 위치를 추적할 수 있다.
본 논문에서는 실내 환경에서 로봇이나 지능형 홈 시스템이 조명의 변화와 배경의 복잡성 등에 강건하게 객체를 추적할 수 있도록, 가시광선 영상기반으로 객체의 추적과 인식을 수행하기 위한 움직임 추정(motion estimation)과 사람 형상 추정(human shapes estimation)을 하는 추적 시스템과 조명의 변화에 둔감한 적외선 영상을 기반으로 객체의 위치, 움직임 등을 추적하는 기술을 융합한 상황 인지 기술을 개발하였다. 본 연구의 주는 로봇과 상호작용을 하는 대상인 사람으로 가시광선과 적외선을 동시에 사용함으로써 사람의 움직임과 자세, 얼굴 등의 인식율을 높이고자 하였다.
열 영상의 경우 사람이 인지할 수 있는 영상이 아닌 단순한 열의 방출(emission)량에 따라 다르며 정확한 객체의 인지가 어렵다. 이러한 단점을 극복하기 위해 본 논문에서는 사람과 같이 열을 방출하며 움직이는 객체의 위치를 두 영상에서 같은 객체로 가정하고 객체의 머리 부분과 다리 부분의 위치를 이용하여 두 영상에서 각각 객체의 대응점의 위치를 추출하고 정합시킴 으로써 최종적인 영상 정합을 할 수 있다.

가설 설정

5) 평활화된 f(i)의 임계치보다 큰 극대값을 특징점으로 지정한다. 2차원 영상에서 우리는 n개의 기준점을 2n 차원의 벡터를 사용해서 다음과 같이 표현 할 수 있다.

제안 방법

4) 잡음을 제거하기 위하여 구해진 k-코사인에 아래의 가우시안 함수를 컨볼루션하여 평활화를 수행한다.
가시광선 영상기반 검출 결과와 적외선 영상기반 검출 결과를 이용한 통합 검출 성능을 검토하기 위해 다양한 환경 조건에 대하여 사용자 추적 및 얼굴 영역 검출 실험을 수행하였다.
결과적으로 부정확한 많은 정보를 이용해서 복잡한 환경에서도 강건하게 객체를 추적할 수 있음을 보였다. 각 영상센서의 장점을 융합하는 방법으로 두 영상간 같은 객체를 추출하여 영상간 대응점을 확보할 수 있었다.
모션 정보를 이용한 객체 검출, 얼굴 특징을 이용한 얼굴 영역 검출, 열 영상의 객체 추출 및 얼굴 영역 추출을 해서 얻은 부정확한 사람 영역을 이용하여 사람의 정확한 위치를 추적할 수 있다. 또한 사람과 사람이 아닌 객체를 분류하기 위해 객체의 외각성분을 이용한 아다부스트 분류를 제안하였다. 결과적으로 부정확한 많은 정보를 이용해서 복잡한 환경에서도 강건하게 객체를 추적할 수 있음을 보였다.
하지만 영상 내의 노이즈나 작은 틈 등의 오류에 의해 완전한 후보 영역을 검출하기 어렵기 때문에 추출된 픽셀들의 방향 성분을 3×3의 영역을 설정하여 평균치를 해당 영역의 방향 성분으로 간주하고 영상 내의 차분을 통해 미리 지정한 일정 크기 역치(threshold) 이상의 값만 취함으로써 오류를 최소화 할 수 있다[7]. 또한 연속된 프레임에서 움직임을 추출하여 영상 좌표를 기준으로 오른쪽, 왼쪽, 위쪽, 아래쪽의 4방향으로 객체 움직임을 분할하고 형태학적 연산(morphological operation)을 적용하여 영역의 작은 틈(hole)을 제거하였다.
이 작업은 대부분 수동으로 이루어진다 바람직한 기준점은 한 영상에서 기준점으로 선택된 특징 점으로 연결되어 있어야 한다. 본 논문에서는 외각 선분의 코사인 각을 이용하여 k개의 객체의 외각 성분을 추출하며 순서는 다음과 같다.
세밀한 광강도를 가진 두 개의 연속된 영상의 변화를 연속적 흐름으로 나타낼 수 있으며, 이를 광류(optical flow)라고 부른다[6]. 본 논문에서는 움직임 객체를 찾아 내기 위해 광류를 이용한 루카스-카나데 광류(LucasKanade optical flow)를 사용하여 방향성분을 오른쪽, 왼쪽, 위쪽, 아래쪽의 4방향으로 나누어 분할한다. 카나데 광류는 원 영상에 가우시안 피라미드를 적용하여 두 영상간에 있는 픽셀의 변화 벡터를 구할 수 있으며 움직임 정보는 색과 모양 변화에 강인한 결과를 얻을 수 있다.
이러한 높은 열 영상의 데이터 내에서 국부적인 열 값의 존재를 확인하여 객체를 분할(segmentation)을 할 수 있다[12]. 본 논문에서는 히스토그램을 이용한 국부적 열 데이터를 찾음으로써 객체를 추출하고 추출된 객체의 최 외각성분을 분석하여 사람의 형상인지 아닌지를 판단하는 방법을 사용하였다[13]. 히스토그램은 간단하게 미리 정한 영역의 데이터 개수로 표현이 가능하다.
기구 등 여러 오류 패턴들이 존재한다. 사람의 형상과 기타 형상을 분리하기 위하여 사람의 형상을 선자세, 앉은자세, 누운자세로 모델링하고 이외의 형상을 아다부스트 분류기를 이용하여 분리할 수 있었다. 형상의 분류에는 외각의 성분을 이용한다.
사람이 이동할 경우 전체적인 몸의 이동방향과 부분적인 팔, 다리의 움직임 방향은 반대일 수 있기 때문에 일정치 않은 움직임을 보이며 간헐적으로 움직이는 회전 모듈에 의한 오차도 있으므로 이러한 문제점을 제거하기 위해 배경을 포함한 전체 영상에서 나타나는 움직임 값의 평균을 카메라의 움직임으로 보고 실제 움직임에서 제거하였고 노이즈와 같은 작은 움직임 또한 모폴로지를 사용하여 제거하였다.
실험에서는 그림 8과 같이 선 자세, 앉은 자세, 누운 자세의 3개의 모델과 히터, 파이프, 전기 담요 등의 오류모델을 기준으로 분류하였다. 하지만 전체 사람의 신체가 반만 나오는 경우 않은 자세와 더 가까웠으며 주요성분의 축의 많은 오차률을 보였다.
본 논문에서 제안한 회전 모듈의 회전에 의해 전체 영상에서 같은 방향의 움직임 성분들을 확인할 수 있다[8,9]. 이러한 성분들을 제거하기 위해 왼쪽, 오른쪽, 위, 아래의 4방향으로 방향을 분류하여 각각의 평균적인 움직임을 측정하고 측정된 평균움직임과 다른 방향성만을 객체가 움직인 지역으로 분류한다.
하지만 전체 사람의 신체가 반만 나오는 경우 않은 자세와 더 가까웠으며 주요성분의 축의 많은 오차률을 보였다. 이러한 오차률을 줄이기 위해 다음 동작에 대한 예측을 하기 위해 다른 값들을 이용하기로 하였다. 즉 동작 중에 생기는 사람의 형태에서 나타나는 모션정보와 얼굴영역의 몸에서의 위치의 기하학적인 형태를 이용하여 분류할 수 있었다.
이를 위하여 제안된 시스템은 일반 카메라와 적외선(IR: Infrared) 카메라가 결합된 형태의 이종센서 기반으로 두 영상에서 추정된 관심영역(ROI: Region of Interest)을 조합하여 객체를 분리한다.
적외선 카메라 영상에서는 사람의 체온 데이터를 이용하여 먼저 관심 영역을 분리하고, 분리된 영역 내에서 사람의 몸과 머리 부분을 추정한다. 추출된 사람의 형상은 형태학적 분석을 통해 어떤 행동인가를 추정하기 위해 형상의 외각 성분을 이용하여 선 자세, 앉은 자세, 누운 자세를 구별하여 최종적으로 추적할 사람형태의 객체를 결정한다. 적외선 카메라의 경우 주야의 구분 없이 열을 추적함으로써 영상에서 사람을 추출할 수 있는 효율적인 장치이나 사람의 형태와 사람의 형태가 아닌 것의 분리는 어려운 문제로 본 연구에서는 이를 위하여 사람형상을 주성분 분석(PCA: Principal Component Analysis)을 통해 아다부스트(AdaBoost) [4] 방식을 이용하여 분리를 수행하였다.

대상 데이터

본 연구에 사용된 이종 영상센서 장치는 가시광선 영상 카메라와 적외선 카메라를 팬틸트와 결합한 시스템으로 그림 2와 같은 형태를 가진다. 팬틸트 장치 및 줌 카메라는 전 방향을 감시할 수 있고 균일한 해상도를 가진다는 장점을 가지며 적외선 카메라와 줌 기능이 있는 높은 해상도의 카메라의 결합으로 신뢰성 있는 정보를 생성할 수 있다.

이론/모형

각각의 카메라의 영상을 융합하기 위하여는 일반적으로 사용되는 기하학적 특징점 기반의 이미지 모자이크 방법[5]이 각 영상에서의 특징점이 매우 상이한 이종센서에 적합하지 않기 때문에 내부변수를 이용하여 외부변수를 계산하는 카메라 자동보정 기술을 이용하였다.
본 논문에서는 얼굴 영역 검출을 하기 위해 얼굴 피부 컬러 모델을 사용한 하르(haar) 모델을 적용하였다. 하르 얼굴 검출기는 대략적인 얼굴 검출 수준에서 빠른 검출이 가능하기 때문에 많은 시스템에서 사용된다[10,11].
추출된 사람의 형상은 형태학적 분석을 통해 어떤 행동인가를 추정하기 위해 형상의 외각 성분을 이용하여 선 자세, 앉은 자세, 누운 자세를 구별하여 최종적으로 추적할 사람형태의 객체를 결정한다. 적외선 카메라의 경우 주야의 구분 없이 열을 추적함으로써 영상에서 사람을 추출할 수 있는 효율적인 장치이나 사람의 형태와 사람의 형태가 아닌 것의 분리는 어려운 문제로 본 연구에서는 이를 위하여 사람형상을 주성분 분석(PCA: Principal Component Analysis)을 통해 아다부스트(AdaBoost) [4] 방식을 이용하여 분리를 수행하였다.

성능/효과

가시광선 영상과 적외선 영상 센서간의 영상 정합을 통한 통합 검출 실험에서는 다양한 환경변화에도 이종센서간의 융합을 통하여 효과적으로 단점을 극복하고 관심객체를 추적 및 관심영역을 추출할 수 있음을 확인하였다.
또한 사람과 사람이 아닌 객체를 분류하기 위해 객체의 외각성분을 이용한 아다부스트 분류를 제안하였다. 결과적으로 부정확한 많은 정보를 이용해서 복잡한 환경에서도 강건하게 객체를 추적할 수 있음을 보였다. 각 영상센서의 장점을 융합하는 방법으로 두 영상간 같은 객체를 추출하여 영상간 대응점을 확보할 수 있었다.
두 번째로는 조명의 변화가 심한 역광이 존재하는 환경에서의 실험에서는 가시광선 영상에서의 사용자 추출 및 얼굴 추출이 조명변화로 인하여 실험 1의 경우에 비해 많은 후보 영역이 발생하였으나, 열영상에서의 사용자 추출 및 얼굴영역 추출결과와의 융합을 통하여 쉽게 사용자 얼굴 영역을 추출 함으로써 사용자 인식을 준비할 수 있었다(그림 13).
역시 가시광선 영상에서 검출 및 인식 시에 문제가 자주 발생하는 복잡한 배경에서의 실험결과에서도 가시광선 영상에서는 얼굴영역에 대하여 다수의 후보영역이 발생하였으나, 적외선 영상을 통한 사용자 추출 및 얼굴영역의 추출과 융합을 통하여 정확하게 얼굴영역을 검출할 수 있었다(그림 14).
영상정합을 통해 가시광선 영상과 열영상에서의 객체의 추적 결과를 융합하여 각각의 영상만 사용하였을 때 보다 정확한 객체의 추적이 가능하며, 얼굴영역을 정확하게 검출하여 객체를 구분할 수 있게 하였다.

후속연구

본 연구에서 제안된 시스템은 사람의 추적, 행동 및 상태 분석뿐만 아니라 얼굴 인식 기술과 결합하여 지능형 로봇과 사용자의 효과적인 상호작용에 이용할 수 있을 뿐만 아니라 공공시설의 감시 시스템, 군사용 센서 기술 등으로도 활용될 수 있을 것으로 전망된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	본 연구에서 실내 환경에서 로봇이나 지능형 홈 시스템이 조명의 변화와 배경의 복잡성 등에 강건하게 객체를 추적하기 위해 개발한 상황 인지 기술은 어떠한 기술의 융합으로 이루어졌는가?	본 논문에서는 실내 환경에서 로봇이나 지능형 홈 시스템이 조명의 변화와 배경의 복잡성 등에 강건하게 객체를 추적할 수 있도록, 가시광선 영상기반으로 객체의 추적과 인식을 수행하기 위한 움직임 추정(motion estimation)과 사람 형상 추정(human shapes estimation)을 하는 추적 시스템과 조명의 변화에 둔감한 적외선 영상을 기반으로 객체의 위치, 움직임 등을 추적하는 기술을 융합한 상황 인지 기술을 개발하였다. 본 연구의 주는 로봇과 상호작용을 하는 대상인 사람으로 가시광선과 적외선을 동시에 사용함으로써 사람의 움직임과 자세, 얼굴 등의 인식율을 높이고자 하였다.
	팬틸트 장치 및 줌 카메라의 장점은 무엇인가?	본 연구에 사용된 이종 영상센서 장치는 가시광선 영상 카메라와 적외선 카메라를 팬틸트와 결합한 시스템으로 그림 2와 같은 형태를 가진다. 팬틸트 장치 및 줌 카메라는 전 방향을 감시할 수 있고 균일한 해상도를 가진다는 장점을 가지며 적외선 카메라와 줌 기능이 있는 높은 해상도의 카메라의 결합으로 신뢰성 있는 정보를 생성할 수 있다.
	추적 시스템에서 객체를 효과적으로 검출하기 위한 대표적인 방법인 장면차이 방법과 배경차이 방법이란 무엇인가?	추적 시스템에서 객체를 효과적으로 검출하기 위한 대표적인 방법은 장면차이(frame difference)와 배경차이(background difference)가 있다. 장면차이 방법은 연속되는 프레임간의 변화를 구하여 정지해 있는 부분을 제거하고 이동하는 부분만을 분할해 내는 방법으로 배경 제거에는 용이하지만 정지해 있는 물체도 함께 제거되는 단점이 있다. 배경 차이 방법은 움직이는 물체가 없는 배경 영상과 움직임이 존재하는 입력 영상의 차분을 취함으로써 배경 부분을 제외한 이동 물체를 분할하기는 쉽지만 정확한 배경 영상을 획득하기에는 어려움이 있다.

참고문헌 (13)

A. Al-Habaibeh, F. Shi, N. Brown, D. Kerr, M. Jackson, and R. M. Parkin, "A novel approach for quality control system using sensor fusion of infrared and visual image processing for laser sealing of food containers," Measurement Science and Technology, vol. 15, pp. 1995-2000, 2004.

상세보기
P. Simard, N. K. Link, and R. V. Kruk, "Evaluation of algorithms for fusing infrared and synthetic imagery," Enhanced and synthetic vision 2000, Conference, Orlando FL, vol. 4023, pp. 127-138, 2000.
A. Malviya and S. G. Bhirud, "Visual infrared video fusion for night vision using background estimation," Journal of Computing, vol. 2, no. 4, Apr. 2010.
L. Leyrit, T. Chateau, C Tournayre, and J. Lapreste, "Association of AdaBoost and kernel-based machine learning methods for visual pedestrian recognition," IEEE Intelligent Vehicles Symposium, pp. 67-72, 2008.
K. Ohyun, K. Sangjin, J. Junghoon, S. Jeongho, and P. Joonki, "Auto calibration for multiple camera-based surveillance system," 제17회 신호처리 합동학술대회, 2004.
J. Shin, S. Jang, S. Kim, C. Park, and J. Paik, "Optical flow-based, real-time object tracking using the non-prior training active feature model," Real-time Imaging, vol. 11, no. 3, pp. 204-218, 2005.

상세보기
C. Wren, A. Azerbayejani, T. Darrel, and A. Pentland, "Pfinder: real-time tracking of the human body," IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 19, no. 7, pp. 780-785, 1997.

상세보기
S. Kang, J. Paik, A. Koschan, B. Abidi, and A. Abidi, "Real-time video tracking using PTZ cameras," Proc. SPIE 6th International Conference on Quality Control by Artificial Vision, vol. 5132, pp. 103-111, 2003.
P. Azzari, L. Stefano, and A. Bevilacqua, "An effective real-time mosaicing algorithm apt to detect motion through background subtraction using a PTZ camera," IEEE Conf. Advanced Video and Signal-Based Surveillance, pp. 511-516, 2005.
R. Lienhart and J. Maydt, "An extended set of HAAR-like features for rapid object detection," International Conference on Image Processing, vol. 1, pp, 900-903, 2002.
G. A. Ramirez and O. Fuentes, "Multi-pose face detection with asymmetric HAAR features," Applications of Computer Vision, 2008. WACV 2008. IEEE Workshop, pp. 1-6, 2008.
J. Sewoong, L. Jongbae, and K. Youngouk, "Illumination invariant head pose recognition using thermal camera," Proc. of the 39th International Symposium on Robotics, pp. 15-17, 2008.
N. Dalal and B. Triggs, "Histograms of oriented gradients for human detection," IEEE Computer Vision and Pattern Recognition (CVPR 2005), vol. 1, pp. 886-893, 2008.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증