[논문]지능형 감시 시스템 구축을 위한 영상과 음원 추적 기반 임베디드 모바일로봇 개발

박정현; 김형복; 오정석; 심귀보

doi:10.5391/jkiis.2009.19.4.532

지능형 감시 시스템 구축을 위한 영상과 음원 추적 기반 임베디드 모바일로봇 개발
A Design of Mobile Robot based on Camera and Sound Source Localization for Intelligent Surveillance System 원문보기

한국지능시스템학회 논문지 = Journal of Korean institute of intelligent systems, v.19 no.4, 2009년, pp.532 - 537

박정현 (중앙대학교 전자전기공학부) , 김형복 (중앙대학교 전자전기공학부) , 오정석 (중앙대학교 전자전기공학부) , 심귀보 (중앙대학교 전자전기공학부)

초록
AI-Helper

보안이 중요시되는 공간에서 임의의 사람을 추적하고 인식할 수 있는 시스템의 필요성이 점차 중요시 되고 있다. 본 논문에서는 영상과 음원 추적 기반의 임베디드 모바일 로봇을 개발함으로써 무인 지능형 시스템을 구현하였고 영상에서 객체 추적을 위해 블록 매칭 알고리즘을 이용하고 음원 추적을 위해 소리의 시간차와 세기차를 이용하여 시스템을 구현 하였다. 본 논문에서는 Pan-Tilt 카메라와 음원 추적 모듈을 이용한 시스템, Network 카메라와 모바일 로봇을 이용한 시스템과 모바일 로봇을 이용한 시스템을 구현함으로써 침입자 추적 알고리즘을 검증하였다. 각 구현된 시스템에서 문제점을 보완하고 서로 연동이 가능한 시스템을 구현하여 지능형 무인 감시 시스템으로 신뢰성을 더할 수 있을 것이다.

Abstract ▼ AI-Helper

The necessity of intelligent surveillance system is gradually considered seriously from the space where the security is important. In this paper, we embodied unmanned intelligent system by developing embedded mobile robot based on images and sounds tracking. For objects tracking, we used block-matching algorithm and for sound source tracking, we calculated time differences and magnitude dissimilarities of sound. And we demonstrated the superiority of intruder tracking algorithm through the embodiment of Pan-Tilt camera and sound source tracking module using system, Network camera and mobile robot using system and mobile robot using system. By linking security system, the suggested system can provide some interfacing functions for the security service of the public facilities as well as that of home.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

음원의 방향으로 카메라를 이동하여 침입자를 검색한 후 이동 경로에 따라 카메라를 이동하여 침입자의 감지 영상을 저장하는 시스템을 구현한다. 둘째, 다른 네트워크 카메라나 네트워크를 이용하는 다른 감시 시스템과 연동이 가능한 인터페이스를 갖춘 지능형 감시 시스템을 구현하고자 한다. 네트워크 카메라를 Embedded Linux 기반의 Mobile Robot에 탑재하여 무인 지능형 감시 시스템을 구성한다.
본 논문에서 구현한 음원 추적 모듈은 음원의 정확한 위치를 검출하는 것이 아니라 음원이 발생한 쪽의 방향을 찾아내고, 대략적인 방향을 감지하는 것이다. 즉 음원의 방향을 카메라의 화각이 벗어나지 않는 범위에서 감지한 후 Pan-Tilt 카메라나 모바일 로봇을 이동하여 객체를 추적하는 소스로 사용하는 것이 목적이다.
본 논문에서는 기존 연구에서의 문제점을 해결 하고자 다음과 같은 두 가지 형태의 무인 지능형 감시 시스템을 구현하려 한다. 첫째, 한 개의 PT(Pan-Tilt) 카메라를 이용하여 wide-area를 감시하기 위한 방법으로 음원을 이용하고자 한다.
본 논문에서는 영상과 음성을 이용한 침입자 추적 알고리즘을 실험하기 위해 다음 두 가지 시스템을 구현 하였다.
그러나 사람은 두 귀에 도달하는 시간차이(IID, Interaural Intensity difference)와 세기차이(ITD, Interaural Time Difference)에 의해 소리의 방향을 인식하는 것으로 알려져 있다[8][9]. 본 논문은 이에 착안하여 IID와 ITD를 이용하여 음원의 방향을 인식한다.
본 논문에서 구현한 음원 추적 모듈은 음원의 정확한 위치를 검출하는 것이 아니라 음원이 발생한 쪽의 방향을 찾아내고, 대략적인 방향을 감지하는 것이다. 즉 음원의 방향을 카메라의 화각이 벗어나지 않는 범위에서 감지한 후 Pan-Tilt 카메라나 모바일 로봇을 이동하여 객체를 추적하는 소스로 사용하는 것이 목적이다.

제안 방법

향후 연구는 본 논문에서 구현한 2가지 시스템을 연동하는 시스템을 구현할 것이다. Pan-Tilt 카메라와 음원 추적 모듈을 결합한 시스템과 다수의 네트워크 카메라를 일정 구간별로 설치를 한뒤 영상에서 Motion Vector을 추출하여 침입자의 이동 경로를 예측하여 침입자를 추적한다. 각 구현된 시스템에서 문제점을 보완하고 서로 연동이 가능한 시스템을 구현하여 지능형 무인 감시 시스템으로 신뢰성을 더할 수 있을 것이다.
둘째, Network 카메라와 모바일 로봇을 이용한 시스템은 Network Camera와 음원 추적 모듈을 탑재한 모바일 로봇을 이용한 지능형 감시 시스템 구현 및 적용 실험을 하였다. 침입자가 이동함에 따라 로봇이 모니터링 시스템에 영상을 스트리밍하고, 모니터링 시스템은 영상을 이용하여 움직임 벡터를 추출하고 이동경로를 파악하였으며, 로봇은 모니터링 시스템으로부터 받은 좌표 데이터를 이용하여 이동함으로써 객체 추적을 수행 하였다.
카메라의 영상은 Composite영상으로 출력되기 때문에 PC에서 입력 소스로 사용할 수가 없다. 따라서 PC로 받기 위해 USB 타입의 Video Capture Board를 사용하였으며, Pan-Tilt제어를 위한 PC와의 인터페이스를 위해RS485통신을 USB로 변환하는 컨버터를 이용하였다.
검출 결과는 카메라 입력과 기준영상의 차 영상을 이진화하여 모폴로지 기법을 이용하여 잡음을 제거 한 화면이다. 또한 블록 매칭 움직임 추정 방법을 이용하여 움직임 벡터를 나타내었다. FT232는 물리적으로 USB인터페이스이지만 MS원도우 에서는 가상 시리얼포트로 인식이 되기 때문에 Pan-Tilt 카메라제어 시리얼포트와 음원 추적 보드의 프로세서(ATMega128)와의 통신을 하기위한 시리얼 포트 설정 부분이 있다.
본 논문에서 음원의 위치 파악을 하기 위한 방법으로 그림 2와 같이 소리의 세기 차이(IID)와 소리의 시간차이(ITD)를 이용한다.
본 논문에서는 영상의 압축에 사용하는 움직임 예측 방법 중 하나인 블록 매칭 움직임 추정 방법을 이용하여 실시간으로 영상 내 객체의 움직임 벡터(Motion Vector)를 추출하여 침입자를 추적하고 유효 영상을 얻는다.
따라서 대부분의 시스템에서는 블록매칭알고리즘을 사용한다. 본 논문에서는 현재 프레임을 일정한 크기의 블록으로 나누고 시간축상 기준이 되는 프레임(reference frame)에서 각 블럭의 움직임을 추정하는 방식으로 보편적인 블록매칭 알고리즘을 사용한다.
PT카메라 한 개를 이용할 경우에는 현재 위치한 획득 영상에 대해서만 감지를 할 수 있기 때문에 카메라의 Pan-Tilt 기능을 이용하여 움직임에 대하여 검색을 하여 유효 영상을 획득해야 한다. 본 논문은 효과적인 시스템 구축을 위하여 카메라를 이용해 검색하는 방법대신 음원추적 센서를 이용 하였다. 음원의 방향으로 카메라를 이동하여 침입자를 검색한 후 이동 경로에 따라 카메라를 이동하여 침입자의 감지 영상을 저장하는 시스템을 구현한다.
시스템의 정확성을 알아보기 위하여 거리와 방향에 따른 음원 영역 구분 실험과 영상을 이용하여 객체를 추적하는 실험을 하였다. 음원의 위치 파악의 목적은 정확한 음원의 위치를 찾아내는 것이 아니었기 때문에 예상한 결과와 같았다.
네트워크 카메라를 Embedded Linux 기반의 Mobile Robot에 탑재하여 무인 지능형 감시 시스템을 구성한다. 영상정보를 이용하여 침입자의 이동 경로에 따라 로봇이 추적하여 감지 영상을 로컬 또는 원격지 모니터링 시스템으로 실시간 전송하는 시스템을 구현하고자 한다.
본 논문은 효과적인 시스템 구축을 위하여 카메라를 이용해 검색하는 방법대신 음원추적 센서를 이용 하였다. 음원의 방향으로 카메라를 이동하여 침입자를 검색한 후 이동 경로에 따라 카메라를 이동하여 침입자의 감지 영상을 저장하는 시스템을 구현한다. 둘째, 다른 네트워크 카메라나 네트워크를 이용하는 다른 감시 시스템과 연동이 가능한 인터페이스를 갖춘 지능형 감시 시스템을 구현하고자 한다.
음원 추적 모듈은 상하, 좌우 쌍으로 직교하고 있는 마이크의 음원 신호를 받아 증폭 회로, Peak 값 검출 회로, 비교 회로를 거쳐 CPU의 ADC(Analog to Digital Converter)의해 디지털 값으로 변경하여 음원의 방향을 결정하게 된다. 음원의 시간 차이는 마이크를 통해 들어온 신호를 증폭하고 마이크로프로세서의 External Interrupt를 이용하여 측정한다.
음원 센서는 그림 3과 같이 4개의 마이크(M1∼M4)로 구성되어 원점으로 하는 기준 좌표로 잡았다. 음원의 위치 영역 A를 구하기 위해, 그림 3과 같이 설치한 마이크의 방향성에 근거하여 그림 4와 같이 마이크에 들어온 신호의 세기를 입력으로 하는 비교기를 구성하였다.
지능형 감시 시스템의 성능 검토를 위해 임의의 침입자가 출연하여 음원발생 후 그림 10과 같은 경로로 이동할 경우 로봇이 모니터링 시스템에 영상을 전송하고, 모니터링 시스템에서 침입자 이동 정보를 전송하여 로봇이 침입자를 추적하는 과정에 대해 실험 하였다.
첫째, Pan-Tilt 카메라와 음원 추적 모듈을 이용한 시스템은 침입자의 유효 영상을 얻기 위한 소스로 음원 추적 모듈을 이용했다. 카메라를 이용하여 계속 검색하는 방법보다 침입자 추적에 있어 더욱 효과적이었다.
본 논문에서는 기존 연구에서의 문제점을 해결 하고자 다음과 같은 두 가지 형태의 무인 지능형 감시 시스템을 구현하려 한다. 첫째, 한 개의 PT(Pan-Tilt) 카메라를 이용하여 wide-area를 감시하기 위한 방법으로 음원을 이용하고자 한다. PT카메라 한 개를 이용할 경우에는 현재 위치한 획득 영상에 대해서만 감지를 할 수 있기 때문에 카메라의 Pan-Tilt 기능을 이용하여 움직임에 대하여 검색을 하여 유효 영상을 획득해야 한다.
둘째, Network 카메라와 모바일 로봇을 이용한 시스템은 Network Camera와 음원 추적 모듈을 탑재한 모바일 로봇을 이용한 지능형 감시 시스템 구현 및 적용 실험을 하였다. 침입자가 이동함에 따라 로봇이 모니터링 시스템에 영상을 스트리밍하고, 모니터링 시스템은 영상을 이용하여 움직임 벡터를 추출하고 이동경로를 파악하였으며, 로봇은 모니터링 시스템으로부터 받은 좌표 데이터를 이용하여 이동함으로써 객체 추적을 수행 하였다. 로봇의 전송 영상은 로봇의 낮은 높이로 인해 영상의 기울어짐이 발생 하였다.

대상 데이터

이 음원 추적 모듈은 방이나 건물의 천정에 위치하기 때문에 PC로 음원 추적 결과를 전송하기 위해 ZigBee통신 방식을 이용하여 무선으로 전송한다. PC 또한 음원 데이터를 받기 위해 ZigBee 모듈이 장착 되어있으며 음성 데이터를PC로 전송하기 위해 RS232와 USB로서로 데이터를 변환해주는 FTDI사의 FT232를 사용 하였고, 컨트롤러로는 ATMEL사의 ATMega128을 사용하였다.
영상 입력 장치로는 1/3〃, 41만 화소 CCD 컬러 Pan-Tilt 스펙의 소니 DSP 카메라를 사용하였다. Pan 312°, Tilt 80°이며, Pan-Tilt제어는 485통신으로 제어한다.

이론/모형

블록매칭 알고리즘에서 움직임 추정 방법에는 Cross Search, Full Search, Spiral Search, Three Step Search가 있다. 본 논문에서는 특정 블록 주변의 모든 변위에 대하여 SAD를 계산 하는 방법인 Full Search방법을 이용하여 Motion Vector를 추출한다. Full Search를 사용하면 가장 정확한 블록 매칭 기반 Motion Vector을 알아낼 수 있다.
우선 그림 3과 같이 음원 위치 추정을 위해 음성을 받아들이기 위한 Pre Amp가 내장된 마이크가 4개 위치하며, 음성을 받아 들여 증폭하고, 디지털 값으로 변경하기 위한 회로가 구성되어 있다. 이 음원 추적 모듈은 방이나 건물의 천정에 위치하기 때문에 PC로 음원 추적 결과를 전송하기 위해 ZigBee통신 방식을 이용하여 무선으로 전송한다. PC 또한 음원 데이터를 받기 위해 ZigBee 모듈이 장착 되어있으며 음성 데이터를PC로 전송하기 위해 RS232와 USB로서로 데이터를 변환해주는 FTDI사의 FT232를 사용 하였고, 컨트롤러로는 ATMEL사의 ATMega128을 사용하였다.

성능/효과

첫째, Pan-Tilt 카메라와 음원 추적 모듈을 이용한 시스템은 침입자의 유효 영상을 얻기 위한 소스로 음원 추적 모듈을 이용했다. 카메라를 이용하여 계속 검색하는 방법보다 침입자 추적에 있어 더욱 효과적이었다. Pan-Tilt 카메라를 사용했지만 침입자의 거리가 멀 경우는 유효 영상을 얻지 못하였다.

후속연구

Pan-Tilt 카메라와 음원 추적 모듈을 결합한 시스템과 다수의 네트워크 카메라를 일정 구간별로 설치를 한뒤 영상에서 Motion Vector을 추출하여 침입자의 이동 경로를 예측하여 침입자를 추적한다. 각 구현된 시스템에서 문제점을 보완하고 서로 연동이 가능한 시스템을 구현하여 지능형 무인 감시 시스템으로 신뢰성을 더할 수 있을 것이다.
또한 카메라의 Pan-Tilt 속도는 90°/sec 이기 때문에 추적 객체가 빠른 속도로 움직일 경우 카메라가 추적 객체를 따라가지 못하는 경우가 발생 하였다. 이에 따라 Zoom 기능을 포함하고 Pan-Tilt속도가 빠른 PTZ(Pan-Tilt-Zoom)카메라를 이용하여 향후 효과적인 시스템 구현이 이루어져야 할 것이다.
향후 연구는 본 논문에서 구현한 2가지 시스템을 연동하는 시스템을 구현할 것이다. Pan-Tilt 카메라와 음원 추적 모듈을 결합한 시스템과 다수의 네트워크 카메라를 일정 구간별로 설치를 한뒤 영상에서 Motion Vector을 추출하여 침입자의 이동 경로를 예측하여 침입자를 추적한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	블록매칭은 무엇을 이용하여 두 블록의 유사도를 평가하는 것인가?	블록매칭은 평균 절대값 차이 (SAD : Sum of Absolute Difference)[8]를 이용하여 두 블록의 유사도를 평가하는 것이다. 즉 현재 이미지 t번째 프레임 It에서 좌표(x, y)에 M× N 크기의 블록이 있다고 가정했을 이 블록과 레퍼런스 이미지 t-1번째 프레임 It-1 에서 좌표(x+u, y+v)에 위치한 블록과의 절대 값 차이의 합은 식 (1)과 같이 정의한다.
	화소순환법의 단점은 무엇인가?	연속하는 두 프레임 사이의 Motion Vector의 검출하는 방법은 여러 가지가 있으나 움직임을 추정하는 단위에 따라 크게 화소순환법(PRA)과 블록 매칭알고리즘(BMA)으로 나뉜다. 화소순환법은 화소 단위로 움직임을 추정하기 때문에 정확한 움직임 값을 얻을 수 있으나 반복적인 계산과 부화소 위치의 보간 과정이 필요하기 때문에 계산량이 많고 복잡하여 하드웨어 구현이 어렵다. 반면에 블록매칭은 2차원 영상을 M×N개의 블록으로 나누어 블록 단위로 물체의 움직임을 추정하는 방법이다.
	여러 개의 고정 카메라와 PT카메라를 조합하여 네트워크를 구성하는 방법의 단점은 무엇인가?	이에 여러 개의 고정 카메라와 PT(Pan-Tilt) 카메라를 조합하여 네트워크를 구성하는 방법이 제안되었다[1]. 이 방법은 유효 영상을 얻기 위해서는 효과적이지만 감시하기 위한 모든 임의의 공간에 카메라를 설치해야 되는 단점이 있다. 이에 고정 카메라와 PTZ(Pan-Tilt-Zoom) 카메라를 조합하여, 고정카메라로 움직임을 감지하고, PTZ카메라를 이용하여 움직임을 추적함으로서 영상을 획득하는 방법이 제안되었다[2].

참고문헌 (13)

C. Micheloni, G.L. Foresti, L. Snidaro, 'A network of co-operative cameras for visual surveillance,' IEEE Proc. of Visual Image Signal Processing. vol. 152, no.2, 2005
A.W. Senior, A. Hampapur, M Lu 'Acquiring Multi-Scale Images by Pan-Tilt-Zoom Control and Automatic Multi-Camera Calibration,' Proc. of Seventh IEEE Workshop on Applications of Computer Vision, vol. 1, pp. 433-438, 2005
Y. Shimosasa, J. Kanemoto, K. Hakamada, H. Horii, T. Ariki, Y. Sugawara, F. Kojio, A. Kimura, and S. Yuta,' Some results of the test operation of a security service system with autonomous guard robot,' Proc. 26th Annu. Conf. IEEE industrial Electronics Society, vol, 2000, pp.405-409
R. C. Luo, S. H. Shen, K.L. Su, and T.C. Chang, 'Remote mobile security system using personal digital assistant(PDA) for Security robot,' Proc IEEE/ASME Int. Conf. Advanced Manufacturing Technologies Education 21st Century, 2002
J.N.K. Liu, Meng Wang, Bo Feng, 'iBotGuard:An Internet-B\ased Intelligent Robot Security System Using Invariant Face Recognition Against intruder,' Proc IEEE, vol. 25, pp. 97-105, 2005
이지연, 한민수 '지능형 서비스 로봇을 위한 원거리 음원추적기술,' 대한음성학회지, 제57호, pp. 85-97, 2006

원문보기 상세보기
특허-특허귄자:(주)조원정보, '감시시스템에서의 음원 탐지 및 제어 방법,' 출원번호 10-2003-0010086
조재수, 강현수, 김흥수, 김성득 공저, 멀티미디어 신호처리, 사이텍미디어
Kyoung-Jin Park, Hae-Gang Lee, In Hun Jang, Kwee Bo Sim, 'Object Position Tracking Algorithm of Intelligent Robot using Sound Source and Absolute Orientation,' J. of KFIS, Vol. 17, No. 2, pp. 208-213, 2007
Yong-Sheng Chen, Yi-Ping Hung, Chiou-Shann Fuh, 'Fast Block Matching Algorithm Based on the Winner-Update Strategy,' IEEE transactions on image transactions on image processing, vol. 10, no. 8, August 2001
Paul L. Rosin, 'Thresholding for Change Detection,' Brunel University, technical report ISTR, 1997
J. L. Barron, et.all, 'Systems and Experiment: Performance of Optical Flow Techniques,' Int'l J. of Computer Vision, vol. 12, pp. 43-77, 1994

상세보기
Y. Q. Shi and X. Xia, 'A Thresholding Multiresolution Block Matching Algorithm,' IEEE Trans. on circuit and sustem for video technology, vol. 7, no. 2, April 1997

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증