[논문]스테레오 영상 기반의 객체 탐지 및 객체의 3차원 위치 추정

손행선; 이선영; 민경원; 서성진

doi:10.17661/jkiiect.2017.10.4.318

스테레오 영상 기반의 객체 탐지 및 객체의 3차원 위치 추정
Object Detection and 3D Position Estimation based on Stereo Vision 원문보기

한국정보전자통신기술학회논문지 = Journal of Korea institute of information, electronics, and communication technology, v.10 no.4, 2017년, pp.318 - 324

손행선 (Korea Electronics Technology Institute) , 이선영 (Korea Electronics Technology Institute) , 민경원 (Korea Electronics Technology Institute) , 서성진 (Hyundai MOBIS Technical R&D center)

초록
AI-Helper

본 항공기에 스테레오 카메라를 장착하여 영상 기반의 비행 객체 탐지 및 탐지된 객체의 3차원 위치를 추정하는 방법을 제시하였다. 구름 사이에 존재할 수 있는 원거리의 작은 객체를 탐지하기 위한 방법으로 PCT 기반의 Saliency Map을 생성하여 이용하였으며, 이렇게 탐지된 객체는 좌우 스테레오 영상에서 매칭을 수행하여 스테레오 시차(Disparity)를 추출하였다. 정확한 Disparity를 추출하기 위하여 비용집적(Cost Aggregation) 영역을 탐지 객체에 맞추어 가변되도록 가변 영역으로 사용하였으며, 본 논문에서는 Saliency Map에서 객체의 존재 영역으로 검출된 결과를 사용하였다. 좀 더 정밀한 Disparity를 추출하기 위하여 Sub-pixel interpolation 기법을 사용하여 Sub-pixel 레벨의 실수형 Disparity를 추출하였다. 또한 이에 카메라 파라미터를 적용하여 실제 탐지된 비행 객체의 3차원 공간 좌표를 생성하여 객체의 공간위치를 추정하는 방법을 제시하였다. 이는 향후 자율비행체의 영상기반 객체 탐지 및 충돌방지 시스템에 활용될 수 있을 것으로 기대된다.

Abstract ▼ AI-Helper

We introduced a stereo camera on the aircraft to detect flight objects and to estimate the 3D position of them. The Saliency map algorithm based on PCT was proposed to detect a small object between clouds, and then we processed a stereo matching algorithm to find out the disparity between the left and right camera. In order to extract accurate disparity, cost aggregation region was used as a variable region to adapt to detection object. In this paper, we use the detection result as the cost aggregation region. In order to extract more precise disparity, sub-pixel interpolation is used to extract float type-disparity at sub-pixel level. We also proposed a method to estimate the spatial position of an object by using camera parameters. It is expected that it can be applied to image - based object detection and collision avoidance system of autonomous aircraft in the future.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 비행공간에서의 다른 비행체와의 충돌을 회피하기 위하여, 스테레오 영상을 기반으로 객체를 탐지하고 객체의 3차원 위치를 추정하는 기술에 대하여 제안하고자 한다. 2장에서는 카메라 영상을 기반으로 한 객체의 검출에 대해서 설명하였으며, 3장에서는 객체의 3차원 위치를 추정하기 위하여 스테레오 영상 처리에 대해서 설명하고자 한다.
본 논문에서는 항공 영상 내에서 침입 객체를 인식하고 이의 위치를 추적하는 알고리즘을 제시하였다. 구름과 같은 단조로운 환경 내에서 작은 침입기를 탐지하기 위하여 PCT기반의 Saliency Map을 사용하여 탐지를 수행하였으며, 탐지된 객체에 대하여 좌우 스테레오 영상에서 Disparity 정보를 추출하고 이를 기반으로 3차원 위치를 추정하였다.

가설 설정

양안 스테레오 비전을 이용하여 Depth를 추출하는 원리는 그림 5와 같다. 여기에서 두 개의 카메라는 baseline만큼 떨어진 위치에 서로 나란히 장착되었고 초점 거리가 정확히 같다고 가정한다. 실제적으로 두 카메라의 초점 거리는 다르며, 두 카메라가 정확히 일직선상에 정렬되기 힘드므로, 두 카메라의 체크 보드와 같은 마커를 기반으로 캘리브레이션을 수행하고, 영상을 정렬하는 렉티피케이션(Rectification)을 수행하게 된다.

제안 방법

PCT를 이용한 Saliency Map을 기반으로 최종객체를 잡음환경에서 좀 더 정확히 검출하기 위하여 후처리를 수행한다. Saliency Map 값이 큰 부분에 대하여 이진화를 수행하고, 수행한 이진화 영상에 대하여 Median Filter를 적용하여 노이즈를 제거한다.
본 논문에서는 항공 영상 내에서 침입 객체를 인식하고 이의 위치를 추적하는 알고리즘을 제시하였다. 구름과 같은 단조로운 환경 내에서 작은 침입기를 탐지하기 위하여 PCT기반의 Saliency Map을 사용하여 탐지를 수행하였으며, 탐지된 객체에 대하여 좌우 스테레오 영상에서 Disparity 정보를 추출하고 이를 기반으로 3차원 위치를 추정하였다. 초점거리 8mm렌즈를 사용하고 스테레오 Baseline 30cm로 구현하였을 때 유효 인식거리는약 300m 이내였으며, 알고리즘 처리성능은 약 15FPS를 달성하여, 최적화를 시킨다면 임베디드 환경에서도 실시간 처리 가능성이 높을 것으로 판단된다.
3가지 방법론들 모두 색 정보, 명암, 방향성의 데이터를 이용해 Contrast 정보가 주변 영역에 비해 어떠한 특징과 차이를 가지는지 정도를 이용해 Saliency를 추출한다. 본 논문에서는 DCT(Discrete Cosine Transform)를 이용하는 PCT(Pulse Cosine Transform)[4]알고리즘을 활용하여 Saliency Map을 구하고 이를 기반으로 객체를 검출하였다.
1에서 설명한 depth를 추출하기 위해서는 좌우 영상 내에서 동일한 물체가 어디에 나타나는지를 찾아내는 픽셀 대 픽셀의 매칭과정을 수행하게 된다. 본 논문에서는 Saliency Map을 이용하여 객체의 탐지를 선행하여 수행하였고, 최종 검출된 객체에 대하여 스테레오 매칭을 수행하였다. 스테레오 매칭을 위해서는 매칭을 수행하고자 하는 이미지의 좌표를 중심으로 윈도우를 설정하고 특징벡터(Feature Vector)를 추출하여 매칭을 수행하는 것이 일반적인 방법이다.
비행 객체를 탐지하기 위하여 아래와 같이 스테레오 비전 시스템을 구축하여 항공 영상을 촬영하였다. 스테레오 비전의 카메라 양안의 길이 Baseline은 30cm 로 제작하였다.
Saliency Map 값이 큰 부분에 대하여 이진화를 수행하고, 수행한 이진화 영상에 대하여 Median Filter를 적용하여 노이즈를 제거한다. 이후 모폴로지 필터를 적용한 후 라벨링 알고리즘을 거쳐 최종 객체를 검출한다.
좀 더 정확한 스테레오 매칭을 수행하기 위해서 해당 픽셀의 Cost만을 고려하는 것이 아니라 주변 픽셀의 Cost를 누적하는 비용 집적 과정을 거친다. 같은 물체를 이루는 픽셀들은 같은 Disparity값을 가질 가능성이 크므로, 같은 물체가 존재할 것으로 판단되는 영역 내에서 비용을 집적함으로써 정확한 스테레오 매칭 결과를 얻을 수 있다.
최적 변위값 d0 = dmin, 좌우 변위값 d–1 = dmin –1과 d1 = dmin +1 의 비용을 각각 C–1, C0, C1 이라 명명하고 이 세 개의 점을 2차원 함수로 Interpolation을 수행한 후, 최소의 Cost를 가지는 지점을 찾고 이때의 변위값 df를 실수형으로 다음과 같이 정밀하게 구한다.
자율비행에 적용하기 위해서는 항공기에 스테레오 카메라를 장착하여 영상을 취득하여야 하나, 1차적으로 다양한 표적비행체의 시나리오를 구현하고 이에 대한 영상을 확보하기 위하여 지상에 스테레오 카메라 지그를 설치하여 취득하였다. 표적비행체는 아래와 같은 시나리오로 비행을 하였으며 이에 대한 스테레오 영상 시퀀스를 확보하여 실험을 수행하였다. 그림 10과 같이 취득 영상에 대하여 표적기 탐지를 성공적으로 수행할 수 있었고, 표적기의 3차원 위치 정보를 추출할 수 있었다.

이론/모형

본 논문에서는 PCT를 이용하여 Saliency Map을 생성한다. 항공 영상 내에서 일반적으로 객체는 구름과 같이 넓은 영역에 단조롭게 분포되어 있는 영역 내에 작은 객체 형태로 존재하며 이를 검출할 필요가 있다.
으로 결정할 수 있다. 여기에서 변위값의 범위는 0~63까지 정수값이나 좀 더 정밀한 깊이값 추출을 위하여 실수형의 변위값을 Sub-Pixel Interpolation[7] 기법으로 추정하였다.

성능/효과

구름과 같은 단조로운 환경 내에서 작은 침입기를 탐지하기 위하여 PCT기반의 Saliency Map을 사용하여 탐지를 수행하였으며, 탐지된 객체에 대하여 좌우 스테레오 영상에서 Disparity 정보를 추출하고 이를 기반으로 3차원 위치를 추정하였다. 초점거리 8mm렌즈를 사용하고 스테레오 Baseline 30cm로 구현하였을 때 유효 인식거리는약 300m 이내였으며, 알고리즘 처리성능은 약 15FPS를 달성하여, 최적화를 시킨다면 임베디드 환경에서도 실시간 처리 가능성이 높을 것으로 판단된다.

후속연구

무인 드론 등은 미래의 다양한 분야에서 활용될 것으로 기대되고 있으며, 국방 및 감시 정찰, 응급환자 구조, 재난 구조 등 다양한 분야에서 무인기의 활용이 추진되고 있다. 현재의 무인비행체처럼 사람의 조종을 받는다면 그 활용부분이 많이 제한적일 것이다 앞으로 미래는 자율이동 기술이 항공분야에도 적용될 것으로 판단되며 향후 자율비행 기술이 비약적으로 발전하게 되면 향후 사람의 이동 수단이 될 것이라는 전망이 지배적이다. 이러한 자율비행이 가능하게 하려면 충돌방지를 위한 센싱 기술이 선행적으로 개발되어야 한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	자율비행체란 무엇인가?	자율비행체란 사람의 조종이나 개입 없이 수송, 이동 등의 임무를 수행하는 비행체를 의미한다. 그중 무인항공기는 처음 군용으로 개발되기 시작하여 최근 그 기술이 고도화되고 지능화 되는 등 비약적인 발전을 해 왔다.
	Saliency Map는 어디에 활용될 수 있는가?	Saliency Map이란 영상처리 알고리즘을 통하여 주변 영역에 비하여 시각적으로 돌출되어 두드러지게 보이는 영역을 나타내는 것이며, Saliency Map을 이용하여 영상분할, 압축, 객체인식 등 다양한 응용 분야에서 활용될 수 있다. Saliency라는 용어는 Tsotsos[1]와 Olshausen[2], 그리고 Itti[3]의 연구에서 사용되기 시작하였다.
	스테레오 비전은 어떻게 거리감을 인식하는가?	스테레오 비전[5]은 카메라 두 대로 구성되어있는 스테레오 카메라를 사용하여 거리감을 인식하는 기술을 의미한다. 인간이 양안으로 물체까지의 거리를 인식하는 것과 마찬가지로 스테레오(양안) 카메라를 이용하고 양안카메라에 나타나는 물체의 시차(Disparity) 정보를 추출함으로써 물체까지의 Depth(깊이)를 추정할 수 있다.

참고문헌 (7)

Tsotsos J. K., Culhane S. M., Wai W. Y. K, Lai Y, Davis N. and Nuflo F.(1995), "Modeling visual attention via selective tuning," Artificial Intelligence, vol. 78, pp.507-545.

상세보기
Olshausen B. A., Anderson C. H. and Van Essen D. C.(1993), "A Neurobiological Model of Visual Attension and Invariant Pattern Recognition Based on Dynamic Routing of Information," The Journal of Neuroscience, vol. 13, no. 11, pp.4700-4719.

상세보기
Itti L., Koch C. and Niebur E.(1998), "A Model of Saliency-based Visual Attention for Rapid Scene Analysis," IEEE Transactions on Pattern Analysis and Mahcine Intelligence, vol. 20, no. 11, pp.1254-1259.

상세보기
Yu, Ying, Bin Wang, and Liming Zhang. "Pulse discrete cosine transform for saliency-based visual attention." Development and Learning, 2009. ICDL 2009. IEEE 8th International Conference on. IEEE, 2009.
Banz, Christian, et al. "Real-time stereo vision system using semi-global matching disparity estimation: Architecture and FPGA-implementation." Embedded Computer Systems (SAMOS), 2010 International Conference on. IEEE, 2010.
Froba, Bernhard, and Andreas Ernst. "Face detection with the modified census transform." Automatic Face and Gesture Recognition, 2004. Proceedings. Sixth IEEE International Conference on. IEEE, 2004.
Kanade, Takeo, et al. "A stereo machine for video-rate dense depth mapping and its new applications." Computer Vision and Pattern Recognition, 1996. Proceedings CVPR'96, 1996 IEEE Computer Society Conference on. IEEE, 1996.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증