본 논문에서는 스테레오 적외선 카메라를 이용하여 소형 및 고온으로 날아가는 이동체의 거리를 실시간으로 측정하는 시스템을 제안한다. 이동체와 주변 환경의 온도 차이를 측정하고 고속으로 이동하는 소형 이동체의 거리를 자동으로 측정하기 위하여 적외선 스테레오 카메라 시스템을 구축하였다. 우선 적외선 카메라를 이용하여 취득한 고온의 이동체 영상으로부터 주변의 온도분포와 이동체간의 온도차를 이용하여 이동체영역을 검출하고, 이동체의 움직임 정보와 적외선 카메라 영상의 밝기정보를 결합하여 이동체를 추적한다. 좌우 적외선 카메라 영상에 대하여 각각 추출된 이동체 영역을 중심으로 스테레오 정합을 수행하여 시차정보를 추정하고, 카메라 파라미터와 시차정보를 이용하여 실시간으로 이동하는 이동체의 거리를 추정한다. 본 논문에서 제안하는 적외선 스테레오 카메라 시스템을 검증하기 위하여 고온의 이동체를 촬영할 때, 3차원 궤적(x,y,z) 측정기를 함께 가동하여 이동체가 이동하는 거리를 측정하여 이를 기준 거리(ground truth)로 설정하였다. 3차례의 비디오 데이터로부터 실험한 결과, 적외선 스테레오 카메라를 이용한 고온/소형 이동체의 거리오차 측정 결과는 평균적으로 9.68%로 추정되었다. 스테레오 적외선 카메라의 타이밍 문제(jitter)를 고려하면, 실제로 추정 오차는 줄어들 것으로 판단되기 때문에, 향후 적외선 카메라를 이용하는 다양한 이동체의 거리 및 위치를 측정하는데 응용할 수 있을 것으로 기대된다.
본 논문에서는 스테레오 적외선 카메라를 이용하여 소형 및 고온으로 날아가는 이동체의 거리를 실시간으로 측정하는 시스템을 제안한다. 이동체와 주변 환경의 온도 차이를 측정하고 고속으로 이동하는 소형 이동체의 거리를 자동으로 측정하기 위하여 적외선 스테레오 카메라 시스템을 구축하였다. 우선 적외선 카메라를 이용하여 취득한 고온의 이동체 영상으로부터 주변의 온도분포와 이동체간의 온도차를 이용하여 이동체영역을 검출하고, 이동체의 움직임 정보와 적외선 카메라 영상의 밝기정보를 결합하여 이동체를 추적한다. 좌우 적외선 카메라 영상에 대하여 각각 추출된 이동체 영역을 중심으로 스테레오 정합을 수행하여 시차정보를 추정하고, 카메라 파라미터와 시차정보를 이용하여 실시간으로 이동하는 이동체의 거리를 추정한다. 본 논문에서 제안하는 적외선 스테레오 카메라 시스템을 검증하기 위하여 고온의 이동체를 촬영할 때, 3차원 궤적(x,y,z) 측정기를 함께 가동하여 이동체가 이동하는 거리를 측정하여 이를 기준 거리(ground truth)로 설정하였다. 3차례의 비디오 데이터로부터 실험한 결과, 적외선 스테레오 카메라를 이용한 고온/소형 이동체의 거리오차 측정 결과는 평균적으로 9.68%로 추정되었다. 스테레오 적외선 카메라의 타이밍 문제(jitter)를 고려하면, 실제로 추정 오차는 줄어들 것으로 판단되기 때문에, 향후 적외선 카메라를 이용하는 다양한 이동체의 거리 및 위치를 측정하는데 응용할 수 있을 것으로 기대된다.
This paper proposes a real-time distance measurement system of high temperature and high speed target using infrared stereo camera. We construct an infrared stereo camera system that measure the difference between target and background temperatures for automatic target measurement. First, the propos...
This paper proposes a real-time distance measurement system of high temperature and high speed target using infrared stereo camera. We construct an infrared stereo camera system that measure the difference between target and background temperatures for automatic target measurement. First, the proposed method detects target region based on target motion and intensity variation of local region using difference between target and background temperatures. Second, stereo matching by left and right target information is used to estimate disparity about real-time distance of target. In the proposed method using infrared stereo camera system, we compare distances in three dimension trajectory measuring instrument and in infrared stereo camera measurement. In this experiment from three video data, the result shows an average 9.68% distance error rate. The proposed method is suitable for distance and position measurement of varied targets using infrared stereo system.
This paper proposes a real-time distance measurement system of high temperature and high speed target using infrared stereo camera. We construct an infrared stereo camera system that measure the difference between target and background temperatures for automatic target measurement. First, the proposed method detects target region based on target motion and intensity variation of local region using difference between target and background temperatures. Second, stereo matching by left and right target information is used to estimate disparity about real-time distance of target. In the proposed method using infrared stereo camera system, we compare distances in three dimension trajectory measuring instrument and in infrared stereo camera measurement. In this experiment from three video data, the result shows an average 9.68% distance error rate. The proposed method is suitable for distance and position measurement of varied targets using infrared stereo system.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
최대 평균 및 최대 중간 필터로 얻은 영상은 이동체들을 검출하기 위하여 원본 프레임과 차영상을 이용한다. 그리고 이때 문턱치(threshold)가 이동체가 될 수 있는 화소 들의 수를 제안하기 위하여 추가되었다. 하지만 이 방법은 저 대비 (low contrast) 적외선 영상과 원거리에서 점으로 표현되는 이동체 검출에는 효과적이지 못하다[1].
본 논문에서는 스테레오 적외선 카메라를 이용하여 고온/소형 이동체(표적)의 거리를 실시간으로 측정하는 시스템을 제안하였다. 고온의 이동체와 주변 환경의 온도 차이를 이용하여 이동체를 탐지하고, 소형 이동체의 거리를 자동으로 측정하기 위하여 적외선 스테레오 카메라 시스템 및 스테레오 정합 기술을 이용하였다.
본 논문에서는 적외선 카메라를 스테레오 시스템으로 구축하고 검출된 이동체에 대하여 스테레오 정합을 수행하여 이동체의 실제 거리를 측정하는 방법을 제안한다. 현재 적외선 카메라의 하드웨어 성능 및 속도의 향상으로 고해상도 및 고속 촬영이 가능하게 되어 적외선 영상으로부터 고속으로 이동하는 소형 이동체의 검출이 가능하게 되었다.
제안 방법
기존에 소형 이동체를 찾는 알고리즘을 제안하였다[8]. 2가지 패턴이 있었으나 이번 실험체는 B형 이동체에 해당되므로 B형의 알고리즘을 사용하여 이동체를 추적하게 된다. 새로운 적외선카메라의 환경을 가지므로 적외선 복사에너지의 방출량에 따른 그레이스케일영상변환의 수치들이 달라지므로 새로운 문턱치 값들이 적용되었다.
입력된 적외선 스테레오 카메라로부터 멀리 있는 소형 이동체를 추출하고 이동 객체까지 거리를 측정할 수 있도록 한다는 것은 쉬운 일이 아니다. 3.1절에서 적외선카메라의 이동체추적을 소개하고 새로운 적외선 카메라를 이용하여 영상촬영을 하였기에 특성에 맞는 새로운 문턱치 들을 적용하였다. 3.
그림 9는 실험공간으로. 3차원 궤적(x, y, z) 측정기는 52m～30m 구간을 측정하였으며 기준을 적외선 좌측 카메라로 설정을 하였다. 즉 3차원측정기와 스테레오 정합 알고리즘은 동일한 기준을 가지고 있으므로 실제 물체의 거리의 Z축만 비교하여도 오차율을 구할 수 있다.
본 논문에서는 스테레오 적외선 카메라를 이용하여 고온/소형 이동체(표적)의 거리를 실시간으로 측정하는 시스템을 제안하였다. 고온의 이동체와 주변 환경의 온도 차이를 이용하여 이동체를 탐지하고, 소형 이동체의 거리를 자동으로 측정하기 위하여 적외선 스테레오 카메라 시스템 및 스테레오 정합 기술을 이용하였다. 우선 적외선 카메라를 이용하여 취득한 고온의 이동체영상으로부터 주변의 온도분포와 이동체간의 온도차를 이용하여 이동체 영역을 검출하고, 이동체의 움직임 정보와 적외선 카메라 영상의 밝기정보를 결합하여 이동체를 추적하였다.
본 논문에서 jitter를 고려하지 않는 스테레오정합 알고리즘을 적용하여 오차율이 얼마나 되는지 실험을 하였다.
좌우 적외선 카메라 영상에 대하여 각각 추출된 이동체 영역을 중심으로 스테레오 정합을 수행하여 시차정보를 추정하고, 카메라 파라미터와 시차정보를 이용하여 실시간으로 이동하는 이동체의 거리를 추정하였다. 본 논문에서 제안하는 적외선 스테레오 카메라 시스템을 검증하기 위하여 고온의 이동체를 촬영할 때, 3차원 궤적(x,y,z) 측정기를 함께 가동하여 이동체가 이동하는 거리를 측정하여 이를 기준 거리로 설정하였다. 비디오 데이터로부터 실험한 결과, 적외선 스테레오 카메라를 이용한 고온/소형 이동체의 거리측정 결과는 9.
고온의 이동체와 주변 환경의 온도 차이를 이용하여 이동체를 탐지하고, 소형 이동체의 거리를 자동으로 측정하기 위하여 적외선 스테레오 카메라 시스템 및 스테레오 정합 기술을 이용하였다. 우선 적외선 카메라를 이용하여 취득한 고온의 이동체영상으로부터 주변의 온도분포와 이동체간의 온도차를 이용하여 이동체 영역을 검출하고, 이동체의 움직임 정보와 적외선 카메라 영상의 밝기정보를 결합하여 이동체를 추적하였다. 좌우 적외선 카메라 영상에 대하여 각각 추출된 이동체 영역을 중심으로 스테레오 정합을 수행하여 시차정보를 추정하고, 카메라 파라미터와 시차정보를 이용하여 실시간으로 이동하는 이동체의 거리를 추정하였다.
현재 적외선 카메라의 하드웨어 성능 및 속도의 향상으로 고해상도 및 고속 촬영이 가능하게 되어 적외선 영상으로부터 고속으로 이동하는 소형 이동체의 검출이 가능하게 되었다. 이러한 적외선 스테레오 카메라로 스테레오 정합 알고리즘을 사용하여 이동체의 직접적인 거리를 측정한다.
적외선카메라의 좌측카메라를 기준으로 83m거리에 떨어져있는 소형 이동체를 추적해서 왼쪽으로 5m가량 비껴나가는 비디오 데이터를 여러 차례 촬영하였다. 그림 9는 실험공간으로.
우선 적외선 카메라를 이용하여 취득한 고온의 이동체영상으로부터 주변의 온도분포와 이동체간의 온도차를 이용하여 이동체 영역을 검출하고, 이동체의 움직임 정보와 적외선 카메라 영상의 밝기정보를 결합하여 이동체를 추적하였다. 좌우 적외선 카메라 영상에 대하여 각각 추출된 이동체 영역을 중심으로 스테레오 정합을 수행하여 시차정보를 추정하고, 카메라 파라미터와 시차정보를 이용하여 실시간으로 이동하는 이동체의 거리를 추정하였다. 본 논문에서 제안하는 적외선 스테레오 카메라 시스템을 검증하기 위하여 고온의 이동체를 촬영할 때, 3차원 궤적(x,y,z) 측정기를 함께 가동하여 이동체가 이동하는 거리를 측정하여 이를 기준 거리로 설정하였다.
대상 데이터
카메라의 CCD 크기, focal length, 카메라 영상의 화각과 해상도를 알 수 있으면 삼각함수를 이용하여 1 pixel 크기를 계산할 수 있다. 본 논문에서 사용된 적외선 카메라의 실제 1 pixel의 크기는 0.035mm 이다.
실험에 사용한 적외선 스테레오 카메라는 7um - 14 um 파장영역을 검출하며 384x288해상도, 초점거리는 25mm, 화각은 30° × 23° , 50hz를 가진다.
이론/모형
일반적으로 이동하는 이동체 영역을 추출하고자 할 때, 움직이는 이동체성분은 화면사이의 상대적 위치변화가 발생한 것이라 할 수 있다. 따라서 거리 정보를 구하기 위해서는 좌, 우 영상의 이동이동체가 평행한 스테레오 카메라에서 삼각측량법 등을 이용하여 거리 정보를 측정하게 된다.
이러한 왜곡들은 체스판을 이용하여 내부 파라미터와 왜곡파라미터를 구하는 Zhang 방법을 이용하여 카메라 내부행렬과 왜곡 계수, 회전벡터, 이동벡터를 구해준다[9]. 다양한 시점에서 촬영한 체스보드 영상으로부터 각각의 호모그래피 H를 구한다.
성능/효과
본 논문에서는 적외선 스테레오 카메라 시스템을 구현하여 좌, 우 적외선카메라에서 소형 이동체를 찾고 스테레오 정합알고리즘을 적용하여 jitter가 발생하는 적외선카메라에서도 거리측정이 가능함을 보였다.
본 논문에서 제안하는 적외선 스테레오 카메라 시스템을 검증하기 위하여 고온의 이동체를 촬영할 때, 3차원 궤적(x,y,z) 측정기를 함께 가동하여 이동체가 이동하는 거리를 측정하여 이를 기준 거리로 설정하였다. 비디오 데이터로부터 실험한 결과, 적외선 스테레오 카메라를 이용한 고온/소형 이동체의 거리측정 결과는 9.68% 이내로 추정됨을 확인하였다. 스테레오 적외선 카메라간의 동기화 및 타이밍 문제(jitter), 3차원 궤적(x,y,z) 측정기와 적외선 카메라간의 동기화 문제를 고려한다면, 추정 오차는 더욱 줄어들 것으로 판단된다.
3차원 궤적(x, y, z) 측정기는 프레임에 따라 일정한 직선 그래프로 ground truth 역할을 한다. 신뢰 구간에서 총 오차율은 9.68% 가지며 jitter가 발생하는 적외선 카메라에서도 거리측정이 가능함을 보였다. 스테레오 정합특성상 먼 거리 구간에서 오차가 더 발생하는 것을 보여준다.
여러 차례에 걸친 비디오 데이터를 이용한 실험을 통하여 본 논문에서 제안한 적외선 스테레오 카메라를 이용한 고온/소형 이동체의 거리 측정 기술은 그 가능성을 보여주었다. 9.
기존의 방법들은 적외선 영상에서 장거리의 느리게 움직이는 소형 이동체를 찾는데 초점을 맞추고 있다. 최대 평균(max-mean)및 최대 중간 (max-median) 필터를 사용한 방법은 구름 및 주변 환경의 윤곽선을 보존하고 반 중앙 및 반 평균값 연산(anti-mean and anti-median operations)이 클러터와 다른 특성을 가지는 이동체 검출에 유용하다는 사실을 이용한다. 최대 평균 및 최대 중간 필터로 얻은 영상은 이동체들을 검출하기 위하여 원본 프레임과 차영상을 이용한다.
후속연구
향후 연구에서는 적외선 카메라의 jittering에 대한 확률적 모델을 활용하여 오류를 보정하면서 더욱 정확 하게 거리를 측정하는 연구개발이 필요하다. 아울러, 매우 빠르고 고온/소형 이동체에 대한 검출 기술 및 추적 기술을 개발하고, 적외선 카메라에 대한 스테레오 정합 알고리즘을 최적화할 필요가 있다.
향후 연구에서는 적외선 카메라의 jittering에 대한 확률적 모델을 활용하여 오류를 보정하면서 더욱 정확 하게 거리를 측정하는 연구개발이 필요하다. 아울러, 매우 빠르고 고온/소형 이동체에 대한 검출 기술 및 추적 기술을 개발하고, 적외선 카메라에 대한 스테레오 정합 알고리즘을 최적화할 필요가 있다.
스테레오 적외선 카메라간의 동기화 및 타이밍 문제(jitter), 3차원 궤적(x,y,z) 측정기와 적외선 카메라간의 동기화 문제를 고려한다면, 추정 오차는 더욱 줄어들 것으로 판단된다. 향후 적외선카메라를 이용하는 다양한 이동체의 거리 및 위치를 측정하는데 응용할 수 있을 것으로 기대된다.
질의응답
핵심어
질문
논문에서 추출한 답변
적외선 영상은 어떠한 에너지를 이용하는가?
최근 많은 국가들에서 군 작전상 중요한 관찰범위에 인간의 눈으로 보이지 않는 장거리에서 다가오는 적들이나 이동체(표적)를 관측, 탐지하는데 레이더나 적외선 카메라를 개발 운용하고 있다. 적외선 영상은 물체 표면에서부터 직접적으로 방사되는 눈에 보이지 않는 적외선 복사에너지를 이용한다. 이동체의 외부온도가 높을수록 그 이동체는 복사에너지의 방출량이 많기 때문에 영상에서 이동체의 밝게 표현되며 이들 복사 에너지 강도는 그레이 스케일로 표현된다.
형태학적 필터를 사용한 방법은 어떠한 장/단점이 존재하는가?
이때 이동체는 일정한 오경보율(Constant false alarm rate detector)을 가지면서 찾게 된다. 이 방법은 다양한 속도를 갖는 소형 이동체에 유용하지만, 이동체 주변의 환경들로 인하여 높은 오경보율을 보여준다[2～3]. 적외선 영상에서 시간적 화소 프로파일에 연속 웨이블릿 변환 (continuous wavelet transform, CWT)을 이용한 시간적 필터 방법은 이동체와 배경 클러터를 구분하기 위해 Mexican hat CWT을 이용하여 일정한 휘도 값을 가지면서 일정 시간동안 화소가 유지되면 배경으로 인식하여 이동체가 될 수 있는 영역에서 제거한다.
핀홀이란?
이상적인 카메라의 모델은 핀홀 카메라 모델(pinhole camera model)이다. 핀홀은 중앙에 작은 구멍이 있는 가상의 평면을 의미하며, 이 작은 구멍을 통해서만 빛이 통과 될 수 있다. 영상평면을 투영 평면으로 나타내면 수식 (1)과 같다.
참고문헌 (10)
S. D. Deshpande, M. H. Er, V. Ronda and P. Chan, "Max-Mean and Max-Median filters for detection of small-targets," Proc. SPIE, 3809, pp. 74-83, 1999.
F. Zhang, C. Li and L. Shi, "Detecting and tracking dim moving point target in IR image sequence," Infrared Physics & Technology, 46, pp. 323-328, 2005.
Y. Gu, C. Wang, B. Liu and Y. Zhan, "A Kernel-Based Nonparametric Regression Method for Clutter Removal in Infrared Small-Target Detection Applications," IEEE Geoscience and Remote Sensing Letters, vol.7, no.3, pp.469-473, July 2010.
A. P. Tzannes and D. H. Brooks, "Temporal filters for point target detection in IR imagery," Proc. SPIE. 3061, pp. 508-520, 1997.
선선구, "적외선영상에서 질감 특징과 신경회로망 을 이용한 표적탐지," 대한전자공학회, 제47권, SC 편, 제5호, 2010년.
D. Scharstein and R. Szeleiski, "A taxonomy and evaluation of dense two frame stereo correspondence algorithm," International Journal of Computer Vision, vol. 47, no.1/2/3, pp. 7-42, 2002.
Sang Hwa Lee and Siddharth Sharma, "A real-time stereo matching using GPU programming," Proc. of IPIU, 제주도, 2011년 2 월.
오준호, 이상화, 이부환, 박종일, "표적 모델 기반 근거리 소형 표적 탐지" 대한전자공학회 추계학술 대회, pp. 409-410, 2010.
Z. Zhang, "A flexible camera calibration by viewing a plane from unkown orientations," proceedings of the 7th International Conference on Computer Vision pp. 666-673, Corfu, Semtember 1999.
O. Riou, S. Berrebi, and P. Bremond, "Nonuniformity correction and thermal drift compensation of thermal infrared camera," Proc. SPIE 5405, pp. 294-302, 2004.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.