[논문]형태특징과 지역특징 융합기법을 활용한 열영상 기반의 차량 분류 방법

양동원

doi:10.7471/ikeee.2020.24.1.97

형태특징과 지역특징 융합기법을 활용한 열영상 기반의 차량 분류 방법
A Vehicle Classification Method in Thermal Video Sequences using both Shape and Local Features 원문보기

전기전자학회논문지 = Journal of IKEEE, v.24 no.1, 2020년, pp.97 - 105

양동원 (Ground Technology Research Institute(GTRI), Agency for Defense Development(ADD))

초록
AI-Helper

열 영상은 온도에 따라 방출하는 에너지의 차이를 나타낸 영상이다. 주야간 사용이 가능하기 때문에 군사적인 용도로 많이 활용되고 있으나, 열 영상은 물체의 경계가 불명확하고 흐릿하게 표현되는 경우가 많으며 화염 등의 열기로 인해 경계부분이 변질되는 단점이 있다. 따라서, 열 영상을 이용하여 표적의 종류를 분류할 때 정확하게 분할된 경계선을 이용할 경우 효과적으로 분류 할 수 있지만, 물체의 경계가 잘못 추출되는 경우 분류의 정확도가 크게 감소한다. 본 논문에서는 이러한 단점을 극복하기 위해서 표적 영상의 분할 신뢰도에 따라 형태특징과 지역특징의 분류결과를 융합하는 계층적 분류기법을 제안하였으며, 연속 영상 기반으로 분류 결과를 갱신하는 기법을 새롭게 제안하여 차량 표적 분류 정확도를 개선하였다. 제안하는 방법은 실제 군용 표적 4종(전차, 장갑차, 상용차, 군용트럭)이 있는 다양한 자세의 열 영상 20,000장 이상을 이용하여 성능을 검증하였으며, 우수한 성능의 기존 방법 대비 정확도 개선에 효과가 있음을 확인하였다.

Abstract ▼ AI-Helper

A thermal imaging sensor receives the radiating energy from the target and the background, so it has been widely used for detection, tracking, and classification of targets at night for military purpose. In recognizing the target automatically using thermal images, if the correct edges of object are used then it can generate the classification results with high accuracy. However since the thermal images have lower spatial resolution and more blurred edges than color images, the accuracy of the classification using thermal images can be decreased. In this paper, to overcome this problem, a new hierarchical classifier using both shape and local features based on the segmentation reliabilities, and the class/pose updating method for vehicle classification are proposed. The proposed classification method was validated using thermal video sequences of more than 20,000 images which include four types of military vehicles - main battle tank, armored personnel carrier, military truck, and estate car. The experiment results showed that the proposed method outperformed the state-of-the-arts methods in classification accuracy.

주제어

표/그림 (13)

그림 Fig. 1. The overall block diagram of the proposed method. 그림 1. 제안하는 차량 표적 분류 기법 개념도
그림 Fig. 2. The hierachicla classifier for vehicle classification. 그림 2. 차량 표적 분류를 위한 계층적 분류기
그림 Fig. 3. Decision level fusion method for vehicle class classification. 그림 3. 차량 표적 종류 분류를 위한 결과 융합 방법
그림 Fig. 4. Decision level fusion for vehicle pose classification. 그림 4. 차량 표적 자세 분류를 위한 결과 융합 방법
그림 Fig. 5. Class and pose update method using the classification results. 그림 5. 차량 표적 분류 결과 갱신 방법 개념도
그림 Fig. 6. Markov Chain rules and class cycle for updating method. (a) Markov Chain rules for updaing class. (b) Class cycle for update method. 그림 6. 차표적 종류 갱신에 적용되는 Markov Chain 규칙 및 순환 주기의 흐름도, (a) 표적 종류 갱신을 위한 Markov Chain Rule, (b) 표적 종류 갱신 순환 주기 흐름도
표 Table 1. Symbol definitions. 표 1. Symbol 정의표
그림 Fig. 7. Pose inference example using MRF (Markov Random Field). 그림 7. 표적 자세 갱신을 위한 추론 과정의 예
그림 Fig. 8. Example images of the test sequcnes #1 (Main Battle Tank and Armored Personnel Carrier). 그림 8. 테스트에 사용된 열 영상 시퀀스 예 #1 (전차, 장갑차 영상)
표 Table 2. Specification of the thermal images used in the experiments. 표 2. 실험에 사용한 표적 및 영상 시퀀스 사양
그림 Fig. 9. Example images of the test sequcnes #2 (Estate Car and Military Truck). 그림 9. 테스트에 사용된 열 영상 시퀀스 예 #2 (상용차, 군용트럭 영상)
표 Table 3. Vehicle Class Classification Results. 표 3. 표적 종류 분류 실험 결과 표
표 Table 4. Vehicle Class and Pose Classification Results. 표 4. 표적 종류 및 자세 분류 실험 결과 표

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 열 영상 시퀀스를 이용하여 표적 차량의 종류와 자세를 자동으로 분류하는 새로운 기법을 제안하였다. 제안하는 기법은 형태 특징과 지역 특징의 장점을 결합하기 위한 영상 분할 신뢰도 기반의 계층적 분류기법을 사용하였으며, 연속 영상의 특징에 적합한 결과 갱신 기법을 적용하여 정확도를 개선하고자 하였다.
본 논문에서는 열 영상을 기반으로 물체 인식하는 기법의 한계점을 극복하고자 다음의 두 가지 새로운 방법을 제안하였다. 첫째, 영상 분할 결과의 신뢰도 추출 결과를 기반으로 형태 특징과 지역 특징의 분류 결과를 융합하여 사용하는 새로운 계층적 분류기법을 제안하였다.
이 절에서는 계층적 분류기의 차량 표적 분류 결과(종류/자세)를 시간에 따라 누적한 뒤 표적의 종류와 자세를 갱신하여 분류 결과의 정확도를 개선하는 방법에 대해 나타내었다. 표적 분류 결과를 갱신하는 기법은 다음의 그림과 같다.

제안 방법

또한, 분류의 정확도를 높이기 위하여 연속 영상을 기반으로 분류 결과를 갱신하는 기법을 제안하였다. 누적된 분류결과를 이용하여 발생 가능성이 낮은 표적의 종류와 자세 결과를 배제하고, 변화 가능성이 높은 종류와 자세로 변화할 수 있도록 함으로써 일시적 으로 오분류 되었을 때 보완 할 수 있는 방안을 제시하였다. 이와 같이 형태 특징과 지역 특징을 모두 사용 할 수 있는 계층적 분류기를 적용하고, 분류 결과를 시간에 따라 누적하여 갱신하는 기법을 적용함으로써, 열 영상 기반의 차량 표적 분류 결과의 정확도를 개선 할 수 있었다.
첫째, 영상 분할 결과의 신뢰도 추출 결과를 기반으로 형태 특징과 지역 특징의 분류 결과를 융합하여 사용하는 새로운 계층적 분류기법을 제안하였다. 둘째, 비디오 영상 기반의 연속된 분류 결과를 이용하여 차량의 분류 결과와 자세 정보를 갱신하여 분류 정확도를 개선하는 기법을 제안하였다. 두 가지 새로운 방법은 기존 방법과의 비교 실험 결과 차량의 자동 분류 결과를 개선하는데 효과가 있음을 확인하였으며, 열 영상 기반의 차량 분류 기법의 한계를 극복하는데 큰 역할을 했음을 확인하였다.
또한, 공정한 성능 비교를 위해서 지역 특징 중 열 영상에서 성능이 우수한 HOG[8]와 PHOG[9] 를 사용한 결과와 형태 특징 중 성능이 우수한 SC [14]와 TTC[15]를 적용한 방법의 결과를 비교하였다. 따라서, 각 방법은 사용한 특징과 학습에 사용한 종류의 수 및 분류기에 따라 그 성능을 비교 분석 하였으며 이를 구별하기 위해서 HOG-4-SVM(HOG 특징 사용, 4종으로 학습, SVM 이용), PHOG-32- RF(PHOG 특징 사용, 32종으로 학습, RF 이용) 등 으로 구별하여 표기하였다.
학습 방법은 다양한 결과 비교를 위해서 학습 데이터를 4종 류로 나누어 분류하는 방법과 각 자세도 하나의 클래스로 구별하는 32종류로 구별하는 두 가지 방법을 학습에 적용하였으며, 기계학습 방법은 SVM (Support Vector Machine) [16-17] 방법과 RF (Random Forest) [18-19] 방법 두 가지를 적용하 였다. 또한, 공정한 성능 비교를 위해서 지역 특징 중 열 영상에서 성능이 우수한 HOG[8]와 PHOG[9] 를 사용한 결과와 형태 특징 중 성능이 우수한 SC [14]와 TTC[15]를 적용한 방법의 결과를 비교하였다. 따라서, 각 방법은 사용한 특징과 학습에 사용한 종류의 수 및 분류기에 따라 그 성능을 비교 분석 하였으며 이를 구별하기 위해서 HOG-4-SVM(HOG 특징 사용, 4종으로 학습, SVM 이용), PHOG-32- RF(PHOG 특징 사용, 32종으로 학습, RF 이용) 등 으로 구별하여 표기하였다.
만일 영상 분할 결과의 신뢰도 값이 높을 경우 형태 특징에 의한 분류 결과에 가중치를 두어 분류 결과를 융합하고, 반대로 신뢰도 값이 낮을 경우 영상 분할이 잘못되었을 가능성이 있으므로 지역 특징에 의한 분류 결과에 가중치를 두어 분류 결과를 융합한다. 또한, 분류의 정확도를 높이기 위하여 연속 영상을 기반으로 분류 결과를 갱신하는 기법을 제안하였다. 누적된 분류결과를 이용하여 발생 가능성이 낮은 표적의 종류와 자세 결과를 배제하고, 변화 가능성이 높은 종류와 자세로 변화할 수 있도록 함으로써 일시적 으로 오분류 되었을 때 보완 할 수 있는 방안을 제시하였다.
표적 후보 영역에 대한 열 영상과 분할 영상을 기반으로 형태 특징과 지역 특징을 각각 추출한 뒤 영상 분할 신뢰도를 이용하여 형태 특징을 기반으로 분류한 결과와 지역 특징을 활용한 결과를 계층적 분류기로 융합하여 최종 분류 결과를 나타낸다. 만일 영상 분할 결과의 신뢰도 값이 높을 경우 형태 특징에 의한 분류 결과에 가중치를 두어 분류 결과를 융합하고, 반대로 신뢰도 값이 낮을 경우 영상 분할이 잘못되었을 가능성이 있으므로 지역 특징에 의한 분류 결과에 가중치를 두어 분류 결과를 융합한다. 또한, 분류의 정확도를 높이기 위하여 연속 영상을 기반으로 분류 결과를 갱신하는 기법을 제안하였다.
먼저 입력 열 영상 및 분할 영상을 이용하여 형태 특징 벡터와 지역 특징 벡터를 추출한다. 이때 형태 특징은 SC와 TTC를 사용할 수 있으며, 지역 특징은 HOG와 PHOG를 추출 할 수 있다.
이 절에서는 제안하는 형태 특징과 지역 특징의 분류 결과를 융합하는 계층적 분류기에 대해 설명 한다. 먼저, 연속되는 열 영상에서 기존의 배경 모델링 기법[4]을 이용하여 표적의 위치를 자동으로 탐지하고, 표적 영역을 자동으로 분할한다. 자동으 로 분할된 표적의 분할 신뢰도(R_seg ,0 ≤ R_seg ≤ 1)는 밝기 분포와 경계 에너지를 분석하는 기법[20]을 활용하여 계산하였다.
본 논문에서 제안하는 차량표적 분류 기법의 분류 정확도 개선 효과를 검증하기 위해서 다양한 자세의 실 표적이 존재하는 열 영상 시퀀스를 이용하여 분류 정확도 실험을 수행하였다. 실험에 사용한 표적은 총 4종(전차, 장갑차, 군용트럭, 상용차)이 며 각각 8방향(0°, 45°, 90°, 135°, 180°, 225°, 270°, 315°)의 자세 영상을 활용하였다.
실험에 사용한 표적은 총 4종(전차, 장갑차, 군용트럭, 상용차)이 며 각각 8방향(0°, 45°, 90°, 135°, 180°, 225°, 270°, 315°)의 자세 영상을 활용하였다. 시계방향 및 반 시계방향으로 회전하는 영상 시퀀스 8종을 이용하여 총 20,000 frames 이상의 영상을 활용하여 성능 을 분석하였다.
각 클래스 내에는 8가지 차량 표적의 자세에 따른 학습 결과를 가지고 있으며, 종류가 결정되면 종류에 맞는 학습 모델을 선택하여 자세 분류를 진행하게 된다. 자세 분류는 표적 종류 분류와 유사한 결과 융합 기법을 적용하였으며(그림 4), 영상 분할 결과를 이용하여 수식 (3), (4)를 기반으로 분류 결과를 최종 적으로 결정하였다. 여기서 j는 8가지 자세의 종류 를 나타낸다(j=0,1,2,.
본 논문에서는 열 영상 시퀀스를 이용하여 표적 차량의 종류와 자세를 자동으로 분류하는 새로운 기법을 제안하였다. 제안하는 기법은 형태 특징과 지역 특징의 장점을 결합하기 위한 영상 분할 신뢰도 기반의 계층적 분류기법을 사용하였으며, 연속 영상의 특징에 적합한 결과 갱신 기법을 적용하여 정확도를 개선하고자 하였다. 본 논문의 제안 방법은 군용 표적이 있는 실 영상 20,000장 이상의 영상 을 이용하여 그 성능을 확인하였으며, 성능이 우수한 지역특징과 형태특징을 사용하는 방법 대비 종 류 및 자세 방법에서 정확도를 크게 개선 할 수 있음을 확인하였다.
제안하는 방법과 비교 대상 방법은 모두 동일한 학습 데이터와 테스트 영상을 활용하여 표적 분류 정확도 시험을 수행하였다. 먼저, 표적의 종류를 정확하게 분류하는 가를 분석하였으며, 분석 결과는 다음의 표 3과 같다.
표적의 종류는 한 영상 시퀀스에서 급격하게 변화하지 않을 가능성이 크기 때문에 본 연구에서는 표적의 종류를 markov chain을 기반으로 변동된 값을 반영하도록 제안하였다. 즉, 표적의 종류는 아래 그림과 같이 총 5회 의 연속된 분류 결과 중 4회 이상 같은 종류로 분류하는 경우에만 최종 분류 결과를 출력 가능하도록 제한하였으며, 각 클래스가 바뀌기 위해서는 2회 이상 오분류가 연속으로 나타나는 경우에만 클래스를 변경 할 수 있도록 하였다. 또한, 단일 영상의 분류 결과가 임시(Tentative Class), 예약(Reserved Class), 확정(Confirmed Class) 및 기억(Memory Class)의 주기를 거칠 수 있도록 함으로써, 더욱 신뢰성 높은 결과를 제시할 수 있다.
본 논문에서는 열 영상을 기반으로 물체 인식하는 기법의 한계점을 극복하고자 다음의 두 가지 새로운 방법을 제안하였다. 첫째, 영상 분할 결과의 신뢰도 추출 결과를 기반으로 형태 특징과 지역 특징의 분류 결과를 융합하여 사용하는 새로운 계층적 분류기법을 제안하였다. 둘째, 비디오 영상 기반의 연속된 분류 결과를 이용하여 차량의 분류 결과와 자세 정보를 갱신하여 분류 정확도를 개선하는 기법을 제안하였다.
)를 추출한다[20]. 표적 후보 영역에 대한 열 영상과 분할 영상을 기반으로 형태 특징과 지역 특징을 각각 추출한 뒤 영상 분할 신뢰도를 이용하여 형태 특징을 기반으로 분류한 결과와 지역 특징을 활용한 결과를 계층적 분류기로 융합하여 최종 분류 결과를 나타낸다. 만일 영상 분할 결과의 신뢰도 값이 높을 경우 형태 특징에 의한 분류 결과에 가중치를 두어 분류 결과를 융합하고, 반대로 신뢰도 값이 낮을 경우 영상 분할이 잘못되었을 가능성이 있으므로 지역 특징에 의한 분류 결과에 가중치를 두어 분류 결과를 융합한다.
계층적 분류기의 결과 값은 종류(Class)값과 자세(Pose)로 받게 되며, 이때 분류 확률 값은 Class Confidence(C)값으로 받는다. 표적의 종류는 한 영상 시퀀스에서 급격하게 변화하지 않을 가능성이 크기 때문에 본 연구에서는 표적의 종류를 markov chain을 기반으로 변동된 값을 반영하도록 제안하였다. 즉, 표적의 종류는 아래 그림과 같이 총 5회 의 연속된 분류 결과 중 4회 이상 같은 종류로 분류하는 경우에만 최종 분류 결과를 출력 가능하도록 제한하였으며, 각 클래스가 바뀌기 위해서는 2회 이상 오분류가 연속으로 나타나는 경우에만 클래스를 변경 할 수 있도록 하였다.

대상 데이터

실험에 사용한 표적은 총 4종(전차, 장갑차, 군용트럭, 상용차)이 며 각각 8방향(0°, 45°, 90°, 135°, 180°, 225°, 270°, 315°)의 자세 영상을 활용하였다.
성능 분석을 하기 위해서 기계학습에 사용된 영상의 조건은 다음의 표와 같다. 입력 영상은 4종의 차량 표적이며, 모든 영상은 중적외선 영상이다. 학습을 위한 데이터는 표적 인근 200×100 pixel을 사용하였다.
표적 분류 정확도 실험에 test sequences로 사용된 영상 시퀀스는 모두 8종류 이며, 각 종류별로 2종류의 영상(시계방향 회전(CW: Clockwise), 반 시계방향 회전(CCW: Counter Clockwise))이 사용되었다. 각 영상 시퀀스의 예를 그림 9, 10에 나타내었다.
학습을 위한 데이터는 표적 인근 200×100 pixel을 사용하였다. 학습에는 표적 종류 4종에 8자세를 고려하여 각 자세별 100장씩을 사용하였다. 학습 방법은 다양한 결과 비교를 위해서 학습 데이터를 4종 류로 나누어 분류하는 방법과 각 자세도 하나의 클래스로 구별하는 32종류로 구별하는 두 가지 방법을 학습에 적용하였으며, 기계학습 방법은 SVM (Support Vector Machine) [16-17] 방법과 RF (Random Forest) [18-19] 방법 두 가지를 적용하 였다.
학습을 위한 데이터는 표적 인근 200×100 pixel을 사용하였다.

이론/모형

이 때, 영상 시퀀스 내에서 서로 다른 종류로 임의로 변화가 가능한 표적 종류와 달리 동일 클래스 내에서 표적의 자세는 인접 자세로의 변화만 가능함을 알 수 있다. 따라서, 시간에 따라서 변화 가능한 자세의 가능성을 높게 예측하여 연속된 자세 분류 결과 중 오류 가능성이 큰 자세값이 결과로 제시될 경우 갱신 단계에서 배제하는 방법을 적용할 수 있는 MRF(Markov Random Field) [21] 기법을 적용하였다. 표적의 연속되는 sequence를 V라 하면 V는 다음의 수식 (7)로 나타낼 수 있다.
자동으 로 분할된 표적의 분할 신뢰도(Rseg ,0 ≤ Rseg ≤ 1)는 밝기 분포와 경계 에너지를 분석하는 기법[20]을 활용하여 계산하였다.
학습에는 표적 종류 4종에 8자세를 고려하여 각 자세별 100장씩을 사용하였다. 학습 방법은 다양한 결과 비교를 위해서 학습 데이터를 4종 류로 나누어 분류하는 방법과 각 자세도 하나의 클래스로 구별하는 32종류로 구별하는 두 가지 방법을 학습에 적용하였으며, 기계학습 방법은 SVM (Support Vector Machine) [16-17] 방법과 RF (Random Forest) [18-19] 방법 두 가지를 적용하 였다. 또한, 공정한 성능 비교를 위해서 지역 특징 중 열 영상에서 성능이 우수한 HOG[8]와 PHOG[9] 를 사용한 결과와 형태 특징 중 성능이 우수한 SC [14]와 TTC[15]를 적용한 방법의 결과를 비교하였다.
자동으 로 분할된 표적의 분할 신뢰도(R_seg ,0 ≤ R_seg ≤ 1)는 밝기 분포와 경계 에너지를 분석하는 기법[20]을 활용하여 계산하였다. 형태 특징으로는 형태가 정확하게 나타나는 영상 분할 결과가 있을 때 성능이 매우 우수한 SC(Shape Context)[14]와 TTC(Target Trait Context)[15]를 이용하였으며, 지역 특징으로는 열 영상에서 지역적 특성을 잘 나타내는 HOG (Histograms of Orientation Gradients)[8]와 PHOG (Pyramid HOG)[9]의 기법을 활용하였다. 제안하는 계층적 차량 표적 분류 방법은 다음의 그림 2와 같다.

성능/효과

둘째, 비디오 영상 기반의 연속된 분류 결과를 이용하여 차량의 분류 결과와 자세 정보를 갱신하여 분류 정확도를 개선하는 기법을 제안하였다. 두 가지 새로운 방법은 기존 방법과의 비교 실험 결과 차량의 자동 분류 결과를 개선하는데 효과가 있음을 확인하였으며, 열 영상 기반의 차량 분류 기법의 한계를 극복하는데 큰 역할을 했음을 확인하였다. 본 논문의 구성은 다음과 같다.
즉, 표적의 종류는 아래 그림과 같이 총 5회 의 연속된 분류 결과 중 4회 이상 같은 종류로 분류하는 경우에만 최종 분류 결과를 출력 가능하도록 제한하였으며, 각 클래스가 바뀌기 위해서는 2회 이상 오분류가 연속으로 나타나는 경우에만 클래스를 변경 할 수 있도록 하였다. 또한, 단일 영상의 분류 결과가 임시(Tentative Class), 예약(Reserved Class), 확정(Confirmed Class) 및 기억(Memory Class)의 주기를 거칠 수 있도록 함으로써, 더욱 신뢰성 높은 결과를 제시할 수 있다.
만일 형태 특징과 지역 특징 다수를 사용하여 제안하는 방법을 구성 할 때는 각 특징에서 나온 분류 확률을 기반으로 일반화된 결과 융합 방법을 적용 할 수 있다. 이때, 결과 융합은 다음의 수식 (5), (6) 을 이용할 수 있고, 사용된 symbol은 표 1과 같다.
제안하는 기법은 형태 특징과 지역 특징의 장점을 결합하기 위한 영상 분할 신뢰도 기반의 계층적 분류기법을 사용하였으며, 연속 영상의 특징에 적합한 결과 갱신 기법을 적용하여 정확도를 개선하고자 하였다. 본 논문의 제안 방법은 군용 표적이 있는 실 영상 20,000장 이상의 영상 을 이용하여 그 성능을 확인하였으며, 성능이 우수한 지역특징과 형태특징을 사용하는 방법 대비 종 류 및 자세 방법에서 정확도를 크게 개선 할 수 있음을 확인하였다. 본 논문의 제안 방법은 추후 다 양한 종류의 열 영상을 추가 확보하여 그 분류 성능을 지속적으로 검증하고 보완해 나갈 예정이다.
표적 종류 분류 실험 결과 제안하는 방법(Proposed-4-SVM, Proposed-32-RF)이 기존의 방법들 대비 성능이 확연히 개선되었음을 확인하였다. 실제 표적에 대한 영상 분할 결과에 따라 특정 시퀀스는 지역특징이 다른 영상시퀀스는 형태 특징의 결과가 우수한 것을 확인 할 수 있으나, 제안하는 방법은 두 가지 방법의 장점을 계층적 분류기와 결과 갱신 방법을 통해서 융합하고 있음을 확인 할 수 있었다.
누적된 분류결과를 이용하여 발생 가능성이 낮은 표적의 종류와 자세 결과를 배제하고, 변화 가능성이 높은 종류와 자세로 변화할 수 있도록 함으로써 일시적 으로 오분류 되었을 때 보완 할 수 있는 방안을 제시하였다. 이와 같이 형태 특징과 지역 특징을 모두 사용 할 수 있는 계층적 분류기를 적용하고, 분류 결과를 시간에 따라 누적하여 갱신하는 기법을 적용함으로써, 열 영상 기반의 차량 표적 분류 결과의 정확도를 개선 할 수 있었다.
만일 표적이 확정 혹은 기억 클래스인 경우 표적의 종류가 최종 결과로 출력되며, 자세는 갱신된 자세를 출력하게 된다. 제안 방법은 위에서 논의된 바와 같이 표적의 종류와 자세를 단일 영상에서 그 결과를 나타내지 않고, 연속 영상 기반으로 결과값을 갱신 처리함으로써, 일시적인 표적 종류의 오분류 및 자세 추정 오차를 최소화 할 수 있었으며, 다음 장에서 실제 영상 기반의 실험 결과를 통해서 개선 효과를 확인 할 수 있었다.
제안하는 방법(Proposed-32-RF)의 경우 65% 이상의 정확도를 기록함을 확인 할 수 있었으며, 이는 지역 특징과 형태 특징을 이용하는 기법의 단점이 보완 되었으며, 제안하는 결과 갱신 기법으로 자세를 추정할 때 더 정확도 높은 결과를 추정 할 수 있음을 확인할 수 있었다.
제안하는 방법(Proposed-32-RF)의 경우 65% 이상의 정확도를 기록함을 확인 할 수 있었으며, 이는 지역 특징과 형태 특징을 이용하는 기법의 단점이 보완 되었으며, 제안하는 결과 갱신 기법으로 자세를 추정할 때 더 정확도 높은 결과를 추정 할 수 있음을 확인할 수 있었다. 즉, 비교적 분명한 4종류의 표적을 분류하는 경우 보다 훨씬 유사성이 높은 종류 및 자세를 분류하는 경우 제안하는 방법으로 최적의 성능을 이끌어 냄으로써 분류 결과를 65% 이상으로 개선해 낼 수 있었음을 확인 할 수 있다.
다음으로 표적의 종류 및 자세를 정확하게 분류하는 가를 분석하였으며, 분석 결과는 다음의 표 4와 같다. 표적 종류 및 자세 분류 실험 결과는 종류만 구별하는 경우보다 제안하는 방법의 장점이 더 많이 나타났음을 알 수 있다. 제안하는 방법(Proposed-32-RF)의 경우 65% 이상의 정확도를 기록함을 확인 할 수 있었으며, 이는 지역 특징과 형태 특징을 이용하는 기법의 단점이 보완 되었으며, 제안하는 결과 갱신 기법으로 자세를 추정할 때 더 정확도 높은 결과를 추정 할 수 있음을 확인할 수 있었다.
먼저, 표적의 종류를 정확하게 분류하는 가를 분석하였으며, 분석 결과는 다음의 표 3과 같다. 표적 종류 분류 실험 결과 제안하는 방법(Proposed-4-SVM, Proposed-32-RF)이 기존의 방법들 대비 성능이 확연히 개선되었음을 확인하였다. 실제 표적에 대한 영상 분할 결과에 따라 특정 시퀀스는 지역특징이 다른 영상시퀀스는 형태 특징의 결과가 우수한 것을 확인 할 수 있으나, 제안하는 방법은 두 가지 방법의 장점을 계층적 분류기와 결과 갱신 방법을 통해서 융합하고 있음을 확인 할 수 있었다.

후속연구

본 논문의 제안 방법은 군용 표적이 있는 실 영상 20,000장 이상의 영상 을 이용하여 그 성능을 확인하였으며, 성능이 우수한 지역특징과 형태특징을 사용하는 방법 대비 종 류 및 자세 방법에서 정확도를 크게 개선 할 수 있음을 확인하였다. 본 논문의 제안 방법은 추후 다 양한 종류의 열 영상을 추가 확보하여 그 분류 성능을 지속적으로 검증하고 보완해 나갈 예정이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	열 영상의 단점은 무엇인가?	열 영상은 온도에 따라 방출하는 에너지의 차이를 나타낸 영상이다. 주야간 사용이 가능하기 때문에 군사적인 용도로 많이 활용되고 있으나, 열 영상은 물체의 경계가 불명확하고 흐릿하게 표현되는 경우가 많으며 화염 등의 열기로 인해 경계부분이 변질되는 단점이 있다. 따라서, 열 영상을 이용하여 표적의 종류를 분류할 때 정확하게 분할된 경계선을 이용할 경우 효과적으로 분류 할 수 있지만, 물체의 경계가 잘못 추출되는 경우 분류의 정확도가 크게 감소한다.
	경계부분이 변질되는 단점을 극복하기 위한 방법은?	따라서, 열 영상을 이용하여 표적의 종류를 분류할 때 정확하게 분할된 경계선을 이용할 경우 효과적으로 분류 할 수 있지만, 물체의 경계가 잘못 추출되는 경우 분류의 정확도가 크게 감소한다. 본 논문에서는 이러한 단점을 극복하기 위해서 표적 영상의 분할 신뢰도에 따라 형태특징과 지역특징의 분류결과를 융합하는 계층적 분류기법을 제안하였으며, 연속 영상 기반으로 분류 결과를 갱신하는 기법을 새롭게 제안하여 차량 표적 분류 정확도를 개선하였다. 제안하는 방법은 실제 군용 표적 4종(전차, 장갑차, 상용차, 군용트럭)이 있는 다양한 자세의 열 영상 20,000장 이상을 이용하여 성능을 검증하였으며, 우수한 성능의 기존 방법 대비 정확도 개선에 효과가 있음을 확인하였다.
	열 영상은 무엇인가?	열 영상은 온도에 따라 방출하는 에너지의 차이를 나타낸 영상이다. 주야간 사용이 가능하기 때문에 군사적인 용도로 많이 활용되고 있으나, 열 영상은 물체의 경계가 불명확하고 흐릿하게 표현되는 경우가 많으며 화염 등의 열기로 인해 경계부분이 변질되는 단점이 있다.

참고문헌 (21)

N. Goyette, P.-M. Jodoin, F. Porikli, J. Konrad, and P. Ishwar, "A Novel Video Dataset for Change Detection Benchmarking," IEEE Trans. on Image Process., Nol.23, No.11, pp.4663-4679, 2014. DOI: 10.1109/TIP.2014.2346013

상세보기
Y. Benezeth, P.-M. Jodoin, B. Emile, H. Laurent, and C. Rosenberger, "Comparative study of background subtraction algorithms," J. Electron. Imag., Vol.19, No.3. 2010. DOI: 10.1117/1.3456695
M. S. Allili, N. Bouguila, and D. Ziou, "Finite general Gaussian mixture modeling and application to image and video foreground segmentation," J. Electron. Imag., Vol.17, No.1, 2008. DOI: 10.1109/CRV.2007.33
O. Barnich, and M. V. Droogenbroeck, "ViBe: A Universal Background Subtraction Algorithm for Video Sequences," IEEE Trans. Image Process., Vol.20, No.6, pp.1709-1724, 2011. DOI: 10.1109/TIP.2010.2101613

상세보기
M. V. Droogenbroeck and O. Paquot, "Background Subtraction: Experiments and Improvements for ViBe," in Proc. IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit. Workshops (CVPRW), pp.32-37, 2012. DOI: 10.1109/CVPRW.2012.6238924
D. G. Lowe, "Distinctive image features from scale-invariant keypoints," Int. J. Comput. Vis., Vol.60, pp.91-110, 2004. DOI: 10.1023/B:VISI.0000029664.99615.94

상세보기
H. Bay, T. Tuytelaars, and L. V. Gool, "SURF: Speeded Up Robust Features," in Proc. Eur. Conf. Comput. Vis., pp.404-417, 2006. DOI: 10.1007/11744023_32
N. Dalal, and B. Triggs, "Histograms of Oriented Gradients for Human Detection," in Proc. IEEE Int. Conf. Comput. Vis. Pattern Recognit., vol.1, pp.886-893, 2005. DOI: 10.1109/CVPR.2005.177
A. Bosch, A. Zisserman, and X. Munoz, "Representing shape with a spatial pyramid kernel," in Proc. of the 6th ACM Int. Conf. on Image and Video Retrieval, pp.401-408, 2007. DOI: 10.1145/1282280.1282340
P. F. Felzenszwalb, R. B. Girshick, D. McAllester, and D. Ramanan, "Object Detection with Discriminatively Trained Part-Based Models," IEEE Trans. Pattern Anal. Mach. Intell., Vol.32, No.9, pp.1627-1645, 2010. DOI: 10.1109/TPAMI.2009.167

상세보기
A. Oliva, and A. Torralba, "Building the gist of a scene: the role of global image features in recognition," Progress in Brain Research, vol.155, pp.23-36, 2006. DOI: 10.1.1.304.2750
H. Riemenschneider, M. Donoser, and H. Bischof, "Using Partial Edge Contour Matches for Efficient Object Category Localization," in Proc. Eur. Conf. Comput. Vis., pp.29-42, 2010. DOI: 10.1007/978-3-642-15555-0_3
Y. Mingqiang, K. Kidiyo, and R. Joseph, "A survey of shape feature extraction techniques," Pattern Recognit., pp.43-90, 2008. DOI: 10.5772/6237
S. Belongie, J. Malik, and J. Puzicha, "Shape Matching and Object Recognition Using Shape Contexts," IEEE Trans. Pattern Anal. Mach. Intell., Vol.24, No.24, pp.509-522, 2002. DOI: 10.1109/34.993558

상세보기
D. W. Yang, H. W. Park, "A New Shape Feature for Vehicle Classification in Thermal Video Sequences," IEEE Trans. Circuits Syst. Video Technol., Vol.26, No.7, pp.1363-1375, 2016. DOI: 10.1109/TCSVT.2015.2452780

상세보기
C. C. Chang, and C. J. Lin, "LIBSVM: A Library for Support Vector Machines," http://www.csie.ntu.edu.tw/-cjlin/papers/libsvm.pdf, 2012.
B. Waske, and J. A. Benediktsson, "Fusion of Support Vector Machines for Classification of Multisensor Data," IEEE Trans. Geosci. Remote Sens., Vol.45, No.12, pp.3858-3866, 2007. DOI: 10.1109/TGRS.2007.898446

상세보기
L. Breiman, "Random Forests," Machine Learning, Vol.45, pp.5-32, 2001. DOI: 10.1023/A:1010933404324
B. C. Ko, D-Y. Kim, J-H. Jung, and J-Y. Nam, "Three-level cascade of random forests for rapid human detection," Optical Engineering, Vol.52, No.2, pp.027204(1-9), 2013. DOI: 10.1117/1.OE.52.2.027204

상세보기
D. W. Yang, Y. Lee, D. Kwak, "A Study on Vehicle Target Classification Method Using Both Shape and Local Features with Segmentation Reliability," Journal of KIMST (Korea Institute of Military Science and Technology), Vol.20, No.1, pp.40-47, 2017. DOI: 10.9766/KIMST.2017.20.1.040
M. Hodlmoser, B. Micusik, M.-Y. Liu, M. Pollefeys, M. Kampel, "Classification and Pose Estimation of Vehicles in Videos by 3D Modeling within Discrete-Continuous Optimization," 3DIMPVT (3D Imaging, Modeling, Processing, Visualization and Transmission), 2012. DOI: 10.1109/3DIMPVT.2012.23

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증