[논문]LSTM 신경망과 Du-CNN을 융합한 적외선 방사특성 예측 및 표적과 클러터 구분을 위한 CR-DuNN 알고리듬 연구

이주영

doi:10.5370/kiee.2019.68.1.153

LSTM 신경망과 Du-CNN을 융합한 적외선 방사특성 예측 및 표적과 클러터 구분을 위한 CR-DuNN 알고리듬 연구
A Study of CR-DuNN based on the LSTM and Du-CNN to Predict Infrared Target Feature and Classify Targets from the Clutters 원문보기

전기학회논문지 = The Transactions of the Korean Institute of Electrical Engineers, v.68 no.1, 2019년, pp.153 - 158

Abstract ▼ AI-Helper

In this paper, we analyze the infrared feature for the small coast targets according to the surrounding environment for autonomous flight device equipped with an infrared imaging sensor and we propose Cross Duality of Neural Network (CR-DuNN) method which can classify the target and clutter in coastal environment. In coastal environment, there are various property according to diverse change of air temperature, sea temperature, deferent seasons. And small coast target have various infrared feature according to diverse change of environment. In this various environment, it is very important thing that we analyze and classify targets from the clutters to improve target detection accuracy. Thus, we propose infrared feature learning algorithm through LSTM neural network and also propose CR-DuNN algorithm that integrate LSTM prediction network with Du-CNN classification network to classify targets from the clutters.

주제어

표/그림 (10)

그림 그림 1 하절기 해상 소형표적의 적외선 방사특징 Fig. 1 Infrared features of small coast targets in summer season
그림 그림 2 동절기 해상 소형표적의 적외선 방사특징 Fig. 2 Infrared features of small coast targets in winter season
그림 그림 3 봄가을 해상 소형표적의 적외선 방사특징 Fig. 3 Infrared features of small coast targets in spring/fall season
그림 그림 4 1년간 해상 소형표적의 적외선 방사특징 Fig. 4 Infrared features of small coast targets in four season
그림 그림 5 계절별 해상 소형표적의 신호세기 Fig. 5 Infrared signal intensity of small coast target by seasons
그림 그림 6 계절별 해상 배경의 신호세기 Fig. 6 Infrared signal intensity of sea background by seasons
그림 그림 7 적외선 방사특징 예측시스템 LSTM 모델 구조 Fig. 7 LSTM model structure of infrared feature prediction system
그림 그림 8 적외선 방사특징 예측시스템 손실함수/정확도 Fig. 8 loss-function / accuracy of infrared feature prediction system
그림 그림 9 CR-DuNN 알고리듬 구조 Fig. 9 Algorithm structure of CR-DuNN
표 표 1 표적과 클러터 구분 결과 비교 Table 1 Comparison result of classification

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이러한 방법들은 연산량의 증가를 최소화하면서도 정확도를 높일 수는 있지만, 표적과 배경의 신호세기차를 분석하는 연산이나 정찰용 드론을 별도로 제작해서 표적특성 분석에 이용하는 등의 표적정보제공을 위한 추가적인 연산 또는 시스템이 필요하다. 그러므로 본 논문에서는 이러한 추가적인 사항들이 필요 없는 LSTM 신경망[8] 학습을 이용한 표적특성 예측방법을 제안하고, 인간의 다중인격 활용방법 기반의 Du-CNN 이미지인식 알고리듬을 융합함으로써 해상 소형표적의 표적과 클러터를 구분하는 새로운 방법을 제안한다.
본 논문에서는 계절에 따른 해상 소형표적의 적외선 방사 특징을 분석하고, 분석결과를 바탕으로 인공지능 신경망으로 적외선 방사특징을 학습하고, 표적과 클러터를 구분하는 방법에 기계적 다중인격을 도입한 인공지능 신경망과 융합하여 성능을 개선한 내용에 대해 실험을 통해 제시한다.
해상 소형표적의 적외선 방사특징은 1년간 계절변화와 진입 방향, 진입각도, 수온, 기온, 표적과의 거리 등의 변수에 의해 신호세기의 차이가 다양하게 나타난다는 것을 2장을 통해서 확인할수 있었다. 본 장에서는 이러한 5가지 변수에 따른 해상 소형표적과 해수면의 신호세기 차이를 학습하고, 학습모델을 바탕으로 현재 주어진 환경에서 해상 소형표적과 해수면의 신호세기 차이가 얼마나 있을지 방사특징을 예측하는 시스템을 제안하고, 학습 결과 그래프를 통해 가능성을 보인다.

제안 방법

본 논문에서 제안된 CR-DuNN 구조는 주변 환경에 따라 표적의 적외선 방사특징을 예측하는 LSTM 인공지능 신경망과 CNN 앙상블 방법의 일종이라 할 수 있는 Du-CNN 알고리듬을 융합한 새로운 방법으로써, 표적과 클러터를 구분하는 주제에 적용했을 때 성능을 높일 수 있다는 것을 실험을 통해 확인하였다.계절에 따른 해상 소형표적의 적외선 방사 특징을 분석하고, 분석결과를 바탕으로 LSTM 인공지능 신경망 학습모델을 설계하여 주변 환경에 따른 표적특성을 사전에 예측하도록 하였으며, 그결과를 바탕으로 표적분류를 위한 CNN 신경망을 이용하도록 구성하였다.
이동표 적을 탐지하는 데 SSIM을 이용한 방법[11]을 응용해서, 주변대비 유사도가 낮은 영역은 전부 표적후보로 올리도록 했는데, 이렇게 하면 표적으로 분류될 수 있는 가능성이 존재하는 영역들은 하나도 빠짐없이 표적후보로 올라오게 된다. 그리고 적외선 방사 특징 level이 8에서 16 사이면 표적탐지 알고리듬을 통해 후보로 포착한 표적에 대해 Du-CNN의 Simple Machinality를 이용해서 표적분류를 수행한다. 이 경우는 하절기에 발생빈도가 높다.
다양한 해상환경과 표적거리를 나타내는 5,120개의 데이터를 정리해서 학습을 위한 데이터로 사용하였으며, 가중치 및 바이어스의 최적화를 위해 같은 학습을 40,000번 반복했다. 그리고 행렬백터 연산을 간략화하기 위해, 5,120개의 배치리스트를 동시에 계산했다. 학습결과에 대한 손실함수와 정확도 그래프는 그림 8과 같다.
학습을 진행하는 학습모델의 구조는 그림 7과 같이 LSTM (Long Short Term Memory) 순환신경망을 이용해서 학습했다. 기온, 수온, 진입각도, 진입방향, 표적과의 거리를 5가지 변수의 시계열 데이터로 배치해서 LSTM 순환신경망을 통과시키고, 해상 소형표적의 적외선 방사특징에 해당하는 예측수치는 소프트맥스 활성화함수를 이용해서 16가지 level로 예측하도록 했다.
이 경우는 하절기에 발생빈도가 높다. 또한 적외선 방사특징 level이 1에서 4 사이일 때는 표적탐지 알고리 듬을 통해 후보로 포착한 표적에 대해 Du-CNN의 Complex Machinality를 이용해서 표적분류를 수행한다. 이 경우는 동절기에 발생빈도가 높고, 봄가을에도 드물게 발생한다.
또한 계절별로 위의 변수들이 어떠한 특징을 나타 내는지 분석하는 것은, 주변 환경들에 의해 해상 소형표적의 적외선 방사특징이 어떠한 특징을 나타내는지 예측하는 데 좋은 참고자료가 될 수 있다. 본 장에서는 계절을 하절기, 동절기, 봄가을 3가지 부분으로 나누고 적외선 방사특징을 분석한 후, 1년간의 계절변화에 따른 해상 소형표적의 적외선 방사특징을 분석한 결과를 제시하고 표적과 배경의 신호세기를 계절별로 비교해서 나타낸다. 표적과의 거리는 센서가 표적영상 획득을 위해 진입하는 원거리 시점의 방사특징을 분석하겠다.
Du-CNN은 Duality of CNN의 약어로써, 표적과 클러터의 구분이라는 같은 주제에 대해서 서로 다른 label 수로 학습된 CNN 구조를 각각 다르게 학습된 기계의 다중인격이라고 보고, 경우에 따라 어떤 machinality의 판단을 이용하는지를 서로 다르게 하는 방법이다[5]. 이 방법에서는 서로 다른 machinality의 장점을 최대한 이용하기 위해 별도의 탐지 알고리듬을 통해 후보로 포착한 표적이 역상일 때는 다양하게 생각하는 complex machinality가 판단한 결과를 이용하고, 표적이 백상일 때는 단순하게 생각하는 simple machinality가 판단한 결과를 이용한다. 이 방법을 이용 하면 실시간으로 동작하는 소형 센서 processor 연산량의 증가를 최소화하고 정확도를 높이는 것이 가능하지만, 표적분류에 해당 하는 본 연산에 들어가기 위한 전처리로 포착한 표적이 역상인지 백상인지 판단하는 연산이 필요하기 때문에 불필요한 추가 연산이 발생하고, 온도차가 크지 않은 환경에서는 표적을 클러터로 인식하는 miss alarm이 크게 발생하는 단점이 있다.
이렇게 표적특성을 사전에 예측하는 LSTM 순환신경망과 다중 “machinality”로 이루어진 CNN 구조인 “Du-CNN”을 융합한 인공지능 알고리듬을 “CRoss Duality of Neural Network”, 줄여서 “CR-DuNN”이라 하겠다.
주변 환경에 따른 표적의 적외선 방사특징을 예측하는 LSTM 신경망은 3장에서 제안한 구조와 동일하게 기온, 수온, 진입각도, 진입방향, 표적과의 거리 정보를 입력으로 받아서 16가지 level로 예측을 한다. 그 다음은 표적을 탐지하는 단계인데, 표적탐지 알고리듬은 영상품질을 평가하는 알고리듬 중 하나인 SSIM (Structural Similarity Index Measure)을 이용한다[10].
본 장에서는 계절을 하절기, 동절기, 봄가을 3가지 부분으로 나누고 적외선 방사특징을 분석한 후, 1년간의 계절변화에 따른 해상 소형표적의 적외선 방사특징을 분석한 결과를 제시하고 표적과 배경의 신호세기를 계절별로 비교해서 나타낸다. 표적과의 거리는 센서가 표적영상 획득을 위해 진입하는 원거리 시점의 방사특징을 분석하겠다.
학습을 진행하는 학습모델의 구조는 그림 7과 같이 LSTM (Long Short Term Memory) 순환신경망을 이용해서 학습했다. 기온, 수온, 진입각도, 진입방향, 표적과의 거리를 5가지 변수의 시계열 데이터로 배치해서 LSTM 순환신경망을 통과시키고, 해상 소형표적의 적외선 방사특징에 해당하는 예측수치는 소프트맥스 활성화함수를 이용해서 16가지 level로 예측하도록 했다.

대상 데이터

다양한 해상환경과 표적거리를 나타내는 5,120개의 데이터를 정리해서 학습을 위한 데이터로 사용하였으며, 가중치 및 바이어스의 최적화를 위해 같은 학습을 40,000번 반복했다. 그리고 행렬백터 연산을 간략화하기 위해, 5,120개의 배치리스트를 동시에 계산했다.

이론/모형

주변 환경에 따른 표적의 적외선 방사특징을 예측하는 LSTM 신경망은 3장에서 제안한 구조와 동일하게 기온, 수온, 진입각도, 진입방향, 표적과의 거리 정보를 입력으로 받아서 16가지 level로 예측을 한다. 그 다음은 표적을 탐지하는 단계인데, 표적탐지 알고리듬은 영상품질을 평가하는 알고리듬 중 하나인 SSIM (Structural Similarity Index Measure)을 이용한다[10]. 이동표 적을 탐지하는 데 SSIM을 이용한 방법[11]을 응용해서, 주변대비 유사도가 낮은 영역은 전부 표적후보로 올리도록 했는데, 이렇게 하면 표적으로 분류될 수 있는 가능성이 존재하는 영역들은 하나도 빠짐없이 표적후보로 올라오게 된다.

성능/효과

3장에서 제안한 LSTM을 이용한 적외선 방사특징 학습모델을 이용하면 표적이 역상인지 백상인지 판단하는 불필요한 추가 연산을 발생하지 않고 표적과 배경의 신호세기 차를 단순하게 역상과 백상이 아니라 16개의 level로 더욱 정밀하게 나누어서 예측하는 것이 가능하다. 또한 온도차가 크지 않은 환경을 미리 예측해서 이러한 상황에서는 표적과 클러터를 분류하는 Du-CNN 알고리듬을 이용하는 것보다 표적탐지 알고리듬이 포착한 표적을 실제표적이라고 고려하고 진행하는 것이 훨씬 유리하기 때문에 상황에 따라 Du-CNN 알고리듬 사용유무도 결정할 수 있다.
67% 낮았다. Du-CNN을 이용 했을 때의 성공률은 약 92.49%로, 기존의 방법들 중에서 가장 높았다. 하지만 제안한 CR-DuNN의 성공률은 약 93.
표적과 클러터를 구분하는 데에 제안한 CR-DuNN 구조를 이용하면, 기존의 단일 machinality의 학습내용을 이용하는 것보다 성능이 좋아지는 것뿐만 아니라, Du-CNN을 이용하는 것보다도 성능이 좋은 것을 알 수 있다. complex machinality만 이용했을 때의 성공률은 약 88.73%로, CR-DuNN보다 약 4.32% 낮았다. simple machinality만 이용했을 때의 성공률은 약 90.
56% 성능이 개선되었다는 것을 알 수 있다. 따라서 제안한 CR-DuNN을 이용하면, 주변 환경에 의한 표적의 적외선 방사특징을 예측해서 추가적인 연산 없이 정확도를 높일수 있다는 것을 확인하였다.
본 논문에서 제안된 CR-DuNN 구조는 주변 환경에 따라 표적의 적외선 방사특징을 예측하는 LSTM 인공지능 신경망과 CNN 앙상블 방법의 일종이라 할 수 있는 Du-CNN 알고리듬을 융합한 새로운 방법으로써, 표적과 클러터를 구분하는 주제에 적용했을 때 성능을 높일 수 있다는 것을 실험을 통해 확인하였다.계절에 따른 해상 소형표적의 적외선 방사 특징을 분석하고, 분석결과를 바탕으로 LSTM 인공지능 신경망 학습모델을 설계하여 주변 환경에 따른 표적특성을 사전에 예측하도록 하였으며, 그결과를 바탕으로 표적분류를 위한 CNN 신경망을 이용하도록 구성하였다.
표적과 클러터를 구분하는 데에 제안한 CR-DuNN 구조를 이용하면, 기존의 단일 machinality의 학습내용을 이용하는 것보다 성능이 좋아지는 것뿐만 아니라, Du-CNN을 이용하는 것보다도 성능이 좋은 것을 알 수 있다. complex machinality만 이용했을 때의 성공률은 약 88.
각각은 summer, spring fall, winter로 그림 5에 표시되어 있다. 하절기, 봄가을, 동절기 순으로 신호세기 크기가 정렬되지만, 동절기의 신호세기가 봄가을 보다 커지는 경우도 있다는 것을 알 수 있다. 그림 6은 해상 배경의 신호세기를 나타낸다.
49%로, 기존의 방법들 중에서 가장 높았다. 하지만 제안한 CR-DuNN의 성공률은 약 93.05%로, Du-CNN보다 약 0.56% 성능이 개선되었다는 것을 알 수 있다. 따라서 제안한 CR-DuNN을 이용하면, 주변 환경에 의한 표적의 적외선 방사특징을 예측해서 추가적인 연산 없이 정확도를 높일수 있다는 것을 확인하였다.

후속연구

해상에 위치한 소형표적은 수온, 기온, 진입방향, 진입각도, 표적과의 거리 등의 변수들에 의해서 다양한 적외선 방사특징을 나타낼 수 있다. 또한 계절별로 위의 변수들이 어떠한 특징을 나타 내는지 분석하는 것은, 주변 환경들에 의해 해상 소형표적의 적외선 방사특징이 어떠한 특징을 나타내는지 예측하는 데 좋은 참고자료가 될 수 있다. 본 장에서는 계절을 하절기, 동절기, 봄가을 3가지 부분으로 나누고 적외선 방사특징을 분석한 후, 1년간의 계절변화에 따른 해상 소형표적의 적외선 방사특징을 분석한 결과를 제시하고 표적과 배경의 신호세기를 계절별로 비교해서 나타낸다.
본 논문에서 제안한 구조를 이용해서 표적특성 예측을 위한 환경변수 학습데이터를 다양하게 확보한 후 더욱 성능을 높일 수있는 딥러닝 학습모델을 적용한다면, 해상 소형표적과 해수면 클러터의 분류 정확도를 더욱 높일 수 있을 것으로 기대한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	해수면에서의 표적탐지 알고리듬에는 무엇이 있는가?	해수면에서의 표적탐지 알고리듬은 기본적으로 표적과 클러터를 분류하기 위한 방법들을 적용하고 있으며, RDL(Robust Dictionary Learning)방법, QFT(Quaternion Fourier Transform)방법 등 관련된 많은 연구가 진행되어 왔다[3][4]. 하지만 이러한 방법들은 표적과 클러터가 기온과 수온의 다양한 변화에 따라 유사한 형태를 띄는 등의 상황에서는 제한적이다.
	Du-CNN은 무엇인가?	Du-CNN은 Duality of CNN의 약어로써, 표적과 클러터의 구분이라는 같은 주제에 대해서 서로 다른 label 수로 학습된 CNN 구조를 각각 다르게 학습된 기계의 다중인격이라고 보고, 경우에 따라 어떤 machinality의 판단을 이용하는지를 서로 다르게 하는 방법이다[5]. 이 방법에서는 서로 다른 machinality의 장점을 최대한 이용하기 위해 별도의 탐지 알고리듬을 통해 후보로 포착한 표적이 역상일 때는 다양하게 생각하는 complex machinality가 판단한 결과를 이용하고, 표적이 백상일 때는 단순하게 생각하는 simple machinality가 판단한 결과를 이용한다.
	기존의 CNN 학습모델들과 비교하여 CRoss Duality of Neural Network의 이점은 무엇인가?	표적과 클러터를 구분하는 데에 제안한 CR-DuNN 구조를 이용하면, 기존의 단일 machinality의 학습내용을 이용하는 것보다 성능이 좋아지는 것뿐만 아니라, Du-CNN을 이용하는 것보다도 성능이 좋은 것을 알 수 있다. complex machinality만 이용했을 때의 성공률은 약 88.73 %로, CR-DuNN보다 약 4.32 % 낮았다. simple machinality만 이용했을 때의 성공률은 약 90.08 %로, CR-DuNN보다 약 2.97 % 낮았다. 또한 기존 연구[9]에 전결합 층을 2개 추가한 CNN신경망을 이용했을 때의 성공률은 약 91.38 %로, CR-DuNN보다 약 1.67 % 낮았다. Du-CNN을 이용 했을 때의 성공률은 약 92.49%로, 기존의 방법들 중에서 가장 높았다. 하지만 제안한 CR-DuNN의 성공률은 약 93.05 %로, Du-CNN보다 약 0.56 % 성능이 개선되었다는 것을 알 수 있다. 따라서 제안한 CR-DuNN을 이용하면, 주변 환경에 의한 표적의 적외선 방사특징을 예측해서 추가적인 연산 없이 정확도를 높일수 있다는 것을 확인하였다.

참고문헌 (11)

Juyoung Lee et al., "An Analysis of Infrared Feature for the Small Coast Targets and applying The Artificial Intelligence Method", KIMST Fall Conference Proceedings, pp. 1201-1202, November. 2018.
Kyung Ha Kim, "A Study on the characteristics of Sunglint in LongWave InfraRed Band", KIMST, Vol. 21, No. 3, pp. 306-314, 2018.
C. Yang, H. Liu, S. Liao and S. Wang, "Small Target Detection in Infrared Video Sequence using Robust Dictionary Learning," Infrared Physics & Technology, Vol. 68, pp. 1-9, 2015.

상세보기
S. Qi, J. ma, H. Li, S. Zhang and J. Tian, "Infrared Small Target Enhancement via Phase Spectrum of Quaternion Fourier Transform," Infrared Physics & Technology, vol. 62, pp. 50-58, 2014.

상세보기
Juyoung Lee et al., "A Design of Du-CNN based on the Hybrid Machine Characters to Classify Target and Clutter in the IR Image", KIMST, Vol. 20, No. 6, pp. 758-766, Dec. 2017.
Juyoung Lee et al., "A study of image classification using HMC method applying CNN ensemble in the infrared image", Journal of Electrical Engineering and Technology, Vol. 13, No. 3, pp. 1377-1382, May. 2018.

원문보기 상세보기
Chunho Kim et al., "A study of operational concept of guided missile by network-based Smart Device target information", KIMST Annual Conference Proceedings, pp. 1480-1481, June. 2017.
Sepp Hochreiter, Jurgen Schmidhuber, "LONG SHORTTERM MEMORY", Neural Computation, 1997.
Odegaard, N., Knapskog, A. O., Cochin, C., Louvigne, J. C. "Classification of ships using real and simulated data in a convolutional neural network", Rader Conference, 2016.
Hore A, Ziou D, "Image quality metrics: PSNR vs SSIM", ICPR 20th, Vol. 1, pp. 2366-2369, 2010.
G. Chen et al, "Region-based moving object detection Using SSIM", ICCSNT 4th, Vol. 1, pp. 1361-1364, IEEE, 2015.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증