무인기 탑재 다중 센서 기반 국지 산불 감시 및 상황 대응 플랫폼 설계 및 구현 Design and Implementation of Local Forest Fire Monitoring and Situational Response Platform Using UAV with Multi-Sensor원문보기
최근의 해마다 발생하는 자연재해를 살펴보면 사망, 실종과 같은 심각한 인명 피해와 더불어 수억 원에 달하는 재산피해가 동반된다. 이를 극복하기 위해 사회적, 경제적 손실을 최소화할 수 있는 ICT 기반의 자연재난 감시 및 대응 기술 개발에 대한 관심도가 높아지고 있다. 제안하는 플랫폼은 무인기에 탑재된 다중 센서 데이터의 실시간 처리 분석을 통해 국지적 산불 재난의 감지 및 상황대응을 지원하고, 통합경보 시스템과 연동하여 대국민 재난 정보 전달 서비스를 제공하는 서비스이다. 본 논문에서는 재난 영상의 획득, 분석, 대응을 수행하는 재난 감시 및 대응 플랫폼의 세부 기능들에 대해서 소개하고, 재난 인지에 핵심요소 기술인 Deep Learning 기반의 산불 영상 분석 기술을 제안한다. 제안하는 Deep Learning 기반 재난 영상 분석은 과거로부터 반복적으로 발생하는 재난이 촬영된 영상 정보를 사전에 미리 학습함으로써, 새롭게 획득한 재난 영상에 대한 재난 발생 여부를 판단한다. 제안하는 산불 영상 분석 알고리즘에 대한 실험 결과를 확인하여 제안하는 기법의 성능을 검증한다.
최근의 해마다 발생하는 자연재해를 살펴보면 사망, 실종과 같은 심각한 인명 피해와 더불어 수억 원에 달하는 재산피해가 동반된다. 이를 극복하기 위해 사회적, 경제적 손실을 최소화할 수 있는 ICT 기반의 자연재난 감시 및 대응 기술 개발에 대한 관심도가 높아지고 있다. 제안하는 플랫폼은 무인기에 탑재된 다중 센서 데이터의 실시간 처리 분석을 통해 국지적 산불 재난의 감지 및 상황대응을 지원하고, 통합경보 시스템과 연동하여 대국민 재난 정보 전달 서비스를 제공하는 서비스이다. 본 논문에서는 재난 영상의 획득, 분석, 대응을 수행하는 재난 감시 및 대응 플랫폼의 세부 기능들에 대해서 소개하고, 재난 인지에 핵심요소 기술인 Deep Learning 기반의 산불 영상 분석 기술을 제안한다. 제안하는 Deep Learning 기반 재난 영상 분석은 과거로부터 반복적으로 발생하는 재난이 촬영된 영상 정보를 사전에 미리 학습함으로써, 새롭게 획득한 재난 영상에 대한 재난 발생 여부를 판단한다. 제안하는 산불 영상 분석 알고리즘에 대한 실험 결과를 확인하여 제안하는 기법의 성능을 검증한다.
Since natural disaster occurs increasingly and becomes complicated, it causes deaths, disappearances, and damage to property. As a result, there is a growing interest in the development of ICT-based natural disaster response technology which can minimize economic and social losses. In this letter, w...
Since natural disaster occurs increasingly and becomes complicated, it causes deaths, disappearances, and damage to property. As a result, there is a growing interest in the development of ICT-based natural disaster response technology which can minimize economic and social losses. In this letter, we introduce the main functions of the forest fire management platform by using images from an UAV. In addition, we propose a disaster image analysis technology based on the deep learning which is a key element technology for disaster detection. The proposed deep learning based disaster image analysis learns repeatedly generated images from the past, then it is possible to detect the disaster situation of forest-fire similar to a person. The validity of the proposed method is verified through the experimental performance of the proposed disaster image analysis technique.
Since natural disaster occurs increasingly and becomes complicated, it causes deaths, disappearances, and damage to property. As a result, there is a growing interest in the development of ICT-based natural disaster response technology which can minimize economic and social losses. In this letter, we introduce the main functions of the forest fire management platform by using images from an UAV. In addition, we propose a disaster image analysis technology based on the deep learning which is a key element technology for disaster detection. The proposed deep learning based disaster image analysis learns repeatedly generated images from the past, then it is possible to detect the disaster situation of forest-fire similar to a person. The validity of the proposed method is verified through the experimental performance of the proposed disaster image analysis technique.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서 제안하는 산불 감시 및 대응 플랫폼은 무인기에 탑재된 센서에서 획득한 가시광 센서의 영상 정보를 활용함으로써, 반복 발생하는 산불 재난의 피해 저감을 위한 영상 분석 기술 개발을 목표로 한다. 제안하는 영상 분석 기술은 최근 학계에서 주목받고 있는 딥러닝 기술을 활용한다[5~13].
본 논문에서는 산불 감지 및 상황 대응 플랫폼의 세부 시스템을 소개하고, 국지적 산불 재난 검출 성능을 검증하기 위해 구현한 H/W 및 S/W의 주요 기능들을 살펴보았다. 또한 산불 감시 플랫폼의 딥러닝 기반 영상분석 알고리즘을 제안하고, 산불 재난 검출에 대한 성능을 제시하였다.
제안하는 영상 분석 기술은 최근 학계에서 주목받고 있는 딥러닝 기술을 활용한다[5~13]. 제안하는 재난 대응 및 경보전달 플랫폼 기술을 통하여 인명과 재산의 피해를 최소화하고 사후 발생하는 2, 3차 피해를 방지하여 재난 복구비용 절감 효과를 얻고자 한다.
제안 방법
이러한 특징점을 인공지능을 통해 검출하기 위해 딥러닝 기반의 분석 알고리즘을 적용 하였고[6,7], 해당 알고리즘은 그림 4와 같이 Deep Convolutional Neural Network으로 구현 하였다. 구현된 알고리즘은 Convolutional Neural Network 에서 Convolutional Layer, Rectified Linear Unit Layer, Pooling Layer를 반복적으로 적용하여 특징점을 검출한다. 또한, Convolutional Neural Network를 구성하는 Weight 변수를 Back-propagation 방식의 최적화를 통해 반복적으로 업데이트함으로써, 특징점을 위한 최적의 Weight 변수를 도출하며, 해당 알고리즘의 자세한 설명은 3절에서 하도록 한다.
항공 영상은 지상에서 획득한 영상에 비해 대기 및 기상 환경의 영향을 받아 영상이 열화 될 가능성이 높다. 따라서 제안하는 플랫폼에서는 전처리 단계로 악천후 영상 개선과 저조도 영상 개선 알고리즘을 수행한다. 악천후 영상개선은 이미지 리샘플링을 통해 전역적인 대기의 빛과 빛의 전달량을 추정하는 방식을 적용하였다.
본 논문에서는 산불 감지 및 상황 대응 플랫폼의 세부 시스템을 소개하고, 국지적 산불 재난 검출 성능을 검증하기 위해 구현한 H/W 및 S/W의 주요 기능들을 살펴보았다. 또한 산불 감시 플랫폼의 딥러닝 기반 영상분석 알고리즘을 제안하고, 산불 재난 검출에 대한 성능을 제시하였다. 제안하는 딥러닝 기반의 산불 영상 분석 알고리즘과 산불 감시 플랫폼을 통하여 산불 감시 및 대응의 자동화, 비용저감, 피해저감 효과를 얻을 수 있다.
구현된 알고리즘은 Convolutional Neural Network 에서 Convolutional Layer, Rectified Linear Unit Layer, Pooling Layer를 반복적으로 적용하여 특징점을 검출한다. 또한, Convolutional Neural Network를 구성하는 Weight 변수를 Back-propagation 방식의 최적화를 통해 반복적으로 업데이트함으로써, 특징점을 위한 최적의 Weight 변수를 도출하며, 해당 알고리즘의 자세한 설명은 3절에서 하도록 한다.
해당 S/W는 산불 발생 현황부터 재난 경보 발생 까지 해당 플랫폼의 모든 과정을 Geographic Information System 기반으로 웹에서 통제 할 수 있다. 또한, 발생한 재난에 대한 적절한 대응 시나리오를 표출 및 제시할 수 있도록 구현 하였다.
무인기 다중 센서 운용부는 그림 2의 왼쪽과 같이 무인기에 가시광센서와 열화상센서를 탑재하여 산불 영상을 획득 하고 전송 할 수 있도록 설계 되었다. 탑재된 다중 센서들은 동기화된 영상 촬영과 송수신을 위해 그림 2의 오른쪽 과 같이 미니컴퓨터에 플러그인 플러그아웃 할 수 있는 시스템으로 구현 하였다.
악천후 영상 개선후 IDCP(Improved Dark Channel Prior)를 이용하여 저조도 영상개선을 수행한다[14,15]. 보정된 영상은 array DBMS를 이용해 저장하여 재난 정보를 효율적으로 관리하며 호출 할 수 있도록 설계 하였다.
본 논문에서는 산불 상황에 대하여 감시, 분석 및 상황 대응을 위해 그림 1과 같이 플랫폼의 전체 프레임 워크를 무인기 기반 다중센서 운용부, 초대용량 재난영상 실시간 처리부, 재난 감지 및 상황 대응부로 구현 하였다. 다중 센서가 탑재된 무인기 기반 다중센서 운용부에서 산불 영상을 획득하고 초대용량 재난영상 실시간 처리부로 전달한다.
제안하는 Convolutional Neural Network 기반의 산불 영상 분석 알고리즘은 그림 6과 과 같이 구현 하였다. 산불 재난 감지를 위한 제안하는 딥러닝 구조는 아래의 그림과 같이 세 개의 Convolutional Layer (CL)와 세 개의 Pooling Layer와 두 개의 Fully Connected Layer로 구성된다. 학습 단계를 거쳐서 완성된 딥러닝 구조는 재난 감지 및 상황 대응부에 적용되어 실시간 산불 감시를 위한 영상 분석을 수행한다.
탑재된 다중 센서들은 동기화된 영상 촬영과 송수신을 위해 그림 2의 오른쪽 과 같이 미니컴퓨터에 플러그인 플러그아웃 할 수 있는 시스템으로 구현 하였다. 센서별 촬영과 데이터 전송을 하나의 보드에서 수행하여 공간과 전력소모를 최소화 하였다. 해당 탑재체에서는 일정 시간 마다 영상을 동시에 촬영하여 JPEG 형식으로 압축 한 뒤에 LTE/WIFI 등의 무선통신을 통해 지상의 영상처리센터로 전송을 한다.
악천후 영상개선은 이미지 리샘플링을 통해 전역적인 대기의 빛과 빛의 전달량을 추정하는 방식을 적용하였다. 악천후 영상 개선후 IDCP(Improved Dark Channel Prior)를 이용하여 저조도 영상개선을 수행한다[14,15]. 보정된 영상은 array DBMS를 이용해 저장하여 재난 정보를 효율적으로 관리하며 호출 할 수 있도록 설계 하였다.
따라서 제안하는 플랫폼에서는 전처리 단계로 악천후 영상 개선과 저조도 영상 개선 알고리즘을 수행한다. 악천후 영상개선은 이미지 리샘플링을 통해 전역적인 대기의 빛과 빛의 전달량을 추정하는 방식을 적용하였다. 악천후 영상 개선후 IDCP(Improved Dark Channel Prior)를 이용하여 저조도 영상개선을 수행한다[14,15].
학습을 위해 사용한 영상들은 화재 학습을 위해 불-(주간,야간), 연기의 이미지들로 구성 되고, 오버피팅 문제[10]를 피하기 위한 비화재 학습 영상은 봄-가을과 여름, 겨울로 구성된다. 이를 클래스로 구분하면 Label-2는 화재, 비화재 2개로 구분되고, Label-6는 불-(주간, 야간), 연기, 봄-가을, 여름, 겨울의 총 6개의 클래스로 구분하여 학습을 진행 하였다.
무인기 다중 센서 운용부는 그림 2의 왼쪽과 같이 무인기에 가시광센서와 열화상센서를 탑재하여 산불 영상을 획득 하고 전송 할 수 있도록 설계 되었다. 탑재된 다중 센서들은 동기화된 영상 촬영과 송수신을 위해 그림 2의 오른쪽 과 같이 미니컴퓨터에 플러그인 플러그아웃 할 수 있는 시스템으로 구현 하였다. 센서별 촬영과 데이터 전송을 하나의 보드에서 수행하여 공간과 전력소모를 최소화 하였다.
산불 재난 감지를 위한 제안하는 딥러닝 구조는 아래의 그림과 같이 세 개의 Convolutional Layer (CL)와 세 개의 Pooling Layer와 두 개의 Fully Connected Layer로 구성된다. 학습 단계를 거쳐서 완성된 딥러닝 구조는 재난 감지 및 상황 대응부에 적용되어 실시간 산불 감시를 위한 영상 분석을 수행한다.
센서별 촬영과 데이터 전송을 하나의 보드에서 수행하여 공간과 전력소모를 최소화 하였다. 해당 탑재체에서는 일정 시간 마다 영상을 동시에 촬영하여 JPEG 형식으로 압축 한 뒤에 LTE/WIFI 등의 무선통신을 통해 지상의 영상처리센터로 전송을 한다. 여기에 추가로 대응 및 경보를 위해 GPS/풍향/풍속/시간/온습도 등의 메타데이터를 텍스트 파일로 함께 전송한다.
대상 데이터
본 논문에서 제안하는 산불 재난 감지 딥러닝 알고리즘의 학습을 위해 54,928장의 영상을 이용하여 학습을 하였다. 또한 이를 검증하기 위한 영상 데이터는 총 13,732장을 사용하였다. 이를 검증하기 위해 CPU i7-5903K, RAM 64GB, GPU GeForce GTX Titan X으로 구성된 분석 서버를 구축 하였다.
본 논문에서 제안하는 산불 재난 감지 딥러닝 알고리즘의 학습을 위해 54,928장의 영상을 이용하여 학습을 하였다. 또한 이를 검증하기 위한 영상 데이터는 총 13,732장을 사용하였다.
이론/모형
산불 재난의 경우 특징 점은 화염과 연기를 예로 들 수 있다. 이러한 특징점을 인공지능을 통해 검출하기 위해 딥러닝 기반의 분석 알고리즘을 적용 하였고[6,7], 해당 알고리즘은 그림 4와 같이 Deep Convolutional Neural Network으로 구현 하였다. 구현된 알고리즘은 Convolutional Neural Network 에서 Convolutional Layer, Rectified Linear Unit Layer, Pooling Layer를 반복적으로 적용하여 특징점을 검출한다.
본 논문에서 제안하는 산불 감시 및 대응 플랫폼은 무인기에 탑재된 센서에서 획득한 가시광 센서의 영상 정보를 활용함으로써, 반복 발생하는 산불 재난의 피해 저감을 위한 영상 분석 기술 개발을 목표로 한다. 제안하는 영상 분석 기술은 최근 학계에서 주목받고 있는 딥러닝 기술을 활용한다[5~13]. 제안하는 재난 대응 및 경보전달 플랫폼 기술을 통하여 인명과 재산의 피해를 최소화하고 사후 발생하는 2, 3차 피해를 방지하여 재난 복구비용 절감 효과를 얻고자 한다.
성능/효과
그림 7의 (b)는 Label-2에 대한 필터 출력을 나타내며, (c)는 Label-6에 대한 필터출력을 나타낸다. 이를 비교하였을 때, 화염에 대한 Activation이 Label-2 의 필터 출력보다 Label-6에 대한 필터 출력이 크게 나타나는 것을 확인 할 수 있으며, 이는 전체 화재 검출율 측면에서 성능차이로 나타난다.
40% 더 높은 것을 알 수 있다. 이와 같은 결과에서 확인할 수 있듯이, Label-6의 True Positive가 Label-2에 비해 산불 감지에 높은 성능개선 효과를 얻음을 알 수 있다. 즉, Label-6의 구체적인 특징과 더 많은 수의 클래스를 기반으로 한 필터 출력으로 인해, Label-6가 Label-2보다 더 신뢰도 높은 화재 검출 결과를 얻을 수 있는 것을 확인 할 수 있었다.
또한 산불 감시 플랫폼의 딥러닝 기반 영상분석 알고리즘을 제안하고, 산불 재난 검출에 대한 성능을 제시하였다. 제안하는 딥러닝 기반의 산불 영상 분석 알고리즘과 산불 감시 플랫폼을 통하여 산불 감시 및 대응의 자동화, 비용저감, 피해저감 효과를 얻을 수 있다. 본 논문에서 제안하는 딥러닝 기반의 산불 영상 분석 알고리즘은 현재 광학 영상을 기준으로 설계하였다 여기에 추가로 위성 및 열화상 영상 과 같은 다중 센서를 이용하여 영상을 융합 분석하는 연구가 진행 될 예정이다.
이와 같은 결과에서 확인할 수 있듯이, Label-6의 True Positive가 Label-2에 비해 산불 감지에 높은 성능개선 효과를 얻음을 알 수 있다. 즉, Label-6의 구체적인 특징과 더 많은 수의 클래스를 기반으로 한 필터 출력으로 인해, Label-6가 Label-2보다 더 신뢰도 높은 화재 검출 결과를 얻을 수 있는 것을 확인 할 수 있었다.
후속연구
제안하는 딥러닝 기반의 산불 영상 분석 알고리즘과 산불 감시 플랫폼을 통하여 산불 감시 및 대응의 자동화, 비용저감, 피해저감 효과를 얻을 수 있다. 본 논문에서 제안하는 딥러닝 기반의 산불 영상 분석 알고리즘은 현재 광학 영상을 기준으로 설계하였다 여기에 추가로 위성 및 열화상 영상 과 같은 다중 센서를 이용하여 영상을 융합 분석하는 연구가 진행 될 예정이다. 향후, 실제 재난 상황에서 본 논문에서 제안한 산불 감지 및 대응 플랫폼의 설계와 시뮬레이션 결과를 통하여 제안하는 플랫폼이 산불로부터 국가와 국민의 안전을 위해 활용 될 수 있기를 기대한다.
본 논문에서 제안하는 딥러닝 기반의 산불 영상 분석 알고리즘은 현재 광학 영상을 기준으로 설계하였다 여기에 추가로 위성 및 열화상 영상 과 같은 다중 센서를 이용하여 영상을 융합 분석하는 연구가 진행 될 예정이다. 향후, 실제 재난 상황에서 본 논문에서 제안한 산불 감지 및 대응 플랫폼의 설계와 시뮬레이션 결과를 통하여 제안하는 플랫폼이 산불로부터 국가와 국민의 안전을 위해 활용 될 수 있기를 기대한다.
질의응답
핵심어
질문
논문에서 추출한 답변
Deep Learning 기반 재난 영상 분석은 어떻게 이루어지는가?
본 논문에서는 재난 영상의 획득, 분석, 대응을 수행하는 재난 감시 및 대응 플랫폼의 세부 기능들에 대해서 소개하고, 재난 인지에 핵심요소 기술인 Deep Learning 기반의 산불 영상 분석 기술을 제안한다. 제안하는 Deep Learning 기반 재난 영상 분석은 과거로부터 반복적으로 발생하는 재난이 촬영된 영상 정보를 사전에 미리 학습함으로써, 새롭게 획득한 재난 영상에 대한 재난 발생 여부를 판단한다. 제안하는 산불 영상 분석 알고리즘에 대한 실험 결과를 확인하여 제안하는 기법의 성능을 검증한다.
본 연구에서 제시하는 플랫폼에 악천후 영상 개선과 저조도 영상 개선 알고리즘을 수행하는 이유는 무엇인가?
무인기에서 획득한 영상은 실시간으로 전처리 모듈과 Array DBMS 모듈로 구성된 초대용량 재난 영상 실시간 처리부로 전송이 된다. 항공 영상은 지상에서 획득한 영상에 비해 대기 및 기상 환경의 영향을 받아 영상이 열화 될 가능성이 높다. 따라서 제안하는 플랫 폼에서는 전처리 단계로 악천후 영상 개선과 저조도 영상 개선 알고리즘을 수행한다.
기존의 무인기를 이용한 재난방재 방식의 단점은 무엇인가?
이에 대한 해결책으로 무인기를 활용하는 방식은 운용하는 비용이 상대적으로 저렴하며 탑재 센서들의 경량화 및 고도화로 기존의 헬기 및 인력을 통해 분석하는 방식 대비 재난 감시 및 대응에 효과적으로 활용될 수 있다[1]. 또한 기존의 무인기를 이용한 방식[2,3]은 자동화된 감지가 불가능하며, 영상처리 기반의 화재 감지 기법[4]은 굉장히 복잡하고 성능향상이 쉽지 않은 단점이 있다.
참고문헌 (15)
Luis Merino et al., "An Unmanned Aircraft System for Automatic Forest Fire Monitoring and Measurement" J. Intell. Robot. Syst., vol. 65, no. 1, pp 533-548, Jan. 2012.
Luis Merino et al., "An Unmanned Aircraft System for Automatic Forest Fire Monitoring and Measurement," J. Intell. Robot. Syst., vol. 65, no. 1, pp 533-548, Jan., 2012.
Sangheon Park, Taejae Jeon, Sanghyuk Kim, Sangyoun Lee, and Juwan Kim, "Deep learning based symbol recognition for the visually impaired", The Journal of Korea Institute of Information, Electronics, and Communication Technology, Vol.9, No.3, pp.249-256, 2016.
Jin-Taek Seon, "Analysis of Signal Recovery for Compressed Sensing using Deep Learning Technique", The Journal of Korea Institute of Information, Electronics, and Communication Technology, Vol.10, No.4, pp.257-267, 2017.
A. Krizhevsky, I. Sutskever, and G. Hinton, "ImageNet classification with deep convolutional neural networks," In NIPS, pp. 1106-1114, 2012.
C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, and A. Rabinovich, "Going deeper with convolutions," In CVPR 2015, 2015.
G.E. Hinton, N. Srivastava, A. Krizhevsky, I. Sutskever, and R.R. Salakhutdinov, "Improving neural networks by preventing co-adaptation of feature detectors." arXiv preprint arXiv:1207.0580, 2012.
Byung Gyu Chae, "Neural Network Image Reconstruction for Magnetic Particle Imaging," ETRI JOURNAL, Vol. 39, No. 6, pp. 841-850, Dec., 2017.
S. Kim, W. Lee, Y. Park, H. Lee, and Y. Lee, "Forest fire monitoring system based on aerial image." Information and Communication Technologies for Disaster Management, Dec. 2016.
S. Kim, W. Lee, J. Yim, Y. Park, and Y. Lee, "Human monitoring system using drones for riverside area." International Conference on ICT Convergence, Oct. 2017.
Atul Gujral, Aditi, Shailender Gupta and Bharat Bhushan, "A Comparison of Various Defogging Techniques," International Journal of Signal Processing, Image Processing and Pattern Recognition, vol. 7, No. 3, pp. 147-170, May, 2014.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.