[논문]U-net기반 동적 연기 탐지 기법

곽경민; 노영주

doi:10.7236/jiibc.2021.21.4.81

U-net기반 동적 연기 탐지 기법
Tracking Method of Dynamic Smoke based on U-net 원문보기

The journal of the institute of internet, broadcasting and communication : JIIBC, v.21 no.4, 2021년, pp.81 - 87

곽경민 (한국산업기술대학교 컴퓨터공학부) , 노영주 (한국산업기술대학교 컴퓨터공학부)

초록
AI-Helper

4차 산업혁명 시대에 맞추어 인공지능 기술은 눈에 띄게 발전하고 있다. 그 중 CNN 등을 활용한 시각 데이터 기반의 인공지능이 활발히 연구 진행 중이다. 시각 기반 모델 중 하나인 U-net은 Semantic Segmentation에 강한 정확도를 보이고 있다. 기존의 U-net을 활용하여 여러 가지 연구들이 진행 되어왔지만 가스, 연기와 같이 외곽선이 뚜렷하지 않은 연구들은 아직 부족한 실정이다. 또한 이와 대조적으로 가스, 연기 탐지에 대해 많은 연구들이 진행이 되어왔지만 U-net 등을 활용하여 단순한 Detection이 아닌 Segmentation 연구는 부족하다. 이를 토대로 본 연구에서는 U-net을 활용하여 가스, 연기 등을 탐지하는 연구를 진행하였다. 본 논문에서는 설정한 실험환경에서 3D camera를 활용하여 데이터를 수집하고 학습 및 테스트 셋을 생성한 방법을 기술하고, U-net을 적용한 방법과 얻은 결과를 검증한 내용을 서술하고, 마지막으로 활용방안 등에 대하여 논하였다.

Abstract ▼ AI-Helper

Artificial intelligence technology is developing as it enters the fourth industrial revolution. Active researches are going on; visual-based models using CNNs. U-net is one of the visual-based models. It has shown strong performance for semantic segmentation. Although various U-net studies have been conducted, studies on tracking objects with unclear outlines such as gases and smokes are still insufficient. We conducted a U-net study to tackle this limitation. In this paper, we describe how 3D cameras are used to collect data. The data are organized into learning and test sets. This paper also describes how U-net is applied and how the results is validated.

주제어

표/그림 (20)

그림 그림 1. 분류, 발견, 분할 표현 기법 예시 Fig. 1. example of Classification, Detection and Segmentation
그림 그림 2. U-net Architecture Fig. 2. U-net Architecture
그림 그림 3. Mean IoU 예시 Fig. 3. Example of Mean IoU
그림 그림 4. 실험 환경 구성도와 수집 데이터 예시 Fig. 4. Experimental environment
그림 그림 4. 실험 환경 구성도와 수집 데이터 예시Fig. 4. Experimental environment
그림 그림 5. 수집 데이터 3가지 Fig. 5. 3 type of collected data
그림 그림 6. 640x480x1 크기의 Y 입력 값 예시 Fig. 6. example of Y data size 640x480x1
그림 그림 7. RGBl(좌), mask데이터(우) (X 입력, Y 입력) Fig. 7. RGB(L), Mask data(R) (X input, Y input)
그림 그림 8. 본 연구에 적용된U-net 모델의 Encoder Fig. 8. Encoder part of U-net model
그림 그림 9. 본 연구에 적용된 U-net 모델의 Decoder Fig. 9. Decoder part of U-net model
그림 그림 10. Adam의 최적화 진행 과정[12] Fig. 10. optimizing process of adam
그림 그림 11. ELU 함수와 RELU 함수 Fig. 11. Function ELU, RELU
그림 그림 12. 좌 RGB, 우 mask 데이터 Fig. 12. Data RGB(L), Mask(R)
그림 그림 13. 모델의 예측 값(좌), 합성 이미지(우) Fig. 13 Model Prediction Value(L), Merged Image(R)
그림 그림 14. 테스트 데이터로부터 출력한 값 예시 Fig. 14. Sample of Prediction Value using Test data
그림 그림 15. 테스트 데이터 별 IoU와 전체 mean IoU 분포 Fig. 15. Dispersion of IOU and meanIoU per each Test data
그림 그림 16. U-net 논문의 특정 데이터셋 IoU 수치 Fig. 16. Specific Dataset IoU Figures of Unet paper
그림 그림 17. Yolo v3를 활용한 연기 탐지 Fig. 17. Smoke Detection using Yolo v3
그림 그림 18. 다중 연무 장치에서 데이터 수집 Fig. 18. Example of Multiple Smoke Generator
그림 그림 19. 다른 환경에서의 연기 탐지 Fig. 19. Smoke Detection of another Environment

AI 본문요약
AI-Helper

제안 방법

본 논문에서는 연무 장치를 이용하여 연무를 하고 이를 3D Camera를 활용하여 수집하였다. 이렇게 수집된 데이터들은 U-net 모델 학습에 적합한 형태로 전처리하고 U-net 모델을 구성하여 위 데이터들을 활용하여 학습 시켜 이미지 속 연기를 동적으로 탐지하는 연구를 진행하였다.
에 의해 작성 되었다. 본 논문은 Segmetation을 하는 단순하고 효과적인 방법으로 Fully Convolution Network(FCN)을 기반으로 적은 데이터를 가지고 효과적인 Segmentation을 도출하는 구조로 수정 한다.
본 연구에서는 연기 Mask 값만을 수집하기 위해 일정 Depth(거리) 이하의 정보만을 받아 표현하는 방식을 사용하여 일정 거리 안에 연기를 연무시키고 연기만을 투영하는 방식을 채택한다. 이는 이후에 실험 환경 구성에서 설명한다.
이를 방지하기 위하여 데이터 분할이 필요하다. 본연구에서는 각각 데이터를 학습 데이터를 10개 단위로 학습하고 다시 불러오는 방식으로 오버플로를 처리 한다.
본 논문에서는 연무 장치를 이용하여 연무를 하고 이를 3D Camera를 활용하여 수집하였다. 이렇게 수집된 데이터들은 U-net 모델 학습에 적합한 형태로 전처리하고 U-net 모델을 구성하여 위 데이터들을 활용하여 학습 시켜 이미지 속 연기를 동적으로 탐지하는 연구를 진행하였다.

대상 데이터

카메라와 백그라운드 사이에 연무기를 설치하고 분무를 시작한다. RGB 카메라로 pixel 전체의 이미지를 수집하고, depth 카메라로는 일정 depth 내(1 meter 미만)의 pixel만을 수집한다. 초당 3 프레임을 수집하고 총 11, 000개의 데이터를 수집한다.
데이터는 480x640x3 크기의 3가지 데이터 총 33, 000개로 20, 000개는 학습 데이터로 사용되고 1, 000 개의 데이터는 테스트 데이터로 사용된다. 학습 데이터 일반 RGB 데이터와 Mask 데이터를 입력 값으로 한다.
또한 mask 데이터는 노이즈 제거를 위해 모폴로지 연산 중 하나인 Dilation 연산과 Erosion 연산을 사용하는 Closing 연산을 특정 크기의 커널 연산 작업한다.
RGB 카메라로 pixel 전체의 이미지를 수집하고, depth 카메라로는 일정 depth 내(1 meter 미만)의 pixel만을 수집한다. 초당 3 프레임을 수집하고 총 11, 000개의 데이터를 수집한다. 이 때 수집되는 RGB 데이터는 모델의 X 입력 값으로, Depth 카메라 데이터는 전처리 후 Y 입력 값으로 활용 한다.
영상의 노이즈를 제어하기 위해 단색의 백그라운드를 설치하고, 카메라와 백그라운드 사이에 가습기를 설치하여 이를 측정한다. 측정을 위해 3D depth camera(intel D435i)를 활용한다.
학습 데이터와 테스트 데이터는 각각 동일한 실험 환경에서 수집 되었고, 각각 X 입력 값으로 RGB 이미지인 3 channel 데이터를 활용하고, depth 카메라를 활용해 1 meter 이내의 pixel을 입력 받아 pixel에 객체가 존재하면 True, 존재하지 않으면 False의 값으로 주어 Boolean 형태의 1 channel 값으로 변환하여 Y 입력 값 (mask)으로 사용한다.

이론/모형

Metric으로는 학습에서는 아무런 역할을 하지 않고 손실 기능이 아닌 시각적으로 훈련을 비교할 수 있도록 측정 기준치는 Mean IoU를 사용한다.
본 연구의 적용된 모델에서는 활성 함수(activation function)로는 ReLu 보다 학습 속도를 향상키기는 것이 가능하여 ELU 함수를 사용하고, 손실 함수(loss function)로는 바이너리 크로스 엔트로피(binary cross entropy)를 사용한다. 이 방법은 True or False 두 개의 예측 값과 기대 값의 차이를 계산하는데 효과적이다.
옵티마이저(optimizer)로는 Adam을 사용한다. 아담은 각 네트워크 가중치에 대해 학습률이 유지되며 학습이 전개될 때 별도로 작동한다.

성능/효과

위의 결과를 토대로 3D 카메라로 데이터를 생성하고, 이를 활용하여 U-net에 적용한 모델은 높은 적중률을 나타내고 있다. 이를 활용하여 GAN 등 타 모델 또한 적용이 가능할 것이다.
이러한 수집 방법과 모델링 기법으로 제작된 모델은 특정 상황에서 높은 정확도를 보이며 CCTV 등의 환경에서 연기 등( 동일한 환경에서 특정 이상 물체 발견 )을 빠르고 정확하게 검출이 가능할 것으로 예상하고, 이를 반대로 활용하여 CCTV내에서 연기와 같은 유동적인 객체를 제거하여 선명한 background를 유지시키거나, 반대로 특정 객체를 생성하여 허구의 이미지를 만들어 낼 수도 있다.

후속연구

LSTM 등을 활용하여 동영상 기반의 시계열 데이터를 활용하여 이후의 유동 추세 유동량 등을 파악하고 Segmentation 진행 된 내부를 클러스터링 하여 상대농도를 파악할 예정이다.
또한 그림 18. 과 같은 다중 연무 환경에서도 여러 센서를 배치 할 필요가 없이 한 대의 카메라로 영상을 원격으로 수집하여 이를 수집 하는 것이 가능 할 것으로 예상된다. 이러한 장점은 비용 절감 및 기존 수치형 센서의 불안정성을 대체 할 것으로 기대된다.
본 연구는 가스의 유동량을 예측하기 위해 사전 연구된 모델로 이후의 연구는 RGB 기반의 입력 값이 아닌 IR 카메라를 활용하여 온도, 파장 등을 고려하여 유해 가스를 검출할 예정이다.
과 같은 다중 연무 환경에서도 여러 센서를 배치 할 필요가 없이 한 대의 카메라로 영상을 원격으로 수집하여 이를 수집 하는 것이 가능 할 것으로 예상된다. 이러한 장점은 비용 절감 및 기존 수치형 센서의 불안정성을 대체 할 것으로 기대된다.
은 이러한 단점을 보여주는 예로 한가지 환경에서 모델을 학습하고 사용하기 때문에 높은 정확도를 보이나, 실험 환경과 다른 환경에 노출될 경우에는 다시 학습을 시켜줘야 제대로 된 성능을 발휘 할 수 있다. 이러한 한계점을 극복하기 위해서는 다양한 데이터 셋을 활용할 필요가 있다.
하지만 본 연구의 한계점은 활용 데이터의 다양성이 부족하기 때문에 다양한 환경에서 사용하기 어렵다는 단점이 있을 수 있다. 이를 보안하기 위해 더욱 다양한 환경에서 데이터를 수집하여 학습 데이터로 사용 할 경우 보완될 것으로 예상한다.
위의 결과를 토대로 3D 카메라로 데이터를 생성하고, 이를 활용하여 U-net에 적용한 모델은 높은 적중률을 나타내고 있다. 이를 활용하여 GAN 등 타 모델 또한 적용이 가능할 것이다.
하지만 본 연구의 한계점은 활용 데이터의 다양성이 부족하기 때문에 다양한 환경에서 사용하기 어렵다는 단점이 있을 수 있다. 이를 보안하기 위해 더욱 다양한 환경에서 데이터를 수집하여 학습 데이터로 사용 할 경우 보완될 것으로 예상한다.

참고문헌 (12)

Hwang, Gwak et al."Analysis of Defective Causes in Real Time and Prediction of Facility Replace ment Cyclebased on Big Data". IIBC Vol. 19, No 6
Kim et al, "Tomato Crop Diseases Classification Models Using Deep CNN-based Architectures", Journal of the Korea Academia-Industrial cooperation Society Vol. 22, No. 5 pp. 7-14, 2021
Kim et al., "Recognition of dog's front face using deep learning and machine learning", Journal of the Korea Academia-Industrial cooperation Society Vol. 21, No. 12 pp. 1-9, 2020

원문보기 상세보기
Jiankang Deng et al., "ArcFace: Additive Angular Margin Loss for Deep Face Recognition",CVPR 2019, Feb 2019
Olaf Ronneberger et al., "U-Net: Convolutional Networks for Biomedical Image Segmentation", MICCAI 2015, pp 234-241, May 2015
K.M Gwak et al., "Machine learning technique and image-based smoke emission prediction using Youtube video", KCC 2020 BUSAN, 07 2020
Dmitry Lachinov et al., "Glioma Segmentation with Cascaded UNet", BrainLes 2018: Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries pp 189-198
Kaggle , "Airbus Ship Detection Challenge", https://www.kaggle.com/c/airbus-ship-detection, 2021-04-07
Arthur Ouaknine, "Review of Deep Learning Algorithms for Object Detection", 2021-04-07, https://medium.com/zylapp/review-of-deep-learning-algorithms-for-object-detection-c1f3d437b852
Vijay Badrinarayanan et al., "SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 39, NO. 12, DECEMBER 2017

상세보기
Mean IoU, " 6-5 Recognition Model Evaluation Indicators,2020-04-07, https://jetsonaicar.tistory.com/14
Adam Learning Process ,"Adam", 2020-05-10, http://bakbang.blogspot.com/2017/08/adam.html

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증