[논문]멀티모달 방식을 통한 가스 종류 인식 딥러닝 모델 개발

안서희; 김경영; 김동주

doi:10.3745/ktsde.2023.12.12.525

멀티모달 방식을 통한 가스 종류 인식 딥러닝 모델 개발
Development of Gas Type Identification Deep-learning Model through Multimodal Method 원문보기

정보처리학회논문지. KIPS transactions on software and data engineering. 소프트웨어 및 데이터 공학, v.12 no.12, 2023년, pp.525 - 534

안서희 (포항공과대학교 인공지능연구원) , 김경영 (포항공과대학교 인공지능연구원) , 김동주 (포항공과대학교 인공지능연구원)

초록
AI-Helper

가스 누출 감지 시스템은 가스의 폭발성과 독성으로 인한 인명 피해를 최소화할 핵심적인 장치이다. 누출 감지 시스템은 대부분 단일 센서를 활용한 방식으로, 가스 센서나 열화상 카메라를 통한 검출 방식으로 진행되고 있다. 이러한 단일 센서 활용의 가스 누출감지 시스템 성능을 고도화하기 위하여, 본 연구에서는 가스 센서와 열화상 이미지 데이터에 멀티모달형 딥러닝을 적용한 연구를 소개한다. 멀티모달 공인 데이터셋인 MultimodalGasData를 통해 기존 논문과의 성능을 비교하였고, 가스 센서와 열화상 카메라의 단일모달 모델을 기반하여 네 가지 멀티모달 모델을 설계 및 학습하였다. 이를 통해 가스 센서와 열화상 카메라는 각각 1D CNN, GasNet 모델이 96.3%와 96.4%의 가장 높은 성능을 보였다. 앞선 두 단일모달 모델을 기반한 Early Fusion 형식의 멀티모달 모델 성능은 99.3%로 가장 높았으며, 또한 기존 논문의 멀티모달 모델 대비 3.3% 높았다. 본 연구의 높은 신뢰성을 갖춘 가스 누출 감지 시스템을 통해 가스 누출로 인한 추가적인 피해가 최소화되길 기대한다.

Abstract ▼ AI-Helper

Gas leak detection system is a key to minimize the loss of life due to the explosiveness and toxicity of gas. Most of the leak detection systems detect by gas sensors or thermal imaging cameras. To improve the performance of gas leak detection system using single-modal methods, the paper propose multimodal approach to gas sensor data and thermal camera data in developing a gas type identification model. MultimodalGasData, a multimodal open-dataset, is used to compare the performance of the four models developed through multimodal approach to gas sensors and thermal cameras with existing models. As a result, 1D CNN and GasNet models show the highest performance of 96.3% and 96.4%. The performance of the combined early fusion model of 1D CNN and GasNet reached 99.3%, 3.3% higher than the existing model. We hoped that further damage caused by gas leaks can be minimized through the gas leak detection system proposed in the study.

주제어

표/그림 (25)

표 Table 1. Gas Incident Status(2018∼2022)
그림 Fig. 1. Process of Data Collection
그림 Fig. 2. Distribution of Sensor Values by 4 Gas Classes (Mixture, NoGas, Perfume, Smoke)
표 Table 2. Sensor Value Range by Gas Sensor Type (min, max)
그림 Fig. 3. Thermal Image Data and Result of Preprocess
표 Table 3. Dataset for Multimodal
그림 Fig. 4. 1D CNN Model Network Structure
그림 Fig. 5. GasNet Model Network Structure
그림 Fig. 6. Multimodal Model Network Structure
그림 Fig. 7. Pseudo Code of Fusion I Model
그림 Fig. 8. Pseudo Code of FusionⅡ Model
그림 Fig. 9. Pseudo Code of FusionⅢ Model
그림 Fig. 10. Pseudo Code of FusionⅣ Model
그림 Fig. 11. Confusion Matrix
표 Table 4. Comparison of Unimodal Model(Gas Sensor)
표 Table 5. Comparison of Unimodal Model(Thermal Image)
그림 Fig. 12. Thermal Image(Preprocessed) with Grad-CAM
그림 Fig. 13. Thermal Image(Original) with Grad-CAM
그림 Fig. 14. Multimodal Model Training Trend
표 Table 6. Comparison of Multimodal Model
그림 Fig. 15. FusionⅠ Confusion Matrix
그림 Fig. 16. FusionⅡ Confusion Matrix
그림 Fig. 17. FusionⅢ Confusion Matrix
그림 Fig. 18. FusionⅣ Confusion Matrix
표 Table 7. Comparison of Misclassification Data

참고문헌 (19)

화학물질 사고현황 및 사례 [Internet], https://icis.me.go.kr/search/searchType2.do(화학물질안전원).
가스사고 발생현황 및 사고일람표 [Internet], https://www.kgs.or.kr/kgs/abcc/board.do(한국가스안전공사).
A. M. Adesina, W. K. Fung, and A. Karnik, "Recent advances in pipeline monitoring and oil leakage detection？technologies: Principles and approaches," in Sensors,？Vol.19, No.11, pp.2548, 2019.

상세보기
P. Narkhede, R. Walambe, P. Chandel, S. Mandaokar, and？K. Kotecha, "MultimodalGasData: Multimodal dataset for？gas detection and classification," Data, Vol.7, No.8, pp.112,？2022.

상세보기
M. M. Khan, "Sensor-based gas leakage detector system,"？in Engineering Proceedings, Vol.2, No.1, pp.28, 2020.
J. M. Ahn, G. Y. Kim, and D. J. Kim, "A real time urban？gas leakage prediction and monitoring system based on？deep learning," Journal of the Korean Institute of Plant？Engineering, Vol.26, No.4, pp.45-53, 2021.
J. Shi, Y. Chang, C. Xu, F. I. Khan, G. Chen, and C. Li,？"Real-time leak detection using an infrared camera and？Faster R-CNN technique," Computers & Chemical？Engineering, Vol.135, pp.106780, 2020.

상세보기
R. Xiao, Q. Hu, and J. Li, "Leak detection of gas pipelines？using acoustic signals based on wavelet transform and？Support Vector Machine," Measurement, Vol.146, pp.479-489, 2019.

상세보기
P. Narkhede, R. Walambe, S. Mandaokar, P. Chandel, K.？Kotecha, and G. Ghinea, "Gas detection and identification？using multimodal artificial intelligence based sensor？fusion," Applied System Innovation, Vol.4, No.1, pp.3,？2021.
S. Hochreiter and J. Schmidhuber, "Long short-term memory," Neural Computation, Vol.9, No.8, pp.1735-1780,？2010.
L. Eren, T. Ince, and S. Kiranyaz, "A generic intelligent？bearing fault diagnosis system using compact adaptive 1D？CNN classifier," Journal of Signal Processing Systems,？Vol.91, pp.179-189, 2019.

상세보기
K. Simonyan and A. Zisserman, "Very deep convolutional？networks for large-scale image recognition," arXiv preprint,？arXiv:1409.1556, 2014.
B. Koonce, "Convolutional neural networks with swift for？tensorflow: Image recognition and dataset categorization,"？Springer, 1st ed., CA: Apress Berkeley, pp.51-61, 2021.
C. Szegedy et al., "Going deeper with convolutions," in？Proceedings of the IEEE Conference on Computer Vision？and Pattern Recognition, Boston, pp.1-9, 2015.
T. Baltrusaitis, C. Ahuja, and L. P. Morency, "Multimodal？machine learning: A survey and taxonomy," in IEEE Transactions on Pattern Analysis and Machine Intelligence,？Vol.41, No.2, pp.423-443, 2019.

상세보기
K. Gadzicki, R. Khamsehashari, and C. Zetzsche, "Early？vs late fusion in multimodal convolutional neural networks," in IEEE 23rd international conference on information fusion (FUSION2020), Virtual, pp.1-6, 2020.
K. Liu, Y. Li , N. Xu, and P. Natarajan, "Learn to combine？modalities in multimodal deep learning," in arXiv preprint,？arXiv:1805.11730, 2018.
P. K. Atrey, M. A. Hossain, A. E. Saddik, and M. Kankanhalli, "Multimodal fusion for multimedia analysis: A？survey," Multimedia Systems, Vol.16, pp.345-379, 2010.

상세보기
R. R. Selvaraju, M. Cogswell, A. Das, R. Vedantam, D.？Parikh, and D. Batra, "Grad-cam: Visual explanations from？deep networks via gradient-based localization," in Proceedings of the IEEE International Conference on Computer Vision, Venecia, pp.618-626, 2017.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증