[논문]신경 망의 지도 학습을 위한 로그 간격의 학습 자료 구성 방식과 손실 함수의 성능 평가

송동규; 고세헌; 이효민

doi:10.9713/kcer.2023.61.3.388

신경 망의 지도 학습을 위한 로그 간격의 학습 자료 구성 방식과 손실 함수의 성능 평가
Performance Evaluation of Loss Functions and Composition Methods of Log-scale Train Data for Supervised Learning of Neural Network 원문보기

Korean chemical engineering research = 화학공학, v.61 no.3, 2023년, pp.388 - 393

송동규 (제주대학교 화학공학과) , 고세헌 (제주대학교 화학공학과) , 이효민 (제주대학교 화학공학과)

초록
AI-Helper

지도 학습 기반의 신경 망을 활용한 공학적 자료의 분석은 화학공학 공정 최적화, 미세 먼지 농도 추정, 열역학적 상평형 예측, 이동 현상 계의 물성 예측 등 다양한 분야에서 활용되고 있다. 신경 망의 지도 학습은 학습 자료를 요구하며, 주어진 학습 자료의 구성에 따라 학습 성능이 영향을 받는다. 빈번히 관찰되는 공학적 자료 중에는 DNA의 길이, 분석 물질의 농도 등과 같이 로그 간격으로 주어지는 자료들이 존재한다. 본 연구에서는 넓은 범위에 분포된 로그 간격의 학습 자료를 기계 학습으로 처리하는 경우, 사용 가능한 손실 함수들의 학습 성능을 정량적으로 평가하였으며, 적합한 학습 자료 구성 방식을 연구하였다. 이를 수행하고자, 100×100의 가상 이미지를 활용하여 기계 학습의 회귀 과업을 구성하였다. 4개의 손실 함수들에 대하여 (i) 오차 행렬, (ii) 최대 상대 오차, (iii) 평균 상대 오차로 정량적 평가하여, mape 혹은 msle가 본 연구에서 다룬 과업에 대해 최적의 손실 함수가 됨을 알아내었다. 또한, 학습 자료의 값이 넓은 범위에 걸쳐 분포하는 경우, 학습 자료의 구성을 로그 간격 등을 고려하여 균등 선별하는 방식이 높은 학습 성능을 보임을 밝혀내었다. 본 연구에서 다룬 회귀 과업은 DNA의 길이 예측, 생체 유래 분자 분석, 콜로이드 용액의 농도 추정 등의 공학적 과업에 적용 가능하며, 본 결과를 활용하여 기계 학습의 성능과 학습 효율의 증대를 기대할 수 있을 것이다.

Abstract ▼ AI-Helper

The analysis of engineering data using neural network based on supervised learning has been utilized in various engineering fields such as optimization of chemical engineering process, concentration prediction of particulate matter pollution, prediction of thermodynamic phase equilibria, and prediction of physical properties for transport phenomena system. The supervised learning requires training data, and the performance of the supervised learning is affected by the composition and the configurations of the given training data. Among the frequently observed engineering data, the data is given in log-scale such as length of DNA, concentration of analytes, etc. In this study, for widely distributed log-scaled training data of virtual 100×100 images, available loss functions were quantitatively evaluated in terms of (i) confusion matrix, (ii) maximum relative error and (iii) mean relative error. As a result, the loss functions of mean-absolute-percentage-error and mean-squared-logarithmic-error were the optimal functions for the log-scaled training data. Furthermore, we figured out that uniformly selected training data lead to the best prediction performance. The optimal loss functions and method for how to compose training data studied in this work would be applied to engineering problems such as evaluating DNA length, analyzing biomolecules, predicting concentration of colloidal suspension.

주제어

표/그림 (6)

그림 Fig. 1. Examples of virtual images (RGB color) as train and validation data for neural network. Each image has the resolution of 100×100.
그림 Fig. 2. (a) Configuration of neural network. (b) Root-mean-squarederror of train data as a function of the numbers of train data. Symbols and error bars are averaged errors and standard deviations, respectively. The shaded region shows appropriate numbers of train data.
표 Table 1. Loss functions used in this work
그림 Fig. 3. Comparison of confusion matrix for (a) mse and mape, (b) mse and mae, and (c) mse and msle.
그림 Fig. 4. Maximum relative error as a function of target value in the case of (a) randomly selected train data and (b) uniformly selected train data.
그림 Fig. 5. Averaged relative error for the specific loss functions such as mse, mape, mae and msle.

참고문헌 (17)

Wang, X. et al. in 2020 IEEE International Conference on？Image Processing (ICIP). 768-772.
Li, J., Zhang, M. and Wang, D., "Adaptive Demodulator Using？Machine Learning for Orbital Angular Momentum Shift Keying," IEEE Photonics Technology Letters, 29, 1455-1458(2017).

상세보기
Poort, J. P., Ramdin, M., van Kranendonk, J. and Vlugt, T. J. H.,？"Solving Vapor-liquid Flash Problems Using Artificial Neural？Networks," Fluid Phase Equilibria, 490, 39-47(2019).
Valderrama, J. O., Reategui, A. and Rojas, R. E., "Density of Ionic？Liquids Using Group Contribution and Artificial Neural Networks," Industrial & Engineering Chemistry Research, 48, 3254-3259(2009).

상세보기
Han, X., Wang, J. and Sun, Y., "Circulating Tumor DNA as Biomarkers for Cancer Detection," Genomics, Proteomics & Bioinformatics, 15, 59-72(2017).

상세보기
Lee, Y., El Andaloussi, S. and Wood, M. J., "Exosomes and？Microvesicles: Extracellular Vesicles for Genetic Information？Transfer and Gene Therapy," Human molecular genetics, 21,？R125-134(2012).

상세보기
Baskaran, S., Panner Selvam, M. K. and Agarwal, A. in Advances？in Clinical Chemistry Vol. 95 (ed Gregory S. Makowski) 149-163？(Elsevier, 2020).
Spada, S. and Galluzzi, L. Extracellular Vesicles. (Elsevier Science, 2020).
Goodfellow, I., Bengio, Y. and Courville, A. Deep Learning.？(MIT Press, 2016).
Aldrees, A. et al., "Multi-Expression Programming (MEP): Water？Quality Assessment Using Water Quality Indices," Water, 14, 947？(2022).
Alpan, K. and Sekeroglu, B., "Prediction of Pollutant Concentrations by Meteorological Data Using Machine Learning Algorithms," Int. Arch. Photogramm. Remote Sens. Spatial Inf. Sci., XLIV-4/W3-2020, 21-27(2020).
Cai, R. et al., "Prediction of Surface Chloride Concentration of？Marine Concrete Using Ensemble Machine Learning," Cement？and Concrete Research, 136, 106164(2020).

상세보기
Bozdag, A., Dokuz, Y. and Gokcek, O. B., "Spatial Prediction of？PM10 Concentration Using Machine Learning Algorithms in？Ankara, Turkey," Environmental Pollution, 263, 114635(2020).

상세보기
Sadhukhan, B., Chakraborty, S. and Mukherjee, S., "Predicting？the Magnitude of An Impending Earthquake Using Deep Learning Techniques," Earth Science Informatics, 16, 803-823(2023).

상세보기
Bronkhorst, A. J., Ungerer, V. and Holdenrieder, S., "Comparison？of Methods for the Isolation of Cell-free DNA from Cell Culture？Supernatant," Tumour Biology, 42(4), 1010428320916314(2020).

상세보기
Theel, E. K. and Schwaminger, S. P., "Microfluidic Approaches？for Affinity-Based Exosome Separation," International Journal？of Molecular Sciences, 23, 9004(2022).

상세보기
Descamps, L., Le Roy, D. and Deman, A. L., "Microfluidic-Based？Technologies for CTC Isolation: A Review of 10 Years of Intense？Efforts towards Liquid Biopsy," Int. J. Mol. Sci., 23(4), 1981(2022).

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증