[논문]학습률 적용에 따른 흉부영상 폐렴 유무 분류 비교평가

김지율; 예수영

doi:10.7742/jksr.2022.16.5.595

학습률 적용에 따른 흉부영상 폐렴 유무 분류 비교평가
Comparative Evaluation of Chest Image Pneumonia based on Learning Rate Application 원문보기

한국방사선학회 논문지 = Journal of the Korean Society of Radiology, v.16 no.5, 2022년, pp.595 - 602

초록
AI-Helper

본 연구는 딥러닝을 이용한 흉부 X선 폐렴 영상에 대하여 정확하고 효율적인 의료영상의 자동진단을 위해서 가장 효율적인 학습률을 제시하고자 하였다. Inception V3 딥러닝 모델에 학습률을 0.1, 0.01, 0.001, 0.0001로 각각 설정한 후 3회 딥러닝 모델링을 수행하였다. 그리고 검증 모델링의 평균 정확도 및 손실 함수 값, Test 모델링의 Metric을 성능평가 지표로 설정하여 딥러닝 모델링의 수행 결과로 획득한 결과값의 3회 평균값으로 성능을 비교 평가하였다. 딥러닝 검증 모델링 성능평가 및 Test 모델링 Metric에 대한 성능평가의 결과, 학습률 0.001을 적용한 모델링이 가장 높은 정확도와 우수한 성능을 나타내었다. 이러한 이유로 본 논문에서는 딥러닝 모델을 이용한 흉부 X선 영상에 대한 폐렴 유무 분류 시 학습률을 0.001로 적용할 것을 권고한다. 그리고 본 논문에서 제시하는 학습률의 적용을 통한 딥러닝 모델링 시 흉부 X선 영상에 대한 폐렴 유무 분류에 대한 인력의 보조적인 역할을 수행할 수 있을 거라고 판단하였다. 향후 딥러닝을 이용한 폐렴 유무 진단 분류 연구가 계속해서 진행될 시, 본 논문의 논문 연구 내용은 기초자료로 활용될 수 있다고 여겨지며 나아가 인공지능을 활용한 의료영상 분류에 있어 효율적인 학습률 선택에 도움이 될 것으로 기대된다.

Abstract ▼ AI-Helper

This study tried to suggest the most efficient learning rate for accurate and efficient automatic diagnosis of medical images for chest X-ray pneumonia images using deep learning. After setting the learning rates to 0.1, 0.01, 0.001, and 0.0001 in the Inception V3 deep learning model, respectively, deep learning modeling was performed three times. And the average accuracy and loss function value of verification modeling, and the metric of test modeling were set as performance evaluation indicators, and the performance was compared and evaluated with the average value of three times of the results obtained as a result of performing deep learning modeling. As a result of performance evaluation for deep learning verification modeling performance evaluation and test modeling metric, modeling with a learning rate of 0.001 showed the highest accuracy and excellent performance. For this reason, in this paper, it is recommended to apply a learning rate of 0.001 when classifying the presence or absence of pneumonia on chest X-ray images using a deep learning model. In addition, it was judged that when deep learning modeling through the application of the learning rate presented in this paper could play an auxiliary role in the classification of the presence or absence of pneumonia on chest X-ray images. In the future, if the study of classification for diagnosis and classification of pneumonia using deep learning continues, the contents of this thesis research can be used as basic data, and furthermore, it is expected that it will be helpful in selecting an efficient learning rate in classifying medical images using artificial intelligence.

주제어

표/그림 (8)

그림 Fig. 1. Structure of Inception V3.
표 Table 1. Environment of Deep learning
표 Table 2. Classification of dataset
표 Table 3. Construction of Deep learning modeling
그림 Fig. 2. Validation modeling mean result.
표 Table 4. Validation modeling accuracy result
표 Table 5. Validation modeling loss result
표 Table 6. Test Metric result

AI 본문요약
AI-Helper

문제 정의

본 논문은 정확하고 효율적인 흉부 X선 영상의 폐렴 유무 진단 분류를 위해 작은 수의 파라미터를 사용하여 연산량의 감소 효과를 기대할 수 있는 Inception V3 딥러닝 모델을 이용하였다. 각각의 학습률 적용에 따른 흉부 X선 영상의 폐렴 유무 진단 분류에 대한 성능을 비교 평가하고자 한다. 그리고 본 논문의 결과를 통하여 흉부 X선 영상의 폐렴 유무 진단 분류에 대한 최적의 학습률을 파악하고 향후 유사 연구 및 관련 산업에 최적의 학습률을 제시하고자 한다.
각각의 학습률 적용에 따른 흉부 X선 영상의 폐렴 유무 진단 분류에 대한 성능을 비교 평가하고자 한다. 그리고 본 논문의 결과를 통하여 흉부 X선 영상의 폐렴 유무 진단 분류에 대한 최적의 학습률을 파악하고 향후 유사 연구 및 관련 산업에 최적의 학습률을 제시하고자 한다.
딥러닝에서의 최적화란 인공신경망 모델이 학습과 그 결과에 따른 손실함수의 값을 최소화하는 방향으로 하이퍼 파라미터의 값을 찾는다는 것을 의미한다. 딥러닝 모델링의 정확도와 효율성을 향상시키기 위해서는 딥러닝 모델링에 의료영상을 학습시키는 과정에서 학습률 설정이 매우 중요하며, 가장 효과적인 학습률 값을 찾는 것을 목표로 한다.
본 논문은 Inception V3 딥러닝 모델링을 이용하여 흉부 X선 영상을 사용한 폐렴의 진단 유무 분류에 다양한 학습률 별 딥러닝 모델링을 실행하여 가장 효과적인 학습률 값을 확인하고자 하였다. 딥러닝 검증 모델링 성능평가 및 Test 모델링 Metric에 대한 성능평가의 결과, 학습률 0.
본 연구는 흉부 X선 영상의 폐렴 유무 분류에 대한 최적의 학습률을 평가하였다. 이를 위해 모델링은 Inception V3 모델을 이용하여 각각의 학습률 별로 3회 실행하였다.

대상 데이터

본 연구에서 딥러닝 모델링을 구현하기 위한 환경설정은 Table 1과 같다. 프로그래밍 언어로는 파이썬, 프레임워크는 케라스, 데이터세트는 Kaggle에서 제공하는 흉부 X선 영상 데이터 세트를 이용하였다. 그리고 가상환경으로 아나콘다를 적용하였으며 주피터 노트북을 활용하여 파이썬 환경을 구축하였다.
흉부 X선 영상을 이용한 폐렴 유무 자동 진단을 위해 Inception V3 딥러닝 모델을 선정하였으며, 동일 딥러닝 모델에 학습률을 0.1, 0.01, 0.001, 0.0001로 각각 설정한 다음 모델링을 3회 실시하였다.

데이터처리

Inception V3 딥러닝 모델링의 흉부 X선 영상의 폐렴 유무 분류에 대한 학습률에 따른 결과를 비교 평가를 하기 위하여 검증 모델링의 정확도, 손실함수의 결과값을 3회 평가하였다. 그리고 Test 모델링에 대한 Test Metric 정확도, 정밀도, 재현율, F1-score, AUC Score의 3회 실시한 Test 모델링의 평균값을 산출하여 평가하였다.
Inception V3 딥러닝 모델을 이용한 각각의 학습률 별 검증 모델링에 대한 정확도 결과 및 손실함수 결과를 비교 평가하였다.
Inception V3 딥러닝 모델링의 흉부 X선 영상의 폐렴 유무 분류에 대한 학습률에 따른 결과를 비교 평가를 하기 위하여 검증 모델링의 정확도, 손실함수의 결과값을 3회 평가하였다. 그리고 Test 모델링에 대한 Test Metric 정확도, 정밀도, 재현율, F1-score, AUC Score의 3회 실시한 Test 모델링의 평균값을 산출하여 평가하였다.
Inception V3 딥러닝 모델링의 입력 이미지 사이즈는 224×224, 모델링의 시도 횟수는 60회, 출력층의 활성화 함수는 회귀분석 목적의 Sigmoid 함수, 배치 사이즈는 8로 설정하였다. 그리고 학습률은 0.1, 0.01, 0.001, 0.0001로 각각 적용하여 3회 딥러닝 모델링을 실행한 후 출력된 결과값의 평균을 산출하였다.
이를 위해 모델링은 Inception V3 모델을 이용하여 각각의 학습률 별로 3회 실행하였다. 모델링 결과값은 3회 평균값을 비교 평가하였다.

이론/모형

본 논문은 정확하고 효율적인 흉부 X선 영상의 폐렴 유무 진단 분류를 위해 작은 수의 파라미터를 사용하여 연산량의 감소 효과를 기대할 수 있는 Inception V3 딥러닝 모델을 이용하였다. 각각의 학습률 적용에 따른 흉부 X선 영상의 폐렴 유무 진단 분류에 대한 성능을 비교 평가하고자 한다.
본 연구는 흉부 X선 영상에 대한 이용한 폐렴 유무 자동진단을 위해 최적의 학습률을 평가하고자 Inception V3 모델을 이용하여 모델링을 실행하였다. 학습률을 0.
본 연구는 흉부 X선 영상의 폐렴 유무 분류에 대한 최적의 학습률을 평가하였다. 이를 위해 모델링은 Inception V3 모델을 이용하여 각각의 학습률 별로 3회 실행하였다. 모델링 결과값은 3회 평균값을 비교 평가하였다.

성능/효과

이러한 결과로 모든 학습률을 적용한 딥러닝 모델링은 흉부 X선 영상의 폐렴 진단 유무를 분류함에 있어 AUC score가 가장 높은 모델링으로 평가하였다. 그리고 모든 학습률의 AUC score 결과가 99%를 상회하는 결과를 나타내어 AUC score 평가에서 매우 우수하다고 판단하였다.
01을 적용한 딥러닝 모델링이 흉부 X선 영상의 폐렴 진단 유무를 분류함에 있어 F1-score가 가장 높은 모델링으로 평가하였다. 그리고 모든 학습률의 F1-score 결과가 95%에 근접하거나 상회하는 결과를 나타내어 F1-score 평가에서 매우 우수하다고 판단하였다.
001로 적용할 것을 권고한다. 그리고 본 논문에서 제시하는 학습률의 적용을 통한 딥러닝 모델링 시 흉부 X선 영상에 대한 폐렴 유무 분류에 대한 인력의 보조적인 역할을 수행할 수 있을 거라고 판단하였다.
본 논문은 Inception V3 딥러닝 모델링을 이용하여 흉부 X선 영상을 사용한 폐렴의 진단 유무 분류에 다양한 학습률 별 딥러닝 모델링을 실행하여 가장 효과적인 학습률 값을 확인하고자 하였다. 딥러닝 검증 모델링 성능평가 및 Test 모델링 Metric에 대한 성능평가의 결과, 학습률 0.001을 적용한 모델링이 가장 높은 정확도와 우수한 성능을 나타내었다. 이러한 이유로 본 논문은 딥러닝 모델을 이용한 흉부 X선 영상에 대한 폐렴 유무 분류 시 학습률을 0.
9946를 나타내었다. 이러한 결과로 모든 학습률을 적용한 딥러닝 모델링은 흉부 X선 영상의 폐렴 진단 유무를 분류함에 있어 AUC score가 가장 높은 모델링으로 평가하였다. 그리고 모든 학습률의 AUC score 결과가 99%를 상회하는 결과를 나타내어 AUC score 평가에서 매우 우수하다고 판단하였다.
9946를 나타내었다. 이러한 결과로 본 연구에서 적용한 딥러닝 모델링의 AUC score 평가가 더 우수하다고 판단하였다.
4). 이러한 결과로 학습률 0.01을 적용한 딥러닝 모델링이 흉부 X선 영상의 폐렴 진단 유무를 분류함에 있어 F1-score가 가장 높은 모델링으로 평가하였다. 그리고 모든 학습률의 F1-score 결과가 95%에 근접하거나 상회하는 결과를 나타내어 F1-score 평가에서 매우 우수하다고 판단하였다.
4). 이러한 결과로 학습률 0.01을 적용한 딥러닝 모델링이 흉부 X선 영상의 폐렴 진단 유무를 분류함에 있어 재현율이 가장 높은 모델링으로 평가하였다. 그리고 모든 학습률의 재현율 결과가 90%에 근접하거나 상회하는 결과를 나타내어 재현율 평가에서 우수하다고 판단하였다.
39%를 나타내었다. 이러한 결과로 학습률 0.01을 적용한 딥러닝 모델링이 흉부 X선 영상의 폐렴 진단 유무를 분류함에 있어 정확도가 가장 높은 모델링으로 평가하였다. 그리고 모든 학습률의 정확도 결과가 93%를 상회하는 결과를 나타내어 정확도 평가에서 우 수하다고 판단하였다.
49%를 나타내었다. 이러한 결과로 학습률 0.1을 적용한 딥러닝 모델링이 흉부 X선 영상의 폐렴 진단 유무를 분류함에 있어 정밀도가 가장 높은 모델링으로 평가하였으며, 모든 학습률의 정밀도 결과가 98%를 상회하는 결과를 나타내어 정밀도 평가에서 매우 우수하다고 판단하였다.
2423을 나타내었다. 이러한 결과로 학습률을 0.0001로 적용한 딥러닝 모델링이 흉부 X선 영상의 폐렴 진단 유무를 분류하는 데 있어 인공신경망의 학습 상태가 가장 우수한 모델링이라고 평가하였다.
9135를 나타내었다. 이러한 결과로 학습률을 0.001로 적용한 딥러닝 모델링이 흉부 X선 영상의 폐렴 진단 유무를 분류하는 데 있어 가장 우수한 모델링이라고 평가하였다.

후속연구

향후 딥러닝을 이용한 폐렴 유무 진단 분류 연구가 계속해서 진행될 시, 본 논문의 논문 연구 내용은 기초자료로 활용될 수 있다고 여겨지며 나아가 인공지능을 활용한 의료영상 분류에 있어 효율적인 학습률 선택에 도움이 될 것으로 기대된다. 그리고 본 연구는 폐렴 유무 진단의 분류뿐만 아니라 폐렴의 검출 및 분할 등의 추가적인 연구의 시작점이 될 것이라고 기대한다.
001을 적용한 모델링이 가장 높은 정확도와 우수한 성능을 나타내었다. 이러한 이유로 본 논문은 딥러닝 모델을 이용한 흉부 X선 영상에 대한 폐렴 유무 분류 시 학습률을 0.001로 적용할 것을 권고한다. 그리고 본 논문에서 제시하는 학습률의 적용을 통한 딥러닝 모델링 시 흉부 X선 영상에 대한 폐렴 유무 분류에 대한 인력의 보조적인 역할을 수행할 수 있을 거라고 판단하였다.
향후 딥러닝을 이용한 폐렴 유무 진단 분류 연구가 계속해서 진행될 시, 본 논문의 논문 연구 내용은 기초자료로 활용될 수 있다고 여겨지며 나아가 인공지능을 활용한 의료영상 분류에 있어 효율적인 학습률 선택에 도움이 될 것으로 기대된다. 그리고 본 연구는 폐렴 유무 진단의 분류뿐만 아니라 폐렴의 검출 및 분할 등의 추가적인 연구의 시작점이 될 것이라고 기대한다.

참고문헌 (22)

K. H. Ann, S. Y. OUM, "A COVID-19 Chest X-ray Reading Technique based on Deep Learning", The International Promotion Agency of Culture Technology, Vol. 6, No. 4, pp. 789-795, 2020. http://dx.doi.org/10.17703/JCCT.2020.6.4.789

원문보기 상세보기
S. E. Park, "Epidemiology, virology, and clinical features of severe acute respiratory syndrome -coronavirus-2 (SARS-CoV-2; Coronavirus Disease-19)", Clinical and Experimental Pediatrics, Vol. 63, No. 4, pp. 119-124, 2020. https://doi.org/10.3345/cep.2020.00493

원문보기 상세보기
N. Petrosillo, G. Viceconte, O. Ergonul, G. Ippolito, E. Petersen, "COVID-19 SARS and MERS: are they closely related?", Clinical Microbiology and Infection, Vol. 26, No. 6, pp. 729-734, 2020. http://dx.doi.org/10.1016/j.cmi.2020.03.026

상세보기
Y. J. Kim, K. G. Kim, "Development of an Optimized Deep Learning Model for Medical Imaging", Journal of The Korean Society of Radiology, Vol. 81, No. 6, pp. 1274-1289, 2020. https://doi.org/10.3348/jksr.2020.0171

원문보기 상세보기
L. Yao, E. Poblenz, D. Dagunts, B. Covington, D. Bernard, K. Lyman, "Learning to diagnose from scratch by exploiting dependencies among labels", 2017. https://doi.org/10.48550/arXiv.1710.10501
J. Kim, "An Analysis of the effect of Artificial Intelligence on Human Society", The Journal of the Convergence on Culture Technology, Vol. 5, No. 2, pp. 177-182, 2019. https://doi.org/10.17703/JCCT.2019.5.2.177

원문보기 상세보기
T. H. Lim, K. O. Lim, S. W. Chung, S. C. Han, "Disease diagnosis research using deep learning based on military medical data", Journal of Digital Contents Society, Vol. 22, No. 9, pp. 1359-1367, 2021. http://doi.org/10.9728/dcs.2021.22.9.1359

상세보기
K. W. Yang, J. S Kang, H. N. Lee, "Digital Walkie -Talkie Identification scheme based on Convolutional Neural Network", The Journal of Korean Institute of Communications and Information Sciences, pp. 1210-1211, 2019.
G. Litjens, et al, "A survey on deep learning in medical image analysis", Medical Image Analysis, Vol. 42, pp. 60-88, 2017. http://dx.doi.org/10.1016/j.media.2017.07.005

상세보기
A. Krizhevsky, I. Sutskever, G. E. Hinton, "ImageNet classification with deep convolutional neural networks", Communications of the ACM, Vol. 60, No. 6, pp. 84-90, 2017. http://dx.doi.org/10.1145/3065386

상세보기
M. Rastgarpour, J. Shanbehzadeh, "Application of AI Techniques in Medical Image Segmentation and Novel Categorization of Available Methods and Tools", Lecture Notes in Engineering and Computer Science, Vol. 2188, No. 1, pp. 519-523, 2011. https://doi.org/10.2174/1573405617666210713113439

상세보기
J. H. Lee, B. S. Kang, "Improving Performance of Machine Learning-Based Algorithms with Adaptive Learning Rate", The Journal of Korean Institute of Information Technology, Vol. 18, No. 10, pp. 9-14, 2020. http://doi.org/10.14801/jkiit.2020.18.10.9

상세보기
M. J. Kang, "Comparison of Gradient Descent for Deep Learning", Journal of the Korea Academia-Industrial cooperation Society, Vol. 21, No. 2 pp. 189-194, 2020. https://doi.org/10.5762/KAIS.2020.21.2.189

원문보기 상세보기
H. J. Song, E. B. Lee, H. J. Jo, S. Y. Park, S. Y. Kim, H. J. Kim, J. W. Hong, "Evaluation of Classification and Accuracy in Chest X-ray Images using Deep Learning with Convolution Neural Network", Journal of the Korean Society of Radiology, Vol. 14, No. 1, pp. 39-43, 2020. http://doi.org/10.7742/jksr.2020.14.1.39
S. J. Kim, J. C. Yu, "COVID-19 Chest X-ray reading Technique based on Deep Learning", Proceedings of the Korean Society of Computer Information Conference, Vol. 29, No. 1, pp. 31-32, 2021.
C. Szegedy, V. Vanhoucke, S Ioffe, J. Shlens, "Rethinking the Inception Architecture for Computer Vision", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 2818-2826, 2016.
N. Dong, L. Zhao, C. H. Wu, J. F. Chang, "Inception v3 based cervical cell classification combined with artificially extracted features", Applied Soft Computing, Vol. 93, pp. 106311, 2020. http://dx.doi.org/10.1016/J.ASOC.2020.106311

상세보기
https://eda-ai-lab.tistory.com/13
K. D. Song, M. C. Kim, S. H. Do, "The Latest Trends in the Use of Deep Learning in Radiology Illustrated Through the Stages of Deep Learning Algorithm Development", Korean Journal of Radiology, Vol. 80, No. 2, pp. 202-212, 2019. http://dx.doi.org/10.3348/jksr.2019.80.2.202

상세보기
H. Huhtanen, M. Nyman, T. Mohsen, A. Virkki, A. Karlsson, J. Hirvonen, "Automated detection of pulmonary embolism from CT-angiograms using deep learning", BMC Medical Imaging, Vol. 22, 2022. http://dx.doi.org/10.1186/s12880-022-00763-z

상세보기
J. K. Lee, "Detection and Classification of Pneumothorax and Pneumonia through Deep Learning in Chest X-ray", Graduate of National university of Chung-buk, Master's thesis, 2020.
W. Y. Jeong, J. H. Kim, J. E. Park, M. J. Kim, J. M. Lee, "Evaluation of Classification Performance of Inception V3 Algorithm for Chest X-ray Images of Patients with Cardiomegaly", Journal of the Korean Society of Radiology, Vol. 15, No. 4, pp. 455-461, 2021. https://doi.org/10.7742/jksr.2021.15.4.455

원문보기 상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증