[논문]인공지능을 활용한 흉부 엑스선 영상의 코로나19 검출 및 분류에 대한 분석 연구

윤명성; 권채림; 김성민; 김수인; 조성준; 최유찬; 김상현

doi:10.7742/jksr.2022.16.5.661

인공지능을 활용한 흉부 엑스선 영상의 코로나19 검출 및 분류에 대한 분석 연구
Analysis Study on the Detection and Classification of COVID-19 in Chest X-ray Images using Artificial Intelligence 원문보기

한국방사선학회 논문지 = Journal of the Korean Society of Radiology, v.16 no.5, 2022년, pp.661 - 672

윤명성 (한양대학교 의과대학 응급의학과) , 권채림 (신한대학교 방사선학과) , 김성민 (신한대학교 방사선학과) , 김수인 (신한대학교 방사선학과) , 조성준 (신한대학교 방사선학과) , 최유찬 (신한대학교 방사선학과) , 김상현 (신한대학교 방사선학과)

초록
AI-Helper

COVID-19를 발생시키는 SARS-CoV2 바이러스가 발생한 후 전염병은 전 세계로 확산되며, 감염 사례와 사망자의 수가 빠르게 증가함에 따라 의료자원의 부족 문제가 야기되었다. 이것을 해결하려는 방법으로 인공지능을 활용한 흉부 X-ray 검사가 일차적인 진단 방법으로 관심을 받게 되었다. 본 연구에서는 인공지능을 통한 COVID-19 판독 방식들에 대해 종합적으로 분석하는 것에 목적을 두고 있다. 이 목적을 달성하기 위해 292개의 논문을 일련의 분류 방법을 거처 수집했다. 이러한 자료들을 토대로 Accuracy, Precision, Area Under Curve(AUC), Sensitivity, Specificity, F1-score, Recall, K-fold, Architecture, Class를 포함한 성능 측정정보를 분석했다. 그 결과로 평균 Accuracy, Precision, AUC, Sensitivity, Specificity 값은 각각 95.2%, 94.81%, 94.01%, 93.5%, 93.92%로 도출되었다. 연도별 성능 측정정보는 점차 증가하는 값을 나타냈고 이 외에도 Class 수, 이미지 데이터 수에 따른 변화율, Architecture 사용 비율, K-fold에 관한 연구를 진행했다. 현재 인공지능을 활용한 COVID-19의 진단은 독자적으로 사용되기에는 여러 문제가 존재하지만, 의사의 보조수단으로써 사용됨에는 부족함이 없을 것으로 예상된다.

Abstract ▼ AI-Helper

After the outbreak of the SARS-CoV2 virus that causes COVID-19, it spreads around the world with the number of infections and deaths rising rapidly caused a shortage of medical resources. As a way to solve this problem, chest X-ray diagnosis using Artificial Intelligence(AI) received attention as a primary diagnostic method. The purpose of this study is to comprehensively analyze the detection of COVID-19 via AI. To achieve this purpose, 292 studies were collected through a series of Classification methods. Based on these data, performance measurement information including Accuracy, Precision, Area Under Cover(AUC), Sensitivity, Specificity, F1-score, Recall, K-fold, Architecture and Class were analyzed. As a result, the average Accuracy, Precision, AUC, Sensitivity and Specificity were achieved as 95.2%, 94.81%, 94.01%, 93.5%, and 93.92%, respectively. Although the performance measurement information on a year-on-year basis gradually increased, furthermore, we conducted a study on the rate of change according to the number of Class and image data, the ratio of use of Architecture and about the K-fold. Currently, diagnosis of COVID-19 using AI has several problems to be used independently, however, it is expected that it will be sufficient to be used as a doctor's assistant.

주제어

표/그림 (11)

그림 Fig. 1. Analysis Process.
그림 Fig 2. Rate of change in Accuracy, Sensitivity and Specificity by year.
표 Table 1. Rate of change in Accuracy, Sensitivity and Specificity by year
그림 Fig 3. Accuracy, Sensitivity and Specificity Rate of Change by Class.
표 Table 2. Accuracy, Sensitivity and Specificity Rate of Change by Class
그림 Fig 4. Accuracy, Sensitivity and Specificity change rate according to the number of image dataset.
표 Table 3. Accuracy, Sensitivity and Specificity change rate according to the number of image dataset
표 Table 4. Accuracy, Sensitivity and Specificity change rate according to the number of K-folds
그림 Fig. 5. Accuracy, Sensitivity, and Specificity rate of change according to Architecture utilization.
그림 Fig 6. Mean Accuracy, Sensitivity and Specificity values for a total of 292 studies.
표 Table 5. Mean, Maximum and Minimum Values of Accuracy, Sensitivity and Specificity of 292 studies based on the data source

AI 본문요약
AI-Helper

문제 정의

하지만 의료 영상을 이용한 인공지능의 연구는 다양한 클래스(Class), 알고리즘, 데이터베이스, 아키텍처(Architecture) 등에 의해 결과가 달라지므로 정확한 값을 파악하기에는 어려움이 존재한다. 이에 본 논문에서는 2019년 12월부터 2022년 4월까지 논문 저널 사이트 중 하나인 PubMed.com을 통해 제시어 X-ray, Deep Learning, COVID-19를 검색하여 나오는 400여 개 논문 중 약 300여 개의 논문을 분류하여 지금까지 연구되어 온 COVID-19 판독 인공지능의 접근 방식들에 대해서 인공지능의 정확도(Accuracy), 정밀도(Precision), Area Under Curve(AUC), 민감도(Sensitivity), 특이도(Specificity), F1-score, Recall, K-fold, 아키텍처(Architecture), 클래스(Class)를 포함한 전체적인 값들을 종합적으로 분석하여 더욱 효과적인 성능 및 접근 방식을 제시 함으로써 앞으로 임상에서 인공지능의 상용화가 이루어질 가능성을 판단하는 지표로써 사용되는것에 목적을 두며 이를 바탕으로 향후 의료 인공지능 적용의 전망을 기술하고자 한다.
하지만 코로나와 같이 감염병에 대해 진단 예측 기술에 관한 연구는 부족하다. 이에 본 연구에서는 2019년말부터 2022년 4월까지 COVID-19를 판별하기 위해 흉부 X-ray 영상 데이터 세트와 다양한 딥러닝 기술들을 적용하여 연구한 해외 논문들을 수집하고 인공지능의 정확도, 민감도, 특이도 등을 포함한 전체적인 값들을 분석하여 향후 의료 인공지능 적용의 전망을 기술하고자 본 연구를 진행하였다. 하지만 연구를 진행하면서 여러 오류가 발생하였으며 이러한 제한점에 관해 확인하였다.

제안 방법

본 연구는 진단 정확도 검사에 대한 문서화 된 자료들을 토대로 흉부 X-ray 이미지를 사용하여 Accuracy, Precision, AUC, Sensitivity, Specificity, F1-score, Recall, K-fold, Architecture, Class를 포함한 성능 측정정보를 기록하였다. 이렇게 수집된 데이터들의 총 값을 토대로 통계 및 평균값을 분석하여 현재까지 사용 중인 딥러닝 기술과 알고리즘의 성능을 토대로 임상에서의 사용 가능성을 평가했다.
본 연구를 위한 논문을 수집하는 과정에서 사전에 정한 논문을 바탕으로 연구에 포함 및 제외되는 기준에 따라 X-ray 이미지를 사용하여 딥러닝 기술을 통해 COVID-19 진단의 성능을 비교·분석 및 평가하는 논문들을 분류하고 수집했다
총 292개의 논문 중에서 Class 수에 따라 2중 Class, 3중 Class, 4중 Class, 5중 Class 이상으로 분류하여 Accuracy, Sensitivity, Specificity 변화율에 대해 분석했고 그 결과는 Table 2, Fig. 3에서 확인할 수 있다.

대상 데이터

셋째, 이미지 수에 따른 Accuracy, Sensitivity, Specificity, Volume 비교에 여러 변수가 존재한다. 본 연구는 총 292개의 논문을 분석한 연구이기 때문에 각 논문에 대해 많은 영향을 받는다. 그중에서도 가장 중요한 부분이 Accuracy, Sensitivity, Specificity이다.
본 연구의 자료수집을 위한 검색에는 관련 문헌을 수집하기 위해 의학 논문 검색 엔진인 ‘PubMed’에서 ‘X-ray, Covid-19, Deep Learning’의 키워드를 사용하여 2019년 12월 1일부터 2022년 4월 30일까지 1년 5개월간 논문을 수집하기 위한 기초 작업으로 관련된 논문을 최대한 수집하는 단계를 Fig

데이터처리

본 연구는 진단 정확도 검사에 대한 문서화 된 자료들을 토대로 흉부 X-ray 이미지를 사용하여 Accuracy, Precision, AUC, Sensitivity, Specificity, F1-score, Recall, K-fold, Architecture, Class를 포함한 성능 측정정보를 기록하였다. 이렇게 수집된 데이터들의 총 값을 토대로 통계 및 평균값을 분석하여 현재까지 사용 중인 딥러닝 기술과 알고리즘의 성능을 토대로 임상에서의 사용 가능성을 평가했다.

성능/효과

5(a, b, c)에 사용된 Architecture는 ImageNet, VGG, ResNet, Xception, DenseNet, COVID-Net, DarkNet, AlexNet, U-Net 등 다양한 Architecture가 연구에 사용되었다. Architecture를 중심적으로 분석한 결과 Mobile Net을 기반으로 사용한 연구가 99.18%로 가장 높은 정확도 값을 나타냈다. 그리고 Xception을 기반으로 사용한 연구가 99.
81%이란 높은 정확도, 특이도 값을 보여줬다. 가장 높은 정확도 값을 보여준 Mobile Net을 기반으로 사용한 연구가 비교적 저조한 특이도 값인 84.71%를 결과로 나타냈다.
18%로 가장 높은 정확도 값을 나타냈다. 그리고 Xception을 기반으로 사용한 연구가 99.27%, 97.89%로 가장 높은 민감도와 특이도 값을 나타냈다는 것을 알 수 있다. 반대로 ResNet 18을 기반으로 사용한 연구가 가장 낮은 정확도 값인 91.
현재 K-fold를 적용하지 않은 연구들도 존재하지만, 연구를 보는 사람들에게 연구의 신뢰성을 높이고 정확한 결론을 도출하기 위해서는 K-fold를 사용해야 한다. 더 자세히는 가장 정확한 연구 결과값을 위해서는 5-fold 및 10-fold를 사용하는 것이 효과적이라고 판단된다. 다만, K-fold의 사용으로 Accuracy, Sensitivity, Specificity의 값의 변화 양상에 관한 연구는 없으므로 이에 관한 추가 연구가 필요 할 것으로 예상한다.
데이터 수에 따른 Accuracy를 통계 분석한 결과, 1부터 100개의 데이터 세트를 사용한 논문의 Accur acy 값은 94.37%로 나타났으며, 101~1,000개, 1,001~10,000개, 10,001~100,000개, 100,001~1,000,000개의 데이터 세트를 사용한 논문의 평균 Accuracy 값은 각각 94.02%, 95.91%, 93.9%, 93.46%의 값을 도출했다.
데이터 수에 따른 Sensitivity를 통계 분석한 결과, 1부터 100개의 데이터 세트를 사용한 논문의 Sensit ivity 값은 94.05%로 나타났으며, 101~1,000개, 1,001~10,000개, 10,001~100,000개, 100,001~1,000,000개의 데이터 세트를 사용한 논문의 평균 Sensitivity 값은 각각 93.32%, 95.03%, 89.86%, 88.13%의 값을 도출했다.
데이터 수에 따른 Specificity를 통계 분석한 결과, 1부터 100개의 데이터 세트를 사용한 논문의 Specifi city 값은 83.93%로 나타났으며, 101~1,000개, 1,001~10,000개, 10,001~100,000개, 100,001~1,000,000개의 데이터 세트를 사용한 논문의 평균 Specificity 값은 각각 91.13%, 95.48%, 93.87%, 93.37%의 값을 도출했다.
신뢰도의 향상을 위해 실시되고 있는 K-fold 값에서 5-fold가 가장 많이 사용되는 것으로 나타났다. 이는 효율성에 따른 값으로 파악된다.
본 연구에서 사용된 총 292개의 논문도 각자 다른 알고리즘을 사용하고 이에 대한 결과값들을 나타내고 있다. 알고리즘에 대해 분석을 할 때 어떠한 알고리즘이 준수한 성능을 나타내는 것과 현재 가장 많이 사용되고 있는 알고리즘에 관해서는 확인할 수 있었다. 그러나 본 연구에서 사용된 논문 중 어떠한 알고리즘이 가장 우수하다는 것을 평가할 수 있는 것은 아니다.
위와 같은 결과는 이중 Class와 3중 Class, 4중 Class의 딥러닝 탐지 능력 차이가 매우 작음을 나타내며, 다중 Class를 사용한 연구 또한 이중 Class를 사용한 연구와 유사한 진단 테스트의 Accuracy를 나타냈음을 알 수 있다.
이러한 의료 인공지능 연구들은 질병 진단에 대하여 기대할 만한 성능 측정정보를 나타냈고 임상에서 구체적으로 인공지능이 활용될 가능성을 보였다. 앞으로 COVID-19 뿐만 아니라 이와 유사한 감염병이 발병할 때, 의료진이 정확하고 신속한 진단과 적절한 치료 결정, 모니터링에 관한 역할을 수월하게 할 수 있을 것으로 전망된다.
이에 본 연구에서는 1,001부터 10,000개의 데이터 세트를 사용하는 연구가 가장 많으며, Accuracy, Sensitivity, Specificity 값 또한 해당 지점에서 가장 높다는 사실을 파악할 수 있다. 이러한 점들을 통해 현재 개발되는 의료 인공지능에 있어서 가장 효율적인 결과를 도출해낼 수 있는 데이터 세트의 수는 1,001부터 10,000개라는 결론을 내릴 수 있다.
이에 본 연구에서는 1,001부터 10,000개의 데이터 세트를 사용하는 연구가 가장 많으며, Accuracy, Sensitivity, Specificity 값 또한 해당 지점에서 가장 높다는 사실을 파악할 수 있다. 이러한 점들을 통해 현재 개발되는 의료 인공지능에 있어서 가장 효율적인 결과를 도출해낼 수 있는 데이터 세트의 수는 1,001부터 10,000개라는 결론을 내릴 수 있다.
총 292개의 논문을 분석한 결과 COVID-19를 탐지하는 딥러닝 모델들은 질병 진단에 대하여 준수한 성능을 보여주었으며, 데이터 세트 및 딥러닝 Architecture의 종류, Class 수, 교차검증과 같은 요소들이 딥러닝 알고리즘의 탐지 성능에 있어 막대한 영향을 끼친다는 것을 알아내었다. 연구에 사용된 것처럼 수많은 알고리즘이 존재하지만 특정한 한 알고리즘이 우수하다고 말하기에는 다소 어려운 부분이 있다.
연구에 사용된 것처럼 수많은 알고리즘이 존재하지만 특정한 한 알고리즘이 우수하다고 말하기에는 다소 어려운 부분이 있다. 하지만 2, 3중 Class를 사용했고 1,001~10,000개의 이미지를 데이터베이스로 사용했으며 Mobile Net, Xception Architecture가 기반으로 사용된 알고리즘이 가장 우수한 성적을 보였다.

후속연구

더 자세히는 가장 정확한 연구 결과값을 위해서는 5-fold 및 10-fold를 사용하는 것이 효과적이라고 판단된다. 다만, K-fold의 사용으로 Accuracy, Sensitivity, Specificity의 값의 변화 양상에 관한 연구는 없으므로 이에 관한 추가 연구가 필요 할 것으로 예상한다.
이러한 의료 인공지능 연구들은 질병 진단에 대하여 기대할 만한 성능 측정정보를 나타냈고 임상에서 구체적으로 인공지능이 활용될 가능성을 보였다. 앞으로 COVID-19 뿐만 아니라 이와 유사한 감염병이 발병할 때, 의료진이 정확하고 신속한 진단과 적절한 치료 결정, 모니터링에 관한 역할을 수월하게 할 수 있을 것으로 전망된다.
52%로 가장 높은 진단 Accuracy 값을 보여주고 있다. 이에 의료인공지능 기술의 발전에 따라 COVID-19에 국한되는 것이 아니라 새롭게 발생할 수 있는 전염병에 활용될 것으로 기대된다.
본 연구에서는 이러한 변수들은 배제한 후 연구를 실행하였기에 몇 가지 오류가 있다는 제한점이 존재한다. 추후 연구에서는 이러한 오류들을 포함한 연구의 필요성이 보인다.

참고문헌 (14)

A. E. Gorbalenya, S. C. Baker, R. S. Baric, R. J. de Groot, C. Drosten, A. A. Gulyaeva, B. L. Haagmans, C. Lauber, A. M. Leontovich, B. W. Neuman, D. Penzar, S. Perlman, Leo L. M. Poon, D. V. Samborskiy, I. A. Sidorov, I. Sola and J. Ziebuhr, "The species Severe acute respiratory syndrome-related coronavirus: Classifying 2019-nCoV and naming it SARS-CoV-2", Nature Microbiology, Vol. 5, pp. 536-544, 2020. https://doi.org/10.1038/s41564-020-0695-z

상세보기
S. H. Lee, J. M. Kim, "Coronavirus Disease 2019 (COVID-19): Pandemic and the Challenge of Public Health," Korean Journal of Family Practice, Vol. 10, No. 2, pp. 87-95, 2020. https://doi.org/10.21215/kjfp.2020.10.2.87

상세보기
https://kosis.kr/index/index.do
Brit Long, Brandon M. Carius, Summer Chavez, Stephen Y. Liang, William J. Brady, Alex Koyfman, Michael Gottlieb, "Clinical update on COVID-19 for the emergency clinician: Presentation and evaluation", American Journal Of Emergency Medicine, Vol. 54, pp. 46-57, 2022. http://dx.doi.org/10.1016/j.ajem.2022.01.028

상세보기
S. H. Yoon, Ph. D. / Doctor of Radiology, K. H. Lee, Ph. D. / Doctor of Radiology, J. Y. Kim, M. S. / Master of Internal Medicine, Y. K. Lee, Ph. D. / Doctor of Radiology, H. S. Ko, K. H. Kim, C. M. Park, Ph. D. / Doctor of Radiology, Y. H. Kim, Ph. D. / Doctor of Radiology, "Chest Radiographic and CT Findings of the 2019 Novel Coronavirus Disease (COVID-19): Analysis of Nine Patients Treated in Korea", Korean Journal of Radiology, Vol. 21, No. 4, pp. 494-500, 2020. https://doi.org/10.3348/kjr.2020.0132

상세보기
N. Sethuraman, S. S. Jeremiah, A. Ryo, Ph. D. / Department of Microbiology and Molecular Biodefense Research, "Interpreting Diagnostic Tests for SARS-CoV-2", The Journal of the American Medical Association, Vol. 323, No. 22, pp. 2249-2251, 2020. http://dx.doi.org/10.1001/jama.2020.8259

상세보기
A. Zheng, "Evaluating Machine Learning Models", O'reilly: Sebastopol, CA, USA, 2015. https://www.oreilly.com/content/evaluating-machine-lear ning-models/
M. S. Lee, "Overcoming the COVID-19 Epidemics with Communities in Korea", Journal of agricultural medicine and community health, Vol. 45, No. 1, pp. 41-46, 2020. https://doi.org/10.5393/JAMCH.2020.45.1.041

원문보기 상세보기
D. G. Woon, S. P. Lee, "Artificial Intelligence and Implications of the Fourth Industrial Revolution", Industrial Engineering Magazine, Vol. 72, No. 23, pp. 13-22, 2016. https://doi.org/10.1201/9781003159742
T. Ozturk, M. Talo, E. A. Yildirim, U. B. Baloglu, O. Yildirim, U. A. Rajendra, "Automated detection of COVID-19 cases using deep neural networks with X-ray images", Computers in Biology and Medicine, Vol. 121, pp. 103792, 2020. http://dx.doi.org/10.1016/j.compbiomed.2020.103792

상세보기
S. Bharati, P. Podder, R. H. Mondal, "Hybrid deep learning for detecting lung diseases from X-ray images", Informatics in Medicine Unlocked, Vol. 20, pp. 100391, 2020. http://dx.doi.org/10.1016/j.imu.2020.100391

상세보기
X. Ying, "An Overview of Overfitting and its Solutions", Journal of Physics: Conference Series, Vol. 1168, No. 2, pp. 22022, 2019. http://dx.doi.org/10.1088/1742-6596/1168/2/022022

상세보기
T. T. Wong, P. Y. Yeh, "Reliable Accuracy Estimates from k-Fold Cross Validation", IEEE Transactions on Knowledge and Data Engineering, Vol. 32, No. 8, pp. 1586-1594, 2020. http://dx.doi.org/10.1109/TKDE.2019.2912815

상세보기
Z. Jiao, J. W. Choi, K. Halsey, T. M. Linh Tran, B. Hsieh, D. Wang, F. Eweje, R. Wang, K. Chang, J. Wu, S. A. Collins, T. Y. Yi, A. T. Delworth, T. Liu, T. T. Healey, S. Lu, J. Wang, X. Feng, M. K. Atalay, L. Yang, M. Feldman, P. J. L. Zhang, W. H. Liao, Y. Fan, H. X. Bai, "Prognostication of patients with COVID-19 using artificial intelligence based on chest x-rays and clinical data: a retrospective study", Lancet Digital Health, Vol. 3, No. 5, pp. 286-294, 2021. https://doi.org/10.1016/s2589-7500(21)00039-x

상세보기

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증