[논문]내시경의 위암과 위궤양 영상을 이용한 합성곱 신경망 기반의 자동 분류 모델

박예랑; 김영재; 정준원; 김광기

doi:10.9718/jber.2020.41.2.101

내시경의 위암과 위궤양 영상을 이용한 합성곱 신경망 기반의 자동 분류 모델
Convolution Neural Network Based Auto Classification Model Using Endoscopic Images of Gastric Cancer and Gastric Ulcer 원문보기

Journal of biomedical engineering research : the official journal of the Korean Society of Medical & Biological Engineering, v.41 no.2, 2020년, pp.101 - 106

박예랑 (가천대학교 융합의과학과) , 김영재 (가천대학교 의용생체공학과) , 정준원 (가천대 길병원 소화기내과) , 김광기 (가천대학교 융합의과학과)

Abstract ▼ AI-Helper

Although benign gastric ulcers do not develop into gastric cancer, they are similar to early gastric cancer and difficult to distinguish. This may lead to misconsider early gastric cancer as gastric ulcer while diagnosing. Since gastric cancer does not have any special symptoms until discovered, it is important to detect gastric ulcers by early gastroscopy to prevent the gastric cancer. Therefore, we developed a Convolution Neural Network (CNN) model that can be helpful for endoscopy. 3,015 images of gastroscopy of patients undergoing endoscopy at Gachon University Gil Hospital were used in this study. Using ResNet-50, three models were developed to classify normal and gastric ulcers, normal and gastric cancer, and gastric ulcer and gastric cancer. We applied the data augmentation technique to increase the number of training data and examined the effect on accuracy by varying the multiples. The accuracy of each model with the highest performance are as follows. The accuracy of normal and gastric ulcer classification model was 95.11% when the data were increased 15 times, the accuracy of normal and gastric cancer classification model was 98.28% when 15 times increased likewise, and 5 times increased data in gastric ulcer and gastric cancer classification model yielded 87.89%. We will collect additional specific shape of gastric ulcer and cancer data and will apply various image processing techniques for visual enhancement. Models that classify normal and lesion, which showed relatively high accuracy, will be re-learned through optimal parameter search.

주제어

표/그림 (8)

그림 그림 1. 정상과 위궤양, 위암 병변 이미지의 예, (A) 정상, (B) 위궤양, (C) 위암 Fig. 1. The Examples of normal, gastric ulcer and gastric cancer (A) normal (B) gastric ulcer (C) gastric cancer
그림 그림 3. 기존의 CNN 학습 방식 (A)과 ResNet 학습 방식 (B) Fig. 3. The learning method of existing CNN (A) and of ResNet (B)
그림 그림 2. CNN 모델 아키텍처의 하나인 ResNet-50 Fig. 2. ResNet-50 one of the Convolution Neural Network architecture
표 표 1. 원본 데이터 개수 및 5배와 15배 증강시킨 데이터 개수 Table 1. Initial dataset and 5 times and 15 times augmentated dataset
그림 그림 4. 각 딥러닝 모델에서의 각 검증 결과 중 최고 점수를 나타낸 ROC (Receiver Operating Characteristic) 커브 및 AUC (Area Under Curve) 값 Fig. 4. The ROC curves and AUC values of highest performed cases among each deep learning model’s result
표 표 2. 데이터 증강 배수에 따른 정확도(%) 및 AUC Table 2. Accuracy and AUC values according to augmentated multiples
그림 그림 5. 테스트 셋(test set) 이미지와 분류 활성화 지도(Class Activation Map, CAM), (A)(B)(C) 테스트셋 이미지 (D)(E)(F) 각 테스트 셋에 대응하는 CAM이미지 Fig. 5. Test set images and CAM, (A)(B)(C) Test set images (D)(E)(F)CAM images corresponding to each test set
그림 그림 6. 위궤양과 위암의 오분류된 이미지와 CAM 예시, (A)(B) 위궤양을 위암으로 인식한 이미지와 CAM, (C)(D) 위암을 위궤양으로 인식한 이미지와 CAM Fig. 6. CAM image examples of misclassificated gastric ulcer and gastric cancer (A)(B) Image and CAM recognized gastric ulcer as gastric cancer (C)(D) Image and CAM recognized gastric cancer as gastric ulcer

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

또한 앞선 병리 이미지의 위암 분류 연구에서 조직 검사 과정의 세포 이미지를 직접 분류한 것과 달리, 본 연구에서의 위내시경 이미지 분류에서는 조직검사 대상이 되는 부위를 빠르게 선별하는 데 도움이 되고자 하였다.
본 논문에서는 위와 같은 보조 진단 시스템에서 최근 가장 많이 활용되고 있는 합성곱 신경망 기반의 딥러닝 모델을 사용해 위 내시경 검사 및 진단에 도움을 주고자 하였다. 이를 위해 정상과 위궤양, 정상과 위암, 위궤양과 위암을 분류하는모델을 본 연구에서 제시하였다.
본 논문에서는 위와 같은 보조 진단 시스템에서 최근 가장 많이 활용되고 있는 합성곱 신경망 기반의 딥러닝 모델을 사용해 위 내시경 검사 및 진단에 도움을 주고자 하였다. 이를 위해 정상과 위궤양, 정상과 위암, 위궤양과 위암을 분류하는모델을 본 연구에서 제시하였다.
이에 따라 본 논문에서는 합성곱 신경망 기반의 위 내시경 영상에서의 정상과 위궤양, 정상과 위암, 위궤양과 위암을 각각 따로 분류하여 보다 높은 분류 성능을 내고자한다. 위암 검진에서 위암 또는 위암 의심 병변 발견율이 0.
이에 본 연구에서는 사람의 판단보다 정확도가 높은 진단 보조 도구를 구현하여 내시경 전문의의 판독 실수를 줄이고자 하였다.

제안 방법

본 논문에서는 딥러닝의 한 종류인 합성곱 신경망(Convolution Neural Network)을 기반으로 위 내시경 영상에서 정상과 위궤양, 정상과 위암, 위궤양과 위암을 각각 분류하는 모델을 만들었다. 더불어 데이터 증강 여부와 증강된 배수에 따라 정확도에 미치는 영향을 확인하였다.
데이터 증강 기법을 사용하여 시계 및 반시계 방향으로 1~5° 이내 범위로 회전시키고, 너비와 높이 및 이미지 전체를 각각 1~5% 확대 및 축소시켰으며, 각 이미지의 상하좌우 가장자리 부위 1~5%를 자르는 과정을 모두 랜덤하게 적용시켜 이미지 수를 증가시켰다.
딥러닝 모델이 이미지의 어느 부위에 가중치를 두고 분류하는지 알기 위해 분류 활성화 지도(Class Activation Map, CAM) 이미지을 사용하여 확인하였다(그림 5).
44%라는 것을 고려하면[9], 병변들끼리만 분류하는 것보다 정상 이미지를 포함하여 함께 분류하여 임상에서 보다 유용하게 사용 될 수 있을 것이라 판단하였다. 또한 의료 데이터 특성상 많은 데이터를 수집하기 어려워 제한된 데이터로 학습해야 하기 때문에 데이터 증강(augmentation) 기법을 적용하여 데이터 개수가 증가했을 때의 정확도가 기존 데이터 개수일 때보다 높은지 비교하였다. 그 증강 배수로는 각각 5배, 15 배를 지정해주었다.
본 논문에서는 딥러닝의 한 종류인 합성곱 신경망(Convolution Neural Network)을 기반으로 위 내시경 영상에서 정상과 위궤양, 정상과 위암, 위궤양과 위암을 각각 분류하는 모델을 만들었다. 더불어 데이터 증강 여부와 증강된 배수에 따라 정확도에 미치는 영향을 확인하였다.
CNN을 구축하는 대부분의 경우에는 처음부터 학습하지 않는 대신에 기존에 학습된 가중치를 초기값으로 전이하여 사용한다. 본 연구에서는 실생활 이미지 125만장과 1,000 개의 클래스로 구성되어 영상 인식 분야에서 가장 유용하게 사용되는 이미지넷(ImageNet)을 데이터 베이스로 사용하 였고, 이 가중치를 전이 학습(transfer learning)에 적용하 였다[13].학습을 진행하는 데 사용된 파라미터는 컴퓨팅 파워에 맞추어 배치 사이즈(batch size) 40, 에폭(epoch) 300으로 설정해주었고, 전이학습 가중치의 큰 변화를 막기 위해 학습 율(learning rate)을 0.
위내시경 이미지에서 정상과 위궤양, 정상과 위암, 위암과 위궤양 총 세 가지 경우로 나누어 분류 결과를 확인하고 각각의 경우에서 데이터 증강이 정확도에 영향을 미치는지 5 배와 15배 증강 시킨 데이터에서 결과를 살펴보았다.
이에 반해 내시경 이미지는 일반적으로 직사각형 형태로 얻어지기 때문에 크기를 조정해주는 작업이 요구된다. 이미지의 높이나 너비를 줄일 경우 원본 형태의 변형이 일어나기에 위와 아래의 여백에 검은색으로 채워 정사각형으로 만들어주는 영상처리 작업을 수행하였다.
정상과 위암 및 위궤양을 자동으로 분류하고, 분류된 이미지가 실제로 정답에 얼마나 가까운지 검증하였으며, 해당 분류기가 어디에 가중치를 두고 분류하였는지 직접 확인하 기 위해 분류 활성화 지도(Class Activation Map, CAM) 이미지로 나타내었다.

대상 데이터

가천대 길병원에서 내시경 검사를 받은 환자들의 위내시경 이미지 3,015장을 수집하였다. 본 논문에서 사용되는 데이 터는 가천대 길병원의 임상시험심사위원회(IRB)의 허가를 획득하였다(2018-052).
본 논문에서 사용되는 데이 터는 가천대 길병원의 임상시험심사위원회(IRB)의 허가를 획득하였다(2018-052). 수집한 이미지 데이터는 정상 1,076 장, 위궤양 970장, 위암 969장으로 구성되었다. 훈련과 테스트에는 8:2 비율로 데이터가 사용되어 정상의 훈련셋과 테스트셋이 860장과 216장, 위궤양의 훈련셋과 테스트셋이 776장과 194장, 위암의 훈련셋과 테스트셋을 776장과 193 장으로 구성하였다.
위와 같은 방법으로 테스트셋을 제외하고 훈련셋만 증강을 적용했다. 정상과 위궤양 및 위암에서 5배 증강시킨 훈련셋의 개수는 각각 4,300장, 3,880장 3,880장이며 15배 증강시킨 훈련셋 개수는 각각 12,900장, 11,640장, 11,640장이다(표 1).
수집한 이미지 데이터는 정상 1,076 장, 위궤양 970장, 위암 969장으로 구성되었다. 훈련과 테스트에는 8:2 비율로 데이터가 사용되어 정상의 훈련셋과 테스트셋이 860장과 216장, 위궤양의 훈련셋과 테스트셋이 776장과 194장, 위암의 훈련셋과 테스트셋을 776장과 193 장으로 구성하였다. 수집된 정상과 위궤양 및 위암의 내시경 이미지는 다음 그림 1과 같다.

데이터처리

검증 방법으로는 5차 교차검증(5-fold Cross Validation)을 실시하였다. 5차 교차검증은 데이터 전체를 5등분하여 각 등분이 한 번씩 테스트셋(test set)이 되고 나머지 네 개 등분은 훈련셋(train set)이 되어 한번씩 테스트 하고 이를 총 5번 순차적으로 진행하는 검증 방식이다.

이론/모형

이미지 분류 대회에서 최저의 에러율로 수상하고 이후로도 간결한 구조와 편리한 사용성으로 많이 사용되는 Keras 모 듈의 ResNet-50을 적용하였다[11,12](그림 2). 그림 3의 (B)와 같이 기존의 CNN이 학습 레이어를 거쳐 입력 x를최적의 타겟값 y를 찾는 방법이라면, ResNet의 핵심이 되는 잔차 블럭(Residual block)은 학습 레이어 이후에 입력 x를 더 함으로써 최적의 F(x)+x를 찾아 다음 레이어의 입력으로 사용하는 방법이다.

성능/효과

그림 5를 통해 정분류된 이미지에서 학습된 딥러닝 모델이 병변 부위에 가중치를 주어 활성화됨을 알 수 있었다. 가중 치가 클수록 빨간색으로 나타나게 되는데, 위궤양과 위암의 이미지에서 실제 병변이 있는 부위가 빨간색으로 표시됨을 확인하였고, 정상 이미지의 경우 가중치를 크게 주는 부분이 없어 빨간색이 적게 나타났기 때문에 역치(threshold) 이하의 값으로 분류되어 정상이라고 옳게 판단하였다.
데이터 증강을 하지 않은 데이터로 학습 시켜 정상과 위궤양, 정상과 위암, 위궤양과 위암 각 세 가지 경우에서의 정확도와 ROC curve를 그림 4에 나타내었다. 각 모델에서 가장 높은 AUC 값은 정상과 위궤양을 분류하는 모델에서 0.99, 정상과 위암 분류 모델에서 0.99, 위궤양과 위암 분 류에서 0.95였다.
그 결과 정상과 위궤양 분류의 경우 최고 95.11%, 정상과 위암 분류의 경우 최고 98.28%로 높은 정확도를 보였다. 반면 위궤양과 위암 분류 모델의 경우 89.
데이터 증강 배수에 따라서는 정상과 병변 부위를 분류하는 경우 배수가 높아질수록 정확도가 증가하는 추이를 보이지만, 위궤양과 위암을 분류하는 경우 5배만 증가시킨 조건이 15배를 증가시킨 조건보다 더 높은 정확도를 보여주고 있다. 이는, 정상과 병변은 그 차이가 뚜렷하지만 위궤양과 위암은 외관상 그 형태가 비슷한 이미지들이 많기 때문에 증강 배수가 어느 정도 이상이면 오히려 분류 성능이 떨어지는 것으로 추측된다.
9% 정확도로 분류한 사례가 있다. 데이터 측면에서 본 연구는 중국 연구팀의 약 3배인 3,015장을 사용하여 상대적으로 충분히 학습되었다고 판단되고, 방법론적 측면에서는 3개의 클래스를 한 번에 분류한 것이 아닌 2개씩 분류하여 결과를 도출했기 때문에 위 연구보다 최대 10% 더 높은 결과를 얻을 수 있었던 것으로 생각된다.
정상과 위궤양 분류의 경우 데이터 증강 미적용, 5배 증강, 15배 증강 각 세가지 조건에서 93.52%, 94.87%, 95.11%의 정 확도를 보였다. 정상과 위암 분류시 데이터 증강 미적용, 5배 증강, 15배 증강에서 각각 96.
11%의 정 확도를 보였다. 정상과 위암 분류시 데이터 증강 미적용, 5배 증강, 15배 증강에서 각각 96.65%, 97.79%, 98.28%의 정확도를 나타냈으며, 위궤양과 위암 분류 시 데이터 증강 미적용, 5배 증강, 15배 증강에서 각각 86.45%, 89.3%, 87.89%의 정확도를 보여주었다(표 2).

후속연구

뿐만 아니라 노이즈 제거 기법으로 이미지 학습에 불필요한 잡음을 제거하고, 선명화(Sharpening) 기법으로 병변의 엣지(Edge) 부위를 선명하게 하거나, 히스토그램 평활화 (Histogram Equalization) 기법으로 색대비를 뚜렷하게 하여 학습한다면 더 높은 정확도를 얻을 수 있을 것이라 예상된다.
앞서 언급된 다양한 기법을 적용하여 모델 성능을 향상시킨 후 위와 같은 방법으로 경량화하여 실시간 검진에 적용 한다면 현 내시경 검진 시스템의 인적, 물적 자원을 줄이고 의료의 질을 크게 향상시킬 것이라 기대되는 바이다.
실제로 조기 위암 형태 중 융기형을 제외한 표면형과 함몰 형 위암은 위내시경 이미지 상에서 위궤양과 거의 흡사한 모습을 보인다[2]. 이를 보완하기 위해 위궤양과 외관상 유사한 표면형 및 함몰형 위암 데이터를 중점적으로 수집한다면 추가 학습에 사용하여 위궤양과 위암의 분류 성능을 더 높일 수 있을 것이라 예상된다.
이와 같이 데이터의 추가적인 수집, 다양한 영상 처리 기적용, 최적 파라미터 탐색 과정 단계를 거쳐 향상된 정확도의 모델을 본 연구에 반영한다면 내시경 의사들이 더욱 정확하고 빠르게 검진하는데 도움을 줄 것이다.
나아가 실제 임상에서 이를 적용한 실시간 분류 시스템을 구축하기 위해서는, 초당 약 60프레임(Frame)의 대량 데이 터인 내시경 영상을 받아와 처리할 수 있도록 빠른 연산을 위한 모델 경량화 연구가 필요하다. 합성곱 신경망의 가장 큰 계산량을 요구하는 합성곱 필터를 변경하여 연산을 효율 적으로 줄이거나, 파라미터의 불필요한 표현력을 줄이는 가중치 가지치기와 같은 방법을 이용하여 알고리즘을 경량화 한다면 내시경 검진 시에도 실시간으로 영상 분류가 가능할 것이다.
현재까지 내시경의 위암 영상을 분류한 연구는 진행되지 않았으며 임상에서의 보다 높은 활용도를 위해서는 해당 이미지의 분류 연구의 필요성이 있었다.

질의응답

핵심어	질문	논문에서 추출한 답변
	위궤양은 어떻게 나뉘는가?	위궤양은 위 내벽이 부분적으로 허는 질환을 말한다. 위궤양은 양성 위궤양과 악성 위궤양으로 나뉘는데, 악성 위궤양은 조기위암 또는 진행위암으로 분류되는 위암의 종류 중 하나이다[1].
	합성곱 신경망 기반 분류기에 사용할 위내시경 영상 이미지를 분류 성능을 높이기 위해 많은 데이터를 수집할 수 없어 데이터 증강 기법을 적용할 때 그 증강 배수로는 몇 배를 지정하였나?	또한 의료 데이터 특성상 많은 데이터를 수집하기 어려워 제한된 데이터로 학습해야 하기 때문에 데이터 증강(augmentation) 기법을 적용하여 데이터 개수가 증가했을 때의 정확도가 기존 데이터 개수일 때보다 높은지 비교하였다. 그 증강 배수로는 각각 5배, 15 배를 지정해주었다.
	위궤양이란 무엇인가?	위궤양은 위 내벽이 부분적으로 허는 질환을 말한다. 위궤양은 양성 위궤양과 악성 위궤양으로 나뉘는데, 악성 위궤양은 조기위암 또는 진행위암으로 분류되는 위암의 종류 중 하나이다[1].

참고문헌 (13)

Yoon SJ. Screening between benign and malignant gastric ulcers. Korean Journal of Gastrointestinal Endoscopy. 2007;35:29-33.
Sim KN. Endoscopic findings of early gastric cancer. Korean Journal of Gastrointestinal Endoscopy. 2007;34:254-7.
Park HA, Nam SY, Lee SK, Kim SK, Sim KN, Park SM, Lee SY, Han HS, Sin YM, Kim KM, Lee KJ, Lee TY, Choi IJ, Hong SS, Kim JW, Lee YJ, Kim SY, Kim Y, Lee WC, Jeong IK. The Korean guideline for gastric cancer screening. J Korean Med Assoc. 2015;58(5):373-84.

상세보기
Ryu JS. Cases of misdiagnosis and countermeasures. Korean Journal of Gastrointestinal Endoscopy. 2008;37:24-6.
Hirasawa T, Aoyama K, Tanimoto T, Ishihara S, Shichijo S. Application of artificial intelligence using a convolutional neural network for detecting gastric cancer in endoscopic images. Gastric Cancer. 2018;21(4):653-60.

상세보기
Zhang X, Hu W, Chen F, Liu J, Yang Y, Wang L, Duan H, Si J. Gastric precancerous diseases classification using CNN with a concise model. PLoS One. 2017;12(9):1-10.
Sharma H, Zerbe N, Klempert I, Hellwich O, Hufnagl P. Computerized Medical Imaging and Graphics Deep convolutional neural networks for automatic classification of gastric carcinoma using whole slide images in digital histopathology. Comput. Med. Imaging Graph. 2017;61:2-13.

상세보기
Menon S, Trudgill N. How commonly is upper gastrointestinal cancer missed at endoscopy? A meta-analysis. Endoscopy. 2014;2(2):46-50.
Kim N. Screening and Diagnosis of Early Gastric Cancer. J Korean Med Assoc. 2010;53(4):290-8.

상세보기
Wang J, Perez L. The Effectiveness of Data Augmentation in Image Classification using Deep Learning. arXiv preprint arXiv 2017;1712.04621.
Wen L. A transfer convolutional neural network for fault diagnosis based on ResNet-50. Neural Comput. Appl. 2019;0123456789.
https://bskyvision.com/644. Accessed on 12 Dec 2019.
Huh M, Agrawal P, Efros AA. What makes ImageNet good for transfer learning?. arXiv preprint arXiv. 2016;1712.04621.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증