[논문]흉부 CT 영상에서 비소세포폐암 환자의 재발 예측을 위한 종양 내외부 영상 패치 기반 앙상블 학습

이예슬; 조아현; 홍헬렌

doi:10.9717/kmms.2020.24.3.373

흉부 CT 영상에서 비소세포폐암 환자의 재발 예측을 위한 종양 내외부 영상 패치 기반 앙상블 학습
Ensemble Learning Based on Tumor Internal and External Imaging Patch to Predict the Recurrence of Non-small Cell Lung Cancer Patients in Chest CT Image 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.24 no.3, 2021년, pp.373 - 381

이예슬 (Dept. of Software Convergence, Seoul Women's University) , 조아현 (Major of Bio & Environmental Technology, Seoul Women's University) , 홍헬렌 (Dept. of Software Convergence, Seoul Women's University)

Abstract ▼ AI-Helper

In this paper, we propose a classification model based on convolutional neural network(CNN) for predicting 2-year recurrence in non-small cell lung cancer(NSCLC) patients using preoperative chest CT images. Based on the region of interest(ROI) defined as the tumor internal and external area, the input images consist of an intratumoral patch, a peritumoral patch and a peritumoral texture patch focusing on the texture information of the peritumoral patch. Each patch is trained through AlexNet pretrained on ImageNet to explore the usefulness and performance of various patches. Additionally, ensemble learning of network trained with each patch analyzes the performance of different patch combination. Compared with all results, the ensemble model with intratumoral and peritumoral patches achieved the best performance (ACC=98.28%, Sensitivity=100%, NPV=100%).

주제어

표/그림 (7)

그림 Fig. 1. Representative images of recurrent and non-recurrent tumors in chest CT images of NSCLC patients.
그림 Fig. 2. Overview of deep learning radiomics for predicting recurrence from CT images of NSCLC patients.
그림 Fig. 3. Example of intensity normalization for chest CT images of NSCLC patients.
그림 Fig. 5. Architecture of AlexNet.
그림 Fig, 4. Example of tumor labeling binary masks and image patches.
그림 Fig. 6. Tumor size box plot of recurrence and non-recurrence. (Group1: tumor size < 30 mm, Group2: 30 mm ≤ tumor size < 50 mm, Group3: 50 mm ≤ tumor size).
표 Table 1. Comparison of performance criteria by network architecture and input image patches.

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 비소세포폐암 환자들의 수술 전 흉부 CT영상과 임상 데이터를 활용하여 2년 이내 재발률을 예측하기 위한 분류 방법을 제안하였다. 종양내부 정보 뿐 아니라 종양 주변부 정보 또한 활용할 수 있는 종양 내부 패치, 종양 주변부 패치, 종양 주변부 질감 패치로 입력 영상을 구성하고 각 패치를 사전학습된 AlexNet을 통하여 전이 학습시켜 패치의 종류와 특성에 따른 유용성 및 성능을 비교 분석하였다.
본 연구에서는 폐암 절제술을 받은 비소세포폐암환자의 수술 전 흉부 CT영상을 이용해 2년 이내의재발률을 예측하기 위한 합성곱 신경망 기반의 분류방법을 제안한다. 종양 내부 정보 뿐 아니라 종양 주변부 정보를 활용한 영상 패치를 제안하며, 특히 종양 주변부 패치의 경우에는 종양 내부 정보 패치에서종양 주변의 일정 영역을 추출한 패치와 해당 패치에서 종양 주변부의 질감 정보에만 집중한 패치로 나누어 제시한다.

제안 방법

입력 데이터 생성을 위해 환자 한 명당 종양이 가장 크게 나타난 영상을 기준으로 상위, 하위 단면 영상까지 포함하여 총 3장의 CT슬라이스 영상을 선택하였으며, 그 중 종양이 나타나지 않은 영상 6장을 제외하고 총 294장의 데이터를 사용하였다. 데이터셋은 훈련 데이터와 시험 데이터의 비율을 8:2로 나누고, 훈련 데이터를 다시 8:2비율로 훈련 데이터와 검증 데이터로 나누어 실험을 수행하였다.
종양내부 정보 뿐 아니라 종양 주변부 정보 또한 활용할 수 있는 종양 내부 패치, 종양 주변부 패치, 종양 주변부 질감 패치로 입력 영상을 구성하고 각 패치를 사전학습된 AlexNet을 통하여 전이 학습시켜 패치의 종류와 특성에 따른 유용성 및 성능을 비교 분석하였다. 또한, 각 패치로 학습된 네트워크의 앙상블을 통해 다양한 패치의 조합에 따른 분류 성능을 평가했다.
2는 비소세포폐암 환자의 흉부 CT 영상에서 재발률 예측을 위한 딥러닝 라디오믹스 과정을 나타낸다. 비소세포폐암 환자의 흉부 CT영상의 전처리과정을 거친 후에 종양 내부 패치, 종양 주변부 패치, 종양 주변부 질감 패치 총 세 가지의 입력 패치를 생성하고, 각 패치를 ImageNet기반으로 사전 학습된 AlexNet을 통해 전이 학습을 실시하여 재발 여부를 분류하고 각 네트워크를 이용하여 다양한 조합으로 앙상블 학습을 실행하여 재발 여부를 분류하며 다양한 패치 및 네트워크 구성에 따른 성능을 비교분석한다.
비소세포폐암의 재발 예측에 있어서 종양 주변부패치 및 종양 주변부 질감 패치의 유용성 분석을 위해 반복적인 학습을 통해 종양 내부 패치로 학습된 네트워크에서 오분류된 영상들 중 종양 주변부 패치와 종양 주변부 질감 패치로 학습된 네트워크에서 정분류한 영상들의 특성을 분석하였다. 분석 결과 종양 주변부 패치와 종양 주변부 질감 패치로 학습된두 네트워크 모두 재발했음에도 크기가 작은 종양이거나 재발하지 않았음에도 크기가 큰 종양 등 일반적인 재발 및 비 재발군 종양의 특성과는 다른 영상들을 정분류 하였고, 특히 종양 주변부 질감 정보가 풍부한 영상을 정분류하는 경향을 보였다.
훈련 데이터의 부족을 보완하기 위해 데이터 증강 (dataaugmentation)을 수행한다. 이 때, 각 패치의특성에 따라 변형 종류를 다르게 설정하는데, 종양내부 패치는 데이터 증강을 하지 않으며, 종양 주변부 패치는 랜덤 수평 뒤집기(random horizontal flip), 랜덤 수직 뒤집기(random vertical flip), 어파인 변환 (affinetrans formation), 종양 주변부 질감 패치는 랜덤 사이즈 재설정 크롭(random resizecrop)과 랜덤수평 뒤집기를 수행하였다.
종양 내부 정보 뿐 아니라 종양 주변부 정보를 활용한 영상 패치를 제안하며, 특히 종양 주변부 패치의 경우에는 종양 내부 정보 패치에서종양 주변의 일정 영역을 추출한 패치와 해당 패치에서 종양 주변부의 질감 정보에만 집중한 패치로 나누어 제시한다. 이와 같은 세 가지 패치를 ImageNet 기반으로 사전 학습된 AlexNet을 이용하여 전이 학습 시키고 각 패치로 학습된 네트워크를 다양한 조합으로 앙상블 시켜 패치 종류와 다양한 앙상블 네트워크에 따른 분류 성능 및 유용성을 비교 분석한다.
폐 종양 주변부의 혈관 등 실질 조직이 암 전이의 원인에 관련이 있다는 임상적 사실을 근거로 종양내부․주변부․주변부 질감 영상 패치를 포함한 총 세 가지의 입력 패치를 생성한다. 입력 데이터 준비를 위해 Fig.4와 같이 종양 내부 정보를 나타내는영역과 종양 주변부 정보를 나타내는 영역으로 구분하여 ROI를 정의하고, 이를 바탕으로 입력 영상 패치를 구성한다.
본 연구에서는 폐암 절제술을 받은 비소세포폐암환자의 수술 전 흉부 CT영상을 이용해 2년 이내의재발률을 예측하기 위한 합성곱 신경망 기반의 분류방법을 제안한다. 종양 내부 정보 뿐 아니라 종양 주변부 정보를 활용한 영상 패치를 제안하며, 특히 종양 주변부 패치의 경우에는 종양 내부 정보 패치에서종양 주변의 일정 영역을 추출한 패치와 해당 패치에서 종양 주변부의 질감 정보에만 집중한 패치로 나누어 제시한다. 이와 같은 세 가지 패치를 ImageNet 기반으로 사전 학습된 AlexNet을 이용하여 전이 학습 시키고 각 패치로 학습된 네트워크를 다양한 조합으로 앙상블 시켜 패치 종류와 다양한 앙상블 네트워크에 따른 분류 성능 및 유용성을 비교 분석한다.
본 논문에서는 비소세포폐암 환자들의 수술 전 흉부 CT영상과 임상 데이터를 활용하여 2년 이내 재발률을 예측하기 위한 분류 방법을 제안하였다. 종양내부 정보 뿐 아니라 종양 주변부 정보 또한 활용할 수 있는 종양 내부 패치, 종양 주변부 패치, 종양 주변부 질감 패치로 입력 영상을 구성하고 각 패치를 사전학습된 AlexNet을 통하여 전이 학습시켜 패치의 종류와 특성에 따른 유용성 및 성능을 비교 분석하였다. 또한, 각 패치로 학습된 네트워크의 앙상블을 통해 다양한 패치의 조합에 따른 분류 성능을 평가했다.
폐 종양 주변부의 혈관 등 실질 조직이 암 전이의 원인에 관련이 있다는 임상적 사실을 근거로 종양내부․주변부․주변부 질감 영상 패치를 포함한 총 세 가지의 입력 패치를 생성한다. 입력 데이터 준비를 위해 Fig.

대상 데이터

입력 데이터 생성을 위해 환자 한 명당 종양이 가장 크게 나타난 영상을 기준으로 상위, 하위 단면 영상까지 포함하여 총 3장의 CT슬라이스 영상을 선택하였으며, 그 중 종양이 나타나지 않은 영상 6장을 제외하고 총 294장의 데이터를 사용하였다. 데이터셋은 훈련 데이터와 시험 데이터의 비율을 8:2로 나누고, 훈련 데이터를 다시 8:2비율로 훈련 데이터와 검증 데이터로 나누어 실험을 수행하였다.

이론/모형

앙상블 학습을 위해 각 패치로 학습된 네트워크 중 두 가지 네트워크를 앙상블한 경우와 세 가지 네트워크를 모두 앙상블한 경우로 나누어 다양한 조합의 앙상블 네트워크를 구성하였으며, 각 네트워크에서 예측된 각 클래스에 대한 확률 값을 평균 내어 최종 예측을 하는 간접 투표(soft-voting)방식을 적용하였다.

성능/효과

종양 내부 패치, 종양 주변부 패치, 종양 주변부 질감 패치로 사전 학습된 AlexNet을 각각 학습시킨 결과 종양 내부 패치가 가장 좋은 성능을 보였다. 각패치로 학습된 두 개의 네트워크를 앙상블 시켰을경우 종양 내부 패치와 종양 주변부 패치 네트워크를 앙상블 시킨 모델, 종양 내부 패치와 종양 주변부 질감 패치 네트워크를 앙상블 시킨 모델, 종양 주변부 패치와 종양 주변부 질감 패치를 앙상블 시킨 모델 모두 단일 네트워크에 비해 성능이 개선되었으며, 그중 종양 내부 패치와 종양 주변부 패치의 네트워크를 앙상블 시킨 모델이 가장 높은 성능을 나타냈다. 각패치로 학습된 세 개의 네트워크 모두를 앙상블 시킨 모델은 두 개의 네트워크를 앙상블 시킨 모델에 비해 성능이 전반적으로 하락하였으며, 이는 종양 주변부 패치와 종양 주변부 질감 패치의 사이의 정보 중복 때문이라 분석된다.
각패치로 학습된 두 개의 네트워크를 앙상블 시켰을경우 종양 내부 패치와 종양 주변부 패치 네트워크를 앙상블 시킨 모델, 종양 내부 패치와 종양 주변부 질감 패치 네트워크를 앙상블 시킨 모델, 종양 주변부 패치와 종양 주변부 질감 패치를 앙상블 시킨 모델 모두 단일 네트워크에 비해 성능이 개선되었으며, 그중 종양 내부 패치와 종양 주변부 패치의 네트워크를 앙상블 시킨 모델이 가장 높은 성능을 나타냈다. 각패치로 학습된 세 개의 네트워크 모두를 앙상블 시킨 모델은 두 개의 네트워크를 앙상블 시킨 모델에 비해 성능이 전반적으로 하락하였으며, 이는 종양 주변부 패치와 종양 주변부 질감 패치의 사이의 정보 중복 때문이라 분석된다.
한편, 종양 주변부 패치로 학습된 네트워크의 낮은 특이도와 그로 인한 음성에 대한 최종 확률 값의낮은 신뢰도로 인해 해당 앙상블 모델의 특이도와 양성예측도가 소폭 하락한 것으로 분석된다. 또한, 종양 내부 패치, 종양 주변부 패치, 종양 주변부 질감패치의 네트워크를 앙상블 시킨 모델의 정확도는 91.38%로 두 네트워크의 앙상블 모델에 비해 성능이하락하였다. 이는 종양 주변부 질감 패치는 종양 주변부 패치에서 질감 정보만을 유지하며 생성된 패치이기 때문에 두 패치 사이에 많은 정보가 중복되어두 네트워크의 앙상블 모델에 비해 성능이 낮아진것으로 분석된다.
비소세포폐암의 재발 예측에 있어서 종양 주변부패치 및 종양 주변부 질감 패치의 유용성 분석을 위해 반복적인 학습을 통해 종양 내부 패치로 학습된 네트워크에서 오분류된 영상들 중 종양 주변부 패치와 종양 주변부 질감 패치로 학습된 네트워크에서 정분류한 영상들의 특성을 분석하였다. 분석 결과 종양 주변부 패치와 종양 주변부 질감 패치로 학습된두 네트워크 모두 재발했음에도 크기가 작은 종양이거나 재발하지 않았음에도 크기가 큰 종양 등 일반적인 재발 및 비 재발군 종양의 특성과는 다른 영상들을 정분류 하였고, 특히 종양 주변부 질감 정보가 풍부한 영상을 정분류하는 경향을 보였다. 따라서 종양주변부 패치와 종양 주변부 질감 패치를 통해 비소세포폐암 환자의 재발 예측 시 종양 주변부 정보에 집중하여 학습되기 때문에 종양 내부 패치에서 오분류된 영상들을 정분류 할 수 있으며 이는 종양 내부패치의 취약점을 보완하는 효과가 있다.
위 세 개의 네트워크를 이용하여 다양한 조합으로 앙상블 학습을 진행한 결과 종양 내부 패치와 종양주변부 패치의 네트워크를 앙상블 시킨 모델, 종양내부 패치와 종양 주변부 질감 패치의 네트워크를 앙상블 시킨 모델, 종양 주변부 패치와 종양 주변부질감 패치의 네트워크를 앙상블 시킨 모델의 정확도는 각각 98.28%, 72.41%, 96.55%로 종양 내부 패치와 종양 주변부 패치의 네트워크를 앙상블 시킨 모델이가장 높은 성능을 보였으며, 이는 한 개의 패치를 이용하여 학습된 네트워크 보다 높은 성능으로 나타났다. 따라서 종양 내부 패치와 종양 주변부 패치의 네트워크를 앙상블 시킨 모델과 종양 내부 패치와 종양주변부 질감 패치를 앙상블 시킨 모델이 유사하게높은 성능을 나타내는 것으로 보아 종양 내부 정보와 종양 주변부 정보를 함께 사용하여 재발 여부를 예측하였을 때 분류 성능이 보다 향상되는 것으로 분석된다.
종양 내부 패치, 종양 주변부 패치, 종양 주변부 질감 패치로 사전 학습된 AlexNet을 각각 학습시킨 결과 종양 내부 패치가 가장 좋은 성능을 보였다. 각패치로 학습된 두 개의 네트워크를 앙상블 시켰을경우 종양 내부 패치와 종양 주변부 패치 네트워크를 앙상블 시킨 모델, 종양 내부 패치와 종양 주변부 질감 패치 네트워크를 앙상블 시킨 모델, 종양 주변부 패치와 종양 주변부 질감 패치를 앙상블 시킨 모델 모두 단일 네트워크에 비해 성능이 개선되었으며, 그중 종양 내부 패치와 종양 주변부 패치의 네트워크를 앙상블 시킨 모델이 가장 높은 성능을 나타냈다.

후속연구

향후 연구 방향으로는, 성능 향상을 위하여 더 많은 데이터 셋을 확보하고 이를 통해 종양 주변부 패치 및 종양 주변부 질감 패치의 낮은 정확도 및 특이도를 극복하고, AlexNet이외에도 VGGNet, ResNet 등과 같은 층이 깊은 모델을 사용하여 성능을 비교분석하고자 한다.

참고문헌 (15)

J.R. Molina, and P. Yang, et al. "Non-Small Cell Lung Cancer: Epidemiology, Risk Factors, Treatment, and Survivorship," Mayo Clinic Proceedings. Vol. 83. No. 5, pp. 584-594, 2008.

상세보기
H. Uramoto and F. Tanaka. "Recurrence after Surgery in Patients with NSCLC," Translational Lung Cancer Research, Vol. 3, No. 4, pp. 242-249, 2014.

상세보기
W. Sun, M. Jiang, et al. "Effect of Machine Learning Methods on Predicting NSCLC Overall Survival Time based on Radiomics Analysis," Radiation Oncology, Vol. 13, No. 1 pp. 1-8, 2018.

상세보기
Y. Zhang, A. Oikonomou, A. Wong, M.A. Haider, and F. Kalvati, "Radiomics-based Prognosis Analysis for Non-Small Cell Lung Cancer," Scientific Reports, Vol. 7, No. 7, 46349, 2017.

상세보기
X. Wang, X. Zhao, et al. "Can Peritumoral Radiomics Increase the Efficiency of the Prediction for Lymph Node Metastasis in Clinical Stage T1 Lung Adenocarcinoma on CT?," European Radiology, Vol. 29, No. 11, pp. 6049-6058, 2019.

상세보기
T.A. D'Antonoli, A. Farchione, et al. "CT Radiomics Signature of Tumor and Peritumoral Lung Parenchyma to Predict Nonsmall Cell Lung Cancer Postsurgical Recurrence Risk," Academic Radiology, Vol. 27, No. 4 pp. 497-507, 2020.

상세보기
S. Lee, J. Jung, H.K. Hong, and B.S. Kim, "1219P AI-Powered Prediction of 2-year Relapse-Free Survival in Operable NSCLC Patients Using Peritumoral Radiomic Features According to Tumour Size in Chest CT Images," Annals of Oncology, Vol. 31, S796, 2020.
A. Vial, D. Stirling, et al. "The Role of Deep Learning and Radiomic Feature Extraction in Cancer-Specific Predictive Modelling: A Review," Translational Cancer Research, Vol. 7. No. 3, pp. 803-816, 2018.

상세보기
A. Hosny, C. Parmar, et al. "Deep Learning for Lung Cancer Prognostication: A Retrospective Multi-Cohort Radiomics Study," PLoS Medicine, Vol. 15, No. 11, e1002711, 2018.

상세보기
P. Aonpong, Y. Iwamoto, W. Wang, L. Lin, and Y.-W. Chen, "Hand-Crafted and Deep Learning-Based Radiomics Models for Recurrence Prediction of Non-Small Cells Lung Cancers," Innovation in Medicine and Healthcare, pp. 135-144, 2020.
Y. Lee et al. "Deep Transfer Learning Based on Image Patches for Recurrence Prediction of Non-Small Cell Lung Cancer Patients on Chest CT Images," Proceedings of the Korea Multimedia Society Fall Conference, Vol. 23, No. 2, pp. 368-370, 2020.
K. Kadota, J.-I. Nitadori, et al. "Tumor Spread Through Air Spaces is an Important Pattern of Invasion and Impacts the Frequency and Location of Recurrences after Limited Resection for Small Stage I Lung Adenocarcinomas," Journal of Thoracic Oncology, Vol. 10, No. 5, pp. 806-814, 2015.

상세보기
A. Krizhevsky, I. Sutskever, and G.E. Hinton, "ImageNet Classification with Deep Convolutional Neural Networks," Advances in Neural Information Processing Systems, Vol. 1, pp. 1097-1105, 2012.
H. Lee, H. Hong, J. Kim, and D.C. Jung, "Deep Feature Classification of Angiomyolipoma without Visible Fat and Renal Cell Carcinoma in Abdominal Contrast-Enhanced CT Images with Texture Image Patches and Hand Crafted Feature Concatenation," Medical Physics, Vol. 45, No. 4, pp. 1550-1561, 2018.

상세보기
S.-W. Park, and D.-Y. Kim. "Comparison of Image Classification Performance in Convolutional Neural Network according to Transfer Learning," Journal of Korea Multimedia Society, Vol. 21, No. 12, pp. 1387-1395, 2018.

원문보기 상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증