[논문]심층 컨볼루션 신경망을 이용한 OCT 볼륨 데이터로부터 AMD 진단

권오흠; 정유진; 송하주

doi:10.9717/kmms.2017.20.8.1291

심층 컨볼루션 신경망을 이용한 OCT 볼륨 데이터로부터 AMD 진단
AMD Identification from OCT Volume Data using Deep Convolutional Neural Network 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.20 no.8, 2017년, pp.1291 - 1298

권오흠 (Dept. of IT Convergence and Application, Pukyong National University) , 정유진 (Division of Computer & Electronic Systems Engineering, Hankuk University of Foreign Studies) , 송하주 (Dept. of IT Convergence and Application, Pukyong National University)

Abstract ▼ AI-Helper

Optical coherence tomography (OCT) is the most common medical imaging device with the ability to image the retina in eyes at micrometer resolution and to visualize the pathological indicators of many retinal diseases such as Age-Related Macular Degeneration (AMD) and diabetic retinopathy. Accordingly, there have been research activities to analyze and process OCT images to identify those indicators and make medical decisions based on the findings. In this paper, we use a deep convolutional neural network for analysis of OCT volume data to distinguish AMD from normal patients. We propose a novel approach where images in each OCT volume are grouped together into sub-volumes and the network is trained by those sub-volumes instead of individual images. We conducted an experiment using public data set to evaluate the performance of the proposed approach. The experiment confirmed performance improvement of our approach over the traditional image-by-image training approach.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 OCT 이미지 볼륨으로부터 AMD를 자동 진단하는 심층 CNN을 제시하고, 서브 볼륨 단위의 인식이 개별 이미지 단위의 인식에 비해 효과적임을 실험을 통하여 보였다. 본 논문의 구성은 다음과 같다.
만약 서브 볼륨의 크기가 1이면 이는 기존의 연구들과 동일하게 이미지 단위의 라벨을 사용하는 방법으로 환원된다. 본 논문에서는 서브 볼륨 단위로 입력을 받는 깊은 컨볼루션 신경망을 구성하고 개별 이미지를 사용하는 경우와 크기가 3인 서브 볼륨을 사용하는 경우에 대해서 진단의 정확성(accuracy)과 민감도(sensitivity)에 대한 비교 분석을 수행하였다. 분석의 결과 크기가 3인 서브 볼륨을 사용하는 것이 개별 이미지 단위로 학습하는 경우보다 향상된 성능을 보여주었다.
본 논문은 심층 CNN을 이용하여 OCT 이미지로부터 대표적인 망막 질환의 하나인 AMD 즉 노년기 황반변성을 자동 진단하는 문제를 다룬다. AMD는 세계적으로 대략 1억 6천만 명 이상의 인구가 앓고 있는 망막 질환으로 노인성 실명의 대표적인 원인 중 하나이다.
이 검사는 모든 픽셀이 0의 값을 가지는 20 × 40크기의 마스크 윈도우를 AMD로 판정된 검사 이미지의 모든 행과 열에 대해 슬라이딩 시키면서 마스킹 한 후 검사하고, 그 결과를 원래 이미지의 검사결과와 비교함으로써 이미지의 각 영역이 AMD 진단에 미치는 영향의 정도를 분석하는 것이다.

제안 방법

또한 AMD로 진단된 이미지에서 그러한 진단을 내리는데 가장 크게 기여한 이미지 영역을 추출하기 위해서 차단(occlusion) 검사를 수행하였다. 차단 검사는 이미지의 모든 가능한 위치에 대해서 적절한 크기의 마스크 윈도우를 이용하여 원래 이미지를 가린 후 검사를 하고 그 결과를 원래 이미지에 대한 진단 결과와 비교함으로써 이미지의 각 부분이 진단에 기여한 정도를 분석하는 것이다.
신경망은 출력 층에서 각각의 서브 볼륨에 대해서 AMD일 확률을 제공한다. 볼륨 전체에 대한 판정은 볼륨에 속한 서브 볼륨들의 확률의 평균을 계산하여 내린다. 즉 볼륨 Vi가 AMD일 확률은 #이고, 여기서 p_ij는 서브볼륨 S_ij가 AMD일 확률이다.
학습 배치의 크기는 이미지 단위인 경우에는 60으로, 서브 볼륨 단위인 경우에는 20으로 하여 하나의 배치에 포함된 이미지의 총 개수가 60개로 동일하도록 유지 하였다. 신경망은 Google의 Tensorflow 버전 1.0을 이용하여 구현하였으며 한 개의 Nvidia 1080Ti GPU를 사용하는 Ubuntu16.04 시스템에서 실험을 수행하였다.
본 논문에서는 이러한 기본적인 문제를 완화하기 위해서 다음과 같은 접근법을 사용한다. 우리는 각각의 OCT 볼륨 데이터로부터 복수개의 연속된 이미지 프레임을 선택하여 이것을 하나의 서브 볼륨(subvolume)이라고 부르고, 각각의 서브 볼륨을 신경망의 학습과 테스트를 위한 데이터 항목으로 사용한다. 각각의 서브 볼륨에게는 자신이 속한 볼륨의 라벨을 부여한다.
컨볼루션 신경망이 이미지 및 비디오 인식 분야에서 커다란 성공을 성취하는 과정에서 네트워크의 구조와 그것을 구성하는 세부 구성요소에 대한 지속적인 개선과 발전이 이루어지고 있고 그 결과들은 많은 응용 연구들에 의해서 공유되고 있다. 이 연구에서 우리는 새로운 신경망 구조를 설계하는 대신 최근에 제안된 이미지 인식을 위한 신경망 구조들 중 가장 성공적인 사례의 하나인 VGG19 네트워크를 우리의 설정과 상황에 맞게 부분적으로 수정하여 사용하였다 [13]. 사용된 네트워크는 Fig.
학습과 테스트를 위한 데이터의 부족을 보완하기 위해서 전체 데이터 셋을 5개의 동일 크기의 집합으로 랜덤하게 분할한 후 그 중 하나를 테스트 데이터로 사용하고 나머지 4개를 학습 데이터로 사용하는 5겹 교차 검증(5-fold cross validation)을 수행하였다. 즉 5개의 동일한 신경망을 구성하고 각각에 대해서 따로 학습과 테스트를 실시한다. 각각의 네트워크는 5분할된 데이터 집합들 중 하나를 테스트 데이터로 사용되고 나머지 4개의 데이터 집합을 학습 데이터로 사용된다.
서브 볼륨들은 슬라이딩 윈도우(sliding window) 방식으로 서로 중첩되게 구성하므로 학습을 위한 데이터의 개수 역시 개별 이미지 단위로 하는 방법에 비해 크게 줄어들지 않는다. 테스트 볼륨에 대해서는 이렇게 서브 볼륨 단위로 계산된 확률의 평균을 이용하여 볼륨 단위의 판정을 내리는 기본적인 접근을 택하였다.
트레이닝은 평균 제곱근(mean square) 목적 함수(objective function)와 경사 하강법(gradient descent)을 사용하여 이루어졌다. 트레이닝 시간을 단축하기 위해서 네트워크의 첫 번째 컨볼루션 층과 FC1 및 FC3 층을 제외한 나머지 층들은 미리 트레이닝 된(pre-trained) 가중값을 이용하여 초기화한 후 트레이닝을 지속하였다. Fig.

대상 데이터

본 연구 데이터 셋은 총 384개의 OCT 볼륨으로 구성된다. 그 중 269개는 AMD 환자의 것이고, 나머지 115개는 건강한 사람으로부터 획득한 것이다. 각각의 OCT 볼륨은 100개의 순차적인 이미지로 구성되고, 각 이미지의 해상도는 500 × 1000이다.
본 논문에서는 Duke 대학의 VIP (Vision and Image Processing) 연구실에서 AMD 환자의 OCT 이미지에 대한 분석을 목적으로 제공하는 공개 데이터 셋을 사용하였다 [14]. 본 연구 데이터 셋은 총 384개의 OCT 볼륨으로 구성된다.
본 논문에서는 Duke 대학의 VIP (Vision and Image Processing) 연구실에서 AMD 환자의 OCT 이미지에 대한 분석을 목적으로 제공하는 공개 데이터 셋을 사용하였다 [14]. 본 연구 데이터 셋은 총 384개의 OCT 볼륨으로 구성된다. 그 중 269개는 AMD 환자의 것이고, 나머지 115개는 건강한 사람으로부터 획득한 것이다.
이 연구에서 우리는 새로운 신경망 구조를 설계하는 대신 최근에 제안된 이미지 인식을 위한 신경망 구조들 중 가장 성공적인 사례의 하나인 VGG19 네트워크를 우리의 설정과 상황에 맞게 부분적으로 수정하여 사용하였다 [13]. 사용된 네트워크는 Fig. 2에서 설명하는 바와 같이 우선 크게 전방을 구성하는 5 그룹의 컨볼루션 층들과 후방을 구성하는 3겹의 완전연결(fullyconnected: FC) 층들로 구성되는 매우 깊은 신경망이다. 컨볼루션 층 그룹들은 각각 다시 2～4개의 연속된 컨볼루션 층으로 구성되며 각 그룹의 마지막에는 맥스풀링(maxpooling) 층이 추가된다.

데이터처리

이미지 단위의 학습과 서브 볼륨 단위의 학습에 대해서 진단의 정확성을 평가하기 위해 5겹 교차검증의 결과를 모두 합산하여 FPR (False Positive Rate)와 FNR(False Negative Rate)를 분석하였다. 이미지 단위의 학습의 경우 각각의 이미지에 대한 FPR는 10.
학습과 테스트를 위한 데이터의 부족을 보완하기 위해서 전체 데이터 셋을 5개의 동일 크기의 집합으로 랜덤하게 분할한 후 그 중 하나를 테스트 데이터로 사용하고 나머지 4개를 학습 데이터로 사용하는 5겹 교차 검증(5-fold cross validation)을 수행하였다. 즉 5개의 동일한 신경망을 구성하고 각각에 대해서 따로 학습과 테스트를 실시한다.

이론/모형

VGG19과 비교하여 입력 층의 크기가 입력 이미지의 크기에 맞게 변경되었으며, 마지막 FC3 층이 추가된 형태이다. 트레이닝은 평균 제곱근(mean square) 목적 함수(objective function)와 경사 하강법(gradient descent)을 사용하여 이루어졌다. 트레이닝 시간을 단축하기 위해서 네트워크의 첫 번째 컨볼루션 층과 FC1 및 FC3 층을 제외한 나머지 층들은 미리 트레이닝 된(pre-trained) 가중값을 이용하여 초기화한 후 트레이닝을 지속하였다.

성능/효과

여러 장의 이미지로 구성되는 서브 볼륨 단위의 학습과 진단을 수행하는 접근이 기존의 개별 이미지 단위의 학습에 비해 우수한 성능을 보임을 실험을 통하여 보였다. 또한 차단 검사를 통하여 학습된 신경망이 적절하게 병리적인 이상 부위를 식별한다는 것을 보였다.
전자의무기록(Electronic Medical Record: EMR)이 보편화 되면서 디지털 이미지 처리 기술과 인공지능 기술을 의학 기술에 적용하는 사례가 급속하게 증가하고 있다. 본 논문에서는 심층 신경망 기술을 이용한 OCT 이미지 분석을 통하여 대표적인 망막질환인 AMD를 정상 환자로부터 성공적으로 식별할 수 있음을 보였다. 여러 장의 이미지로 구성되는 서브 볼륨 단위의 학습과 진단을 수행하는 접근이 기존의 개별 이미지 단위의 학습에 비해 우수한 성능을 보임을 실험을 통하여 보였다.
본 논문에서는 서브 볼륨 단위로 입력을 받는 깊은 컨볼루션 신경망을 구성하고 개별 이미지를 사용하는 경우와 크기가 3인 서브 볼륨을 사용하는 경우에 대해서 진단의 정확성(accuracy)과 민감도(sensitivity)에 대한 비교 분석을 수행하였다. 분석의 결과 크기가 3인 서브 볼륨을 사용하는 것이 개별 이미지 단위로 학습하는 경우보다 향상된 성능을 보여주었다. 이미지 혹은 서브 볼륨 단위의 진단 결과를 평균하여 볼륨 단위의 진단을 했을 때도 역시 서브 볼륨 단위의 인식이 개별 이미지를 사용했을 때 보다 우위를 보였다.
본 논문에서는 심층 신경망 기술을 이용한 OCT 이미지 분석을 통하여 대표적인 망막질환인 AMD를 정상 환자로부터 성공적으로 식별할 수 있음을 보였다. 여러 장의 이미지로 구성되는 서브 볼륨 단위의 학습과 진단을 수행하는 접근이 기존의 개별 이미지 단위의 학습에 비해 우수한 성능을 보임을 실험을 통하여 보였다. 또한 차단 검사를 통하여 학습된 신경망이 적절하게 병리적인 이상 부위를 식별한다는 것을 보였다.
이미지 혹은 서브 볼륨 단위의 진단 결과를 평균하여 볼륨 단위의 진단을 했을 때도 역시 서브 볼륨 단위의 인식이 개별 이미지를 사용했을 때 보다 우위를 보였다. 이는 본 논문이 제시하는 서브 볼륨 단위의 학습과 인식이 효과적인 방법이 될 수 있음을 입증하는 결과이다.
각 볼륨에 속한 모든 이미지 혹은 서브 볼륨에 대한 진단 결과를 평균하여 볼륨 단위의 판정을 한 경우에 대한 정확도 분석의 결과는 다음과 같다. 이미지 단위 학습의 결과 FPR은 7.01%이고 FNR는 1.48%였다. 이는 115개의 정상 볼륨과 269명의 AMD 볼륨에 대해서 각각 8개와 4개의 볼륨에 대해서 잘못된 판정을 내린 것이다.
9963이었다. 이상의 실험 결과들은 일관되게 서브 볼륨 단위의 학습이 개별 이미지 단위의 학습에 비해서 일정한 성능의 향상이 있음을 보여준다.
Fig 4는 이 결과를 요약한 것이다. 주목할 점은 모든 경우에 대해서 정상 이미지를 AMD로 잘못 판정하는 오류가 그 반대의 경우보다 높았다는 것이다. 이것이 네트워크의 구조나 학습 기법의 어떤 측면에서 기인한 것인지는 현재로서는 불분명하다.
차단 검사는 이미지의 모든 가능한 위치에 대해서 적절한 크기의 마스크 윈도우를 이용하여 원래 이미지를 가린 후 검사를 하고 그 결과를 원래 이미지에 대한 진단 결과와 비교함으로써 이미지의 각 부분이 진단에 기여한 정도를 분석하는 것이다. 테스트 결과 신경망이 OCT 이미지 내에서 병리적 증상 부위를 적절하게 추출하는 것을 확인할 수 있었다.
7%의 볼륨 레벨 AUROC를 달성하였지만 FNR과 FPR에 대해서는 구체적인 수치를 밝히지 않았고, 또한 신경망 구현의 세부적인 사항이 공개되어 있지 않아 동일한 조건의 직접적인 비교를 수행하지는 못했다. 하지만 이러한 간접적인 비교로부터 본 연구의 결과가 기존 연구의 결과들과 충분히 비교할만하다는 것을 알 수 있다.

후속연구

보다 많은 양질의 의료 데이터를 확보하여 본 연구의 결과를 추가 검증하고 확장하는 것이 추후의 연구과제이다. 또한 AMD 이외의 녹내장 등의 다른 대표적인 안과 질환으로 연구의 영역을 넓혀가는 것 역시 향후 연구의 방향이다.
본 연구의 한계는 기본적으로 비교적 소규모의 공개 데이터에 기반하고 있다는 점이다. 보다 많은 양질의 의료 데이터를 확보하여 본 연구의 결과를 추가 검증하고 확장하는 것이 추후의 연구과제이다. 또한 AMD 이외의 녹내장 등의 다른 대표적인 안과 질환으로 연구의 영역을 넓혀가는 것 역시 향후 연구의 방향이다.
본 연구의 한계는 기본적으로 비교적 소규모의 공개 데이터에 기반하고 있다는 점이다. 보다 많은 양질의 의료 데이터를 확보하여 본 연구의 결과를 추가 검증하고 확장하는 것이 추후의 연구과제이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	OCT는 무엇인가?	OCT (Optical Coherence Tomography)는 적외선간섭측정(interferometry)을 이용하여 인체 조직을 침투하는 이미지를 획득함으로써 조직의 표면 아래 의 해부학적 구조를 시각화하는 의료 영상 기기이다. 안과, 조직 병리학, 피부 암 진단 등의 다양한 의료분야에서 질병의 진단과 처치에 광범위하게 사용되고 있다. 특히 안구의 후면인 망막(retina)을 수천 분의 일 밀리미터 수준의 해상도로 시각화할 수 있으므로, 망막 층(layer)의 시각화가 가능하여 다양한 안과 병리학적 지표에 대한 진단 장비로 사용되고 있다.
	AMD 증상중 OCT 이미지로부터 식별될 수 있는 시각적인 특징들은 어떤 것들이 있는가?	유전적 요인과 흡연 등의 생활 습관, 그리고 환경적 요인이 주요 병인으로 알려져 있다[10]. 정상적인 망막과 구분되는 AMD 증상들 중에서 망막 색소 상피(retinal pigment epithelium)의 변화, 망막 내 수액(intraretinal fluid), 결정체(drusen) 등이 OCT 이미지로부터 식별될 수 있는 시각적인 특징들로 알려져 있다.
	AMD의 주요 병인은 무엇인가?	AMD는 세계적으로 대략 1억 6천만 명 이상의 인구가 앓고 있는 망막 질환으로 노인성 실명의 대표적인 원인 중 하나이다. 유전적 요인과 흡연 등의 생활 습관, 그리고 환경적 요인이 주요 병인으로 알려져 있다[10]. 정상적인 망막과 구분되는 AMD 증상들 중에서 망막 색소 상피(retinal pigment epithelium)의 변화, 망막 내 수액(intraretinal fluid), 결정체(drusen) 등이 OCT 이미지로부터 식별될 수 있는 시각적인 특징들로 알려져 있다.

참고문헌 (14)

J. Welzel, “Optical Coherence Tomography in Dermatology : A Review,” Skin Research and Technology, Vol. 7, No. 1, pp. 1-9, 2001.

상세보기
S.J. Chiu, J.A. Izatt, R.V. O'Connell, K.P. Winter, C.A. Toth, and S. Farsiu, "Validated Automatic Segmentation of AMD Pathology Including Drusen and Geographic Atrophy in SD-OCT Images," Investigative Ophthalmology and Visual Science, Vol. 53, No. 1, pp. 53-61, 2012.

상세보기
G. Lemaitre, M. Rastgoo, J. Massich, C.Y. Cheung, Y. Wong, E. Lamoureux, et al., "Classification of SD-OCT Volumes Using Local Binary Patterns: Experimental Validation for DME Detection," Journal of Ophthalmology, Vol. 6, pp. 1-16, 2016.
Y. Liu, M. Chen, H. Ishikawa, G. Wollstein, J.S. Schuman, and J.M. Rehg, "Automated Macular Pathology Diagnosis in Retinal OCT Images Using Multi-scale Spatial Pyramid with Local Binary Patterns," Proceeding of Medical Image Computing and Computer-Assisted Intervention, pp. 1-9, 2010.
S. Lim and D.Y. Kim, "Object Tracking Using Feature Map from Convolutional Neural Network," Journal of Korea Multimedia Society, Vol. 20, No. 2, pp. 126-13, 2017.

원문보기 상세보기
A. Krizhevsky, I. Sutskever, and G.E. Hinton, "ImageNet: Classification with Deep Convolutional Neural Networks," Proceeding of the 25th International Conference on Neural Information Processing Systems, pp. 1097-1105, 2012.
J.T. Lee, H. Kang, and K. Lim, "Moving Shadow Detection Using Deep Learning and Markov Random Field," Journal of Korea Multimedia Society, Vol. 18, No. 12, pp. 1432-1438, 2015.

원문보기 상세보기
M.D. Abramoff, Y. Lou, and A. Erginay, “Improved Automated Detection of Diabetic Retinopathy on a Publicly Available Dataset Through Integration of Deep Learning,” Investigative Ophthalmology and Visual Science, Vol. 57, No. 13, pp. 5200-5206, 2016.

상세보기
R. Asaoka, H. Murata, A. Iwase, and M. Araie, “Detecting Preperimetric Glaucoma with Standard Automated Primetry Using a Deep Learning Classifier,” Ophthalmology, Vol. 123, No. 9, pp. 1974-1980, 2016.

상세보기
S. Apostolopoulos, C. Ciller, S. De Zanet, S. Wolf, and R. Sznitman, "RetiNet: Automatic AMD Identification in OCT Volumetric Data," arXiv:1610.03628, 2016.
T. Schlegl, S.M. Waldstein, U.M. Schmidt-Erfurth, and G. Langs, "Predicting Semantic Descriptions from Medical Images with Convolutional Neural Networks," Information Processing in Medical Imaging, Vol. 24, pp. 437-448, 2015.

상세보기
S. Cecilia, M.D. Lee, D.M. Baughman, and Y. Aaron, "Deep Learning is Effective for Classifying Normal Versus Age-related Macular Degeneration Optical Coherence Tomography Images," arXiv:1612.04891, 2016.
K. Simonyan and A. Zisserman, "Very Deep Convolutional Networks for Large-scale Image Recognition," arXiv:1409.1556, 2014.
S. Farsiu, S.J. Chiu, R.V. O'Connell, F.A. Folgar, E. Yuan, J.A. Izatt, et al., "Quantitative Classification of Eyes with and without Intermediate Age-related Macular Degeneration Using Optical Coherence Tomography," Ophthalmology, Vol. 121, No. 1, pp. 162-172, 2014.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증