[논문]3D 오토인코더 기반의 뇌 자기공명영상에서 다발성 경화증 병변 검출

최원준; 박성수; 김윤수; 감진규

doi:10.9717/kmms.2021.24.8.979

[국내논문] 3D 오토인코더 기반의 뇌 자기공명영상에서 다발성 경화증 병변 검출
Multiple Sclerosis Lesion Detection using 3D Autoencoder in Brain Magnetic Resonance Images 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.24 no.8, 2021년, pp.979 - 987

최원준 (Dept. of Computer Science and Engineering, Pusan National University) , 박성수 (Major of AI., Dept. of Information Convergence Engineering, Pusan National University) , 김윤수 (Major of AI., Dept. of Information Convergence Engineering, Pusan National University) , 감진규 (Dept. of Computer Science and Engineering, Pusan National University, Major of AI., Dept. of Information Convergence Engineering, Pusan National University)

Abstract ▼ AI-Helper

Multiple Sclerosis (MS) can be early diagnosed by detecting lesions in brain magnetic resonance images (MRI). Unsupervised anomaly detection methods based on autoencoder have been recently proposed for automated detection of MS lesions. However, these autoencoder-based methods were developed only for 2D images (e.g. 2D cross-sectional slices) of MRI, so do not utilize the full 3D information of MRI. In this paper, therefore, we propose a novel 3D autoencoder-based framework for detection of the lesion volume of MS in MRI. We first define a 3D convolutional neural network (CNN) for full MRI volumes, and build each encoder and decoder layer of the 3D autoencoder based on 3D CNN. We also add a skip connection between the encoder and decoder layer for effective data reconstruction. In the experimental results, we compare the 3D autoencoder-based method with the 2D autoencoder models using the training datasets of 80 healthy subjects from the Human Connectome Project (HCP) and the testing datasets of 25 MS patients from the Longitudinal multiple sclerosis lesion segmentation challenge, and show that the proposed method achieves superior performance in prediction of MS lesion by up to 15%.

주제어

표/그림 (6)

그림 Fig. 1. Proposed 3D autoencoder architecture for lesion detection in MRI volumes. The encoder extracts the features from the original MRI volumes, and the decoder generates the reconstructed volumes. The skip connection links the encoder and decoder layer.
그림 Fig. 2. Concepts of unsupervised lesion detection based on the 3D autoencoder. A) Training: We learn the model from healthy people's brain MRI, B) Testing: We reconstruct the patient's healthy brain to healthy brain with trained model, and extract lesions by the difference between the original input and reconstructed volume.
그림 Fig. 3. Demonstration of the proposed 3D autoencoder-based method of lesion detection. (a) Axial and coronal views of the test T2w MRI, (b) Reconstruction of the test data by the 3D autoencoder, (c) Ground-truth lesion mask (green) overlaid on T2w, and (d) Predicted lesion (green) by the difference between the original (a) and reconstruction data (b).
그림 Fig. 4. A comparison of lesion detection results based on 2D and 3D autoencoder (AE). (a) Ground-truth data in test data, and MS lesion detected by (b) 2D AE (Dense), (c) 2D AE (Spatial), and (d) proposed 3D AE.
그림 Fig. 5. A comparison of lesion detection results between 2D autoencoder with different axis and 3D autoencoder (AE). (a) MS lesion detected by 2D AE (Spatial) model along the axial axis (left), and coronal axis (right). (b) MS lesion detected by 3D AE in the axial (left), and coronal (right) views.
표 Table 1. Quantitative comparison of lesion detection between 2D, 3D autoencoder-based methods using 25 MS datasets (mean±std).

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 MS 환자의 뇌 MRI 볼륨 데이터에서 건강한 뇌 MRI 볼륨 데이터로 복원할 수 있는 3D 기반의 오토인코더 모델 구조와, 이를 이용한 MS 병변 지역 검출 알고리즘을 제시하였다. 3차원 공간정보를 한 번에 사용하여 학습하므로, 기존의 2차원 학습 방법에서 발생하는 특정 축의 병변 예측의 어려움을 보완할 수 있었다.

데이터처리

Fig. 3은 3D 오토인코더를 이용하여 MS 환자의 병변 영역을 예측한 뒤 ground-truth 데이터와 비교한 것이다. 정상인 T2w MRI 볼륨으로 학습된 모델에 한 MS 환자의 T2w MRI(Fig.

이론/모형

HCP Pipelines로 전처리가 된 MRI NIfTI 파일을 3차원 선형보간법 알고리즘을 적용하여 128×128× 128 크기의 데이터로 변환하기 위하여, 파이썬 프레임워크에서 OpenCV 패키지를 사용했다
먼저 3D 오토인코더 모델에 정상인의 뇌 MRI 데이터를 입력하고 Mean Squared Error(MSE) 손실함수를 이용하여 입력과 출력 데이터 사이의 차이가 최소한의 차이로 복원될 수 있도록 학습한다. 이렇게 정상인의 MRI 데이터로 학습된 모델에 MS 환자의 3D MRI 데이터를 입력으로 넣으면, Fig.
HCP Pipelines로 전처리가 된 MRI NIfTI 파일을 3차원 선형보간법 알고리즘을 적용하여 128×128× 128 크기의 데이터로 변환하기 위하여, 파이썬 프레임워크에서 OpenCV 패키지를 사용했다. 모델의 학습은 Nvidia Tesla A100 40GB HBM2 with ECC GPU 2대를 사용하여 Tensorflow mirrored strategy 방법을 적용하여 분산 학습하였다. 나머지 과정은 Intel Xeon W-2265 3.

성능/효과

본 논문에서는 MS 환자의 뇌 MRI 볼륨 데이터에서 건강한 뇌 MRI 볼륨 데이터로 복원할 수 있는 3D 기반의 오토인코더 모델 구조와, 이를 이용한 MS 병변 지역 검출 알고리즘을 제시하였다. 3차원 공간정보를 한 번에 사용하여 학습하므로, 기존의 2차원 학습 방법에서 발생하는 특정 축의 병변 예측의 어려움을 보완할 수 있었다. 그리고 3D 오토인코더 모델에 skip connection을 추가함으로써 복원 데이터의 전체적인 구조와 세부적인 정보는 유지하면서 병변 영역만 추출할 수 있었다.
그리고 3D 오토인코더 모델에 skip connection을 추가함으로써 복원 데이터의 전체적인 구조와 세부적인 정보는 유지하면서 병변 영역만 추출할 수 있었다. 공개 MS 환자의 MRI 데이터를 이용한 검증에서 본 3D 오토인코더 기반 제안 방법이 기존 2D 기반 방법보다 최대 15% 정도의 병변 검출 성능 향상을 보여주었다.
3차원 공간정보를 한 번에 사용하여 학습하므로, 기존의 2차원 학습 방법에서 발생하는 특정 축의 병변 예측의 어려움을 보완할 수 있었다. 그리고 3D 오토인코더 모델에 skip connection을 추가함으로써 복원 데이터의 전체적인 구조와 세부적인 정보는 유지하면서 병변 영역만 추출할 수 있었다. 공개 MS 환자의 MRI 데이터를 이용한 검증에서 본 3D 오토인코더 기반 제안 방법이 기존 2D 기반 방법보다 최대 15% 정도의 병변 검출 성능 향상을 보여주었다.
이처럼 2D 오토인코더에서는 이러한 비등방성 형태를 가지는 병변에 대해서 특정 축에서만 병변이 잘 나타나게 되고, 이러한 특정 축을 예측해야 하는 어려움이 있다. 반면에 3D 오토인코더의 경우에는 한 번에 전체볼륨을 사용하기 때문에 특정 축에 전혀 상관없이 일관적이고 안정적인 결과를 확인할 수 있었다.
본 제안 기술은 MS뿐만 아니라 MRI로 검출될 수 있는 다양한 질환 및 희소병에 적용하여 뇌에 어떤 특이사항이 있는지 발견할 수 있다. 특히 단일 병변이 아닌 여러 병변이 함께 발생한 복합 병변의 경우에 대해서도 단일 병변만 학습된 모델에서는 검출하기 힘든 병변 영역을 보다 정확하게 추출할 수 있다. 향후에는 제안한 방법으로 검출된 이상 영역들에 대해 어떠한 병변인지 분류할 수 있는 학습 모델을 개발하고자 한다.
2D 오토인코더의 dense 모델은 2D 슬라이스 데이터를 1차원 vector로 구성하였고, spatial 모델은 2차원으로 구성하였다. 하지만 두 가지 2D 모델 모두 대략적인 병변 위치만 보여줄 뿐, 정확하고 디테일한 병변검출에 실패하였다. 하지만 3D 오토인코더 기반 모델에 대해서는 2D 모델 결과와 비교하여 훨씬 더 정확한 위치와 세부적으로 비슷한 형태를 가지는 병변 결과를 보여주고 있다.

후속연구

본 제안 기술은 MS뿐만 아니라 MRI로 검출될 수 있는 다양한 질환 및 희소병에 적용하여 뇌에 어떤 특이사항이 있는지 발견할 수 있다. 특히 단일 병변이 아닌 여러 병변이 함께 발생한 복합 병변의 경우에 대해서도 단일 병변만 학습된 모델에서는 검출하기 힘든 병변 영역을 보다 정확하게 추출할 수 있다.
특히 단일 병변이 아닌 여러 병변이 함께 발생한 복합 병변의 경우에 대해서도 단일 병변만 학습된 모델에서는 검출하기 힘든 병변 영역을 보다 정확하게 추출할 수 있다. 향후에는 제안한 방법으로 검출된 이상 영역들에 대해 어떠한 병변인지 분류할 수 있는 학습 모델을 개발하고자 한다.

참고문헌 (17)

R. Hussian, H. Zubair, S. Pursell, and M. Shahab, "Neurodegenerative Diseases: Regenerative Mechnisms and Novel Therapeutic Approaches," Brain Science, Vol. 8, No. 9, p. 177, 2018.

상세보기
S. Faissner and R. Gold, "Oral Therapies for Multiple Sclerosis," Cold Spring Harbor Perspectives in Medicine, Vol. 9, No. 1, p. a032011, 2019.

상세보기
M. Stangel, T. Kuhlmann, P.M. Matthews, and T.J. Kilpatrick, "Achievements and Obstacles of Remyelinating Therapies in Multiple Sclerosis," Nature Reviews Neurology, Vol. 13, No. 12, pp. 742-754, 2017.

상세보기
M.S. To, I.G. Sarno, C. Chong, M. Jenkinson, and G. Carneiro, "Self-supervised Lesion Change Detection and Localisation in Longitudinal Multiple Sclerosis Braim Imaging," arXiv preprint arXiv:2106.00919, 2021.
B. Zong, Q. Song, M.R. Min, W. Cheng, C. Lumezanu, D. Cho, and H. Chen, "Deep Autoencoding Gaussian Mixture Model for Unsupervised Anomaly Detection," The International Conference on Learning Representations (ICLR), 2018.
H.E. Atlason, A. Love, S. Sigurdsson, V. Gudnason, and L.M. Ellingsen, "SegAE: Unsupervised White Matter Lesion Segmentation from Brain MRIs using a CNN Autoencoder," NeuroImage: Clinical, Vol. 24, pp. 102085, 2019.

상세보기
C. Baur, S. Denner, B. Wiestler, N. Navab, and S. Albarqouni, "Autoencoders for Unsupervised Anomaly Segmentation in Brain MR Images: A Comparative Study," Medical Image Analysis, 101952, 2021.
S. Park, Y. Kim, and J.K. Gahm, "MRI Image Super Resolution through Filter Learning Based on Surrounding Gradient Information in 3D Space," Journal of Korea Multimedia Society, Vol. 24, No. 2, pp. 178-185, 2021.
T. Tong, G. Li, X. Liu, and Q. Gao, "Image Super-Resolution Using Dense Skip Connections," Proceeding of the IEEE international conference on computer vision, pp. 4799-4807, 2017.
N.J. Kwak, H.J. Shin, J.S. Yang, and T.S. Song, "CNN Applied Modified Residual Block Structure," Journal of Korea Multimedia Society, Vol. 23, No. 7, pp. 803-811, 2020.

원문보기 상세보기
K. He, X. Zhang, S. Ren, and J. Sun. "Deep Residual Learning for Image Recognition," Proceeding of the IEEE conference on computer vision and pattern recognition, pp. 770-778, 2016.
M.F. Glasser, S.N. Sotiropoulos, J.A. Wilson, T.S. Coalson, B. Fischl, J.L. Andersson et al., "The Minimal Preprocessing Pipelines for the Human Connectome Porject," NeuroImage, Vol. 80, pp. 105-124, 2013.

상세보기
A. Carass, S. Roy, A. Jog, J.L. Cuzzocreo, E. Magrath, A. Gherman et al., "Longitudinal Multiple Sclerosis Lesion Segmentation Data Resource," Data in Brief, Vol. 12, pp. 346-350, 2017.

상세보기
M. Jenkinson, and S. Smith, "A Global Optimisation Method for Robust Affine Registration of Brain Images," Medical Image Analysis, Vol. 5, No. 2, pp. 143-156, 2001

상세보기
M. Jenkinson, C.F. Beckmann, T.E.J Beherens, M.W. Woolrich, and S.M. Smith, "FSL," NeuroImage, Vol. 62, No. 2, pp. 782-790, 2012.

상세보기
M. Jenkinson, P. Bannister, M. Brady, and S. Smith, "Improved Optimization for the Robust and Accurate Linear Registration and Motion Correction of Brain Images," NeuroImage, Vol. 17, No. 2, pp. 825-841, 2002.

상세보기
H. Arai, Y. Chayama, H. Iyatomi, and K. Oishi, "Significant Dimension Reduction of 3D Brain MRI using 3D Convolutional Autoencoders," Proceeding of the 40th Annual International Conference of the IEEE Engineering in Medicine and Biology Society(EMBC), pp. 5162-5165, 2018.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증