[논문]CycleGan 딥러닝기반 인공CT영상 생성성능에 대한 입력 MR영상의 T1 및 T2 가중방식의 영향

이사무엘; 정종훈; 김진영; 이연수

doi:10.7742/jksr.2024.18.1.37

초록
AI-Helper

MR은 우수한 연조직 대비와 기능 정보를 보여줄 수 있지만, 방사선치료에서 정확한 선량 계산을 위해서는 CT영상의 전자밀도 정보가 필요하다. 방사선치료(Radiotherapy) 계획 워크플로우에서 MR영상과 CT영상을 융합하기 위해 환자는 일반적으로 MR과 CT영상 방식 모두에서 스캔된다. 최근에 딥러닝기술 덕분에 MR영상에서 딥러닝 기반의 CT영상 생성이 가능해졌다. 이로 인해 CT 스캔 작업을 할 필요가 없게 된다. 본 연구에서는 MR영상으로부터 CycleGan 딥러닝 기반 CT영상생성을 구현했다. T1가중이나 T2가중 중에 한 가지 또는 그 둘다의 MR영상을 가지고 합습한 3가지의 인공지능 CT생성기를 만들었다. 결과에서 우리는 T1가중 MR 영상 기반으로 학습한 생성기가 T1가중 MR영상이 입력될 때 다른 CT생성기보다 더 나은 결과를 생성할 수 있음을 발견했다. 반면, T2가중 MR영상 기반 CT생성기는 T2가중 MR영상을 입력 받을 때, 다른 시퀀스기반 CT생성기보다 더 나은 결과를 생성할 수 있습니다. MR영상을 기반으로 한 CT생성기는 곧 임상현장에 적용될 수 있는 기술이다. 특정 시퀀스 MR영상으로 학습한 머신러닝 CT생성기는 다른 시퀀스 MR영상으로 학습한 생성기보다 더 그 특정 시퀀스와 같은 MR영상을 입력받을 때 더 나은 CT영상을 생성할 수 있음을 보여주었다.

Abstract ▼ AI-Helper

Even though MR can reveal excellent soft-tissue contrast and functional information, CT is also required for electron density information for accurate dose calculation in Radiotherapy. For the fusion of MRI and CT images in RT treatment planning workflow, patients are normally scanned on both MRI an...

Even though MR can reveal excellent soft-tissue contrast and functional information, CT is also required for electron density information for accurate dose calculation in Radiotherapy. For the fusion of MRI and CT images in RT treatment planning workflow, patients are normally scanned on both MRI and CT imaging modalities. Recently deep-learning-based generations of CT images from MR images became possible owing to machine learning technology. This eliminated CT scanning work. This study implemented a CycleGan deep-learning-based CT image generation from MR images. Three CT generators whose learning is based on T1- , T2- , or T1-&T2-weighted MR images were created, respectively. We found that the T1-weighted MR image-based generator can generate better than other CT generators when T1-weighted MR images are input. In contrast, a T2-weighted MR image-based generator can generate better than other CT generators do when T2-weighted MR images are input. The results say that the CT generator from MR images is just outside the practical clinics and the specific weight MR image-based machine-learning generator can generate better CT images than other sequence MR image-based generators do.

주제어

표/그림 (6)

그림 Fig. 1. CycleGAN Architecture.
그림 Fig. 3. (a) input T1-weighted MR image, (b) Target CT image, and gCTs using G_{T1&T2→_gCT} at epoch 1(c) and epoch 60(d)
그림 Fig. 2. Training configurations for CycleGAN: (a) Combined T1 and T2 MR to CT, (b) T1 MR to CT, (c) T2 MR to CT.
그림 Fig. 4. (a) Detailed views of the femoral head region outputs from models given a T1-weighted MR image as input, (b) Detailed views of the femoral head region outputs from models given a T2-weighted MR image as input.
그림 Fig. 5. Error Map Across Models and Inputs.
표 Table 1. Performance Metrics of the Generators

AI 본문요약
AI-Helper

문제 정의

이에, 본 연구에서는 딥러닝 인공지능 기법을 이용하여 MRI영상으로부터 CT영상을 생성하는 방법을 구현하고자 한다. 또한, 딥러닝 CT영상생성자가 T1 가중영상 혹은 T2가중영상만으로 학습해 만들어진 경우와, T1가중영상 및 T2가중영상을 섞어 학습하여 만들어진 CT영상생성자가 CT생성능력에서 어떤 차이가 있는지를 규명하고자 한다.
이에, 본 연구에서는 딥러닝 인공지능 기법을 이용하여 MRI영상으로부터 CT영상을 생성하는 방법을 구현하고자 한다. 또한, 딥러닝 CT영상생성자가 T1 가중영상 혹은 T2가중영상만으로 학습해 만들어진 경우와, T1가중영상 및 T2가중영상을 섞어 학습하여 만들어진 CT영상생성자가 CT생성능력에서 어떤 차이가 있는지를 규명하고자 한다.

제안 방법

본 연구에서는 생성된 gCT 영상를 실제 CT영상과 비교하였다. 이들 CT영상내 픽셀특성값의 비교하여 이들간의 MSE(평균제곱오차), PSNR(최대신호대잡음비)과 SSIM(구조적유사성지수) 세 가지 주요 지표를 사용했다.
4는 대퇴골 부위 T1 및 T2 가중 MR영상을 입력으로 사용했을 때 인공지능 생성자가 만들어 낸 gCT 영상을 보여준다. 세가지 생성자에 의해 생성된 gCT영상은 실제 CT영상과 비교하였다. 이때 비교되는 실제 CT영상은 입력 MR영상의 스캔축상의 좌표값과 해부학적 위치가 가장 비슷한 실제 CT단면영상으로 연구자가 선택했다.
본 연구에서는 생성된 gCT 영상를 실제 CT영상과 비교하였다. 이들 CT영상내 픽셀특성값의 비교하여 이들간의 MSE(평균제곱오차), PSNR(최대신호대잡음비)과 SSIM(구조적유사성지수) 세 가지 주요 지표를 사용했다. 이는 아래와 같이 계산된다.

대상 데이터

서로 다른 장비에서 수집된 데이터, 모델의 일반화 능력을 평가하기 위하여 데이터셋에서 각 센터별 한 명 환자씩 선정하여 테스트 데이터셋을 구성했다. 학습에는 총 16명의 데이터를 활용했다.
세가지 생성자에 의해 생성된 gCT영상은 실제 CT영상과 비교하였다. 이때 비교되는 실제 CT영상은 입력 MR영상의 스캔축상의 좌표값과 해부학적 위치가 가장 비슷한 실제 CT단면영상으로 연구자가 선택했다.
서로 다른 장비에서 수집된 데이터, 모델의 일반화 능력을 평가하기 위하여 데이터셋에서 각 센터별 한 명 환자씩 선정하여 테스트 데이터셋을 구성했다. 학습에는 총 16명의 데이터를 활용했다.

성능/효과

본 연구에서 T1가중영상과 T2가중영상이 단순히 섞여서 기계학습생성자를 만들면, T1가중영상이나 T2가중영상을 기반으로 학습된 CT영상생성자가 각각 T1가중이나 T2가중 MR영상을 입력받아 가상 CT를 생성하는 경우보다 생성능력이 떨어짐을 알 수 있었다.

후속연구

T1 MR영상은 피하지방층을 잘 부각해 보여주기 때문에 지방과 근접한 뼈나, 근육의 조직적약화를 나타내는 지방화를 잘 표현하는 영상이 나오고, T2 MR영상은 수분을 잘 표현하여 수분을 함유하는 조직을 잘 표현한다. 이처럼 같은 인체부위을 표현함에 있어서도 T1가중, T2가중, Proton density 방식에 따라 부각되는 부위가 다르게 표현되는 MR영상이기 때문에, 특정한 MR촬영표현방식과 CT영상을 학습한 gCT 생성기가 좋은 성능을 보일것으로 판단된다.

참고문헌 (15)

M. F. Spadea,Matteo Maspero,Paolo Zaffino and Joao Seco, "Deep learning based synthetic-CT generation in radiotherapy and PET: a review", Wiley Online Library, 48, pp. 6537-6566, 2021. https://doi.org/10.1002/mp.15150？

상세보기
M. Boulanger,Jean-Claude Nunes,H. Chourak, et al, "Deep learning methods to generate synthetic CT from MRI in radiotherapy: A literature review", Elsevier, 89, pp. 265-281, 2021. https://doi.org/10.1016/j.ejmp.2021.07.027？

상세보기
Y. Cai,Mark Landis,David T. Laidley,Anat Kornecki,Andrea Lum and Shuo Li, "Multi-modal vertebrae recognition using transformed deep convolution network", Elsevier, 51, pp. 11-19, 2016. https://doi.org/10.1016/j.compmedimag.2016.02.002？

상세보기
C. Jin,Hakil Kim,Mingjie Liu, et al, "Deep CT to MR synthesis using paired and unpaired data", MDPI, 19, pp. 2361, 2019. https://doi.org/10.3390%2Fs19102361？
S. Dayarathna,Kh Tohidul Islam,Sergio Uribe,Guang Yang,Munawar Hayat and Zhaolin Chen, "Deep learning based synthesis of MRI, CT and PET: Review and analysis", Elsevier, pp. 103046, 2023. https://doi.org/10.1016/j.media.2023.103046？

상세보기
T. Nyholm,Stina Svensson,Sebastian Andersson, et al, "MR and CT data with multiobserver delineations of organs in the pelvic area-Part of the Gold Atlas project", Wiley Online Library, 45, pp. 1295-1300, 2018. https://doi.org/10.1002/mp.12748？

상세보기
Zhenliang He, From URL; https://github.com/LynnHo/CycleGAN-Tensorflow-2？
J. Zhu,Taesung Park,Phillip Isola and Alexei A. Efros, "Unpaired image-to-image translation using cycle-consistent adversarial networks", pp. 2223-2232, 2017. https://doi.org/10.48550/arXiv.1703.10593？
Z. Cao, Xiang Gao, Yankui Chang, Gongfa Liu, Yuanji Pei, "Improving synthetic CT accuracy by combining the benefits of multiple normalized preprocesses", Wiley Online Library, pp. e14004, 2023. https://doi.org/10.1002/acm2.14004？

상세보기
N. Otsu, "A threshold selection method from gray-level histograms", IEEE, 9, pp. 62-66, 1979. https://doi.org/10.1109/TSMC.1979.4310076？

상세보기
H. Sun,Yixin Ma,Huawei Wu, et al, "An improved OTSU's method for CT image boundary contour extraction", IEEE, pp. 493-497, 2016. https://doi.org/10.1109/IST.2016.7738276？
V. Ravano,A. Elwakil,T. Hilbert, et al, "SYNTHETIC CT GENERATION FROM T1-WEIGHTED KNEE MRIs USING A UNET", Elsevier, 3, pp. 100111, 2023. https://doi.org/10.1016/j.ostima.2023.100111？

상세보기
R. Kalantar,Christina Messiou,Jessica M. Winfield, et al, "CT-based pelvic T1-weighted mr image synthesis using UNet, UNet and cycle-consistent generative adversarial network (Cycle-GAN)", Frontiers Media SA, 11, pp. 665807, 2021. DOI: https://doi.org/10.3389/fonc.2021.665807？

상세보기
Y. Wang,Chenbin Liu,Xiao Zhang and Weiwei Deng, "Synthetic CT generation based on T2 weighted MRI of nasopharyngeal carcinoma (NPC) using a deep convolutional neural network (DCNN)", Frontiers Media SA, 9, pp. 1333, 2019. https://doi.org/10.3389/fonc.2019.01333？

상세보기
A. Simko,Mikael Bylund,Gustav Jonsson, et al, "Towards MR contrast independent synthetic CT generation", Elsevier, 2023. https://doi.org/10.1016/j.zemedi.2023.07.001

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

CycleGan 딥러닝기반 인공CT영상 생성성능에 대한 입력 MR영상의 T1 및 T2 가중방식의 영향
Dependency of Generator Performance on T1 and T2 weights of the Input MR Images in developing a CycleGan based CT image generator from MR images 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (6)

표/그림 (6)

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

후속연구

참고문헌 (15)

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

CycleGan 딥러닝기반 인공CT영상 생성성능에 대한 입력 MR영상의 T1 및 T2 가중방식의 영향 Dependency of Generator Performance on T1 and T2 weights of the Input MR Images in developing a CycleGan based CT image generator from MR images 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (6) 모든 표/그림 보기

표/그림 (6) 슬라이드로 보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

후속연구

참고문헌 (15)

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

CycleGan 딥러닝기반 인공CT영상 생성성능에 대한 입력 MR영상의 T1 및 T2 가중방식의 영향
Dependency of Generator Performance on T1 and T2 weights of the Input MR Images in developing a CycleGan based CT image generator from MR images 원문보기

초록
AI-Helper

표/그림 (6)

표/그림 (6)

AI 본문요약
AI-Helper