본 연구는 최근에 활발히 연구되고 있는 딥러닝 기술인 생성적 적대 신경망(GAN)을 핵의학 영상에 적용하여 잠재적으로 유용성이 있는지 확인해보고자 하였다. 본원에서 18F-FDG Brain PET/CT검사를 진행한 30명의 환자를 대상으로 하였고 List모드로 15분 검사한 후 이를 1, 2, 3, 4, 5분 초기획득시간 이미지로 재구성하였다. 이 중 25명의 환자를 GAN모델의 학습을 위한 트레이닝 이미지로 사용하고 5명의 환자를 학습된 GAN모델의 검증을 위한 테스트 이미지로 사용하였다. 학습된 GAN모델에 입력으로 1, 2, 3, 4, 5분의 초기획득 이미지를 넣고 출력으로 15분 인공지능 표준획득 이미지를 획득한 후 이를 기존의 15분 표준획득시간 검사 이미지와 비교 평가하였다. 평가에는 정량화된 이미지 평가방법인 평균제곱오차, 최대신호 대 잡음비, 구조적 유사도 지수를 이용하였다. 평가 결과 초기획득시간 이미지에서 1에서 5분으로 갈수록 실제 표준획득시간 이미지에 가까운 평균제곱오차, 최대신호 대 잡음비, 구조적 유사도 지수 수치를 나타내었다. 이러한 연구를 통해 앞으로 인공지능 기술이 핵의학 분야에서 의료영상의 획득시간 단축과 관련하여 중요한 영향을 미칠 수 있을 것으로 사료된다.
본 연구는 최근에 활발히 연구되고 있는 딥러닝 기술인 생성적 적대 신경망(GAN)을 핵의학 영상에 적용하여 잠재적으로 유용성이 있는지 확인해보고자 하였다. 본원에서 18F-FDG Brain PET/CT검사를 진행한 30명의 환자를 대상으로 하였고 List모드로 15분 검사한 후 이를 1, 2, 3, 4, 5분 초기획득시간 이미지로 재구성하였다. 이 중 25명의 환자를 GAN모델의 학습을 위한 트레이닝 이미지로 사용하고 5명의 환자를 학습된 GAN모델의 검증을 위한 테스트 이미지로 사용하였다. 학습된 GAN모델에 입력으로 1, 2, 3, 4, 5분의 초기획득 이미지를 넣고 출력으로 15분 인공지능 표준획득 이미지를 획득한 후 이를 기존의 15분 표준획득시간 검사 이미지와 비교 평가하였다. 평가에는 정량화된 이미지 평가방법인 평균제곱오차, 최대신호 대 잡음비, 구조적 유사도 지수를 이용하였다. 평가 결과 초기획득시간 이미지에서 1에서 5분으로 갈수록 실제 표준획득시간 이미지에 가까운 평균제곱오차, 최대신호 대 잡음비, 구조적 유사도 지수 수치를 나타내었다. 이러한 연구를 통해 앞으로 인공지능 기술이 핵의학 분야에서 의료영상의 획득시간 단축과 관련하여 중요한 영향을 미칠 수 있을 것으로 사료된다.
Purpose Generative Adversarial Network(GAN) is one of deep learning technologies. This is a way to create a real fake image after learning the real image. In this study, after acquiring artificial intelligence images through GAN, We were compared and evaluated with real scan time images. We want to ...
Purpose Generative Adversarial Network(GAN) is one of deep learning technologies. This is a way to create a real fake image after learning the real image. In this study, after acquiring artificial intelligence images through GAN, We were compared and evaluated with real scan time images. We want to see if these technologies are potentially useful. Materials and Methods 30 patients who underwent 18F-FDG Brain PET/CT scanning at Severance Hospital, were acquired in 15-minute List mode and reconstructed into 1,2,3,4,5 and 15minute images, respectively. 25 out of 30 patients were used as learning images for learning of GAN and 5 patients used as verification images for confirming the learning model. The program was implemented using the Python and Tensorflow frameworks. After learning using the Pix2Pix model of GAN technology, this learning model generated artificial intelligence images. The artificial intelligence image generated in this way were evaluated as Mean Square Error(MSE), Peak Signal to Noise Ratio(PSNR), and Structural Similarity Index(SSIM) with real scan time image. Results The trained model was evaluated with the verification image. As a result, The 15-minute image created by the 5-minute image rather than 1-minute after the start of the scan showed a smaller MSE, and the PSNR and SSIM increased. Conclusion Through this study, it was confirmed that AI imaging technology is applicable. In the future, if these artificial intelligence imaging technologies are applied to nuclear medicine imaging, it will be possible to acquire images even with a short scan time, which can be expected to reduce artifacts caused by patient movement and increase the efficiency of the scanning room.
Purpose Generative Adversarial Network(GAN) is one of deep learning technologies. This is a way to create a real fake image after learning the real image. In this study, after acquiring artificial intelligence images through GAN, We were compared and evaluated with real scan time images. We want to see if these technologies are potentially useful. Materials and Methods 30 patients who underwent 18F-FDG Brain PET/CT scanning at Severance Hospital, were acquired in 15-minute List mode and reconstructed into 1,2,3,4,5 and 15minute images, respectively. 25 out of 30 patients were used as learning images for learning of GAN and 5 patients used as verification images for confirming the learning model. The program was implemented using the Python and Tensorflow frameworks. After learning using the Pix2Pix model of GAN technology, this learning model generated artificial intelligence images. The artificial intelligence image generated in this way were evaluated as Mean Square Error(MSE), Peak Signal to Noise Ratio(PSNR), and Structural Similarity Index(SSIM) with real scan time image. Results The trained model was evaluated with the verification image. As a result, The 15-minute image created by the 5-minute image rather than 1-minute after the start of the scan showed a smaller MSE, and the PSNR and SSIM increased. Conclusion Through this study, it was confirmed that AI imaging technology is applicable. In the future, if these artificial intelligence imaging technologies are applied to nuclear medicine imaging, it will be possible to acquire images even with a short scan time, which can be expected to reduce artifacts caused by patient movement and increase the efficiency of the scanning room.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 연구는 최근에 활발히 연구되고 있는 딥러닝 기술인 생성적 적대 신경망(GAN)을 핵의학 영상에 적용하여 잠재 으로 유용성이 있는지 확인해보고자 하였다. 본원에서 18F-FDG Brain PET/CT검사를 진행한 30명의 환자를 대상으로 하였고 List모드로 15분 검사한 후 이를 1, 2, 3, 4, 5분 초기획득시간 이미지로 재구성하였다.
본 연구에서는 초기 획득 시간 이미지를 표준 획득시간 이미지로 생성하는 딥러닝 학습 방법을 구현하였다. 초기 획득 시간 이미지에서 1에서 5분으로 갈수록 실제 표준획득 시간 이미지와 비슷한 평균제곱오차, 최대신호 대 잡음비, 구조적 유사도 지수 수치를 나타냄을 확인할 수 있었다.
두 모델은 생성기(Generator)와 분류기(Discriminator)로 불리며 상반된 목적을 갖고 있다. 생성기는 실제 데이터를 학습하고 이를 바탕으로 거짓 데이터를 생성하며 실제에 가까운 거짓 데이터를 생성하는 것이 목적이다. 분류기는 생성기가 만들어낸 데이터가 실제인지 거짓인지 판별하도록 학습되며 생성기의 거짓 데이터로부터 속지 않는 것이 목적이다.
이러한 기술은 실제 데이터와 같은 가상의 영상 데이터를 생성할 수 있게 되고 이를 이용하여 실제 검사에서 수반되는 방사선피폭을 줄일 수 있고 초기 영상으로 지연 영상을 예측하고 짧은 획득 시간 영상으로 표준 획득 영상을 예측 할 수도 있을 것이다. 이에 본 연구에서는 18F-FDG Brain PET/CT검사에서 짧은 획득 시간 영상을 기반으로 표준 획득 시간 영상을 예측 구현하여 인공지능 영상이 잠재적으로 핵의학 의료영상에 적용 가능한지를 알아보고자 한다.
제안 방법
30명 환자의 15분 List모드 획득데이터를 검사 시작 후 1, 2, 3, 4, 5분 초기획득 이미지로 각각 재구성하였다(Fig. 2). 그 중 25명의 환자에 대해 1, 2, 3, 4, 5분 초기획득 이미지와 표준검사 시간인 15분 획득이미지를 GAN모델의 학습을 위한 트레이닝 이미지로 사용하였다.
F-FDG Brain PET/CT검사를 진행한 30명의 환자를 대상으로 하였다. 검사는 본원의 프로토콜로 18F-FDG를 3.7MBq/kg로 정맥주사 40분 후 15분 List모드로 획득하였다. 30명의 환자 중 25명의 환자를 GAN모델의 학습을 위한 트레이닝 이미지로 사용하고, 5명의 환자를 모델 검증을 위한 테스트 이미지로 사용하였다.
2). 그 중 25명의 환자에 대해 1, 2, 3, 4, 5분 초기획득 이미지와 표준검사 시간인 15분 획득이미지를 GAN모델의 학습을 위한 트레이닝 이미지로 사용하였다. 남은 5명의 환자에 대해 25명의 데이터로 학습된 모델을 검증하기 위한 테스트 이미지로 사용하였다.
본 연구는 최근에 활발히 연구되고 있는 딥러닝 기술인 생성적 적대 신경망(GAN)을 핵의학 영상에 적용하여 잠재 으로 유용성이 있는지 확인해보고자 하였다. 본원에서 18F-FDG Brain PET/CT검사를 진행한 30명의 환자를 대상으로 하였고 List모드로 15분 검사한 후 이를 1, 2, 3, 4, 5분 초기획득시간 이미지로 재구성하였다. 이 중 25명의 환자를 GAN모델의 학습을 위한 트레이닝 이미지로 사용하고 5명의 환자를 학습된 GAN모델의 검증을 위한 테스트 이미지로 사용하였다.
0을 사용하였다. 이 소프트웨어를 이용하여 세 가지의 정량화된 이미지 평가를 하였다.2) 원본이미지에 대한 이미지 사이의 픽셀 값의 차이를 측정하는 평균제곱오차(Mean Square Error, MSE), 신호가 가질 수 있는 최대 신호에 대한 잡음의 비율인 최대신호 대 잡음비(Peak Signal to Noise Ratio, PSNR) 그리고 변환에 의해 발생하는 왜곡에 대해 원본이미지에 대한 시각적 유사도를 측정하는 구조적 유사도 지수(Structural Similarity Index, SSIM)를 계산하여 평가하였다.
남은 5명의 환자에 대해 25명의 데이터로 학습된 모델을 검증하기 위한 테스트 이미지로 사용하였다. 학습된 GAN모델에 입력으로 1, 2, 3, 4, 5분의 초기획득 이미지를 넣고 출력으로 15분 인공지능 표준획득 이미지를 획득한 후 이를 기존의 15분 표준획득 검사 이미지와 비교 평가하였다.
이 중 25명의 환자를 GAN모델의 학습을 위한 트레이닝 이미지로 사용하고 5명의 환자를 학습된 GAN모델의 검증을 위한 테스트 이미지로 사용하였다. 학습된 GAN모델에 입력으로 1, 2, 3, 4, 5분의 초기획득 이미지를 넣고 출력으로 15분 인공지능 표준획득 이미지를 획득한 후 이를 기존의 15분 표준획득시간 검사 이미지와 비교 평가하였다. 평가에는 정량화된 이미지 평가방법인 평균제곱오차, 최대신호 대 잡음비, 구조적 유사도 지수를 이용하였다.
대상 데이터
30명의 환자 중 25명의 이미지로 학습한 모델을 나머지 5명의 환자 이미지로 검증하였다. 5명의 환자데이터를 Test 1, Test 2, Test 3, Test 4, Test 5로 표시하였다.
7MBq/kg로 정맥주사 40분 후 15분 List모드로 획득하였다. 30명의 환자 중 25명의 환자를 GAN모델의 학습을 위한 트레이닝 이미지로 사용하고, 5명의 환자를 모델 검증을 위한 테스트 이미지로 사용하였다.
2. In this study, The acquisition images of 30 patients were reconstucted.
그 중 25명의 환자에 대해 1, 2, 3, 4, 5분 초기획득 이미지와 표준검사 시간인 15분 획득이미지를 GAN모델의 학습을 위한 트레이닝 이미지로 사용하였다. 남은 5명의 환자에 대해 25명의 데이터로 학습된 모델을 검증하기 위한 테스트 이미지로 사용하였다. 학습된 GAN모델에 입력으로 1, 2, 3, 4, 5분의 초기획득 이미지를 넣고 출력으로 15분 인공지능 표준획득 이미지를 획득한 후 이를 기존의 15분 표준획득 검사 이미지와 비교 평가하였다.
본원에서 18F-FDG Brain PET/CT검사를 진행한 30명의 환자를 대상으로 하였다. 검사는 본원의 프로토콜로 18F-FDG를 3.
본원에서 18F-FDG Brain PET/CT검사를 진행한 30명의 환자를 대상으로 하였고 List모드로 15분 검사한 후 이를 1, 2, 3, 4, 5분 초기획득시간 이미지로 재구성하였다. 이 중 25명의 환자를 GAN모델의 학습을 위한 트레이닝 이미지로 사용하고 5명의 환자를 학습된 GAN모델의 검증을 위한 테스트 이미지로 사용하였다. 학습된 GAN모델에 입력으로 1, 2, 3, 4, 5분의 초기획득 이미지를 넣고 출력으로 15분 인공지능 표준획득 이미지를 획득한 후 이를 기존의 15분 표준획득시간 검사 이미지와 비교 평가하였다.
데이터처리
이 소프트웨어를 이용하여 세 가지의 정량화된 이미지 평가를 하였다.2) 원본이미지에 대한 이미지 사이의 픽셀 값의 차이를 측정하는 평균제곱오차(Mean Square Error, MSE), 신호가 가질 수 있는 최대 신호에 대한 잡음의 비율인 최대신호 대 잡음비(Peak Signal to Noise Ratio, PSNR) 그리고 변환에 의해 발생하는 왜곡에 대해 원본이미지에 대한 시각적 유사도를 측정하는 구조적 유사도 지수(Structural Similarity Index, SSIM)를 계산하여 평가하였다.
학습된 GAN모델에 입력으로 1, 2, 3, 4, 5분의 초기획득 이미지를 넣고 출력으로 15분 인공지능 표준획득 이미지를 획득한 후 이를 기존의 15분 표준획득시간 검사 이미지와 비교 평가하였다. 평가에는 정량화된 이미지 평가방법인 평균제곱오차, 최대신호 대 잡음비, 구조적 유사도 지수를 이용하였다. 평가 결과 초기획득시간 이미지에서 1에서 5분으로 갈수록 실제 표준획득시간 이미지에 가까운 평균제곱오차, 최대신호 대 잡음비, 구조적 유사도 지수 수치를 나타내었다.
이론/모형
GAN의 모델은 생성기와 분류기의 모델링 방법에 따라 다양하나 본 연구에서는 Pix2Pix모델을 이용하였다. Pix2Pix 모델은 학습을 위한 데이터셋에 대해 입력과 출력 이미지가 짝을 이룰 때 유용한 모델이다(Fig.
1). 본 연구에서는 GAN의 Pix2Pix모델을 이용하였고, https://github.com/affinelayer/pix2pix-tensorflow1) 웹사이트의 오픈소스 코드를 이용하였다. 이것을 구현하기 위해 딥러닝 프레임워크인 Tensorflow 1.
학습된 GAN모델을 통해 생성된 인공지능 이미지와 실제 검사 이미지를 비교하기 위해 바이오이미지 오픈소스 소프트웨어인 Icy버전 2.0을 사용하였다. 이 소프트웨어를 이용하여 세 가지의 정량화된 이미지 평가를 하였다.
성능/효과
구조적 유사도 지수에 대해 Test 환자의 평균과 표준편차는 다음 표와 같다(Table 3). 5명의 Test 데이터를 각각의 초기획득 시간을 기준으로 평균하여 1분보다 5분 초기획득 이미지로 생성한 인공지능 이미지일수록 구조적 유사도 지수가 1에 가까워졌다(Fig. 5).
최대신호 대 잡음비에 대해 Test 환자의 평균과 표준편차는 다음 표와 같다(Table 2). 5명의 Test 데이터를 각각의 초기획득 시간을 기준으로 평균하여 1분보다 5분 초기획득 이미지로 생성한 인공지능 이미지일수록 최대신호 대 잡음비가 증가하였다(Fig. 4).
평균제곱오차에 대해 Test 환자의 평균과 표준편차는 다음 표와 같다(Table 1). 5명의 Test 데이터를 각각의 초기획득 시간을 기준으로 평균하여 1분보다 5분 초기획득 이미지로 생성한 인공지능 이미지일수록 평균제곱오차가 감소하였다(Fig. 3).
본 연구에서는 초기 획득 시간 이미지를 표준 획득시간 이미지로 생성하는 딥러닝 학습 방법을 구현하였다. 초기 획득 시간 이미지에서 1에서 5분으로 갈수록 실제 표준획득 시간 이미지와 비슷한 평균제곱오차, 최대신호 대 잡음비, 구조적 유사도 지수 수치를 나타냄을 확인할 수 있었다. 본 연구 결과 초기 획득된 계수량이 많을수록 좋은 결과를 보여준 것 같으나 25명의 영상만으로 학습 데이터셋을 구성하였기 때문에 더 많은 데이터셋으로 학습한 모델에서는 5분보다 더 적은 시간으로 획득한 영상에서도 향상된 결과가 나타날 것이라 예상된다.
평가에는 정량화된 이미지 평가방법인 평균제곱오차, 최대신호 대 잡음비, 구조적 유사도 지수를 이용하였다. 평가 결과 초기획득시간 이미지에서 1에서 5분으로 갈수록 실제 표준획득시간 이미지에 가까운 평균제곱오차, 최대신호 대 잡음비, 구조적 유사도 지수 수치를 나타내었다. 이러한 연구를 통해 앞으로 인공지능 기술이 핵의학 분야에서 의료영상의 획득시간 단축과 관련하여 중요한 영향을 미칠 수 있을 것으로 사료된다.
후속연구
초기 획득 시간 이미지에서 1에서 5분으로 갈수록 실제 표준획득 시간 이미지와 비슷한 평균제곱오차, 최대신호 대 잡음비, 구조적 유사도 지수 수치를 나타냄을 확인할 수 있었다. 본 연구 결과 초기 획득된 계수량이 많을수록 좋은 결과를 보여준 것 같으나 25명의 영상만으로 학습 데이터셋을 구성하였기 때문에 더 많은 데이터셋으로 학습한 모델에서는 5분보다 더 적은 시간으로 획득한 영상에서도 향상된 결과가 나타날 것이라 예상된다. 아직은 임상환경에 적용되기 어렵지만 이러한 연구는 인공지능 기술이 의료영상의 획득시간 단축과 관련하여 중요한 영향을 미칠 수 있을 것으로 보이며 이러한 인공지능 영상 기술이 핵의학 영상에 적용된다면 짧은 검사시간으로 영상 획득이 가능해져 환자의 움직임에 의한 인공물 감소와 그에 따른 검사실의 효율성 증대를 기대할 수 있을 것이다.
본 연구 결과 초기 획득된 계수량이 많을수록 좋은 결과를 보여준 것 같으나 25명의 영상만으로 학습 데이터셋을 구성하였기 때문에 더 많은 데이터셋으로 학습한 모델에서는 5분보다 더 적은 시간으로 획득한 영상에서도 향상된 결과가 나타날 것이라 예상된다. 아직은 임상환경에 적용되기 어렵지만 이러한 연구는 인공지능 기술이 의료영상의 획득시간 단축과 관련하여 중요한 영향을 미칠 수 있을 것으로 보이며 이러한 인공지능 영상 기술이 핵의학 영상에 적용된다면 짧은 검사시간으로 영상 획득이 가능해져 환자의 움직임에 의한 인공물 감소와 그에 따른 검사실의 효율성 증대를 기대할 수 있을 것이다.
평가 결과 초기획득시간 이미지에서 1에서 5분으로 갈수록 실제 표준획득시간 이미지에 가까운 평균제곱오차, 최대신호 대 잡음비, 구조적 유사도 지수 수치를 나타내었다. 이러한 연구를 통해 앞으로 인공지능 기술이 핵의학 분야에서 의료영상의 획득시간 단축과 관련하여 중요한 영향을 미칠 수 있을 것으로 사료된다.
참고문헌 (3)
Isola et al. Pix2Pix-tensorflow Web site. Available at : https://github.com/affinelayer/pix2pix-tensorflow. 2017.
Merel M. Jung et al. Inferring PET from MRI with pix2pix. Benelux Conference on Artificial Intelligence. 2018.
Kaise B, Albarqouni S. MRI to CT Translation with GANs. arXiv:1901.05259. January 16, 2019.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.