[논문]Super-resolution Convolutional Neural Network를 이용한 전산화단층상의 화질 평가

남기복; 조정효; 이승완; 김번영; 임도빈; 이다혜

doi:10.7742/jksr.2020.14.3.211

Super-resolution Convolutional Neural Network를 이용한 전산화단층상의 화질 평가
Image Quality Evaluation in Computed Tomography Using Super-resolution Convolutional Neural Network 원문보기

한국방사선학회 논문지 = Journal of the Korean Society of Radiology, v.14 no.3, 2020년, pp.211 - 220

남기복 (건양대학교 방사선학과) , 조정효 (건양대학교 방사선학과) , 이승완 (건양대학교 방사선학과) , 김번영 (건양대학교 의과학과) , 임도빈 (건양대학교 의과학과) , 이다혜 (건양대학교 방사선학과)

초록
AI-Helper

고화질의 전산화단층촬영상을 통해 정확한 병변 검출과 진단을 할 수 있다. 이와 같은 장점 때문에 전산화단층촬영 시 방사선량을 줄이면서 영상 화질을 개선하기 위해 많은 연구가 수행되었다. 최근 전산화단층촬영상 화질을 향상시키기 위한 딥러닝 기반 기술이 개발되었고, 기존의 기술에 비해 우수한 성능을 보이고 있다. 본 연구에서는 전산화단층촬영상의 공간분해능을 향상시키기 위해 초고해상도 합성곱 신경망 모델을 사용하였으며, 초고해상도 합성곱 신경망 모델의 성능을 결정하는 초 매개 변수 변화에 따른 영상 화질을 평가하여 초고해상도 합성곱 신경망 모델에 대한 초 매개 변수의 효과를 검증하였다. Profile, 구조적 유사성 지수, 최대신호 대 잡음비 및 반치폭을 측정하여 초 매개 변수 변화에 따른 초고해상도 합성곱 신경망 모델의 성능을 평가하였다. 연구결과, 초고해상도 합성곱 신경망 모델의 성능은 epoch와 training set이 증가함에 따라 향상되었으며, 전산화단층촬영상 화질을 향상시키기 위해 learning rate 최적화가 필요하다는 사실을 확인하였다. 따라서 최적의 초 매개 변수와 함께 구현된 초고해상도 합성곱 신경망 모델은 전산화단층촬영상의 품질을 향상시킬 수 있다.

Abstract ▼ AI-Helper

High-quality computed tomography (CT) images enable precise lesion detection and accurate diagnosis. A lot of studies have been performed to improve CT image quality while reducing radiation dose. Recently, deep learning-based techniques for improving CT image quality have been developed and show superior performance compared to conventional techniques. In this study, a super-resolution convolutional neural network (SRCNN) model was used to improve the spatial resolution of CT images, and image quality according to the hyperparameters, which determine the performance of the SRCNN model, was evaluated in order to verify the effect of hyperparameters on the SRCNN model. Profile, structural similarity (SSIM), peak signal-to-noise ratio (PSNR), and full-width at half-maximum (FWHM) were measured to evaluate the performance of the SRCNN model. The results showed that the performance of the SRCNN model was improved with an increase of the numbers of epochs and training sets, and the learning rate needed to be optimized for obtaining acceptable image quality. Therefore, the SRCNN model with optimal hyperparameters is able to improve CT image quality.

주제어

표/그림 (11)

그림 Fig. 1. Architecture of the SRCNN.
표 Table 1. Functions and hyperparameters used in the SRCNN. Standard values are marked with*
그림 Fig. 2. (a) Ground truth and (b) low resolution images. (c)-(f) are the output images with 1, 10, 50 and 200 epochs, respectively. Red rectangles represent the ROIs(regions-of-interest), and yellow-dotted lines were used for measuring intensity profiles.
그림 Fig. 3. Measured profiles of the GT, LR and output images according to the number of epochs.
그림 Fig. 4. (a) SSIMs, (b) PSNRs and (c) FWHMs according to the number of epochs.
그림 Fig. 5. (a) Ground truth and (b) low resolution images. (c)-(h) are the output images with the learning rates of 1×10^-6, 1×10^-5, 1×10^-4, 1×10^-3, 3×10^-3 and 3.2×10^-3, respectively.
그림 Fig. 6. Measured profiles of the GT, LR and output images according to the learning rates.
그림 Fig. 7. (a) SSIMs, (b) PSNRs and (c) FWHMs according to the learning rates.
그림 Fig. 8. (a) Ground truth and (b) low resolution images. (c)-(f) are the output images with the training sets of 100, 500, 2000 and 3000, respectively.
그림 Fig. 9. Measured profiles of the GT, LR and output images according to the training sets.
그림 Fig. 10. (a) SSIMs, (b) PSNRs and (c) FWHMs according to the training sets.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

[9] 본 연구에서는 초 매개 변수 중 epoch, learning rate 및 training set을 변화시켜 SRCNN 모델을 학습시키고 각 학습된 SRCNN 모델을 통해 출력된 CT 영상의 정량적 정확도 및 공간분해능을 평가하여 해당 초 매개 변수가 SRCNN 모델의 성능에 미치는 영향을 비교·분석하고자 한다.
본 연구에서는 SRCNN 모델 학습 시 영향을 미치는 초 매개 변수 변화에 따른 출력 CT 영상의 정량적 정확도 및 공간분해능을 측정 및 평가 하였다.

제안 방법

Kernel이 움직이는 정도를 나타내는 stride는 1× 1, 1 epoch당 한 번에 학습하는 데이터 사이즈인batch size는 32로 설정하였으며 Google사의 Colaboratory[17]환경에서 Python과 Tensorflow library[18]를 이용하여 SRCNN 모델을 학습시켰다.
영상배열의 크기는 모두 512×512 였다. SRCNN 모델이 저해상도 영상과 고해상도 영상의 차이를 학습할 수 있도록 원본 고해상도(GT; Ground truth) 영상의 공간분해능을 임의로저하시킨 저해상도(LR; Low resolution image) 영상을 만들어 training 데이터를 구성하고 SRCNN 모델을 학습시켰다. ^[12-15] LR 영상을 획득하기 위해 2×2선형 보간 필터(Linear interpolation filter)를 GT 영상에 2회 적용하였다.
[12-15] LR 영상을 획득하기 위해 2×2선형 보간 필터(Linear interpolation filter)를 GT 영상에 2회 적용하였다.
에 정리하였다. 각 초 매개 변수 조건에서 SRCNN 모델을 학습시킬 때마다 이전의 학습 데이터가 중복되어 다음 학습에 영향을 주는 것을 방지하기 위하여 학습이 끝날 때 마다 런타임을 재설정하여 모든 로컬 변수와 데이터를 삭제하였다.
본 연구에서는 SRCNN 모델의 초 매개 변수로 epoch, learning rate 및 training set을 설정하였다. 사용한 epoch는 1, 10, 50 및 200 이며, learning rate는 1×10^-6, 1×10^-5, 1×10^-4, 1×10^-3, 3×10^-3 및 3.
본 연구에서는 두 영상간의 휘도비, 명암비 및 구조비를 동일한 정도로 평가하기 위해 α, β 및 γ를 모두 1로 설정하였다.
사용한 epoch는 1, 10, 50 및 200 이며, learning rate는 1×10-6, 1×10-5, 1×10-4, 1×10-3, 3×10-3 및 3.2×10-3을 사용하였다.
첫 번째 계층은 kernel size를 9 × 9, 특징지도의 개수를 64개로 하였으며, 두 번째 계층은 kernel size를 3 × 3, 특징 지도의 개수를 32개로 하였다.
학습된 SRCNN 모델을 이용하여 획득한 CT 영상의 정량적 정확도와 공간분해능을 평가하기 위하여 영상의 profile, 구조적 유사성 지수(SSIM; Structural similarity)^[19], 최대신호 대 잡음비(PSNR; Peak signal-to-noise ratio)^[20]및 반치폭(FWHM; Full width at half maximum)^[21]을 측정하였다. SSIM은 두 영상 사이의 밝기, 명암 및 구조를 비교하여 두 영상간의 정량적 정확도를 종합적으로 평가할 수 있는 인자로 Eq.

대상 데이터

또한 GT 영상과의 배열크기를 일치시키기 위하여 LR 영상의 배열크기는 512×512로 유지하였다. Test 데이터 구성을 위해 SPIEAAPM Lung CT Challenge dataset 중 SRCNN 모델학습에 사용하지 않은 폐 CT 영상을 무작위로 선택하였다.
을 이용하였다. Training 데이터 구성을 위해 SPIE-AAPM Lung CT Challenge dataset 중 무작위로 선택한 3000장의 폐 CT 영상을 이용하였다. 영상배열의 크기는 모두 512×512 였다.
2×10^-3을 사용하였다. 또한 training set은 100, 500, 2000 및 3000장을 사용하였으며, 특정 초 매개 변수의 변화에 따른 모델 성능 평가 시 다른 두 개의 초 매개 변수는 표준값으로 유지하였다. 본 연구에서 설정한 epoch, learning rate 및 training set 표준값은 각각 10, 1×10^-3 및 3000장이다.
본 연구에서 설정한 epoch, learning rate 및 training set 표준값은 각각 10, 1×10-3 및 3000장이다.

이론/모형

손실 함수(Loss function)로 Eq. (2)와 같은 mean squared error(MSE)를 사용하였다.
SRCNN 모델의 최적화를 위해 Eqs. (3)-(5)과 같은 Adaptive moment estimation(Adam)^[16]을 사용하였다.
SRCNN 모델의 training과 test를 위해 SPIE-AAPM Lung CT Challenge dataset^[10,11]을 이용하였다. Training 데이터 구성을 위해 SPIE-AAPM Lung CT Challenge dataset 중 무작위로 선택한 3000장의 폐 CT 영상을 이용하였다.

성능/효과

10 epoch 이상부터는 각 인자의 변화량이 감소하였다. 10 epoch 조건에서 출력한 영상은 LR 영상에 비해 SSIM은 약 1.13배, PSNR은 약 1.18배 증가했으며 FWHM은 약 0.69배 감소했다. 또한 200 epoch 조건에서 출력한 영상은 LR 영상에 비해 SSIM이 약 1.
2는 학습에 사용된 GT 및 LR 영상과 SRCNN모델을 통해 획득한 CT 영상이다. Epoch가 증가할수록 SRCNN 모델을 통해 획득한 CT 영상이 GT 영상과 유사해지는 것을 확인할 수 있으며, 특정 관심 영역(ROI; Region-of-interest) 내 구조물간 구분이 더욱 명확해지는 것을 알 수 있다. Fig.
4는 각 epoch를 통해 획득한 출력영상의 SSIM, PSNR 및 FWHM을 보여준다. Epoch가 증가함에 따라 출력 영상의 SSIM 및 PSNR은 증가하였고,FWHM은 감소하였다. 10 epoch 이상부터는 각 인자의 변화량이 감소하였다.
^[25]그러나 SRCNN 모델 학습과정에서 learning rate의 잘못된 설정은 overshooting과 같은 여러 문제점을 야기할 수 있으므로 모델에 적합한 learning rate를 설정하는 것이 중요하다. Epoch와 training set이 증가함에 따라 출력 영상의 정량적 정확도 및 공간분해능은 향상되었지만, 특정 조건 이상부터 영상화질 향상 정도가 미미하였다. 이와 같은 결과는 SRCNN 모델 학습 시 epoch와 training set 설정에 대한 기준을 제시한다.
Fig. 7과 같이 출력영상의 SSIM, PSNR 및 FWHM 분석 결과 1×10-3 learning rate에서 가장 좋은 결과를 보였고, LR 영상과 비교하면 SSIM은 약 1.13배, PSNR은 약 1.18배 증가했으며 FWHM은 약 0.69배 감소했다.
Training set이 증가할수록 출력 영상이 GT 영상과 유사해지는 것을 알 수 있으며 관심 영역 내 구조물 역시 구분이 명확해지는 것을 확인할 수 있다. LR 영상과 비교하여 3000 training set 조건에서 출력 영상의 SSIM은 약 1.13배, PSNR은 약 1.19배 증가했으며 FWHM은 약 0.69배 감소했다.
SSIM 및 PSNR은 epoch와 training set이 증가할수록 측정값이 증가하는 현상을 보였고, 특정값 이상의 epoch와 training set 조건에서 출력 영상의 SSIM과PSNR은 LR 영상보다 높은 결과를 확인하였다. Learning rate의 경우 특정값에서 SSIM과 PSNR이 최대화되며 LR 영상의 값보다 높은 결과를 보여주었다.
8 및 9는 training set 증가에 따른 CT 출력 영상과 각 영상에 해당하는 profile을 보여준다. Training set이 증가할수록 출력 영상이 GT 영상과 유사해지는 것을 알 수 있으며 관심 영역 내 구조물 역시 구분이 명확해지는 것을 확인할 수 있다. LR 영상과 비교하여 3000 training set 조건에서 출력 영상의 SSIM은 약 1.
69배 감소했다. 또한 200 epoch 조건에서 출력한 영상은 LR 영상에 비해 SSIM이 약 1.14배, PSNR이 1.21배 증가했으며 FWHM은 약 0.68배 감소했다.
Learning rate의 경우 특정값에서 SSIM과 PSNR이 최대화되며 LR 영상의 값보다 높은 결과를 보여주었다. 또한 FWHM의 경우 초 매개 변수가 증가함에 따라 전체적으로 감소하는 결과를 확인하였고, 특정값 이상의 초 매개 변수 조건에서는 LR 영상의 FWHM보다 낮은 값을 보여주었다. 이와 같은 결과는 딥러닝 기반 SRCNN 모델이 CT 영상의 정량적 정확도와 공간분해능을 향상시킬 수 있음을 보여준다.
본 연구에서 적용한 딥러닝 기반 SRCNN 모델은 CT 영상의 정량적 정확도와 공간분해능을 향상시킬 수 있다는 것을 보여주었다. 또한 SRCNN 모델 형성 시 설정 가능한 초 매개 변수를 최적화함으로써 딥러닝 기반 영상화 모델의 효율성을 향상 시킬 수 있다. 결론적으로 본 연구의 결과는 딥러닝 기반 CT 영상화질 향상 모델을 위한 기반 데이터를 제공할 수 있을 것으로 생각된다.
본 연구에서 적용한 딥러닝 기반 SRCNN 모델은 CT 영상의 정량적 정확도와 공간분해능을 향상시킬 수 있다는 것을 보여주었다. 또한 SRCNN 모델 형성 시 설정 가능한 초 매개 변수를 최적화함으로써 딥러닝 기반 영상화 모델의 효율성을 향상 시킬 수 있다.
또한 FWHM의 경우 초 매개 변수가 증가함에 따라 전체적으로 감소하는 결과를 확인하였고, 특정값 이상의 초 매개 변수 조건에서는 LR 영상의 FWHM보다 낮은 값을 보여주었다. 이와 같은 결과는 딥러닝 기반 SRCNN 모델이 CT 영상의 정량적 정확도와 공간분해능을 향상시킬 수 있음을 보여준다. ^[8]

후속연구

또한 SRCNN 모델 형성 시 설정 가능한 초 매개 변수를 최적화함으로써 딥러닝 기반 영상화 모델의 효율성을 향상 시킬 수 있다. 결론적으로 본 연구의 결과는 딥러닝 기반 CT 영상화질 향상 모델을 위한 기반 데이터를 제공할 수 있을 것으로 생각된다.

참고문헌 (25)

D. J. Brenner, E. J. Hall, "Computed tomography-an increasing source of radiation exposure", New England Journal of Medicine, Vol. 357, No. 22, pp. 2277-2284, 2007. http://dx.doi.org/10.1056/NEJMra072149

상세보기
S. Leng, L. Yu, J. Wang, J. G. Fletcher, C. A. Mistretta, C. H. McCollough, "Noise reduction in spectral CT : Reducing dose and breaking the trade-off between image noise and energy bin selection", The International Journal of Medical Physics Research and Practice, Vol. 38, No. 9, pp. 4946-4957, 2011. http://dx.doi.org/10.1118/1.3609097
B. Li, G. B. Avinash, J. Hsieh, "Resolution and noise trade-off analysis for volumetric CT", The International Journal of Medical Physics Research and Practice, Vol. 34, No. 10, pp. 3732-3738, 2007. http://dx.doi.org/10.1118/1.2779128
C. Dong, C. C. Loy, K. He, X. Tang, "Learning a Deep Convolutional Network for Image Super-Resolution", European Conference on Computer Vision, pp. 184-199, 2014.
C. Dong, C. C. Loy, K. He, X. Tang, "Image Super-Resolution Using Deep Convolutional Networks", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 38, No. 2, pp. 295-307, 2016. http://dx.doi.org/10.1109/TPAMI.2015.2439281

상세보기
Y. L. Cun, B. E. Boser, J. S. Denker, D. Henderson, R. E. Howard, W. E. Hubbard, L. D. Jackel, "Handwritten Digit Recognition with a Back-Propagation Network", Advances in Neural Information Processing Systems, 1989.
Y. L. Cun, K. Kavukcuoglu, C. Farabet, "Convolutional networks and applications in vision", Proceedings of 2010 IEEE International Symposium on Circuits and Systems, pp. 253-256, 2010.
K. Umehara, J. Ota, T. Ishida, "Application of Super-Resolution Convolutional Neural Network for Enhancing Image Resolution in Chest CT", Journal of Digital Imaging, Vol. 31, No. 4, pp. 441-450, 2018. http://dx.doi.org/10.1007/s10278-017-0033-z

상세보기
J. Bergstra, Y. Bengio, "Random search for Hyper-Parameter Optimization", Journal of Machine Learning Research 13, pp. 281-305, 2012.
S. G. Armato, K. Drukker, F. Li, L. Hadjiiski, G. D. Tourassi, J. S. Kirby, L. P. Clarke, R. M. Engelmann, M. L. Giger, G. Redmond, K. Farahani, "LUNGx Challenge for computerized lung nodule classification", Journal of Medical Imaging, Vol. 3, No. 4, pp. 044056, 2016. https://doi.org/10.1117/1.JMI.3.4.044506
S. G. Armato III, L. Hadjiiski, G. D. Tourassi, K. Drukker, M. L. Giger, F. Li, G. Redmond, K. Farahani, J. S. Kirby, L. P. Clarke, "SPIE-AAPMNCI Lung Nodule Classification Challenge Dataset", The Cancer Imaging Archive, 2015. https://doi.org/10.7937/K9/TCIA.2015.UZLSU3FL
H. Chang, D. Y. Yeung, Y. Xiong, "Super-Resolution Through Neighbor Embedding", IEEE Conference on Computer Vision and Pattern Recognition, 2004.
M. Bevilacqua, A. Roumy, C. Guillemot, M. L. A. Morel, "Low-complexity single-image super-resolution based on nonnegative neighbor embedding", the 23rd British Machine Vision Conference (BMVC), pp. 135.1-135.10, 2012.
D. Dai, R. Timofte, L. Van Gool, "Jointly Optimized Regressors for Image Super-resolution", Computer Graphics Forum, 2015. http://dx.doi.org/10.1111/cgf.12544
K. I. Kim, Y. H. Kwon, "Single-Image Super-Resolution Using Sparse Regression and Natural Image Prior", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 32, No. 6, pp. 1127-1133, 2010. http://dx.doi.org/10.1109/TPAMI.2010.25

상세보기
D. Kingma, J. Ba, "Adam: A method for stochastic optimization", International Conference on Learning Representations(ICLR), 2015.
T. Carneiro, R. V. M. Da Nobrega, T. Nepomuceno, G. B. Bian, V. H. C. de Albuquerque, P. P. Reboucas Filho, "Performance Analysis of Google Colaboratory as a Tool for Accelerating Deep Learning Applications", IEEE Access, Vol. 6, pp. 61677-61685, 2018. https://doi.org/10.1109/ACCESS.2018.2874767

상세보기
M. Abadi, A. Agarwal, P. Barham, E. Brevdo, Z. Chen, C. Citro, G. S. Corrado, A. Davis, J. Dean, M. Devin, S. Ghemawat, I. Goodfellow, A. Harp, G. Irving, M. Isard, Y. Jia, R. Jozefowicz, L. Kaiser, M. Kudlur, J. Levenberg, D. Mane, R. Monga, S. Moore, D. Murray, C. Olah, M. Schuster, J. Shlens, B. Steiner, I. Sutskever, K. Talwar, P. Tucker, V. Vanhoucke, V. Vasudevan, F. Viegas, O. Vinyals, P. Warden, M. Wattenberg, M. Wicke, Y. Yu, X. Zheng, "TensorFlow: Large-Scale Machine Learning on Heterogeneous Distributed Systems", arXiv preprint arXiv:1603.04467, 2016.
Z. Wang, A. C. Bovik, H. R. Sheikh, E. P. Simoncelli, "Image quality assessment: from error visibility to structural similarity", IEEE Transactions on Image Processing, Vol. 13, No. 4, pp. 600-612, 2004. http://dx.doi.org/10.1109/TIP.2003.819861

상세보기
A. Hore, D. Ziou, "Image Quality Metrics: PSNR vs. SSIM", 2010 20th International Conference on Pattern Recognition, 2010.
A. N. Kumar Reddy, D. K. Sagar, "Half-width at half-maximum, full-width at half-maximum analysis for resolution of asymmetrically apodized optical systems with slit apertures", Pramana - Journal of Physics, Vol. 84, No. 1, pp. 117-126, 2015. http://dx.doi.org/10.1007/s12043-014-0828-0

상세보기
L. N. Smith, "A disciplined approach to neural network hyper-parameters: part 1 - learning rate, batch size, momentum, and weight decay," arXiv preprint arXiv:1803.09820v2, 2018
H. Luo, S. Hanagud, "Dynamic Learning Rate Neural Network Training and Composite Structural Damage Detection", AIAA Journal, Vol. 35, No. 9, pp. 1522-1527, 2012. http://dx.doi.org/10.2514/2.7480
D. R. Wilson, T. R. Martinez, "The general inefficiency of batch training for gradient descent learning", Neural Networks, Vol. 16, No. 10, pp. 1429-1451, 2003. http://dx.doi.org/10.1016/S0893-6080(03)00138-2

상세보기
D. R. Wilson, T. R. Martinez, "The Need for Small Learning Rates on Large Problems", IJCNN'01. International Joint Conference on Neural Networks. Proceedings, Vol. 1, pp. 115-119, 2001.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증