[논문]초음파 영상에서의 초고분해능 합성곱 신경망 알고리즘의 시뮬레이션 및 실험 연구

이영진

doi:10.7742/jksr.2023.17.5.693

초음파 영상에서의 초고분해능 합성곱 신경망 알고리즘의 시뮬레이션 및 실험 연구
Simulation and Experimental Studies of Super Resolution Convolutional Neural Network Algorithm in Ultrasound Image 원문보기

한국방사선학회 논문지 = Journal of the Korean Society of Radiology, v.17 no.5, 2023년, pp.693 - 699

이영진 (가천대학교 방사선학과)

초록
AI-Helper

초음파는 의료분야에서 비파괴적 및 비침습적인 질병 진단에 널리 활용되고 있다. 진단의료영상의 질병진단 정확도를 향상시키기 위하여 공간 분해능을 향상시키는 것은 매우 중요하다. 본 연구에서는 초음파 영상에서의 초고분해능 합성곱 신경망 알고리즘 (super resolution convolutional neural network, SRCNN)을 모델링하여 적용 가능성을 분석하고자 한다. 연구는 Field II 시뮬레이션과 open source로 제공되는 임상 간 혈관종 초음파 영상을 사용한 실험 연구로 수행되었다. 제안하는 SRCNN 알고리즘은 저분해능 (low resolution, LR)에서 고분해능 (high resolution)으로 end-to-end 방식의 학습이 적용될 수 있도록 모델링하였다. 시뮬레이션 결과 Field II 프로그램을 통한 팬텀 영상에서의 반치폭 값은 SRCNN을 사용하였을 때 LR에 비하여 41.01% 향상되는 것을 확인하였다. 또한, 최대신호대잡음비 (peak to signal to noise ratio, PSNR)와 구조적 유사도 지표 (structural similarity index, SSIM)) 평가 결과는 시뮬레이션과 실제 간 혈관종 영상에서 SRCNN이 가장 우수한 값으로 도출되었다. 결론적으로 SRCNN의 초음파 영상에서의 적용 가능성을 증명하였고, 나아가 다양한 진단의료분야에서의 사용이 가능할 것으로 기대한다.

Abstract ▼ AI-Helper

Ultrasound is widely used in the medical field for non-destructive and non-invasive disease diagnosis. In order to improve the disease diagnosis accuracy of diagnostic medical images, improving spatial resolution is a very important factor. In this study, we aim to model the super resolution convolutional neural network (SRCNN) algorithm in ultrasound images and analyze its applicability in the medical diagnostic field. The study was conducted as an experimental study using Field II simulation and open source clinical liver hemangioma ultrasound imaging. The proposed SRCNN algorithm was modeled so that end-to-end learning can be applied from low resolution (LR) to high resolution. As a result of the simulation, we confirmed that the full width at half maximum in the phantom image using a Field II program was improved by 41.01% compared to LR when SRCNN was used. In addition, the peak to signal to noise ratio (PSNR) and structural similarity index (SSIM) evaluation results showed that SRCNN had the excellent value in both simulated and real liver hemangioma ultrasound images. In conclusion, the applicability of SRCNN to ultrasound images has been proven, and we expected that proposed algorithm can be used in various diagnostic medical fields.

주제어

표/그림 (6)

그림 Fig. 1. Used overview of the SRCNN. Feature maps and patches were extracted using layers, and a high-resolution ultrasound image was finally derived.
그림 Fig. 2. Result images including SRCNN algorithm using Field II simulation program.
그림 Fig. 3. Graph for profile with respect to algorithm.
그림 Fig. 4. Result graphs for PSNR and SSIM calculations with respect to algorithm in simulated ultrasound images.
그림 Fig. 5. Result images including SRCNN algorithm using clinical ultrasound image with live hemangioma.
그림 Fig. 6. Result graphs for PSNR and SSIM calculations with respect to algorithm in clinical ultrasound image with liver hemangioma.

AI 본문요약
AI-Helper

문제 정의

본 연구에서는 SRCNN 알고리즘을 모델링하여 초음파 영상에 적용 후 분해능 개선의 가능성을 분석하고자 한다. 연구 수행은 시뮬레이션과 open source를 사용한 실제 임상 데이터를 활용하여 수행하였다.

제안 방법

본 연구는 실제 임상 초음파 영상에 SRCNN 알고리즘을 적용하기 전에 FieldⅡ 시뮬레이션 프로그램을 활용하였다. SRCNN 알고리즘을 포함한 다양한 데이터가 적절하게 구축되어야 하는 딥러닝 기반의 영상화질 개선 기법을 활용하기 위한 시뮬레이션 프로그램으로 FieldⅡ는 유용하다고 사료된다.
본 연구에서는 딥러닝 기반의 SRCNN 알고리즘을 모델링하여 초음파 검사 시 적용하고자 하였다. 결론적으로 기존의 방법을 적용한 초음파 영상과 LR 영상에 비하여 SRCNN 알고리즘에서 우수한 정량적 평가 결과가 도출됨이 증명되었다.

대상 데이터

Fig. 2는 FieldⅡ 시뮬레이션 프로그램을 활용하여 획득한 초음파 낭종 팬텀의 알고리즘 적용 결과 영상들이다. 육안적으로 관찰하였을 때 LR 초음파 영상에서 가장 흐림현상이 강하게 관찰되었고 제안하는 SRCNN 알고리즘을 적용한 결과 영상의 경계부분이 명확하게 도출되는 것을 확인할 수 있었다.
또한, 최대신호대잡음비 (peak to signal to noise ratio, PSNR)와 구조적 유사도 지표 (structural similarity index, SSIM))를 시뮬레이션 된 초음파 영상 평가에 사용하였다. 간 혈관종 초음파 영상의 정량적 평가 인자로는 PSNR과 SSIM을 사용하였다. PSNR과 SSIM 평가 수식은 아래와 같다.
본 연구에서는 SRCNN 알고리즘을 모델링하여 초음파 영상에 적용 후 분해능 개선의 가능성을 분석하고자 한다. 연구 수행은 시뮬레이션과 open source를 사용한 실제 임상 데이터를 활용하여 수행하였다. SRCNN 알고리즘의 유용성을 증명하기 위한 비교군으로는 bicubic 보간법을 사용하였다.
임상 데이터는 Signal Processing Laboratory에서 제공하는 open source를 간 혈관종 초음파 영상을 사용하였다. Open source 데이터를 활용한 후향적 연구로 연구윤리심의위원회 심의 또는 심의면제 절차를 진행하지 않았다.

데이터처리

시뮬레이션 연구에서 획득한 초음파 영상화질의 정량적 평가 방법으로는 영상의 profile 획득 후 FWHM을 측정하여 분해능의 개선정도를 확인하였다. 또한, 최대신호대잡음비 (peak to signal to noise ratio, PSNR)와 구조적 유사도 지표 (structural similarity index, SSIM))를 시뮬레이션 된 초음파 영상 평가에 사용하였다.
해당 작업은 첫 번째 layer를 통해 도출된 결과를 다양한 컨볼루션 layer에 결합하여 도출하는 방식으로 본 논문에서는 5×5 convolution filter를 이용하여 결과를 도출하였다.

이론/모형

연구 수행은 시뮬레이션과 open source를 사용한 실제 임상 데이터를 활용하여 수행하였다. SRCNN 알고리즘의 유용성을 증명하기 위한 비교군으로는 bicubic 보간법을 사용하였다.
시뮬레이션 연구에서 획득한 초음파 영상화질의 정량적 평가 방법으로는 영상의 profile 획득 후 FWHM을 측정하여 분해능의 개선정도를 확인하였다. 또한, 최대신호대잡음비 (peak to signal to noise ratio, PSNR)와 구조적 유사도 지표 (structural similarity index, SSIM))를 시뮬레이션 된 초음파 영상 평가에 사용하였다. 간 혈관종 초음파 영상의 정량적 평가 인자로는 PSNR과 SSIM을 사용하였다.

성능/효과

4는 시뮬레이션 된 초음파 영상의 PSNR 및 SSIM의 결과 그래프이다. PSNR 값은 LR, bicubic, 그리고 SRCNN 알고리즘을 사용하였을 때 각각 7.73, 11.93, 그리고 17.50으로 도출되었다. 또한, SSIM 데이터는 LR, bicubic, 그리고 SRCNN 알고리즘을 사용하였을 때 각각 0.
840으로 계산되었다. PSNR과 SSIM 결과에서 모두 SRCNN 알고리즘이 가장 우수한 값이 도출되었으며, 제안하는 방법이 LR에 비하여 각각 126.39 및 28.72%가 향상됨을 확인하였다.
3에 나타내었다. Profile에서 관찰할 수 있듯이 LR과 bicubic 보간법을 적용하였을 때에 비하여 SRCNN 알고리즘의 peak 값이 두드러지는 경향을 보여주었다.
472 로 도출되었다. SRCNN 알고리즘을 사용한 영상에서 가장 우수한 FWHM 값을 획득할 수 있었고 특히나 LR에 비해서 약 41.01% 향상된 결과값이 도출되었다.
본 연구에서는 딥러닝 기반의 SRCNN 알고리즘을 모델링하여 초음파 검사 시 적용하고자 하였다. 결론적으로 기존의 방법을 적용한 초음파 영상과 LR 영상에 비하여 SRCNN 알고리즘에서 우수한 정량적 평가 결과가 도출됨이 증명되었다.
871로 계산되었다. 시뮬레이션 결과와 마찬가지로 PSNR과 SSIM 결과에서 모두 SRCNN 알고리즘에서 가장 우수한 값이 도출되었고, 제안하는 방법이 LR에 비하여 각각 123.45 및 93.64%가 향상됨을 확인하였다.
5는 open source로 획득한 간 혈관종 초음파 영상의 알고리즘 적용에 따른 결과 영상이다. 시뮬레이션 연구와 마찬가지로 육안적으로 관찰하였을 때 SRCNN 알고리즘을 적용한 영상에서 혈관종이 명확하게 관찰되는 것을 확인할 수 있었다.
2는 FieldⅡ 시뮬레이션 프로그램을 활용하여 획득한 초음파 낭종 팬텀의 알고리즘 적용 결과 영상들이다. 육안적으로 관찰하였을 때 LR 초음파 영상에서 가장 흐림현상이 강하게 관찰되었고 제안하는 SRCNN 알고리즘을 적용한 결과 영상의 경계부분이 명확하게 도출되는 것을 확인할 수 있었다.

후속연구

SRCNN 알고리즘은 딥러닝을 초고분해능을 획득할 수 있는 영상화질 개선 방법으로 유용하게 활용할 수 있다. LR 영상을 획득한 후 bicubic을 이용하여 HR 영상의 크기와 동일하게 생성하는 기본적인 원리가 사용되므로 최근 진단의료분야에서 널리 사용되고 있는 초음파 검사에 적용 가능성이 매우 높다고 사료된다. 향후 SRCNN의 네트워크를 고차원으로 구성하거나 노이즈 제거 기법을 적절하게 융합하여 활용한다면 현재보다 성능이 우수한 딥러닝 기반의 알고리즘을 임상 초음파 영상에 적용할 수 있을 것으로 기대된다.
따라서 본 연구에서 제안하는 SRCNN 알고리즘을 활용하여 향상된 분해능의 간 초음파 영상을 획득하게 된다면 혈관종 환자의 정확한 진단에 큰 도움이 될 수 있을 것이다. 나아가 다양한 장기들에서 나타날 수 있는 작은 병변 또는 악성종양을 구별하는데 있어 SRCNN 알고리즘은 유용하게 사용될 수 있을 것으로 기대된다.
혈관종과 간실질의 경계는 뚜렷한 편이나 분해능이 저하된 초음파 영상에서는 진단의 오류를 일으킬 수 있으며 비전형적 소견의 병변을 확인하기 위해서는 분해능의 향상이 도움이 될 수 있다. 따라서 본 연구에서 제안하는 SRCNN 알고리즘을 활용하여 향상된 분해능의 간 초음파 영상을 획득하게 된다면 혈관종 환자의 정확한 진단에 큰 도움이 될 수 있을 것이다. 나아가 다양한 장기들에서 나타날 수 있는 작은 병변 또는 악성종양을 구별하는데 있어 SRCNN 알고리즘은 유용하게 사용될 수 있을 것으로 기대된다.
SRCNN 알고리즘을 포함한 다양한 데이터가 적절하게 구축되어야 하는 딥러닝 기반의 영상화질 개선 기법을 활용하기 위한 시뮬레이션 프로그램으로 FieldⅡ는 유용하다고 사료된다. 연구에서 사용된 낭종 팬텀 뿐만 아니라 주파수에 따른 초음파 영상 및 다양한 목적 장기들의 영상들을 획득할 수 있어 적용의 분야가 확장될 수 있을 것이다.
LR 영상을 획득한 후 bicubic을 이용하여 HR 영상의 크기와 동일하게 생성하는 기본적인 원리가 사용되므로 최근 진단의료분야에서 널리 사용되고 있는 초음파 검사에 적용 가능성이 매우 높다고 사료된다. 향후 SRCNN의 네트워크를 고차원으로 구성하거나 노이즈 제거 기법을 적절하게 융합하여 활용한다면 현재보다 성능이 우수한 딥러닝 기반의 알고리즘을 임상 초음파 영상에 적용할 수 있을 것으로 기대된다.

참고문헌 (11)

G. J. Czarnota, M. C. Kolios, J. Abraham, M.？Portnoy, F. P. Ottensmeyer, J. W. Hunt, M. D.？Sherar, "Ultrasound imaging of apoptosis:？high-resolution non-invasive monitoring of？programmed cell death in vitro, in situ and in vivo",？British Journal of Cancer, Vol. 81, No. 3, pp. 520-527, 1999. http://dx.doi.org/10.1038/sj.bjc.6690724

상세보기
E. C. Kyriacou, C. Pattichis, M. Pattichis, C. Loizou,？C. Christodoulou, S. K. Kakkos, A. Nicolaides, "A？Review of Noninvasive Ultrasound Image Processing？Methods in the Analysis of Carotid Plaque？Morphology for the Assessment of Stroke Risk",？IEEE Transactions on Information Technology in？Biomedicine, Vol. 14, No. 4, pp. 1027-1038, 2010. http://dx.doi.org/10.1109/TITB.2010.2047649

상세보기
C. Basoglu, R. Managuli, G. York, Y. Kim,？"Computing requirements of modern medical？diagnostic ultrasound machines", Parallel Computing,？Vol. 24, pp. 1407-1431, 1998. https://doi.org/10.1016/S0167-8191(98)00064-7

상세보기
K. Kim, N. Chon, H. W. Jeong, Y. Lee,？"Improvement of Ultrasound Image Quality Using？Non-Local Means Noise-Reduction Approach for？Precise Quality Control and Accurate Diagnosis of？Thyroid Nodules", International Journal of？Environmental Research and Public Health, Vol. 19,？No. 21, pp. 13743, 2022. http://dx.doi.org/10.3390/ijerph192113743

상세보기
R. Wang, Z. Fang, J. Gu, Y. Guo, S. Zhou, Y.？Wang, C. Chang, J. Yu, "High-resolution image？reconstruction for portable ultrasound imaging？devices", EURASIP Journal on Advances in Signal？Processing, Vol. 2019, No. 56, 2019. http://dx.doi.org/10.1186/s13634-019-0649-x

상세보기
J. Yi, H. K. Kang, J. H. Kwon, K. S. Kim, M. H.？Park, Y. K. Seong, D. W. Kim, B. Ahn, K. Ha, J.？Lee, Z. Hah, W. C. Bang, "Technology trends and？applications of deep learning in ultrasonography:？image quality enhancement, diagnostic support, and？improving workflow efficiency", Ultrasonography,？Vol. 40, No. 1, pp. 7-22, 2019. http://dx.doi.org/10.14366/usg.20102

상세보기
Q. Sun, X. Lin, Y. Zhao, L. Li, K. Yan, D. Liang,？D. Sun, Z. C. Li, "Deep Learning vs. Radiomics for？Predicting Axillary Lymph Node Metastasis of Breast？Cancer Using Ultrasound Images: Don't Forget the？Peritumoral Region", Frontiers in Oncology, Vol. 10, 2020. http://dx.doi.org/10.3389/fonc.2020.00053

상세보기
D. T. Nguyen, J. K. Kang, T. D. Pham, G. Batchuluun, K. R. Park, "Ultrasound Image-Based？Diagnosis of Malignant Thyroid Nodule Using？Artificial Intelligence", Sensors, Vol. 20, No. 7, pp. 1822, 2020. http://dx.doi.org/10.3390/s20071822

상세보기
B. Liu, D. Ait-Boudaoud, "Effective image super？resolution via hierarchical convolutional neural？network", Neurocomputing, Vol. 374, pp. 109-116, 2020. https://doi.org/10.1016/j.neucom.2019.09.035

상세보기
J. A. Jensen, "Field: A Program for Simulating？Ultrasound Systems", Medical & Biological？Engineering & Computing, Vol. 34, No. 1, pp. 351-353, 1996.

상세보기
C. Dong, C. C. Loy, K. He, X. Tang, "Image？Super-Resolution Using Deep Convolutional？Networks", Computer Vision and Pattern？Recognition, 2015. https://doi.org/10.48550/arXiv.1501.00092

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증