[논문]Efficient CT Image Denoising Using Deformable Convolutional AutoEncoder Model

Eon Seung, Seong; Seong Hyun, Han; Ji Hye, Heo; Dong Hoon, Lim

doi:10.9708/jksci.2023.28.03.025

Efficient CT Image Denoising Using Deformable Convolutional AutoEncoder Model 원문보기

韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information, v.28 no.3, 2023년, pp.25 - 33

Eon Seung, Seong (Dept. of Information and Statistics, Gyeongsang National University) , Seong Hyun, Han (Dept. of Information and Statistics, Gyeongsang National University) , Ji Hye, Heo (Dept. of Information and Statistics, Gyeongsang National University) , Dong Hoon, Lim (Dept. of Information and Statistics, RINS, Gyeongsang National University)

초록
AI-Helper

CT 영상의 획득 및 전송 등의 과정에서 발생하는 잡음은 영상의 질을 저하시키는 요소로 작용한다. 따라서 이를 해결하기 위한 잡음제거는 영상처리에서 중요한 전처리 과정이다. 본 논문에서는 딥러닝의 convolutional autoencoder (CAE) 모형에서 기존 컨볼루션 연산 대신 deformable 컨볼루션 연산을 적용한 deformable convolutional autoencoder (DeCAE) 모형을 이용하여 잡음을 제거하고자 한다. 여기서 deformable 컨볼루션 연산은 기존 컨볼루션 연산보다 유연한 영역에서 영상의 특징들을 추출할 수 있다. 제안된 DeCAE 모형은 기존 CAE 모형과 같은 인코더-디코더 구조로 되어있으나 효율적인 잡음제거를 위해 인코더는 deformable 컨볼루션 층으로 구성하고, 디코더는 기존 컨볼루션 층으로 구성하였다. 본 논문에서 제안된 DeCAE 모형의 성능 평가를 위해 다양한 잡음, 즉, 가우시안 잡음, 임펄스 잡음 그리고 포아송 잡음에 의해 훼손된 CT 영상을 대상으로 실험하였다. 성능 실험 결과, DeCAE 모형은 전통적인 필터 즉, Mean 필터, Median 필터와 이를 개선한 Bilateral 필터, NL-means 방법 뿐만 아니라 기존의 CAE 모형보다 정성적이고, 정량적인 척도 즉, MAE (Mean Absolute Error), PSNR (Peak Signal-to-Noise Ratio) 그리고 SSIM (Structural Similarity Index Measure) 면에서 우수한 결과를 보였다.

Abstract ▼ AI-Helper

Noise generated during the acquisition and transmission of CT images acts as a factor that degrades image quality. Therefore, noise removal to solve this problem is an important preprocessing process in image processing. In this paper, we remove noise by using a deformable convolutional autoencoder (DeCAE) model in which deformable convolution operation is applied instead of the existing convolution operation in the convolutional autoencoder (CAE) model of deep learning. Here, the deformable convolution operation can extract features of an image in a more flexible area than the conventional convolution operation. The proposed DeCAE model has the same encoder-decoder structure as the existing CAE model, but the encoder is composed of deformable convolutional layers and the decoder is composed of conventional convolutional layers for efficient noise removal. To evaluate the performance of the DeCAE model proposed in this paper, experiments were conducted on CT images corrupted by various noises, that is, Gaussian noise, impulse noise, and Poisson noise. As a result of the performance experiment, the DeCAE model has more qualitative and quantitative measures than the traditional filters, that is, the Mean filter, Median filter, Bilateral filter and NL-means method, as well as the existing CAE models, that is, MAE (Mean Absolute Error), PSNR (Peak Signal-to-Noise Ratio) and SSIM. (Structural Similarity Index Measure) showed excellent results.

주제어

표/그림 (12)

그림 Fig. 2.1 CAE architecture for image denoising
그림 Fig. 3.1 Illustration of sampling grids in 3 × 3 standard and deformable convolutions: (a) regular sampling grid of standard convolution, (b),(c),(d) deformed sampling locations with augmented offsets in deformable convolution
그림 Fig. 3.2 Architecture of 3 × 3 deformable convolution
그림 Fig. 3.3 DeCAE architecture for image denoising
그림 Fig. 4.1 Original image and noisy images from COVID-19 Radiography Dataset
그림 Fig. 4.2 DeCAE model convergence for noisy images from COVID-19 Radiography Dataset
그림 Fig. 4.3 Experiment results for Gaussian noisy image in Figure 4.1(b)
그림 Fig. 4.4 Experiment results for impulse noisy imagein Figure 4.1 (c)
그림 Fig. 4.5 Experiment results for Poisson noisy image in Figure 4.1(d)
표 Table 4.1 Performance comparison of denoising methods for Gaussian noisy images in Fig. 4.1(b)
표 Table 4.2 Performance comparison of denoising methods for impulse noisy images in Fig. 4.1 (c)
표 Table 4.3 Performance comparison of denoising methods for Poisson noisy images in Fig. 4.1(d)

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 CT 영상에서 잡음제거를 위해 기존 CAE 모형의 변형인 DeCAE 모형을 제안하였다. DeCAE 모형은 기존 CAE 모형과 같이 인코더-디코더 구조를 갖고 있으며, 인코더의 일반적인 컨볼루션 층을 deformable 컨볼루션 층으로 대체하여 효과적인 잡음제거 영상을 얻는 구조이다.
본 논문에서는 제안된 DeCAE 모형을 평가하기 위해 COVID-19 CT 영상에 극한하여 실험하였다. 향후 연구에서는 다양하고 독특한 수 많은 패턴의 잡음을 갖는 복잡한 영상에서 여러 딥러닝 모형과의 성능 비교의 필요성이 있다고 사료된다.

제안 방법

본 논문에서 제안된 DeCAE 모형의 잡음제거 성능을 평가하기 위해 전통적 잡음제거 방법인 Mean 필터, Median 필터와 이를 개선한 Bilateral 필터와 NL-Means 방법, 기존 딥러닝 모형인 CAE 모형과 비교하고자 한다. 여기서 Mean 필터, Median 필터는 3 × 3 크기의 필터를 사용하였다.
본 논문에서는 제안된 DeCAE 모형의 성능을 전통적인 방법인 Mean 필터, Median 필터, 이를 개선한 Bilateral 필터, NL-Means 방법과 기존의 딥러닝 모형인 CAE 모형과 비교하였다. 성능 실험은 다양한 잡음에 의해 훼손된 CT 영상을 통해 정성적 성능 평가와 MAE, PSNR 그리고 SSIM 척도를 통한 정량적 성능 평가로 이루어졌다.
본 논문에서는 제안된 DeCAE 모형의 성능을 전통적인 방법인 Mean 필터, Median 필터, 이를 개선한 Bilateral 필터, NL-Means 방법과 기존의 딥러닝 모형인 CAE 모형과 비교하였다. 성능 실험은 다양한 잡음에 의해 훼손된 CT 영상을 통해 정성적 성능 평가와 MAE, PSNR 그리고 SSIM 척도를 통한 정량적 성능 평가로 이루어졌다. 성능실험 결과, 정성적인 비교에서 보면 DeCAE 모형은 기존의 CAE 모형과는 유사한 잡음제거 결과를 보였고 전통적인 방법보다는 원영상과 가까운 선명한 영상 결과를 얻었다.
DeCAE 모형은 기존 CAE 모형과 같이 인코더-디코더 구조를 갖고 있으며, 인코더의 일반적인 컨볼루션 층을 deformable 컨볼루션 층으로 대체하여 효과적인 잡음제거 영상을 얻는 구조이다. 여기서 deformable 컨볼루션은 기존 컨볼루션보다 추가적인 2D 오프셋 연산을 통해 유연한 영역에서 영상의 특징들을 추출을 통해 잡음제거 성능향상을 꾀하였다.
우리는 잡음제거를 위해 CAE 모형을 개선한 DeCAE 모형을 제안하고자 한다. Fig.

데이터처리

본 실험에서는 각각의 모형에 대해 테스트 데이터에서 10회 반복 실험하여 도출된 성능 수치, 즉, MAE, PSNR, SSIM의 평균값으로 나타내었다.

이론/모형

1에서 보는 것처럼 인코더와 디코더가 각각 3개의 층으로 구성되어 있다. 본 실험에서는 최적화 알고리즘으로 Adam을 사용하였으며 반복수는 100으로 설정하였다.

성능/효과

5 에서 보면, DeCAE 모형은 CAE 모형과 함께 Fig. 4.1(a)의 원 영상과 가까운 영상을 얻었고, 전통적인 방법에서는 Bilateral 필터와 NL-Means 방법이 Mean 필터와 Median 필터보다 잡음제거력이 좋은 것처럼 보였다.
NL-Means 방법은 이들 필터보다는 더 흐릿한 영상 결과를 보였으나, 딥러닝 모형과 비교해서는 흐릿한 영상 결과를 보였다. DeCAE 모형은 CAE 모형과 비교하여 비슷한 결과를 보였으며 위의 전통적인 필터들보다 좋은 화질의 영상을 보였다.
Table 4.3의 결과를 보면, DeCAE 모형은 모든 척도에 대해 성능이 가장 뛰어남을 알 수 있고, 그 다음으로 CAE 모형 순으로 좋은 성능을 보이는 것을 확인할 수 있다. 이들 간의 성능 차이는 DeCAE 모형의 deformable 컨볼루션 연산 사용에 기인한다.
성능 실험은 다양한 잡음에 의해 훼손된 CT 영상을 통해 정성적 성능 평가와 MAE, PSNR 그리고 SSIM 척도를 통한 정량적 성능 평가로 이루어졌다. 성능실험 결과, 정성적인 비교에서 보면 DeCAE 모형은 기존의 CAE 모형과는 유사한 잡음제거 결과를 보였고 전통적인 방법보다는 원영상과 가까운 선명한 영상 결과를 얻었다. 정량적인 비교에서 보면, DeCAE 모형은 모든 잡음 영상에서 모든 척도 하에서 CAE 모형보다 좋은 수치를 보였고, 전통적인 방법들과의 비교에서도 임펄스 잡음 영상에서 MAE와 SSIM 척도 하에서 Median 필터를 제외하고 좋은 수치를 보였다.
성능실험 결과, 정성적인 비교에서 보면 DeCAE 모형은 기존의 CAE 모형과는 유사한 잡음제거 결과를 보였고 전통적인 방법보다는 원영상과 가까운 선명한 영상 결과를 얻었다. 정량적인 비교에서 보면, DeCAE 모형은 모든 잡음 영상에서 모든 척도 하에서 CAE 모형보다 좋은 수치를 보였고, 전통적인 방법들과의 비교에서도 임펄스 잡음 영상에서 MAE와 SSIM 척도 하에서 Median 필터를 제외하고 좋은 수치를 보였다.

후속연구

본 논문에서는 제안된 DeCAE 모형을 평가하기 위해 COVID-19 CT 영상에 극한하여 실험하였다. 향후 연구에서는 다양하고 독특한 수 많은 패턴의 잡음을 갖는 복잡한 영상에서 여러 딥러닝 모형과의 성능 비교의 필요성이 있다고 사료된다.

참고문헌 (27)

M. Ameen, and S. A. Ahmed, "An Extensive Review of Medical？Image Denoising Techniques," Global Journal of Medical？Research: D, Vol. 16, No. 2, pp. 1-6, 2016. https://medicalresear？chjournal.org/index.php/GJMR/article/view/1201/1111.
R. N. Kumar, and U. J. Kumar, "A Spatial Mean and Median？Filter for Noise Removal in Digital Images," International Journal？of Advanced Research in Electrical, Electronics and？Instrumentation Engineering, Vol. 4, No. 1, pp. 246-253, January？2015. DOI:10.15662/ijareeie.2015.0401037.
P, Saxena, and R. S. Kumar, "Restoration of CT Images Corrupted？With Fixed Valued Impulse Noise Using an Optimum？Decision-Based Filter," Intelligent Multidimensional Data and？Image Processing, pp. 220-239, January 2018. DOI: 10.4018/978-1-5225-5246-8.ch008.
C. Tomasi and R. Manduchi, "Bilateral filtering for gray and color？images. " Proc Int Conf Computer Vision, pp. 839-846, 1998.？DOI: 10.1109/ICCV.1998.710815
A. Buades, B. Coll, and J. M. Morel, "A review of image denoising？algorithms, with a new one," Multiscale Modeling and Simulation？(SIAM Interdisciplinary Journal), Vol. 4, No. 2, pp 490-530, 2005.？DOI:10.1137/040616024.

상세보기
B. K. Shreyamsha Kumar, "Image denoising based on non-local？means filter and its method noise thresholding", Signal Image and？Video Processing Vol.7, No. 6, pp.1211-1227, 2013. DOI:10.1007/s11760-012-0389-y

상세보기
J. J. Song, J. H.Kim, and D. H. Lim, "Image Restoration using？Convolutional Denoising Autoencoder in Images," Journal of the？Korean Data & Information Science Society, Vol. 31, No. 1, pp.？25-40, 2020. DOI: 10.7465/jkdi.2020.31.1.25.

상세보기
J. H. Kim, J. H. Song, and D. H. Lim, "CT image Denoising？using Inception Model," Journal of the Korean Data & Information？Science Society, Vol. 31, No. 3, pp. 487-501, 2020. DOI : 10.7465/jkdi.2020.31.3.487.

상세보기
W. H. Lee, M. Ozger, U. Challita, and K. W. Sung. "Noise？Learning-Based Denoising Autoencoder," IEEE Communications？Letters, Vol. 25, No. 9, pp. 2983 - 2987, September 2021.？DOI:10.1109/LCOMM.2021.3091800.

상세보기
E. S. Seong, J. H. Heo, S. H. Han, and D. H. Lim, "Medical？image denoising using convolutional dual-decoder autoencoder",？Journal of the Korean Data & Information Science Society, Vol.？33, No. 6, pp. 1065-1083, 2022. DOI: 10.7465/jkdi.2022.33.6.1065.

상세보기
E. Solovyeva, and A. Abdullah, "Dual Autoencoder Network with？Separable Convolutional Layers for Denoising and Deblurring？Images" Journal of Imaging Vol. 8, No.9, September 2022. DOI:？10.3390/jimaging8090250.

상세보기
J. Dai, H. Qi, Y. Xiong, Y. Li, G. Zhang, H. Hu, and Y. Wei,？"Deformable Convolutional Networks," IEEE International？Conference on Computer Vision (ICCV), Vol. 5, pp. 764-773,？March 2017. DOI: 10.48550/arXiv.1703.06211.
D. Wang and J. Lan, "A Deformable Convolutional Neural？Network with Spatial-Channel Attention for Remote Sensing？Scene Classification," Remote Sens. Vol. 13, No. 24, 5076 2021,？DOI:10.3390/rs13245076.

상세보기
J. P. Allam, S. Samantray, S. P. Sahoo, and S. Ari, "A deformable？CNN architecture for predicting clinical acceptability of ECG？signal", Biocybernetics and Biomedical Engineering, Volume 43,？Issue 1, pp. 335-351, January-March 2023. DOI : 10.1016/j.bbe.2023.01.006.

상세보기
C. Lee, Y. Yiwamoto, L. Lin, H. Hu, and Y. W. Chen, " Improved？Mask R-CNN with Deformable Convolutions for Accurate Liver？Lesion Detection in Multiphase CT Images", Smart Innovation,？Systems and Technologies Vol. 308, pp.141-148, July 2022. DOI:10.1007/978-981-19-3440-7_13
M. J. Kim, Y. S. Lee, and C. W. Lim, "Deformable Convolutional？Networks based Mask R-CNN," Journal of the Korean Data &？Information Science Society, Vol. 31, No. 6, pp. 993-1008, 2020.？DOI: 10.7465/jkdi.2020.31.6.993.

상세보기
Z. Wang, A. C. Bovik, H. R. Sheikh, and E. P. Simoncelli, "Image？Quality Assessment: From Error Visibility to Structural？Similarity," IEEE Transactions on Image Processing, Vol. 13, No.？4, pp. 600-612, 2004. DOI: 10.1109/TIP.2003.819861.

상세보기
U. Sara, M. Akter, and M. Uddin, "Image Quality Assessment？through FSIM, SSIM, MSE and PSNR-A Comparative Study,"？Journal of Computer and Communications, Vol. 7, No. 3, pp.？8-18, 2019. DOI:10.4236/jcc.2019.73002.

상세보기
L. Gondara, "Medical Image Denoising using Convolutional？Denoising Autoencoders," IEEE 16th International Conference？on Data Mining Workshops. pp. 1-6, August 2016. DOI:10.1109/ICDMW.2016.0041.
E. Pintelas, I. E. Livieris, and P. E. Pintelas, " A Convolutional？Autoencoder Topology for Classification in High-Dimensional？Noisy Image Datasets", Sensors. Vol. 21, No. 7731, November？2021. DOI: 10.3390/s21227731

상세보기
P. Venkataraman "Image Denoising Using Convolutional？Autoencoder", Computer Vision and Pattern Recognition, Vol.？24, July 2022. DOI: 10.48550/arXiv.2207.11771.
D. Soydaner, "A Comparison of Optimization Algorithms for？Deep Learning," International Journal of Pattern Recognition and？Artificial Intelligence, 34. pp. 1-26, 2020. July DOI: 10.48550/arXiv.2007.14166.
Y. Wang, Z. Xiao, G. Cao " A convolutional neural network？method based on Adam optimizer with power-exponential？learning rate for bearing fault diagnosis", Journal of？Vibroengineering, Vol. 24, No. 4, March 2022. DOI: 10.21595/jve.2022.22271.

상세보기
S. P. Kmar Gudla, and S. Kumar Bhoi " A Study on Effect？of Learning Rates Using Adam Optimizer in LSTM Deep？Intelligent Model for Detection of DDoS Attack to Support Fog？Based IoT Systems", Communications in Computer and？Information Science, Vol 1729, January 2023. DOI: 10.1007/978-3-031-21750-0_3.
T. Rahman, A. Khandakar, Y. Qiblawey, A. Tahir, S. Kiranyaz,？S.B.A., Kashem, M.T. Islam, S.A. Maadeed, S.M. Zughaier, M.S.？Khan, and M.E. Chowdhury, " Exploring the Effect of Image？Enhancement Techniques on COVID-19 Detection using Chest？X-ray Images," Computers in Biology and Medicine, Vol. 132,？pp. 1- 16, May 2021. DOI:10.1016/j.compbiomed.2021.104319.

상세보기
COVID-19 Radiography Database, https://www.kaggle.com/datasets/tawsifurrahman/covid19-radiography-database.
Q. Zhang, J. Xiao, C. Tian, J.C.W. Lin, S. Zhang, " A robust？deformed convolutional neural network (CNN) for image？denoising", CAAI Transactions on Intelligence Technology, pp.？1-12, June 2022. DOI: /10.1049/cit2.12110.

상세보기

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증