[논문]Denoising ISTA-Net: 측면주사 소나 영상 잡음제거를 위한 강화된 비선형성 학습 기반 압축 센싱

이보경; 구본화; 김완진; 김성일; 고한석

doi:10.7776/ask.2020.39.4.246

Denoising ISTA-Net: 측면주사 소나 영상 잡음제거를 위한 강화된 비선형성 학습 기반 압축 센싱
Denoising ISTA-Net: learning based compressive sensing with reinforced non-linearity for side scan sonar image denoising 원문보기

한국음향학회지= The journal of the acoustical society of Korea, v.39 no.4, 2020년, pp.246 - 254

이보경 (고려대학교) , 구본화 (고려대학교) , 김완진 (국방과학연구소) , 김성일 (국방과학연구소) , 고한석 (고려대학교)

초록
AI-Helper

본 논문에서는 학습 기반 압축 센싱 기법을 이용한 측면주사 소나 영상의 비균일 잡음 제거 알고리즘을 제안한다. 제안하는 기법은 Iterative Shrinkage and Thresholding Algorithm(ISTA) 알고리즘을 기반으로 하고 있으며 성능 향상을 위해 학습네트워크의 비선형성을 강화시키는 전략을 선택하였다. 제안된 구조는 입력 신호를 비선형 변환과 초기화 하는 부분, Sparse 공간으로 변환 및 역변환하는 ISTA block, 특징 공간에서 픽셀 공간으로 변환하는 부분으로 구성된다. 제안된 기법은 다양한 모의 실험을 통해 잡음 제거 성능 및 메모리 효율성 측면에서 우수함이 입증되었다.

Abstract ▼ AI-Helper

In this paper, we propose a learning based compressive sensing algorithm for the purpose of side scan sonar image denoising. The proposed method is based on Iterative Shrinkage and Thresholding Algorithm (ISTA) framework and incorporates a powerful strategy that reinforces the non-linearity of deep learning network for improved performance. The proposed method consists of three essential modules. The first module consists of a non-linear transform for input and initialization while the second module contains the ISTA block that maps the input features to sparse space and performs inverse transform. The third module is to transform from non-linear feature space to pixel space. Superiority in noise removal and memory efficiency of the proposed method is verified through various experiments.

주제어

표/그림 (12)

그림 Fig. 1. Architecture of the proposed method.
그림 Fig. 2. Non-linear feature space mapping layer S and inverse of S.
그림 Fig. 3. Structure of the initialization.
그림 Fig. 4. Structure of r'.
그림 Fig. 5. Layer representation of H^(k) and H^~(k).
그림 Fig. 6. Architecture of reduction block.
그림 Fig. 7. F^(k), shrinkage function and F^~(k).
그림 Fig. 8. Graph of performance change of the proposed model according to the number of ISTA block K.
표 Table 2. Performances of the proposed method for five side scan sonar images.
표 Table 1. Ablation study result in five side scan sonar images.
그림 Fig. 9. (Color available online) Comparison of image denoising methods (visual quality and in PSNR dB gain), when applied to side scan sonar image.
표 Table 3. The CPU runtime and number of parameters in each model.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

사전 업데이트 과정에서 SVD 분해를 이용하여 기저 신호 및 sparse 해를 업데이트하게 된다. CSR은 국부 희소성과 비국부 자기 유사성을 결합함은 물론, 특징 그룹 영역 내에서도 sparsity를 찾고자 하였다. 동일 클래스 내의 영상 패치들에 대한 sparse 계수를 클래스의 중심값과 유사하게 함으로써, 동일 클래스의 영상패치들은 유사한 기저 신호로 복원된다.
본 논문에서는 비선형성이 강화된 학습 기반 압축 센싱을 이용한 측면주사 소나 영상 잡음 제거 알고리즘을 제안한다. 제안하는 알고리즘의 학습기반 압축 센싱 알고리즘은 비선형 공간 내의 ISTA 최적화를 통해 구현된다.
본 논문에서는 이러한 초기값을 추정하는 부분을 네트워크 안에서 처리할 수 있도록 네트워크를 설계하였다. Eq.
본 논문에서는 측면주사 소나 영상 잡음 제거를 위한 학습 기반 압축 센싱 기법을 제안하였다. 제안 기법은 ISTA 알고리즘과 딥러닝을 접목하였으며 성능 향상을 위해 학습네트워크의 비선형성을 강화시키는 구조를 가지고 있다.

제안 방법

6의 축소 블록은 1×1 콘볼루션을 사용한 채널 축소를 통해 네트워크의 비선형성을 강 화하려는 목적으로 설계되었으며,^[9]각 ISTA block마다 학습 가중치를 공유하지 않음으로써 ISTA block의 특성을 반영할 수 있다. Auto-encoder^[10]와 비슷한 구조인 병목 형태의 축소 블록을 사용함으로써, 기존의 ISTA기반 알고리즘들과 다르게 잡음 제거에 강인한 ISTA 기반의 알고리즘을 설계했다. 축소 블록은 sparse한 공간으로 변환하는 F(k) , # 부분에서도 파라메터를 공유하도록 설계하였다.
기존 ISTA-Net의 구조와는 다르게 r', F, # 부분을 잡음 제거에 적합한 네트워크 형태로 설계하였으며 학습을 통해 관련 연산을 수행한다.
또한, ISTA-Net의 저자는 추가적인 연구로 residual 구조를 사용하면서 학습 가능한 콘볼루션 레이어를 더 깊게 쌓는 ISTANet⁺를 제시하였다
F(k) 와 # 은 r',을 계산할 때 사용된 reduction block을 공유하고 있으며 변환 F공간 내에서 Shrinkage 함수가 Θ이하의 값은 0으로 만들어 줌으로써 sparsity를 가지게 한다. 또한, 각 ISTA-block의 개별적인 특성을 나타내기 위해 공유되지 않는 conv 연산을 적용하였다. 제안된 ISTA-block의 내부 구조는 학습파라미터 개수와 성능의 트레이드오프를 고려하여 실험적으로 최적의 구조로 선정되었다.
제안 기법은 ISTA 알고리즘과 딥러닝을 접목하였으며 성능 향상을 위해 학습네트워크의 비선형성을 강화시키는 구조를 가지고 있다. 또한, 제안된 기법은 네트워크 구조 및 정규화를 통해 손실 함수를 제어함으로써 측면주사 소나 영상 잡음 제거에 적합하도록 하였다. 다양한 모의실험을 통해 잡음 제거 성능 및 메모리 효율성 측면에서 제안된 모델이 기존의 방법보다 효율적임을 입증하였다.
테스트 영상은 5개의 측면 주사 소나 영상을 사용했으며, ISTA block의 개수가 증가할수록 PSNR 성능이 수렴하는 것을 볼 수 있다. 본 논문에서는 성능과 모델의 메모리사용량 사이의 trade off를 고려하여 이후 실험에서는 K는 5로 고정하여 실험을 진행하였다.
제안 기법은 ISTA 알고리즘과 딥러닝을 접목하였으며 성능 향상을 위해 학습네트워크의 비선형성을 강화시키는 구조를 가지고 있다. 또한, 제안된 기법은 네트워크 구조 및 정규화를 통해 손실 함수를 제어함으로써 측면주사 소나 영상 잡음 제거에 적합하도록 하였다.
1 과 같다. 제안된 구조는 입력 신호를 비선형 변환 및 초기화하는 부분, sparse 공간으로 변환 및 재변환하는 ISTA block, 특징 공간에서 픽셀 공간으로 변환해 주는 부분으로 구성된다.
제안된 구조에서는 H를 고정된 가우시안 랜덤 행렬이 아닌 비선형 네트워크 형태로 설계하며 학습을 통해 파라메터를 설정한다. Eqs.
제안하는 방법은 측면주사 소나 영상의 잡음제거 성능을 향상하는 동시에 적은 복잡도를 가지도록 설계되었다. Table 3은 기존 잡음제거 알고리즘과 제안하는 방법의 테스트시 소비되는 평균 CPU 실행 시간과 모델 학습 파라메터수를 보여준다.
제안하는 알고리즘의 학습기반 압축 센싱 알고리즘은 비선형 공간 내의 ISTA 최적화를 통해 구현된다. 딥러닝을 기반으로 한 학습 기반 압축 센싱 기법에서 비선형성의 강화는 성능에 주요 한 영향을 끼친다.
^[7]그러나 비선형성을 과도하게 추구하다보면 학습이 불가하게 되는 문제가 발생한다. 제안하는 학습 기반 압축 센싱 기법에서는 비선형성을 강화시키는 형태의 학습 기반 압축 센싱 구조를 제안한다. 제안하는 학습기반 압축 센 싱 기법을 적용한 잡음 제거 알고리즘 구조는 Fig.
딥러닝을 기반으로 한 학습 기반 압축 센싱 기법에서 비선형성의 강화는 성능에 주요 한 영향을 끼친다. 제안한 알고리즘에서는 강화된 비선형 공간에서 sparsity를 가지게 하여 복잡한 영상 신호를 표현할 수 있게 하며 콘볼루션 연산으로 사전 행렬을 구함으로써 가변적인 입력에 대응할 수 있게 하였다. 또한, 제안된 알고리즘은 기존의 구조 보다 적은 메모리를 사용하는 구조를 가진다.

대상 데이터

제안 모델의 학습 시간은 약36h이 소모되었다. 실험 코드는 텐서플로를 사용하였으며 Intel Core i7-8700 CPU 와 RTX2080Ti GPU를 이용하여 모델을 학습하였다.
학습 영상은 측면주사 소나 영상 256 × 256 약 12,500장을 사용하였으며 테스트 영상은 256 × 256 크기의 5장을 이용하였다.

데이터처리

ISTA-Net에서 관측 영상은 least square를 기반으로 초기값을 추정하여 네트워크를 학습하였다. 본 논문에서는 이러한 초기값을 추정하는 부분을 네트워크 안에서 처리할 수 있도록 네트워크를 설계하였다.
압축 센싱 기법의 특성을 반영한 모든 손실 함수를 사용한 loss 4 가 측면주사 소나 영상 잡음 제거에서 가장 높은 PSNR을 보인다. 본 논문의 다음 실험에서는 loss4를 사용하여 실험 결과를 도출하였다
정량적 평가로는 Peak Signal to Noise Ratio (PSNR) 수치와 파라메터 개수를 비교하였으며 복원 영상들간의 정성적 비교 평가도 수행하였다. 8비트 그레이 스케일 영상의 PSNR의 정의는 잡음 제거 영 상과 원본 영상 사이의 Mean Square Error(MSE)로 표현할 수 있다.

이론/모형

기존 방법들과의 비교 모델은 대표적인 압축 센싱 기반 잡음 제거 알고리즘인 K-SVD와 CSR, 비압축 센싱 기반 알고리즘 BM3D,^[12]딥러닝 기반 잡음 제거 알고리즘 DnCNN,^[13] 학습형 압축 센싱 기법인 ISTA-Net을 사용하였다. Table 2는 5개의 측면주사 소나 테스트 영상에 대한 잡음제거 결과이다.

성능/효과

5 배 이상이 사용되고 있다. Tables 2와 3을 통해 제안하는 방법은 기존 방식보다 모델 경량화 및 잡음 제거 성능 측면에서 우수한 모습을 볼 수 있었다.
또한, 제안된 기법은 네트워크 구조 및 정규화를 통해 손실 함수를 제어함으로써 측면주사 소나 영상 잡음 제거에 적합하도록 하였다. 다양한 모의실험을 통해 잡음 제거 성능 및 메모리 효율성 측면에서 제안된 모델이 기존의 방법보다 효율적임을 입증하였다. 특히 기존의 딥러닝 접목 압축 센싱 방식과의 비교에서도 제안된 방식이 잡음 제거 및 메모리사용 측면에서 우수한 성능을 보여주고 있었다.
제안한 알고리즘에서는 강화된 비선형 공간에서 sparsity를 가지게 하여 복잡한 영상 신호를 표현할 수 있게 하며 콘볼루션 연산으로 사전 행렬을 구함으로써 가변적인 입력에 대응할 수 있게 하였다. 또한, 제안된 알고리즘은 기존의 구조 보다 적은 메모리를 사용하는 구조를 가진다.
본 논문의 비선형 특징 표현 내의 압축 센싱 알고리즘에서 LHrip, LFrip , Ls의 정규화 항목은 학습 기반 압축 센싱 기법의 특성을 나타낸다. Table 1은 정규화 항목 사용에 따른 네 가지 모델의 성능을 보여준다.
또한, 각 ISTA-block의 개별적인 특성을 나타내기 위해 공유되지 않는 conv 연산을 적용하였다. 제안된 ISTA-block의 내부 구조는 학습파라미터 개수와 성능의 트레이드오프를 고려하여 실험적으로 최적의 구조로 선정되었다. ISTANet은 모든 블록마다 6개의 3×3 콘볼루션 레이어를 사용한다.
Table 2는 5개의 측면주사 소나 테스트 영상에 대한 잡음제거 결과이다. 제안하는 모델은 비 학습기반 방식( K-SVD, CSR, BM3D) 보다는 평균적으로 약2 dB의 성능 향상을 나타냈으며 학습기반 방식(DnCNN, ISTA-Net) 보다는 평균적으로 약0.2 dB ~ 0.4 dB의 성능 향상을 보여주었다. Fig.
특히 기존의 딥러닝 접목 압축 센싱 방식과의 비교에서도 제안된 방식이 잡음 제거 및 메모리사용 측면에서 우수한 성능을 보여주고 있었다. 즉, 제안한 방식은 네트워크의 비 선형성 강화를 통해 학습 기반 압축 센싱 기법의 향상을 가져오고 있다.
8은 ISTA block 개수 K에 따른 제안 모델의 잡음 제거 테스트 결과이다. 테스트 영상은 5개의 측면 주사 소나 영상을 사용했으며, ISTA block의 개수가 증가할수록 PSNR 성능이 수렴하는 것을 볼 수 있다. 본 논문에서는 성능과 모델의 메모리사용량 사이의 trade off를 고려하여 이후 실험에서는 K는 5로 고정하여 실험을 진행하였다.
다양한 모의실험을 통해 잡음 제거 성능 및 메모리 효율성 측면에서 제안된 모델이 기존의 방법보다 효율적임을 입증하였다. 특히 기존의 딥러닝 접목 압축 센싱 방식과의 비교에서도 제안된 방식이 잡음 제거 및 메모리사용 측면에서 우수한 성능을 보여주고 있었다. 즉, 제안한 방식은 네트워크의 비 선형성 강화를 통해 학습 기반 압축 센싱 기법의 향상을 가져오고 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	측면 주사 소나 영상 잡음 제거를 위해 ISTA 알고리즘과 딥러닝을 접목시켰을 때 다른 모델들과 비교하여 어떤 결과를 얻을 수 있는가?	Table 2는 5개의 측면주사 소나 테스트 영상에 대한 잡음제거 결과이다. 제안하는 모델은 비 학습기반 방식( K-SVD, CSR, BM3D) 보다는 평균적으로 약2 dB의 성능 향상을 나타냈으며 학습기반 방식(DnCNN, ISTA-Net) 보다는 평균적으로 약0.2 dB ~ 0.4 dB의 성능 향상을 보여주었다. Fig.
	측면주사 소나는 무엇인가?	측면주사 소나는 영상을 기반으로 한 수중 탐색 소나 시스템이다. 탐색 범위와 영상 품질 사이에 역상관관계가 존재하며 고주파를 이용하는 측면주사 소나는 협소한 탐색 범위의 고품질 영상을 획득하는 반면 저주파 측면주사 소나는 광역 탐색 범위의 저품질 영상을 획득하게 된다.
	압축 센싱 기술인 Learned ISTA는 어떤 기법인가?	컴퓨터 비전에서 딥러닝의 성공과 더불어 압축 센싱분야에서도 딥러닝과 압축 센싱 기술이 접목된 학습형 압축 센싱 기술이 제안되었다. [5,6] Learned Iterative shrinkage and thresholding algorithm(Learned ISTA)[5]는 최초의 딥러닝과 접목된 학습형 압축 센싱 기법으로 ISTA 연산을 k번으로 고정시킨 k-step의 recurrent neural network 구조를 가지고 있다. 전통적인 압축 센싱 기법과는 다르게 주어진 데이터세트에서 적합한 사전과 하이퍼 파라메터들을 훈련을 통해 찾게 된다.

참고문헌 (13)

Y. Chen, K. Lee, B. Ku, S. Kim, and H. Ko, "Analyze the sonar image according to the frequency and altitude of side scan sonar," Proc. Korean Soc. Noise Vib. Eng. 2017, 308 (2017).
M. Aharon and M. Elad, "Image denoising via sparse and redundant representations over learned dictinaries," Proc. IEEE Trans. on Image Process. 15, 3736-3745 (2006).
W. Dong, X. Li, L. Zhang, and G. Shi, "Sparsity-based image denoising via dictionary learning and structural clustersing," Proc. IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit. 457-464 (2011).
J. A. Tropp and A. C. Gilbert, "Signal recovery from random measurements via orthogonal matching pursuit," Proc. IEEE Trans. on information theory, 4655-4666 (2007).
K. Gregor and Y. LeCun, "Learning fast approximations of sparse coding," Proc. 27th International Conf. on Machine Learning, 399-406 (2010).
J. Zhang and B. Ghanem, "ISTA-Net: Interpretable optimization-inspired deep network for image compressive sensing," Proc. IEEE Cof. computer vision and pattern recognition, 1828-1837 (2018).
K. He, X. Zhang, S. Ren, and J. Sun, "Deep residual learning for image recognition," Proc. IEEE Cof. computer vision and pattern recognition, 770-778 (2016).
O. Ronneberger, P. Fischer, and T. Brox, "U-net: Convolutional networks for biomedical image segmentation," Proc. IEEE Cof. Medical image computing and computer-assisted intervention, 234-241 (2015).
C. Szegedy, S. Ioffe, V. Vangoucke, and A. Alemi, "Inception-v4, inception-resnet and the impact of residual connections on learning," Proc. Cof. 34th AAAI on Artificial Intelligence, 4278-4284 (2017).
P. Vincent, H. Larochelle, Y. Bengio, and P. Manzagol, "Extracting and composing robust features with denoising autoencoders," Proc. the 25th international Conf. on Machine learning, 1096-1103 (2008).
D. P. Kingma and J. Ba, "Adam: A method for stochastic optimization," arXiv preprint, 1412.6980 (2014).
K. Dabov, A. Foi, V. Katkovnik, and K. Egiazarian, "Image denoising by sparse 3-D transform domain collavorative filtering," Proc. IEEE Trans. on Image Processing, 16, 2080-2095 (2007).
K. Zhang, W. Zuo, Y. Chen, D. Meng, and L. Zhang, "Beyond a gaussian denoiser: Residual learning of deep cnn for image denoising," Proc. IEEE Trans. on Image Processing, 26, 3142-3155 (2017).

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증