구조적 희소성 기반 압축 센싱 알고리즘을 통한 측면주사소나 영상의 비균일 잡음 제거 Non-homogeneous noise removal for side scan sonar images using a structural sparsity based compressive sensing algorithm원문보기
측면주사소나 영상의 화질은 소나 운용 주파수의 영향을 받는다. 저주파 측면주사소나 장비로 얻는 영상은 저화질 영상이며, 잡음이 화질 저하의 요소 중 하나가 된다. 균일한 잡음을 가정하는 광학 영상과는 달리. 측면주사소나 데이터의 잡음은 해양 환경(장비 소음, 신호 간섭 등)에 의해 발생한다. 또한 소나 신호의 전달 손실을 보상하고자 시간변환이득(Time-Varied Gain, TVG)을 수행하며, 이로 인해 측면주사소나 영상에 비균일 잡음이 생성된다. 본 논문에서는 측면주사소나 영상에 포함된 비균일 잡음을 제거하는 구조적 희소성에 기반한 압축 센싱 알고리즘 (Structural Sparsity based Compressive Sensing, SSCS)을 제안한다. 영상의 구조적 특징 도메인에서 국부적 및 비국부적 모델링을 동시에 구현하여 계수의 희소성을 보장하면서 비국부적 자가 유사성을 강화한다. 그리고 잡음의 비균일성을 고려하여 비국부적 모델링을 보상한다. 다양한 모의 실험을 통해 제안한 알고리즘의 우수성을 입증한다.
측면주사소나 영상의 화질은 소나 운용 주파수의 영향을 받는다. 저주파 측면주사소나 장비로 얻는 영상은 저화질 영상이며, 잡음이 화질 저하의 요소 중 하나가 된다. 균일한 잡음을 가정하는 광학 영상과는 달리. 측면주사소나 데이터의 잡음은 해양 환경(장비 소음, 신호 간섭 등)에 의해 발생한다. 또한 소나 신호의 전달 손실을 보상하고자 시간변환이득(Time-Varied Gain, TVG)을 수행하며, 이로 인해 측면주사소나 영상에 비균일 잡음이 생성된다. 본 논문에서는 측면주사소나 영상에 포함된 비균일 잡음을 제거하는 구조적 희소성에 기반한 압축 센싱 알고리즘 (Structural Sparsity based Compressive Sensing, SSCS)을 제안한다. 영상의 구조적 특징 도메인에서 국부적 및 비국부적 모델링을 동시에 구현하여 계수의 희소성을 보장하면서 비국부적 자가 유사성을 강화한다. 그리고 잡음의 비균일성을 고려하여 비국부적 모델링을 보상한다. 다양한 모의 실험을 통해 제안한 알고리즘의 우수성을 입증한다.
The quality of side scan sonar images is determined by the frequency of a sonar. A side scan sonar with a low frequency creates low-quality images. One of the factors that lead to low quality is a high-level noise. The noise is occurred by the underwater environment such as equipment noise, signal i...
The quality of side scan sonar images is determined by the frequency of a sonar. A side scan sonar with a low frequency creates low-quality images. One of the factors that lead to low quality is a high-level noise. The noise is occurred by the underwater environment such as equipment noise, signal interference and so on. In addition, in order to compensate for the transmission loss of sonar signals, the received signal is recovered by TVG (Time-Varied Gain), and consequently the side scan sonar images contain non-homogeneous noise which is opposite to optic images whose noise is assumed as homogeneous noise. In this paper, the SSCS (Structural Sparsity based Compressive Sensing) is proposed for removing non-homogeneous noise. The algorithm incorporates both local and non-local models in a structural feature domain so that it guarantees the sparsity and enhances the property of non-local self-similarity. Moreover, the non-local model is corrected in consideration of non-homogeneity of noises. Various experimental results show that the proposed algorithm is superior to existing method.
The quality of side scan sonar images is determined by the frequency of a sonar. A side scan sonar with a low frequency creates low-quality images. One of the factors that lead to low quality is a high-level noise. The noise is occurred by the underwater environment such as equipment noise, signal interference and so on. In addition, in order to compensate for the transmission loss of sonar signals, the received signal is recovered by TVG (Time-Varied Gain), and consequently the side scan sonar images contain non-homogeneous noise which is opposite to optic images whose noise is assumed as homogeneous noise. In this paper, the SSCS (Structural Sparsity based Compressive Sensing) is proposed for removing non-homogeneous noise. The algorithm incorporates both local and non-local models in a structural feature domain so that it guarantees the sparsity and enhances the property of non-local self-similarity. Moreover, the non-local model is corrected in consideration of non-homogeneity of noises. Various experimental results show that the proposed algorithm is superior to existing method.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 향상된 패치 검색 기능을 구현하고자 패치의 구조적 특징 정보를 사용해서 비국부적 모델링을 강화한다. 더 나아가서, 비국부적 모델에 TVG로 인한 잡음의 비균일성을 반영하고자, 검색 패치로부터 소나 장비까지의 거리로 가중치를 보정한다.
CSR 알고리즘을 강화하기 위해서는 국부 모델뿐만 아니라 비국부적 모델링이 강화되어야 한다. 본 논문에서는 비국부적 모델링을 강화하기 위해 구조적 특징을 적용한 패치 검색 방법을 모색한다. 또한 일반적인 광학 영상의 균일 잡음과는 다른 TVG에 따른 비균일 잡음 환경에서도 CSR 알고리즘이 강인하도록 비국부적 모델링을 개선한다.
구조적 희소성 기반 방법에서는 국부 모델뿐만 아니라 비국부적 모델링의 강화가 성능 향상에 큰 영향을 미치게 된다. 본 논문에서는 비국부적 모델링이 강화될 수 있도록 구조적 특징 기반의 패치 검색 방법을 제안한다. 기존의 픽셀 intensity 기반의 비국부적 모델링에서 벗어나 공통 특징을 갖는 그룹의 구조적 특징을 반영하여 비국부적 모델링을 강화하였다.
본 논문에서는 비균일 잡음 환경에 적합한 구조적 희소성 기반의 잡음 제거 알고리즘(Structural Sparsity based Compressive Sensing, SSCS)을 제안한다. 구조적 희소성 기반의 알고리즘은 구조적 특징 도메인에서 국부적/비국부적 모델링을 동시에 반영한다.
본 논문에서는 측면주사소나의 TVG 으로 인해 발생되는 영상의 비균일 잡음을 제거하고자 구조적 희소성 기반 압축 센싱 알고리즘을 제안했다. 비균일 잡음 환경을 고려하기 위하여 패치의 구조적 특성 및 패치-센서와의 거리를 반영하여 비국부적 모델의 가중치를 보정하였다.
본 논문에서는 패치간 픽셀 SSD 에서 벗어나 패치의 구조적 특징을 기반으로 패치간 유사성 여부를 판단한다. Tuzel et al.
비국부 모델에서 픽셀 intensity 기반의 패치 검색 방식은 패치의 구조적 특징을 반영하지 않기 때문에 유사 패치를 판단할 때 오류를 범하고, 복원 영상의 구조적 특징이 흐트러질 위험이 있다. 본 논문에서는 향상된 패치 검색 기능을 구현하고자 패치의 구조적 특징 정보를 사용해서 비국부적 모델링을 강화한다. 더 나아가서, 비국부적 모델에 TVG로 인한 잡음의 비균일성을 반영하고자, 검색 패치로부터 소나 장비까지의 거리로 가중치를 보정한다.
이와 더불어 본 논문에서는 측면주사소나 장비의 TVG로 인해 발생되는 잡음의 비균일성을 고려하여 가중치를 보정한다. 측면주사소나 장비의 TVG로 인해 소나 장비로부터 멀어질수록 잡음의 세기도 강해지게 된다.
제안 방법
연산량 및 실용성을 고려하여 본 논문에서는 Eq. (8)과 같이 공분산 행렬 간의 Frobenius norm을 이용한 metric으로 공분산 행렬간 거리를 대체하였다.
PSNR은 복원 영상이 원본 영상신호와 픽셀 값 차이가 작을수록, 높은 PSNR 값을 갖는다. CSR 알고리즘과의 정량적 및 정성적 비교를 통해 제안 알고리즘의 성능을 분석한다. 입력 영상의 크기는 240 × 240, 비균일 잡음은 표준편차가 30인 WGN과 거리에 따라 0.
다만 미가공된 원본 XTF 데이터는 이미 잡음이 포함되어 있기 때문에 원본 영상과 복원 영상을 비교해서 얻은 PSNR 수치는 신뢰성이 낮다. 따라서 복원 영상에 대해 정성적 판단으로 알고리즘의 성능을 분석한다.
이 장에서는 기존 알고리즘과의 성능 비교를 통해 제안한 알고리즘의 성능을 검증한다. 모의 실험을 통해 구조적 특징 기반 패치 검색 방법의 효용성 및 제안한 비균일 잡음 제거 기법의 우수성을 살펴본다. 모의실험 시 파라미터는 Table 1과 같이 설정했으며, 해당 값은 실험을 통해 성능 및 처리시간을 고려해서 찾은 최적의 값이다.
비국부적 모델링은 유사한 영역은 유사한 희소 계수를 갖는다는 근거로 접근한다. 비국부적 자가 유사 패치를 검색하고 패치 유사도를 반영해서 가중치를 연산한다. NLM으로 복원한 영상과 입력 영상의 차이를 shrinkage 함수[16] 에 입력하여 희소 계수를 암호화한다.
본 논문에서는 측면주사소나의 TVG 으로 인해 발생되는 영상의 비균일 잡음을 제거하고자 구조적 희소성 기반 압축 센싱 알고리즘을 제안했다. 비균일 잡음 환경을 고려하기 위하여 패치의 구조적 특성 및 패치-센서와의 거리를 반영하여 비국부적 모델의 가중치를 보정하였다. 구조적 특징을 적용함으로써 유사 패치 검색 성능이 향상되었으며 결과적으로 제안하는 SSCS 알고리즘이 CSR 알고리즘에 비해 비균일 잡음 제거에 대해 PSNR 및 정성적 판단에서 모두 우수한 성능을 보여주고 있으며, 빠른 처리시간을 보인다.
센싱 행렬 훈련은 K-means와 PCA(Principal Component Analysis)[15] 과정을 거친다. 영상 내 모든 패치를 K-means를 통해 K개의 그룹별로 분류를 수행한 뒤, 각 그룹별 패치들에 대해 PCA 를 수행한다. 그룹별 고유벡터들은 연쇄화을 통해 센싱 행렬의 기저 함수로 사용한다.
따라서 소나 장비로부터 먼 영역에서 검색된 유사 패치는 잡음 성분이 더욱 많이 존재할 가능성이 있게 된다. 이러한 요소를 고려하여, 본 논문에서는 패치로부터 소나 장비까지의 거리를 이용하여 가중치를 보정하는 방법을 채택하였다. 최종적으로 비균일 잡음을 고려한 가중치는 Eq.
기존의 픽셀 intensity 기반의 비국부적 모델링에서 벗어나 공통 특징을 갖는 그룹의 구조적 특징을 반영하여 비국부적 모델링을 강화하였다. 제안한 방법은 TVG에 따른 비균일 요소를 비국부적 모델링에 반영하여 보상하는 과정을 거치게 된다.
희소 계수는 matching pursuit 방식, 센싱행렬은 SVD(Singular Value Decomposition) 방식으로 훈련한다. 희소 계수와 센싱 행렬을 반복적으로 번갈아 훈련하면서 최적화된 값을 찾는다. 그러나 긴 훈련 시간과 스무딩 효과가 발생하는 단점이 있다.
대상 데이터
즉 패치가 유사할수록 높은 가중치를 갖게 된다. 본 논문에서는 검색 영역 내에서 가장 작은 거리 dst(i,j)를 갖는 B개의 패치만을 활용한다.
XTF 데이터는 2차원의 핑데이터가 저장되어 있으며, 저장된 데이터를 영상 단위의 스케일로 변환한 데이터를 원본 영상 신호로 사용한다. 본 실험에서는 단일빔 455 kHz 장비로 촬영된 소나 영상으로 실험을 진행한다. 비균일 잡음은 영상 아래에서 위로 세기가 증가하는 형태로 적용하였다.
본 실험에서는 미가공 데이터인 XTF(eXtended Triton Format) 데이터와 웹 상에서 수집한 측면주사소나 영상을 이용하여 모의실험을 수행하였다. 정량적인 성능 지표로 PSNR(Peak Signal-to-Noise Ratio) 사용하고, Eq.
본 실험에서는 표준 편차가 40인 균일 잡음을 더한 noisy 입력 영상을 기반으로 수행한다. 여기서 TVG는 반영하지 않았다.
이론/모형
이때 가중치는 Eq. (2)와 같이 가우시안 커널 함수와 픽셀 intensity 기반의 SSD(Sum of Squared Distance)를 이용하여 계산한다.
본 실험에서는 미가공 데이터인 XTF(eXtended Triton Format) 데이터와 웹 상에서 수집한 측면주사소나 영상을 이용하여 모의실험을 수행하였다. 정량적인 성능 지표로 PSNR(Peak Signal-to-Noise Ratio) 사용하고, Eq. (13)과 같이 계산된다.
클러스터링 알고리즘을 차용한 방식이다. 희소 계수는 matching pursuit 방식, 센싱행렬은 SVD(Singular Value Decomposition) 방식으로 훈련한다. 희소 계수와 센싱 행렬을 반복적으로 번갈아 훈련하면서 최적화된 값을 찾는다.
성능/효과
또한 Figs. 5와 6에서의 실험 영상에 대해서, CSR은 58.10 s 및 57.68 s의 처리시간이 소요된 반면에, SSCS는 38.02 s 및 37.24 s의 처리시간이 소요되어, SSCS가 CSR보다 약20 s 가량 빠른 처리시간을 보인다
XTF 데이터에 대한 실험 결과는 웹 입력 영상 실험 결과와 유사하게 잡음 세기가 강한 영역에서 CSR 복원 결과 영상은 잔존하는 잡음이 존재하나, SSCS복원 결과 영상은 잔존하는 잡음이 거의 존재하지 않는다. 또한 Figs.
비균일 잡음 환경을 고려하기 위하여 패치의 구조적 특성 및 패치-센서와의 거리를 반영하여 비국부적 모델의 가중치를 보정하였다. 구조적 특징을 적용함으로써 유사 패치 검색 성능이 향상되었으며 결과적으로 제안하는 SSCS 알고리즘이 CSR 알고리즘에 비해 비균일 잡음 제거에 대해 PSNR 및 정성적 판단에서 모두 우수한 성능을 보여주고 있으며, 빠른 처리시간을 보인다.
즉, SSCS로 복원된 영상이 원본 영상에 더 근접하게 복원이 되었다. 또한 SSCS 알고리즘이 잡음 세기가 강한 영상 상단에서 잡음 제거성능이 더욱 우수함을 볼 수 있었다. 잡음 세기가 강한 영역에서 CSR 알고리즘은 잔존하는 잡음이 보이는 반면(Fig.
실험파리미터는 앞선 실험과 동일하게 설정했다. 모든 데이터에 대해 제안한 SSCS의 복원 결과가 CSR의 복원 결과보다 정량적으로 우수한 수치를 보인다. 또한 SSCS가 CSR보다 약평균 18 s 빠른 처리시간을 보인다.
검색된 패치 결과에서 기준 패치와 유사하지 않은 패턴은 나타나지 않고 있다. 본 실험을 통해 구조적 특징 기반 패치 검색이 비국부적 모델링 강화에 효과적임을 알 수 있었다. 또한 공분산 행렬간 거리를 Frobenius norm과 log-euclidean을 사용한 검색 패치 결과들은 거의 차이를 보이지 않는다.
또한 SSCS 알고리즘이 잡음 세기가 강한 영상 상단에서 잡음 제거성능이 더욱 우수함을 볼 수 있었다. 잡음 세기가 강한 영역에서 CSR 알고리즘은 잔존하는 잡음이 보이는 반면(Fig. 4 빨간 박스), 제안한 SSCS 알고리즘은 잔존 잡음이 상대적으로 적게 보이는 것을 알 수 있었다(Fig. 4 녹색 박스).
따라서 영상 아래에서 위로 세기가 증가하는 비균일 잡음이 적용되었다. 제안한 SSCS 알고리즘은 CSR 알고리즘에 비해 PSNR 측면에서 1 dB 정도의 성능 향상을 나타냈다. 즉, SSCS로 복원된 영상이 원본 영상에 더 근접하게 복원이 되었다.
질의응답
핵심어
질문
논문에서 추출한 답변
저주파 측면주사소나 장비의 특징은 무엇인가?
그러나 고주파 측면주사소나 장비를 운용할 경우, 탐색 범위가 좁기 때문에 넓은 영역을 탐색해야 하는 임무에는 부적합하다. 이에 반해 저주파 측면주사소나 장비를 운용할 경우 넓은 영역을 빠르게 탐색할 수 있으나, 저해상도 및 잡음으로 인한 저화질 영상을 얻게 된다.[1]
운용 주파수는 측면주사소나 영상의 어느 부분에 영향을 주는가?
해양 탐사를 위해서 측면주사소나 장비를 활용하는 사례가 증가하고 있으며, 응용 목적에 맞게 측면 주사소나 장비의 성능을 선택하여 운용되고 있다. 측면주사소나 영상의 해상도 및 화질은 운용 주파수에 큰 영향을 받게 된다. Fig.
고화질 영상을 획득할 수 있는 고주파 측면주사소나 장비의 문제점은 무엇인가?
객체검출과 같이 관심 표적을 세부적으로 관찰해야 하는 경우, 고화질 영상을 획득할 수 있는 고주파 측면주사소나 장비를 운용하는 것이 적합하다. 그러나 고주파 측면주사소나 장비를 운용할 경우, 탐색 범위가 좁기 때문에 넓은 영역을 탐색해야 하는 임무에는 부적합하다. 이에 반해 저주파 측면주사소나 장비를 운용할 경우 넓은 영역을 빠르게 탐색할 수 있으나, 저해상도 및 잡음으로 인한 저화질 영상을 얻게 된다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.