측면주사 소나 영상 획득의 효율성을 향상시키고자 저해상도의 수중 영상을 복원 기법을 이용하여 고화질 영상으로 개선시키는 연구가 시도되고 있다. 측면주사 소나 영상은 광학 영상과 같은 2차원 신호를 사용한다는 측면에서 기존 광학 영상 복원에 적용된 기법의 응용을 고려할 수 있다. 광학 영상에 대한 가장 대표적인 복원 방법 중 하나는 스파스 코딩이며, 수중 영상의 희소성을 분석하여 스파스 코딩 기법을 수중 영상에 적용할 수 있음을 증명하는 연구가 진행되었다. 스파스 코딩은 입력 신호에 대하여 사전과 스파스 계수의 선형 결합으로 복원 신호를 얻는 방식이다. 하지만 스파스 계수의 값을 정확히 추정하기 위해서는 많은 연산량을 필요로 한다. 본 연구에서는 스파스 코딩 기반의 수중 영상 초해상도 복원을 수행하되, 수중 영상 내 객체 영역에 한해서 선택적으로 복원 기법을 적용하는 방법을 제안함으로써 전체 연산 시간을 단축시킨다. 이를 위하여 수중 영상에서 경계를 검출하고 그 분포에 따라 객체 영역과 비객체 영역을 구분하는 방법을 제안하고, 이를 스파스 코딩 기반의 초해상도 복원 기법과 접목시킨다. 실험을 통해 제안하는 방법이 기존 방식과 동일 수준의 PSNR(Peak Signal-to-Noise Ratio) 수치를 유지하며, 영상 복원에 필요한 시간은 32 % 만큼 단축시킴을 확인함으로써 제안 방법의 유효성을 증명하였다.
측면주사 소나 영상 획득의 효율성을 향상시키고자 저해상도의 수중 영상을 복원 기법을 이용하여 고화질 영상으로 개선시키는 연구가 시도되고 있다. 측면주사 소나 영상은 광학 영상과 같은 2차원 신호를 사용한다는 측면에서 기존 광학 영상 복원에 적용된 기법의 응용을 고려할 수 있다. 광학 영상에 대한 가장 대표적인 복원 방법 중 하나는 스파스 코딩이며, 수중 영상의 희소성을 분석하여 스파스 코딩 기법을 수중 영상에 적용할 수 있음을 증명하는 연구가 진행되었다. 스파스 코딩은 입력 신호에 대하여 사전과 스파스 계수의 선형 결합으로 복원 신호를 얻는 방식이다. 하지만 스파스 계수의 값을 정확히 추정하기 위해서는 많은 연산량을 필요로 한다. 본 연구에서는 스파스 코딩 기반의 수중 영상 초해상도 복원을 수행하되, 수중 영상 내 객체 영역에 한해서 선택적으로 복원 기법을 적용하는 방법을 제안함으로써 전체 연산 시간을 단축시킨다. 이를 위하여 수중 영상에서 경계를 검출하고 그 분포에 따라 객체 영역과 비객체 영역을 구분하는 방법을 제안하고, 이를 스파스 코딩 기반의 초해상도 복원 기법과 접목시킨다. 실험을 통해 제안하는 방법이 기존 방식과 동일 수준의 PSNR(Peak Signal-to-Noise Ratio) 수치를 유지하며, 영상 복원에 필요한 시간은 32 % 만큼 단축시킴을 확인함으로써 제안 방법의 유효성을 증명하였다.
Efforts have been made to reconstruct low-resolution underwater images to high-resolution ones by using the image SR (Super-Resolution) method, all to improve efficiency when acquiring side-scan sonar images. As side-scan sonar images are similar with the optical images with respect to exploiting 2-...
Efforts have been made to reconstruct low-resolution underwater images to high-resolution ones by using the image SR (Super-Resolution) method, all to improve efficiency when acquiring side-scan sonar images. As side-scan sonar images are similar with the optical images with respect to exploiting 2-dimensional signals, conventional image restoration methods for optical images can be considered as a solution. One of the most typical super-resolution methods for optical image is a sparse coding and there are studies for verifying applicability of sparse coding method for underwater images by analyzing sparsity of underwater images. Sparse coding is a method that obtains recovered signal from input signal by linear combination of dictionary and sparse coefficients. However, it requires huge computational load to accurately estimate sparse coefficients. In this study, a sparse coding based underwater image super-resolution method is applied while a selective reconstruction method for object region is suggested to reduce the processing time. For this method, this paper proposes an edge detection and object and non object region classification method for underwater images and combine it with sparse coding based image super-resolution method. Effectiveness of the proposed method is verified by reducing the processing time for image reconstruction over 32 % while preserving same level of PSNR (Peak Signal-to-Noise Ratio) compared with conventional method.
Efforts have been made to reconstruct low-resolution underwater images to high-resolution ones by using the image SR (Super-Resolution) method, all to improve efficiency when acquiring side-scan sonar images. As side-scan sonar images are similar with the optical images with respect to exploiting 2-dimensional signals, conventional image restoration methods for optical images can be considered as a solution. One of the most typical super-resolution methods for optical image is a sparse coding and there are studies for verifying applicability of sparse coding method for underwater images by analyzing sparsity of underwater images. Sparse coding is a method that obtains recovered signal from input signal by linear combination of dictionary and sparse coefficients. However, it requires huge computational load to accurately estimate sparse coefficients. In this study, a sparse coding based underwater image super-resolution method is applied while a selective reconstruction method for object region is suggested to reduce the processing time. For this method, this paper proposes an edge detection and object and non object region classification method for underwater images and combine it with sparse coding based image super-resolution method. Effectiveness of the proposed method is verified by reducing the processing time for image reconstruction over 32 % while preserving same level of PSNR (Peak Signal-to-Noise Ratio) compared with conventional method.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 스파스 코딩 기반의 영상 초해상도 복원 기법을 수중영상에 적용하는 방법에 대해 다룬다. 처리 시간 단축을 위해 객체 및 비객체 영역 식별 기법이 사용되었고, 이 식별 결과를 이용해 스파스 코딩 기반의 초해상도 복원 기법이 객체 영역에만 선택적으로 적용되었다.
본 단락에서는 다양한 스케일의 영상에 대응하기 위해 영상 피라미드를 활용하는 방식에 대해 설명한다. 이러한 방식은 광학 영상에서 크기 변화에 강인한 객체 검출기를 만들기 위해 사용되는 대표적인 방식이다.
본 연구는 측면주사 소나 영상에 대한 실용적인 초 해상도 복원 시스템을 제안하였다. 우리의 관심 영역 이자 적용하는 복원 기법에 따른 성능 변화가 두드러지는 객체 영역에 대해서만 스파스 코딩 기반 초해상도 복원 기법을 적용하였다.
제안 방법
그리고 이 저자는 Eq. (3)과 같이 자기회기(Auto Regressive, AR) 모델, 비국부적 유사성, 두 개의 제약 조건을 목적함수에 추가하였다. 여기서 S는 다운 샘플링 연산자, H는 blurring 연산자, I는 단위행렬을 의미하며, 행렬 A는 AR 모델의 파라미터들을 포함하고, B는 비 국부적 유사성에 대한 가중치 행렬에 해당한다.
본 연구의 주요한 기여는 다음과 같이 요약될 수 있다: 1) 측면주사 소나 영상의 초해상도 복원 과정에 객체 및 비객체 패치 식별 기법을 추가하였다. 2) 식별 결과를 이용해 선택적으로 스파스 코딩 기법을 입력 영상에 적용하였는데, 이는 복원 영상의 시각적 품질을 유지한 채 처리 시간을 단축시킨다.
이 장에서는 객체 및 비객체 패치 식별 및 영상 초 해상도 복원 기법들에 대한 성능 검증 내용을 다룬다. 구체적으로 식별 문제의 경우 단일 스케일과 다중 스케일 각각에 대한 실험을 수행하였다. 이 실험 들은 3.
즉, 영상 피라미드에서 하나의 레이 어만을 사용한 경우와 동일하다. 그렇기 때문에 처리가 빠르면서 작은 크기의 데이터셋으로 인한 오버피팅 문제에 강인한 선형 SVM을 식별기로 사용하였다.
본 연구는 측면주사 소나 영상에 대한 실용적인 초 해상도 복원 시스템을 제안하였다. 우리의 관심 영역 이자 적용하는 복원 기법에 따른 성능 변화가 두드러지는 객체 영역에 대해서만 스파스 코딩 기반 초해상도 복원 기법을 적용하였다. 반면, 낮은 관심도와 함께 복원 기법에 따른 성능 변화가 미미한 비객체 영역에 대해서는 bi-cubic 보간법이 적용되었다.
뿐 아니라 다운 샘플링 및 blurring 연산자 SH, AR 모델 A, 그리고 비국부적 유사성 B도 복원 알고리즘 내에서 반복적으로 업데이트된다. 이와 달리 본 논문에서는 앞에서 얻은 이진 영상을 라벨로 삼아 오직 객체가 존재하는 픽셀에 해당하는 행렬들의 원소들만을 업데이트한다. 예를 들어 행렬 A는 다음과 같은 조건으로 얻어진다.
제안하는 패치 식별 기법의 실효성을 검증하기 위해 여러 웹 사이트로부터 수집한 다중 스케일 데이터셋에 대한 실험을 수행한다. 데이터셋 내 영상들은 스케일뿐 아니라 데이터 획득에 사용된 센서 사양, 데이터 취득 환경 등 많은 부분에서 상이하다.
첫번째로 Sobel 에지 검출기[10]를 이용해 임계치 T를 구한다. 이 값은 입력 영상에 대한 gradient 세기의 평균값에 의해 유도되며, 스케일 파라미터 \(\delta\)에 의해 조정된다.
대상 데이터
단일 스케일의 XTF 데이터 포맷의 미가공 데이터를 사용하였는데, 사용된 소나의 주파수는 455 kHz, 입력 패치의 크기는 240 × 240 픽셀, 객체 패치 개수는 30개, 비객체는 60개, 임계치 T는 0.51로 설정하였다.
이론/모형
[6] 은 사전 훈련에 PCA(Principal Component Analysis)[7]기법을, 스파스 계수 최적화에 FISTA(Fast Iterative Shrinkage Thresholding Algorithm)[8]알고리즘을 적용했다. 또한 Dong은 적응적 도메인 선택 기법을 제안하였는데, 이 방식은 K-means clustering[9]을 이용해 k개로 나뉜 하위 훈련 데이터들로부터 각각 하위 사전들을 얻은 뒤 특징 유사성 비교를 통해 입력 패치에 가장 적합한 하위 사전으로 복원을 수행하는 방식이다.
또한 측면주사 소나 영상 내 존재하는 패턴의 종류가 광학 영상의 패턴에 비해 제 한적인 점을 감안할 때, 클러스터링된 하위 사전들 중 가장 적합한 것으로 영상 패치를 복원하는 이 방식은 측면주사 소나 영상의 초해상도 복원에 적합한 해결책이라고 할 수 있다. 따라서 본 연구는 Dong의 초해상도 복원 기법을 기반으로 한다.
우리의 관심 영역 이자 적용하는 복원 기법에 따른 성능 변화가 두드러지는 객체 영역에 대해서만 스파스 코딩 기반 초해상도 복원 기법을 적용하였다. 반면, 낮은 관심도와 함께 복원 기법에 따른 성능 변화가 미미한 비객체 영역에 대해서는 bi-cubic 보간법이 적용되었다. 이러한 영역 의존적 초해상도 복원 방식의 구현을 가능하게 하는 것은 우수한 성능이 검증된 객체 및 비객체 패치 식별 기법 덕분이다.
그러므로 객체가 없는 패치는 높은 특징값을 갖고, 객체가 있는 패치는 작은 값을 얻게 된다. 이 두 클래스를 구분하기 위한 결정 경계는 머신러닝 기법을 통해 얻을 수 있으며, 본 연구에서는 선형 SVM(Support Vector Machine)을 식별기로 사용하였다. [13]
마지막으로 복원 영상과 원본 영상간의 대조를 통해 성능 평가가 이루어진다. 이 실험에서는 PSNR[15] 와 SSIM(Structural SIMilarity Index)[16]이평가지표로 사용되었다.
성능/효과
본 연구의 주요한 기여는 다음과 같이 요약될 수 있다: 1) 측면주사 소나 영상의 초해상도 복원 과정에 객체 및 비객체 패치 식별 기법을 추가하였다. 2) 식별 결과를 이용해 선택적으로 스파스 코딩 기법을 입력 영상에 적용하였는데, 이는 복원 영상의 시각적 품질을 유지한 채 처리 시간을 단축시킨다. 3) 측면주사 소나 영상에 대한 제안하는 방식들의 효과를 실험적으로 증명하였다.
2) 식별 결과를 이용해 선택적으로 스파스 코딩 기법을 입력 영상에 적용하였는데, 이는 복원 영상의 시각적 품질을 유지한 채 처리 시간을 단축시킨다. 3) 측면주사 소나 영상에 대한 제안하는 방식들의 효과를 실험적으로 증명하였다.
비록 레이어 수 증가에 따라 처리 시간도 늘어나지만, 이는 무시할 수 있는 수준이다. 4.1 및 4.2장의 결과를 요약하면, 단일 레이어 피 라미드는 단인 스케일 데이터에 대해서는 효과적이지만, 다중 스케일 데이터 처리에는 다중 레이어 피라미드가 더 효과적이다.
Scale factor ×4와 ×5에 대한 실험 결과가 각각 Tables 1과 2에 나와 있다. 4.1장의 결과와 비교해 단일 레이어의 피라미드를 사용한 경우의 검출률은 두 경우 모두 상당히 감소하였다. Table 1에서는 단일 레이어가 가장 낮은 오탐률을 기록하였지만, 앞에서 언급하였듯 오탐률의 최소화보다 검출률의 최대화가 더 중요하기 때문에 3개와 5개 레이어의 피라미드가 더 나은 결과를 얻었다고 볼 수 있다.
객체 및 비객체 테스트셋들에 대한 초해상도 복원 결과가 Tables 3과 4에 나와 있다 (마지막페이지 참조). 객체 영상의 경우 제안하는 SSC(Selective Sparse Coding) 방식이 Dong의 SC(Sparse Coding) 방식의 처리시간을 32 %만큼 단축시키는 동시에 PSNR과 SSIM 수치들 은 같은 수준으로 유지하였다. 비객체 영상들의 경우 제안하는 방식은 두 건의 오검출 사례를 제외하면 bi-cubic과 동일하기 때문에 평균적으로 SC 기법보다 낮은 성능을 보이지만, 그 수치의 차이는 크지 않으며, 이미 Fig.
객체 영상의 경우 제안하는 SSC(Selective Sparse Coding) 방식이 Dong의 SC(Sparse Coding) 방식의 처리시간을 32 %만큼 단축시키는 동시에 PSNR과 SSIM 수치들 은 같은 수준으로 유지하였다. 비객체 영상들의 경우 제안하는 방식은 두 건의 오검출 사례를 제외하면 bi-cubic과 동일하기 때문에 평균적으로 SC 기법보다 낮은 성능을 보이지만, 그 수치의 차이는 크지 않으며, 이미 Fig. 2에서 확인했듯 시각적인 차이는 미미하다.
9~11 에 표현되어있다. 세 경우 모두 제안하는 SSC 방식이 PSNR 수치뿐 아니라 객체 영역에 적용된 초해상도 복원 기법으로 인해 시각적 품질 역시 bi-cubic 기법보다 뛰어난 것을 확인할 수 있다.
실험 결과 100 %의 평균 검출률과 5.8 %의 평균 오탐률을 얻었다. 수중 영상에서는 객체가 우리의 주 관심사이며, 이에 해당하는 영상은 가능한 많은 양이 정교하게 복원되어야하기 때문에 본 연구에서는 오탐률의 최소화보다 검출률의 최대화를 더 중요하게 여긴다.
이러한 영역 의존적 초해상도 복원 방식의 구현을 가능하게 하는 것은 우수한 성능이 검증된 객체 및 비객체 패치 식별 기법 덕분이다. 실험을 통해 제안하는 방식의 효과를 증명하였으며, 객체 패치에 대해 제안하는 방식이 기존 방식 대비 연산 시간을 32% 낮추는 동시에 동일 수준의 복원 성능을 유지하는 것을 확인하였다.
본 논문에서는 스파스 코딩 기반의 영상 초해상도 복원 기법을 수중영상에 적용하는 방법에 대해 다룬다. 처리 시간 단축을 위해 객체 및 비객체 영역 식별 기법이 사용되었고, 이 식별 결과를 이용해 스파스 코딩 기반의 초해상도 복원 기법이 객체 영역에만 선택적으로 적용되었다.
후속연구
하지만 여전히 연산 시간 단축에 대한 필요성이 남아있는 상태이다. 따라서 제안하는 알고리즘에서 연산 시간을 가장 많이 차지하는 복원 영상 획득을 위한 반복 연산 과정을 간소화하기 위해 regularizer 및 sparse solver 개선에 대한 연구가 필요하다.
질의응답
핵심어
질문
논문에서 추출한 답변
측면주사 소나는 무엇인가?
측면주사 소나는 해저면의 넓은 범위를 영상화할 수 있는 효과적인 장비이다. 주요 응용 분야는 국방 및 민간 영역 크게 두 가지로 나뉠 수 있다.
측면주사 소나에서 트레이드오프가 필요한 이요는 무엇인가?
측면주사 소나 이용에 있어 가장 큰 이슈는 촬영 범위와 해상도 사이의 트레이드오프이다. 저주파 소 나는 넓은 영역 촬영에 적합하지만, 고화질 영상을 얻을 수 없다는 단점이 있다. 반대로 고주파 소나는 고해상도의 영상 획득이 가능하지만, 촬영 가능 범위는 협소하다. 따라서 광범위 촬영이 가능한 저주파 소나 영상을 고해상도로 복원시키는 연구에 대한 필요성이 존재한다. 측면주사 소나 영상은 2차원 신호를 이용한다는 점에서 광학 영상과 유사하다.
측면주사 소나 이용에 있어서 가장 큰 이슈는 무엇인가?
측면주사 소나 이용에 있어 가장 큰 이슈는 촬영 범위와 해상도 사이의 트레이드오프이다. 저주파 소 나는 넓은 영역 촬영에 적합하지만, 고화질 영상을 얻을 수 없다는 단점이 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.